Усовершенствование звукового сигнала возможностью повторного микширования - RU2414095C2

C.Улучшение степени затухания, когда требуется

Когда источник должен быть полностью удален, например с удалением дорожки ведущей вокальной партии для применения Караоке, его коэффициентами усиления микширования являются c_i=0 и d_i=0. Однако когда пользователь выбирает нулевые коэффициенты усиления микширования, степень достижимого затухания может быть ограниченной. Таким образом, для улучшенного затухания значения мощностей поддиапазонов источника соответствующих сигналов источника, полученные из дополнительной информации,

D. Улучшение качества звукозаписи сглаживанием весов

Было обнаружено, что раскрытая схема повторного микширования может привносить артефакты в требуемый сигнал, особенно когда звуковой сигнал является тональным или стационарным. Чтобы улучшить качество звукозаписи, в каждом поддиапазоне может вычисляться показатель стационарности/тональности. Если показатель стационарности/тональности превышает определенное пороговое значение, TON₀, то веса оценки сглаживаются по времени. Операция сглаживания описана, как изложено ниже: для каждого поддиапазона, на каждом индексе k времени, получаются веса, которые применяются для вычисления выходных поддиапазонов, как изложено ниже:

Если TON(k)>TON₀, то

где

Иначе

E. Регулирование окружения/реверберации

Технология повторного микширования, описанная в материалах настоящей заявки, предусматривает пользовательское управление в показателях коэффициентов c_i и d_i усиления микширования. Это соответствует определению для каждого объекта, коэффициента усиления, G_i, и амплитудного панорамирования, L_i (направления), где усиление и панорамирование полностью определяются посредством c_i и d_i:

В некоторых реализациях может быть желательным регулировать другие признаки стереофонического микшированного сигнала, иные, чем усиление и амплитудное панорамирование сигналов источников. В последующем описании описана технология для модификации степени окружения стереофонического звукового сигнала. Никакая дополнительная информация не используется для этой задачи декодера.

В некоторых реализациях модель прохождения сигналов, заданная в [44], может использоваться для модифицирования степени окружения стереофонического сигнала, где мощности поддиапазона у n₁ и n₂ предполагаются равными, то есть

Вновь может быть допущено, что s, n₁ и n₂ являются взаимно независимыми. При условии этих допущений, когерентность [17] может быть записана в виде:

Это соответствует квадратному уравнению с переменной P_N(k):

Решениями этого квадратного уравнения являются:

Физически возможным решением является таковое с отрицательным знаком перед квадратным корнем:

так как P_N(k) должна быть меньшей, чем или равной E{x₁²(k)}+E{x₂²(k)}.

В некоторых реализациях для регулирования левого и правого окружения технология повторного микширования может применяться касательно двух объектов: Одним объектом является источник с индексом i₁, с мощностью E{s_i1²(k)}=P_N(k) поддиапазона по левую сторону, то есть, a_i1=1 и b_i1=0; другим объектом является источник с индексом i₂, с мощностью E{s_i2²(k)}=P_N(k) поддиапазона по правую сторону, то есть a_i2=0 и b_i2=1. Для изменения величины окружения пользователь может выбирать c_i1=d_i1=10^ga/20 и c_i2=d_i1=0, где g_a - прирост окружения в дБ.

F. Иная дополнительная информация

В некоторых реализациях модифицированная или иная дополнительная информация может использоваться в раскрытой схеме повторного микширования, которая более эффективна в показателях скорости передачи битов. Например, в [24], A_i(k) может иметь произвольные значения. Также есть зависимость от уровня исходного сигнала s_i(n) источника. Таким образом, для получения дополнительной информации в требуемом диапазоне уровню входного сигнала источника понадобилось бы настраиваться. Чтобы избежать этой настройки и чтобы устранить зависимость дополнительной информации от уровня исходного сигнала источника, в некоторых реализациях мощность поддиапазона источника может не только нормализоваться относительно мощности поддиапазона стереофонического сигнала, как в [24], но также могут учитываться коэффициенты усиления микширования:

Это соответствует использованию, в качестве дополнительной информации мощности источника, содержащейся в стереофоническом сигнале (а не непосредственно мощности источника), нормализованной стереофоническим сигналом. В качестве альтернативы можно использовать нормализацию, подобную этой:

Эта дополнительная информация также более эффективна, поскольку A_i(k) может принимать только значения, меньшие или равные 0 дБ. Отметим, что [39] и [40] могут быть решены для мощности E{s_i²(k)} поддиапазона.

G. Стереофонические сигналы/объекты источника

Схема повторного микширования, описанная в материалах настоящей заявки, может быть легко расширена для манипулирования стереофоническими сигналами источников. С ракурса дополнительной информации стереофонические сигналы источника обрабатываются подобно двум монофоническим сигналам источника: один микшируется в левый, а другой микшируется в правый. То есть левый канал i источника имеет ненулевой левый коэффициент a_i усиления и нулевой правый коэффициент b_i+1 усиления. Коэффициенты усиления, a_i и b_i+1, могут оцениваться с помощью [6]. Дополнительная информация может передаваться, как если бы стереофонический источник был двумя монофоническими источниками. Некоторой информации необходимо передаваться в декодер, чтобы указывать декодеру, какие источники являются монофоническими источниками, а какие являются стереофоническими источниками.

Касательно обработки декодера и графического интерфейса пользователя (GUI) можно представлять в декодере стереофонический сигнал источника так же, как монофонический сигнал источника. То есть стереофонический сигнал источника имеет регулировку усиления и панорамирования, подобную монофоническому сигналу источника. В некоторых реализациях зависимость между регулировкой усиления и панорамирования GUI немикшированного повторно стереофонического сигнала и коэффициентами усиления может выбираться, чтобы быть:

То есть GUI может устанавливаться в эти значения изначально. Зависимость между GAIN и PAN, выбранная пользователем, и новые коэффициенты усиления могут быть выбраны, чтобы быть:

Уравнения [42] могут быть решены для c_i и d_i+1, которые могут использоваться в качестве коэффициентов усиления микширования (причем c_i+1=0 и d_i=0). Описанные функциональные возможности подобны регулировке «баланса» на стереофоническом усилителе. Усиления левого и правого каналов сигнала источника модифицируются без привнесения взаимного влияния.

VI. Слепое формирование дополнительной информации

A. Полностью слепое формирование дополнительной информации

В раскрытой схеме повторного микширования кодировщик принимает стереофонический сигнал и некоторое количество сигналов источников, представляющих объекты, которые должны повторно микшироваться в декодере. Дополнительная информация, необходимая для повторного микширования сигнала источника с индексом i в декодере, определяется по коэффициентам a_i и b_i усиления и мощности E{s_i²(k)} поддиапазона. Определение дополнительной информации описывалось в предыдущих разделах в случае, когда заданы сигналы источников.

Несмотря на то, что стереофонический сигнал легко получается (поскольку это соответствует изделию, существующему сегодня), может быть трудным получать сигналы источника, соответствующие объектам, которые должны повторно микшироваться в декодере. Таким образом, желательно формировать дополнительную информацию для повторного микширования, даже если сигналы источников объектов не доступны. В последующем описании описана технология полностью слепого формирования для формирования дополнительной информации только из стереофонического сигнала.

Фиг.8A - структурная схема реализации системы 800 кодирования, реализующей полностью слепое формирование дополнительной информации. Система 800 кодирования обычно включает в себя матрицу 802 гребенки фильтров, формирователь 804 дополнительной информации и кодировщик 806. Стереофонический сигнал принимается матрицей 802 гребенки фильтров, которая раскладывает стереофонический сигнал (например, левый и правый каналы) на пары поддиапазонов. Пары поддиапазонов принимаются процессором 804 дополнительной информации, который формирует дополнительную информацию из пар поддиапазонов с использованием требуемых перепада L_i уровней источника и функции f(M) усиления. Отметим, что ни матрица 802 гребенки фильтров, ни процессор 804 дополнительной информации не оперируют сигналами источников. Дополнительная информация выводится полностью из входного стереофонического сигнала, требуемого перепада уровней источника, L_i, и функции усиления, f(M).

Фиг.8B - блок-схема последовательности операций способа реализации последовательности 808 операций кодирования с использованием системы 800 кодирования по фиг.8A. Входной стереофонический сигнал раскладывается на пары поддиапазонов (810). Для каждого поддиапазона коэффициенты усиления, a_i и b_i, определяются для каждого требуемого сигнала источника с использованием требуемого значения перепада уровней источника, L_i (812). Для сигнала источника прямого звучания (например, сигнала источника, панорамированного по центру в павильоне звукозаписи), требуемым перепадом уровней источника является L_i=0 дБ. При заданном L_i вычисляются коэффициенты усиления:

где A=10^Li/10. Отметим, что a_i и b_i были рассчитаны из условия, чтобы a_i²+b_i²=1. Это условие не является необходимостью, скорее оно является произвольным выбором для предохранения a_i или b_i от становления большими, когда велика амплитуда L_i.

Затем оценивается мощность поддиапазона прямого звучания с использованием пары поддиапазонов и коэффициентов усиления микширования (814). Для вычисления мощности поддиапазона прямого звучания можно допустить, что левый и правый поддиапазон каждого входного сигнала в каждый момент времени может быть выражен:

где a и b - коэффициенты усиления микширования, s представляет прямое звучание всех сигналов источников, а n₁ и n₂ представляют независимое звуковое сопровождение. Может быть допущено, что a и b являются:

где B=E{x₂²(k)}/E{x₁²(k)}. Отметим, что a и b могут вычисляться из условия, чтобы перепад уровней, с которым s содержится в x₂ и x₁, являлся таким же, как перепад уровней между x₂ и x₁. Перепадом уровней в дБ у прямого звучания является M=log₁₀B.

Можем вычислять мощность поддиапазона прямого звучания, E{s²(k)}, согласно модели прохождения сигналов, приведенной в [44]. В некоторых реализациях используется следующая система Уравнений:

Было допущено в [46], что s, n₁ и n₂ в [34] взаимно независимы, левосторонние параметры в [46] могут измеряться, и доступны a и b. Таким образом, тремя неизвестными в [46] являются E{s²(k)}, E{n₁²(k)} и E{n₂²(k)}. Мощность поддиапазона прямого звучания, E{s²(k)}, может быть задана посредством

Мощность поддиапазона прямого звучания также может быть записана в качестве функции когерентности [17]

В некоторых реализациях вычисление требуемой мощности поддиапазона источника, E{s_i²(k)}, может выполняться в два этапа: сначала вычисляется мощность поддиапазона прямого звучания, E{s²(k)}, где s представляет прямое звучание всех источников (например, панорамированное по центру) в [44]; затем, вычисляются (816) требуемые мощности поддиапазонов источников, E{s_i²(k)}, посредством модифицирования мощности поддиапазона прямого звучания, E{s²(k)}, в качестве функции направления прямого звучания (представленного M) и требуемого направления звучания (представленного требуемым перепадом L уровней источников):

где f(.) - функция усиления, которая является функцией направления, возвращает коэффициент усиления, который близок к единице только для направления требуемого источника. В качестве заключительного этапа коэффициенты усиления и мощности E{s_i²(k)} подиапазонов могут квантоваться и кодироваться для формирования дополнительной информации (818).

Фиг.9 иллюстрирует примерную функцию f(M) усиления для требуемого перепада уровней источника, L_i=L dB. Отметим, что степень направленности может регулироваться в показателях выбора f(M), чтобы имела более или менее узкий пик вокруг требуемого направления L_o. Для требуемого источника в центре может использоваться ширина пика L_o=6 дБ.

Отметим, что с полностью слепой технологией, описанной выше, может быть определена дополнительная информация (a_i, b_i, E{s_i²(k)}) для заданного сигнала s_i источника.

B. Сочетание между слепым и неслепым формированием дополнительной информации

Технология полностью слепого формирования, описанная выше, может быть ограничена при определенных условиях. Например, если два объекта имеют одинаковое местоположение (направление) в павильоне стереофонической звукозаписи, то может не быть возможным вслепую формировать дополнительную информацию, относящуюся к одному или обоим объектам.

Альтернативой полностью слепому формированию дополнительной информации является частично слепое формирование дополнительной информации. Частично слепая технология формирует колебательный сигнал объекта, который грубо соответствует исходному колебательному сигналу объекта. Это, например, может делаться вынуждением певцов или музыкантов проигрывать/воспроизводить отдельный объектный сигнал. Либо можно применять данные MIDI (цифрового интерфейса музыкальных инструментов) для этой цели, или позволить синтезатору формировать объектный сигнал. В некоторых реализациях «необработанный» колебательный сигнал объекта является выравненным по времени со стереофоническим сигналом, относительно которого должна формироваться дополнительная информация. В таком случае дополнительная информация может формироваться с использованием последовательности операций, которая является комбинацией слепого и неслепого формирования дополнительной информации.

Фиг.10 - схема реализации последовательности 1000 операций формирования дополнительной информации с использованием технологии частично слепого формирования. Последовательность 1000 операций начинается получением входного стереофонического сигнала и M «необработанных» сигналов источников (1002). Затем коэффициенты a_i и b_i усиления определяются для М «необработанных» сигналов источников (1004). В каждом временном интервале, в каждом поддиапазоне, определяется первая краткосрочная оценка мощности поддиапазона, E{s_i²(k)}, для каждого «необработанного» сигнала источника (1006). Вторая краткосрочная оценка мощности поддиапазона, Ehat{s_i²(k)}, определяется для каждого «необработанного» сигнала источника с использованием технологии полностью слепого формирования, примененной к входному стереофоническому сигналу (1008).

В заключение к оцененным мощностям поддиапазонов применяется функция, которая объединяет первую и вторую оценки мощности поддиапазона и возвращает заключительную оценку, которая может эффективно использоваться для вычисления дополнительной информации (1010). В некоторых реализациях функция F() задана согласно

VI. Архитектуры, пользовательские интерфейсы, синтаксис битового потока

A. Клиент/серверная архитектура

Фиг.11 - структурная схема реализации клиент-серверной архитектуры 1100 для поставки стереофонических сигналов и M сигналов источников и/или дополнительной информации в звуковые устройства 1110 с возможностью повторного микширования. Архитектура 1100 является только примером. Возможны другие архитектуры, в том числе архитектуры с большим или меньшим количеством компонентов.

Архитектура 1100, как правило, включает в себя службу 1102 загрузки, имеющую хранилище 1104 (например, MySQL™) и сервер 1106 (например, сервер Windows™ NT, Linux). Хранилище 1104 может хранить различные типы контента, включая профессионально микшированные стереофонические сигналы и ассоциативно связанные сигналы источников, соответствующие объектам в стереофонических сигналах и различным эффектам (например, реверберации). Стереофонические сигналы могут храниться в многообразии стандартизованных форматов, в том числе MP3, PCM, AAC и т.п.

В некоторых реализациях сигналы источников хранятся в хранилище 1104 и сделаны доступными для загрузки в звуковые устройства 1110. В некоторых реализациях предварительно обработанная дополнительная информация хранится в хранилище 1104 и сделана доступной для загрузки в звуковые устройства 1110. Предварительно обработанная дополнительная информация может формироваться сервером 1106 с использованием одной или более схем кодирования, описанных со ссылкой на фиг.1A, 6A и 8A.

В некоторых реализациях служба 1102 загрузки (например, веб-сайт, музыкальный магазин) поддерживает связь с звуковыми устройствами 1110 через сеть 1108 (например, сеть Интернет, сеть интранет, сеть Ethernet, беспроводную сеть, одноранговую сеть). Звуковые устройства 1110 могут быть любым устройством, допускающим реализацию раскрытых схем повторного микширования (например, медиаплеерами/устройствами записи, мобильными телефонами, персональными цифровыми секретарями (PDA), игровыми консолями, телевизионными абонентскими приставками, телевизионными приемниками, медиацентрами и т.п.).

B. Архитектура звукового устройства

В некоторых реализациях звуковое устройство 1110 включает в себя один или более процессоров или процессорных ядер 1112, устройства 1114 ввода (например, координатное колесо, мышь, джойстик, сенсорный экран), устройства 1120 вывода (например, ЖКД (жидкокристаллический дисплей LCD)), сетевые интерфейсы 1118 (например, USB, FireWire, Ethernet, плату сетевого интерфейса, беспроводный приемопередатчик) и машиночитаемый носитель 1116 (например, память, жесткий диск, флэш-память). Некоторые или все из этих компонентов могут отправлять и/или принимать информацию через каналы 1122 связи (например, шину, мост).

В некоторых реализациях машиночитаемый носитель 1116 включает в себя операционную систему, музыкальный диспетчер, звуковой процессор, модуль повторного микширования и музыкальную библиотеку. Операционная система ответственна за управление основными административными и коммуникационными задачами звукового устройства 1110, в том числе управление файлами, доступ к памяти, конфликты на шине, управление периферией, управление пользовательским интерфейсом, управление питанием и т.п. Музыкальный диспетчер может быть приложением, которое управляет музыкальной библиотекой. Звуковой процессор может быть традиционным звуковым процессором для воспроизведения музыкальных файлов (например, MP3, звукозаписи CD, и т.п.). Модуль повторного микширования может быть одним или более компонентов программного обеспечения, которые реализуют функциональные возможности схем повторного микширования, описанных со ссылкой на фиг.1-10.

В некоторых реализациях сервер 1106 кодирует стереофонический сигнал и формирует дополнительную информацию, как описано в ссылках на фиг.1A, 6A и 8A. Стереофонический сигнал и дополнительная информация загружаются в звуковое устройство 1110 через сеть 1108. Модуль повторного микширования декодирует сигналы и дополнительную информацию и предоставляет возможность повторного микширования на основании пользовательского ввода, принятого через устройство 1114 ввода (например, клавиатуру, координатное колесо, сенсорный экран).

C. Пользовательский интерфейс для приема пользовательского ввода

Фиг.12 иллюстрирует реализацию пользовательского интерфейса 1202 для медиаплеера 1200 с возможностью повторного микширования. Пользовательский интерфейс 1202 также может быть адаптирован к другим устройствам (например, мобильным телефонам, компьютерам и т. п.). Пользовательский интерфейс не ограничен показанными конфигурацией и форматом и может включать в себя разные типы элементов пользовательского интерфейса (например, элементы управления навигацией, сенсорные интерфейсы).

Пользователь может вводить режим «повторного микширования» для устройства 1200, выделяя надлежащий элемент на пользовательском интерфейсе 1202. В этом примере предполагается, что пользователь выбрал песню из музыкальной библиотеки, и пожелал бы изменить настройку панорамирования дорожки ведущей вокальной партии. Например, пользователь может пожелать слышать больше ведущей вокальной партии в левом звуковом канале.

Чтобы получить доступ к требуемому элементу управления панорамированием, пользователь может осуществлять навигацию по последовательности подменю 1204, 1206 и 1208. Например, пользователь может осуществлять прокрутку для просмотра по пунктам в подменю 1204, 1206 и 1208 с использованием колеса 1210. Пользователь может выбирать выделенный пункт меню щелчком по кнопке 1212. Подменю 1208 предоставляет доступ к требуемому элементу управления панорамированием для дорожки ведущей вокальной партии. Затем пользователь может манипулировать ползунком (например, с использованием колеса 1210) для настройки панорамирования ведущей вокальной партии, как требуется, в то время как проигрывается песня.

D. Синтаксис битового потока

В некоторых реализациях схемы повторного микширования, описанные со ссылкой на фиг.1-10, могут быть включены в существующие или будущие стандарты звукового кодирования (например, MPEG-4). Синтаксис битового потока для существующих и будущих стандартов кодирования может включать в себя информацию, которая может использоваться декодером с возможностью повторного микширования для определения, каким образом обрабатывать битовый поток, чтобы предусмотреть повторное микширование пользователем. Такой синтаксис может быть разработан для обеспечения обратной совместимости с традиционными схемами кодирования. Например, структура данных (например, заголовок пакета), включенный в битовый поток, может включать в себя информацию (например, один или более битов или флажковых признаков), указывающую наличие дополнительной информации (например, коэффициентов усиления, мощности поддиапазонов) для повторного микширования.

Раскрытые и другие варианты осуществления и функциональные операции, описанные в этом описании изобретения, могут быть реализованы в цифровой электронной схеме, или в компьютерном программном обеспечении, аппаратно реализованном программном обеспечении, включающих в себя структуры, раскрытие в этом описании изобретения и их структурные эквиваленты, или в комбинациях одного или более из них. Раскрытые и другие варианты осуществления могут быть реализованы в качестве одного или более компьютерных программных изделий, то есть одного или более модулей команд компьютерной программы, закодированных на машиночитаемом носителе для выполнения посредством или для управления работой устройства обработки данных. Машиночитаемый носитель может быть машиночитаемым устройством хранения данных, машиночитаемой запоминающей подложкой, устройством памяти, композицией, воздействующей на машиночитаемый распространяемый сигнал, или комбинацией одного или более из них. Термин «устройство обработки данных» охватывает все устройства, приспособления и машины для обработки данных, в том числе в качестве примера программируемый процессор, компьютер, либо многочисленные процессоры или компьютеры. Устройство может включать в себя в дополнение к аппаратным средствам машинную программу, которая создает среду выполнения для данной компьютерной программы, например машинную программу, которая составляет аппаратно реализованное программное обеспечение процессора, стек протоколов, систему управления базой данных, операционную систему или комбинацию одного или более из них. Распространяемый сигнал является искусственно сформированным сигналом, например сформированным машиной электрическим, оптическим или электромагнитным сигналом, который формируется, чтобы кодировать информацию для передачи на пригодное устройство приемника.

Компьютерная программа (также известная как программа, программное обеспечение, программно реализованное приложение, сценарий или код) может быть написана на любой разновидности языка программирования, в том числе компилируемых или интерпретируемых языках, и она может применяться в любой форме, в том числе в качестве автономной программы или в качестве модуля, компонента, процедуры или другого блока, пригодного для использования в вычислительной среде. Компьютерная программа не обязательно соответствует файлу или файловой системе. Программа может храниться в части файла, который удерживает другие программы или данные (например, один или более сценариев, хранимых в документе на языке разметки), в одиночном файле, выделенном для данной программы, или многочисленных скоординированных файлах (например, файлах, которые хранят один или более модулей, подпрограмм, или порций кода). Компьютерная программа может быть развернута, чтобы выполняться на одном компьютере или на многочисленных компьютерах, которые расположены на одной площадке или распределены по многочисленным площадкам и взаимосвязаны сетью связи.

Последовательности операций и логические потоки, описанные в этом описании изобретения, могут выполняться одним или более программируемых процессоров, приводящих в исполнение одну или более компьютерных программ для выполнения функций посредством оперирования с входными данными и формирования выходных сигналов. Последовательности операций и логические потоки также могут выполняться посредством, и устройство также может быть реализовано в качестве логической схемы специального назначения, например FPGA (программируемой пользователем вентильной матрицы) или ASIC (специализированной интегральной схемы).

Процессоры, пригодные для выполнения компьютерной программы, включают в себя в качестве примера микропроцессоры как общего применения, так и специального назначения, и любые один или более процессоров любой разновидности цифрового компьютера. Обычно процессор будет принимать команды и данные из постоянного запоминающего устройства или оперативного запоминающего устройств, либо обоих. Существенными элементами компьютера являются процессор для выполнения команд и одно или более устройств памяти для хранения команд и данных. Как правило, компьютер также будет включать в себя или будет оперативно присоединен для приема данных из или передачи данных в, либо того и другого к одному или более устройствам хранения большой емкости для хранения данных, например магнитным, магнитооптическим дискам или оптическим дискам. Однако компьютеру не обязательно содержать такие устройства. Машиночитаемые носители для хранения команд и данных компьютерной программы включают в себя все разновидности энергозависимой памяти, носителей и устройств памяти, в том числе в качестве примера полупроводниковые устройства памяти, например СППЗУ (стираемое программируемое постоянное запоминающее устройство, EPROM), ЭСППЗУ (электрически стираемое программируемое постоянное запоминающее устройство, EEPROM), и устройства флэш-памяти; магнитные диски, например внутренние жесткие диски или съемные диски; магнитооптические диски; и диски CD-ROM (ПЗУ на компакт диске) и DVD-ROM (ПЗУ на многофункциональном цифровом диске). Процессор и память могут быть дополнены или включены в состав логической схемой специального назначения.

Чтобы предусмотреть взаимодействие с пользователем, раскрытые варианты осуществления могут быть реализованы на компьютере, имеющем в распоряжении устройство отображения, например монитор с ЭЛТ (электронно-лучевой трубкой, CRT), либо ЖКД (жидкокристаллическим дисплеем), для отображения информации пользователю, а также клавиатуру и координатно-указательное устройство, например мышь или шаровой манипулятор, посредством которых пользователь может выдавать входные данные в компьютер. Другие виды устройств могут использоваться, чтобы также предусматривать взаимодействие с пользователем; например, обратная связь, предоставляемая пользователю, может быть любой формой сенсорной обратной связи, например визуальной обратной связью, слуховой обратной связью, тактильной обратной связью; и входные данные от пользователя могут приниматься в любой форме, включая акустический, речевой или тактильный ввод.

Раскрытые варианты осуществления могут быть реализованы в вычислительной системе, которая включает в себя компонент прикладного программного обеспечения, например как сервер данных, или которая включает в себя компонент межплатформенного программного обеспечения, например сервер приложений, или которая включает в себя компонент интерфейсного программного обеспечения, например клиентский компьютер, имеющий графический интерфейс пользователя или веб-браузер, с помощью которого пользователь может взаимодействовать с реализацией того, что здесь описано, или любое сочетание одного или более компонентов прикладного программного обеспечения, межплатформенного программного обеспечения или интерфейсного программного обеспечения. Компоненты системы могут быть взаимосвязаны любой формой или носителем цифровой передачи данных, например сетью связи. Примеры сетей связи включают в себя локальную сеть («LAN») и глобальную сеть («WAN»), например сеть Интернет.

Вычислительная система может включать в себя клиентов и серверы. Клиент и сервер обычно являются удаленными друг от друга и типично взаимодействуют через сеть связи. Взаимосвязь клиента и сервера возникает в силу компьютерных программ, работающих на соответственных компьютерах и имеющих клиент-серверное взаимоотношение друг с другом.

Vii. Примеры систем, использующих технологию повторного микширования

Фиг.13 иллюстрирует реализацию системы 1300 декодера, объединяющей декодирование пространственно кодированных звуковых объектов (SAOC) и декодирование повторного микширования. SAOC является технологией звукозаписи для обработки многоканального аудио, которая предоставляет возможность интерактивного управления кодированными объектами звучания.

В некоторых реализациях система 1300 включает в себя декодер 1301 сигнала микширования, формирователь 1302 параметров и рендерер 1304 повторного микширования. Формирователь 1302 параметров включает в себя блок 1308 слепой оценки, формирователь 1310 пользовательских параметров микширования и формирователь 1306 параметров повторного микширования. Формирователь 1306 параметров повторного микширования включает в себя формирователь 1312 параметров эквивалентного микширования и формирователь 1314 параметров повышающего микширования.

В некоторых реализациях система 1300 предусматривает две последовательности операций звуковой обработки. В первой последовательности операций дополнительная информация, поставляемая системой кодирования, используется формирователем 1306 параметров повторного микширования для формирования параметров повторного микширования. Во второй последовательности операций слепые параметры формируются блоком 1308 слепой оценки и используются формирователем 1306 параметров повторного микширования для формирования параметров повторного микширования. Слепые параметры и последовательности операций полностью или частично слепого формирования могут выполняться блоком 1308 слепой оценки, как описано со ссылкой на фиг.8A и 8B.

В некоторых реализациях формирователь 1306 параметров повторного микширования принимает дополнительную информацию или слепые параметры и набор пользовательских параметров микширования из формирователя 1310 пользовательских параметров микширования. Формирователь 1310 пользовательских параметров микширования принимает параметры микширования, заданные конечными пользователями (например, усиление, панорамирование), и преобразует параметры микширования в формат, пригодный для обработки повторного микширования формирователем 1306 параметров повторного микширования (например, преобразует в коэффициенты c_i, d_i+1 усиления). В некоторых реализациях формирователь 1310 пользовательских параметров микширования дает пользователю интерфейс для предоставления пользователю возможности задавать требуемые параметры микширования, например, такой как пользовательский интерфейс 1200 медиаплеера, как описано со ссылкой на фиг.12.

В некоторых реализациях формирователь 1306 параметров микширования может обрабатывать как стереофонические, так и многоканальные звуковые сигналы. Например, формирователь 1312 параметров эквивалентного микширования может формировать параметры повторного микширования для целевого сигнала стереофонических каналов, а формирователь 1314 параметров повышающего микширования может формировать параметры повторного микширования для многоканального целевого сигнала. Формирователь параметров повторного микширования, основанный на многоканальных звуковых сигналах, описывался со ссылкой на раздел IV.

В некоторых реализациях рендерер 1304 повторного микширования принимает параметры повторного микширования для стереофонического целевого сигнала или многоканального целевого сигнала. Рендерер 1316 эквивалентного микширования применяет параметры стереофонического повторного микширования к исходному стереофоническому сигналу, принятому непосредственно из декодера 1301 сигнала микширования, чтобы выдавать требуемый повторно микшированный стереофонический сигнал на основании форматированных заданных пользователем параметров стереофонического микширования, поставляемых формирователем 1310 пользовательских параметров микширования. В некоторых реализациях параметры стереофонического микширования могут применяться к исходному стереофоническому сигналу с использованием матрицы n×n (например, матрицы 2×2) параметров стереофонического микширования. Рендерер 1318 повышающего микширования применяет параметры многоканального повторного микширования к исходному многоканальному сигналу, принятому непосредственно из декодера 1301 сигнала микширования, чтобы выдавать требуемый повторно микшированный многоканальный сигнал на основании форматированных заданных пользователем параметров многоканального микширования, поставляемых формирователем 1310 пользовательских параметров микширования. В некоторых реализациях формирователь 1320 эффектов формирует сигналы эффектов (например, реверберацию), которые должны применяться к исходным стереофоническим или многоканальным сигналам рендерером 1316 эквивалентного микширования или рендерером повышающего микширования соответственно. В некоторых реализациях рендерер 1318 повышающего микширования принимает исходный стереофонический сигнал и преобразует (или осуществляет повышающее микширование) стереофонический сигнал в многоканальный сигнал в дополнение к применению параметров повторного микширования, чтобы сформировать повторно микшированный многоканальный сигнал.

Система 1300 может обрабатывать звуковые сигналы, имеющие многообразие конфигураций каналов, предоставляющих системе 1300 возможность интегрироваться в существующие схемы звукового кодирования (например, SAOC, MPEG AAC, параметрический стереофонический сигнал), наряду с сохранением обратной совместимости с такими схемами звукового кодирования.

Фиг.14A иллюстрирует обычную модель микширования для раздельного уровня громкости диалога (SDV). SDV является улучшенной технологией расширения диалога, описанной в предварительной заявке на выдачу патента США, под № 60/884,594 на «Separate Dialogue Volume». В одной из реализаций SDV стереофонические сигналы записываются и микшируются из условия, чтобы для каждого источника сигнал когерентно входил в левый и правый каналы сигнала с отдельными контрольными сигналами направления (например, перепадом уровней, разновременностью), а отраженные/реверберированные независимые сигналы входили в каналы, определяющие ширину слухового явления и контрольные сигналы охвата слушателя. Со ссылкой на фиг.14A коэффициент a определяет направление, в котором имеет место слуховое явление, где s - прямой звук, а n₁ и n₂ - боковые отражения. Сигнал s имитирует локализованное звучание с направления, определенного коэффициентом a. Независимые сигналы, n₁ и n₂, соответствуют отраженному/реверберированному звуку, часто указываемому звуковым сопровождением или окружением. Описанный сценарий является мотивированным восприятием разложением для стереофонических сигналов с одним звуковым источником:

фиксирующим местоположение звукового источника и окружения.

Фиг.14B иллюстрирует реализацию системы 1400, объединяющей SDV с технологией повторного микширования. В некоторых реализациях система 1400 включает в себя гребенку 1402 фильтров (например, STFT), блок 1404 слепой оценки, рендерер 1406 эквивалентного микширования, формирователь 1408 параметров и обратную гребенку 1410 фильтров (например, обратное STFT).

В некоторых реализациях сигнал понижающего микширования SDV принимается и раскладывается гребенкой 1402 фильтров на сигналы поддиапазонов. Сигнал понижающего микширования может быть стереофоническим сигналом, x₁, x₂, заданным согласно [51]. Сигналы X₁ (i, k), X₂(i, k) поддиапазонов вводятся либо непосредственно в рендерер 1406 эквивалентного микширования либо в блок 1404 слепой оценки, который выводит слепые параметры, A, P_S, P_N. Вычисление этих параметров описано в предварительной заявке на выдачу патента США под № 60/884,594 на «Separate Dialogue Volume». Слепые параметры вводятся в формирователь 1408 параметров, который формирует параметры эквивалентного микширования, w₁₁- w₂₂, из слепых параметров и заданных пользователем параметров g(i, k) микширования (например, центрального усиления, ширины центра, частоты среза, сухости). Вычисление параметров эквивалентного микширования описано в разделе I. Параметры эквивалентного микширования применяются к сигналам поддиапазонов рендерером 1406 эквивалентного микширования, чтобы выдавать подвергшиеся рендерингу выходные сигналы, y₁, y₂. Подвергшиеся рендерингу выходные сигналы рендерера 1406 эквивалентного микширования вводятся в обратную гребенку 1410 фильтров, которая преобразует подвергшиеся рендерингу выходные сигналы в требуемый стереофонический сигнал SDV на основании заданных пользователем параметров микширования.

В некоторых реализациях система 1400 также может обрабатывать звуковые сигналы с использованием технологии повторного микширования, как описано со ссылкой на фиг.1-12. В режиме повторного микширования гребенка 1402 фильтров принимает стереофонические или многоканальные сигналы, такие как сигналы, описанные в [1] и [27]. Сигналы раскладываются на сигналы X₁ (i, k), X₂(i, k) поддиапазонов гребенкой 1402 фильтров и вводятся непосредственно в эквивалентный рендерер 1406 и блок 1404 слепой оценки для оценки слепых параметров. Слепые параметры вводятся в формирователь 1408 вместе с дополнительной информацией a_i, b_i, P_si, принятой в битовом потоке. Формирователь 1408 параметров применяет слепые параметры и дополнительную информацию к сигналам поддиапазонов, чтобы сформировать подвергшиеся рендерингу выходные сигналы. Подвергшиеся рендерингу выходные сигналы вводятся в обратную гребенку 1410 фильтров, которая формирует требуемый сигнал повторного микширования.

Фиг.15 иллюстрирует реализацию рендерера 1406 эквивалентного микширования, показанного на фиг.14B. В некоторых реализациях сигнал X1 понижающего микширования масштабируется модулями 1502 и 1504 масштабирования, а сигнал X2 понижающего микширования масштабируется модулями 1506 и 1508 масштабирования. Модуль 1502 масштабирования масштабирует сигнал X1 понижающего микширования параметром w₁₁ эквивалентного микширования, модуль 1504 масштабирования масштабирует сигнал X1 понижающего микширования параметром w₂₁ эквивалентного микширования, модуль 1506 масштабирования масштабирует сигнал X2 понижающего микширования параметром w₁₂ эквивалентного микширования, и модуль 1508 масштабирования масштабирует сигнал X2 понижающего микширования параметром w₂₂ эквивалентного микширования. Выходные сигналы модулей 1502 и 1506 масштабирования суммируются, чтобы выдавать первый подвергшийся рендерингу выходной сигнал y₁, а модулей 1504 и 1508 масштабирования суммируются, чтобы выдавать второй подвергшийся рендерингу выходной сигнал y₂.

Фиг.16 иллюстрирует систему 1600 распространения для технологии повторного микширования, описанной относительно фиг.1-15. В некоторых реализациях поставщик 1602 контента использует авторское инструментальное средство 1606, которое включает в себя кодировщик 1606 повторного микширования, для формирования дополнительной информации, как описано ранее относительно фиг.1A. Дополнительная информация может быть частью одного или более файлов и/или включаться в битовый поток для услуги потоковой передачи битов. Файлы повторного микширования могут иметь уникальное расширение имени файла (например, filename.rmx). Одиночный файл может включать в себя исходный микшированный звуковой сигнал и дополнительную информацию. В качестве альтернативы исходный микшированный звуковой сигнал и дополнительная информация могут распространяться в качестве отдельных файлов в пакете, комплекте, упаковке или другом подходящем контейнере. В некоторых реализациях файлы повторного микширования могут распространяться с предустановленными параметрами микширования, чтобы помогать пользователю изучать технологию и/или для маркетинговых целей.

В некоторых реализациях исходный контент (например, исходный файл микшированного аудио), дополнительная информация и необязательные предустановленные параметры микширования («информация повторного микширования») могут поставляться поставщику 1608 услуг (например, в музыкальный портал) или размещаться на физическом носителе (например, CD-ROM, DVD, медиаплеере, флэш-памяти). Поставщик 1608 услуг может управлять одним или более серверами 1610 для обслуживания всей или части информации повторного микширования и/или битовых потоков, содержащих всю или часть информации повторного микширования. Информация повторного микширования может храниться в хранилище 1612. Поставщик 1608 услуг также может предоставлять виртуальную среду (например, социальную общность, портал, доску объявлений) для совместного использования сформированных пользователем параметров микширования. Например, параметры микширования, сформированные пользователем в подготовленном для повторного микширования устройстве 1616 (например, медиаплеере, мобильном телефоне), могут сохраняться в файле параметров микширования, который может выгружаться поставщику 1608 услуг для совместного использования с другими пользователями. Файлы параметров микширования могут иметь уникальное расширение имени (например, filename.rms). В показанном примере пользователь формировал файл параметров микширования с использованием устройства A воспроизведения повторного микширования и выгружал файл параметров микширования к поставщику 1608 услуг, где файл впоследствии загружался пользователем, эксплуатирующим устройство B воспроизведения повторного микширования.

Система 1600 может быть реализована с использованием любой известной схемы управления цифровыми правами и/или другими известными способами защиты для защиты исходного контента и информации повторного микширования. Например, пользователю, эксплуатирующему устройство B воспроизведения повторного микширования, может понадобиться загрузить исходный контент отдельно и защитить право использования до того, как пользователь может осуществлять доступ или пользоваться признаками повторного микширования, предоставленными устройством B воспроизведения повторного микширования.

Фиг.17A иллюстрирует основные элементы битового потока для предоставления информации повторного микширования. В некоторых реализациях на задействованное повторным микшированием устройство может доставляться единый интегрированный битовый поток 1702, который включает в себя микшированный звуковой сигнал (Mixed_Obj BS), коэффициенты усиления и мощности поддиапазонов (Ref_Mix_Para BS), а также заданные пользователем параметры микширования (User_Mix_Para BS). В некоторых реализациях многочисленные битовые потоки для информации повторного микширования могут независимо доставляться на задействованные повторным микшированием устройства. Например, микшированный звуковой сигнал может доставляться в первом битовом потоке 1704, а коэффициенты усиления, мощности поддиапазонов и заданные пользователем параметры микширования могут доставляться во втором битовом потоке 1706. В некоторых реализациях микшированный звуковой сигнал, коэффициенты усиления и мощности поддиапазонов, и заданные пользователем параметры микширования могут доставляться в трех отдельных битовых потоках, 1708, 1710 и 1712. Эти отдельные битовые потоки могут доставляться на одной и той же или разных скоростях передачи битов. Битовые потоки могут обрабатываться по необходимости с использованием многообразия известных технологий для сбережения полосы пропускания и обеспечения надежности, в том числе побитовое перемежение, энтропийное кодирование (например, кодирование кодом Хаффмана), исправление ошибок и т.п.

Фиг.17B иллюстрирует интерфейс битового потока для кодировщика 1714 повторного микширования. В некоторых реализациях входные сигналы в интерфейс 1714 кодировщика повторного кодирования могут включать в себя микшированный объектный сигнал, индивидуальные сигналы объекта или источника и варианты выбора кодировщика. Выходные сигналы интерфейса 1714 кодировщика могут включать в себя битовый поток микшированного звукового сигнала, битовый поток, включающий в себя коэффициенты усиления и мощности поддиапазонов, и битовый поток, включающий в себя предустановленные параметры микширования.

Фиг.17C иллюстрирует интерфейс битового потока для декодера 1716 повторного микширования. В некоторых реализациях входные сигналы в интерфейс 1716 декодера могут включать в себя битовый поток микшированного звукового сигнала, битовый поток, включающий в себя коэффициенты усиления и мощности поддиапазонов, и битовый поток, включающий в себя предустановленные параметры микширования. Выходные сигналы интерфейса 1716 декодера могут включать в себя повторно микшированный звуковой сигнал, битовый поток рендерера повышающего микширования (например, многоканальный сигнал), слепые параметры повторного микширования и пользовательские параметры повторного микширования.

Возможны другие конфигурации для интерфейсов кодировщика и декодера. Конфигурации интерфейсов, проиллюстрированные на фиг.17B и 17C, могут использоваться, чтобы определять интерфейс прикладного программирования (API) для предоставления задействованным повторным микшированием устройствам возможности обрабатывать информацию повторного микширования. Показанные интерфейсы, проиллюстрированные на фиг.17B и 17C, являются примерами, и возможны другие конфигурации, в том числе конфигурации с разными количествами и типами входных и выходных сигналов, которые могут быть частично основаны на устройстве.

Фиг.18 - структурная схема, показывающая примерную систему 1800, включающую в себя расширения для формирования добавочной дополнительной информации для определенных объектных сигналов, чтобы обеспечивать улучшенное воспринимаемое качество повторно микшированного сигнала. В некоторых реализациях система 1800 включает в себя (на стороне кодирования) кодировщик 1808 сигнала микширования и усовершенствованный кодировщик 1802 повторного микширования, который включает в себя кодировщик 1804 повторного микширования и кодировщик 1806 сигналов. В некоторых реализациях система 1800 включает в себя (на стороне декодирования) декодер 1810 сигнала микширования, рендерер 1814 повторного микширования и формирователь 1816 параметров.

На стороне кодировщика микшированный звуковой сигнал кодируется кодировщиком 1808 сигнала микширования (например, кодировщиком mp3) и отправляется на сторону декодирования. Объектные сигналы (например, ведущая вокальная партия, гитара, барабаны или другие инструменты) вводятся в кодировщик 1804 повторного микширования, который формирует дополнительную информацию (например, коэффициенты усиления и мощности поддиапазонов), например, как описано ранее со ссылкой на фиг.1A и 3A. Дополнительно один или более интересующих объектных сигналов вводятся в кодировщик 1806 сигналов (например, кодировщик mp3), чтобы вырабатывать добавочную дополнительную информацию. В некоторых реализациях информация выравнивания вводится в кодировщик 1806 сигналов для выравнивания выходных сигналов кодировщика 1808 сигнала микширования и кодировщика 1806 сигналов соответственно. Информация выравнивания может включать в себя информацию временного выравнивания, тип используемого кодека, целевую скорость передачи битов, информацию или стратегию распределения битов и т.п.

На стороне декодера выходной сигнал кодировщика сигнала микширования вводится в декодер 1810 сигнала микширования (например, декодер mp3). Выходной сигнал декодера 1810 сигнала микширования и дополнительная информация кодировщика (например, сформированные кодировщиком коэффициенты усиления, мощности поддиапазонов, добавочная дополнительная информация) вводятся в формирователь 1816 параметров, который использует эти параметры, вместе с параметрами управления (например, заданными пользователем параметрами микширования), для формирования параметров повторного микширования и дополнительных данных повторного микширования. Параметры повторного микширования и дополнительные данные повторного микширования могут использоваться формирователем (рендерером) 1814 повторно микшированного сигнала для формирования повторно микшированного звукового сигнала.

Дополнительные данные повторного микширования (например, объектный сигнал) используются формирователем 1814 повторно микшированного сигнала для повторного микширования конкретного объекта в исходном звуковом сигнале микширования. Например, в приложении караоке объектный сигнал, представляющий ведущую вокальную партию, может использоваться усовершенствованным кодировщиком 1802 повторного микширования для формирования добавочной дополнительной информации (например, кодированного объектного сигнала). Этот сигнал может использоваться формирователем 1816 параметров для формирования дополнительных данных повторного микширования, которые могут использоваться формирователем 1814 повторно микшированного сигнала для повторного микширования ведущей вокальной партии в исходном звуковом сигнале микширования (например, с подавлением или ослаблением ведущей вокальной партии).

Фиг.19 - структурная схема, показывающая пример формирователя 1814 повторно микшированного сигнала, показанного на фиг.18. В некоторых реализациях сигналы X1, Х2 повторного микширования вводятся в объединители 1904, 1906 соответственно. Сигналы X1, Х2 понижающего микширования, например, могут быть левым и правым каналами исходного звукового сигнала микширования. Объединители 1904, 1906 объединяют сигналы X1, Х2 понижающего микширования с дополнительными данными повторного микширования, поставляемыми формирователем 1816 параметров. В примере караоке объединение может включать в себя вычитание объектного сигнала ведущей вокальной партии из сигналов X1, Х2 понижающего микширования перед повторным микшированием для ослабления или подавления ведущей вокальной партии в повторно микшированном звуковом сигнале.

В некоторых реализациях сигнал X1 понижающего микширования (например, левый канал исходного звукового сигнала микширования) объединяется с дополнительными данными повторного микширования (например, левым каналом объектного сигнала ведущей вокальной партии) и масштабируется модулями 1906а и 1906b масштабирования, а сигнал Х2 понижающего микширования (например, правый канал исходного звукового сигнала микширования) объединяется с дополнительными данными повторного микширования (например, правым каналом объектного сигнала ведущей вокальной партии) и масштабируется модулями 1906c и 1906d масштабирования. Модуль 1906a масштабирования масштабирует сигнал X1 понижающего микширования параметром w₁₁ эквивалентного микширования, модуль 1906b масштабирования масштабирует сигнал X1 понижающего микширования параметром w₂₁ эквивалентного микширования, модуль 1906c масштабирования масштабирует сигнал X2 понижающего микширования параметром w₁₂ эквивалентного микширования, и модуль 1906d масштабирования масштабирует сигнал X2 понижающего микширования параметром w₂₂ эквивалентного микширования, Масштабирование может быть реализовано с использованием линейной алгебры, к примеру с использованием матрицы n на n (например, 2×2). Выходные сигналы модулей 1906a и 1906c масштабирования суммируются, чтобы выдавать первый подвергшийся рендерингу выходной сигнал Y1, а модулей 1906b и 1906d масштабирования суммируются, чтобы выдавать второй подвергшийся рендерингу выходной сигнал Y2.

В некоторых реализациях можно реализовать элемент управления (например, переключатель, ползунок, кнопку) в пользовательском интерфейсе, чтобы переходить между исходным стереофоническим микшированием, режимом «караоке» и/или режимом «без инструментального сопровождения». В качестве функции положения этого управляющего элемента объединитель 1902 управляет линейной комбинацией между исходным стереофоническим сигналом и сигналом(ами), полученным посредством добавочной дополнительной информации. Например, для режима караоке сигнал, полученный из добавочной дополнительной информации, может вычитаться из стереофонического сигнала. Обработка повторным микшированием может применяться впоследствии для удаления шума квантования (если стереофонический и/или другой сигнал кодировался с потерями). Для частичного удаления вокальных партий необходимо вычитаться только части сигнала, полученного посредством добавочной дополнительной информации. Для воспроизведения только вокальных партий, объединитель 1902 выбирает сигнал, полученный посредством добавочной дополнительной информации. Для воспроизведения вокальных партий с некоторой фоновой музыкой объединитель 1902 добавляет масштабированный вариант стереофонического сигнала к сигналу, полученному посредством добавочной дополнительной информации.

Несмотря на то, что это описание изобретения содержит много особенностей, таковые должны интерпретироваться не в качестве ограничений на объем того, что является формулой изобретения, или того, что может быть заявлено формулой изобретения, а скорее в качестве описаний признаков, специфичных конкретным вариантам осуществления. Определенные признаки, которые описаны в этом описании изобретения в контексте отдельных вариантов осуществления, также могут быть реализованы в комбинации в едином варианте осуществления. Наоборот, различные признаки, которые описаны в контексте одиночного варианта осуществления, также могут быть реализованы в многочисленных вариантах осуществления, раздельно или в любой подкомбинации. Более того, хотя признаки могут быть описаны выше как действующие в определенных комбинациях, и даже изначально заявлены как таковые, один или более признаков из заявленной комбинации, в некоторых случаях, могут исключаться из комбинации, и заявленная комбинация может быть направлена на подкомбинацию или вариант подкомбинации.

Подобным образом, несмотря на то, что операции описаны на чертежах в конкретной очередности, это не должно пониматься в качестве требования, чтобы такие операции выполнялись в конкретной показанной очередности или в последовательном порядке, или чтобы выполнялись все проиллюстрированные операции для достижения требуемых результатов. В определенных случаях могут быть полезны многозадачность и параллельная обработка. Более того, разделение различных компонентов системы в вариантах осуществления, описанных выше, не должно пониматься в качестве требования такого разделения во всех вариантах осуществления, и должно быть понятно, что описанные программные компоненты и системы, в общем смысле, могут быть объединены вместе в едином программном обеспечении или упакованы в многочисленные программные изделия.

В этом описании изобретения были описаны конкретные варианты осуществления объекта изобретения. Другие варианты осуществления находятся в объеме последующей формулы изобретения. Например, действия, перечисленные в формуле изобретения, могут выполняться в разной очередности и по-прежнему достигать требуемых результатов. В качестве одного из примеров последовательность операций, изображенная на прилагаемых фигурах, не обязательно требует конкретной показанной очередности, или последовательного порядка, для достижения требуемых результатов.

В качестве еще одного примера предварительная обработка дополнительной информации, описанная в разделе 5A, предусматривает нижнюю границу в мощности поддиапазона повторно микшированного сигнала для предотвращения отрицательных значений, которые вступают в противоречие с моделью прохождения сигналов, приведенной в [2]. Однако эта модель прохождения сигналов подразумевает не только положительную мощность повторно микшированного сигнала, но также положительные векторные произведения между исходными стереофоническими сигналами и повторно микшированными стереофоническими сигналами, а именно E{x₁y₁}, E{x₁y₂}, E{x₂y₁} и E{x₂y₂}.

Начиная со случая с двумя весами, чтобы не допустить, чтобы векторные произведения E{x₁y₁} и E{x₂y₂} становились отрицательными, веса, определенные в [18], ограничиваются определенным пороговым значением, из условия, чтобы они никогда не были меньшими, чем A дБ.

В таком случае векторные произведения ограничиваются, учитывая следующие условия, где sqrt обозначает квадратный корень, а Q определено в качестве Q=10^Λ-A/10:

Если E{x₁y₁}<Q*E{x₁²}, то векторное произведение ограничено до E{x₁y₁}=Q*E{x₁²}.

Если E{y₁,y₂}<Q*sqrt(E{x₁²}E{x₂²}), то векторное произведение ограничено до E{x₁y₂}=Q*sqrt(E{x₁²}E{x₂²}).

Если E{x₂,y₁}sqrt(E{x₁²}E{x₂²}), то векторное произведение ограничено до E{x₂y₁}=Q*sqrt(E{x₁²}E{x₂²}).

Если E{x₂y₂}<Q*E{x₂²}, то векторное произведение ограничено до E{x₂y₂}=Q*E{x₂²}.