Временное и пространственное генерирование многоканальных аудиосигналов - RU2388068C2

Чертежи

Показать все 15 чертежа(ей)

Описание

Область техники, к которой относится изобретение

Изобретение относится к кодированию многоканальных аудиосигналов и, в частности, к принципу для того, чтобы улучшать пространственное восприятие восстановленного многоканального сигнала.

Описание предшествующего уровня техники

Последние разработки в аудиокодировании предоставили возможность воссоздавать многоканальное представление аудиосигнала на основе стерео- (или моно-) сигнала и соответствующих управляющих данных. Эти способы значительно отличаются от предыдущих основанных на матрицах решений, таких как Dolby Prologic, поскольку дополнительные управляющие данные передаются для того, чтобы управлять воссозданием, также упоминаемым как повышающее микширование, каналов объемного звучания на основе передаваемых моно- и стереоканалов.

Следовательно, параметрические многоканальные аудиодекодеры восстанавливают N каналов на основе M передаваемых каналов, где N>M, и на основе дополнительных управляющих данных. Дополнительные управляющие данные представляют значительно меньший расход данных, чем передача всех N каналов, делая кодирование очень эффективным и при этом обеспечивая совместимость как с M-канальными устройствами, так и с N-канальными устройствами. M каналов могут быть одноканальным моно, стерео или 5.1-канальным представлением. Следовательно, можно иметь, к примеру, 7.2-канальный исходный сигнал, обработанный с помощью понижающего микширования до 5.1-канального обратно совместимого сигнала, и пространственные аудиопараметры, позволяющие пространственному аудиодекодеру воспроизводить очень похожую версию исходных 7.2 каналов при небольших дополнительных затратах по расходу битов (битрейту).

Эти способы параметрического кодирования объемного звучания обычно содержат параметризацию сигнала объемного звучания на основе ILD (межканальной разности уровней) и ICC (межканальной когерентности). Данные параметры описывают, к примеру, соотношения мощности и корреляцию между парами каналов исходного многоканального сигнала. В процессе декодирования воссозданный многоканальный сигнал получается посредством распределения энергии принимаемых каналов понижающего микширования между всеми парами каналов, описанными посредством передаваемых параметров ILD. Тем не менее, поскольку многоканальный сигнал может иметь равное распределение мощности между всеми каналами, хотя сигналы в различных каналах очень различаются, тем самым предоставляя впечатление прослушивания очень широкого (рассеянного) звука, корректная ширина (рассеянность) получается посредством микширования сигналов с их декоррелированными версиями. Это микширование описывается посредством параметра ICC. Декоррелированная версия сигнала получается посредством прохождения сигнала через всечастотный фильтр, такой как ревербератор.

Это означает, что декоррелированная версия сигнала создается на стороне декодера и не передается, как каналы понижающего микширования, от кодера к декодеру. Выходные сигналы из всечастотных фильтров (декорреляторов) имеют временную характеристику, которая обычно очень плоская. Следовательно, дираковский входной сигнал дает затухающий шумовой выброс. Следовательно, при микшировании декоррелированного и исходного сигнала важно для некоторых типов сигналов, таких как плотные переходы (сигналы аплодисментов), генерировать временную огибающую декоррелированного сигнала так, чтобы лучше соответствовать огибающей канала понижающего микширования, который зачастую также называется сухим сигналом. Невыполнение этого приводит к восприятию большего размера пространства и ненатурально звучащим переходным сигналам. При задании переходных сигналов и ревербератора как всечастотного фильтра даже артефакты типа эхо могут быть введены, когда генерирование декоррелированных (мокрых) сигналов опускается.

С технической точки зрения одна из ключевых сложностей при восстановлении многоканальных сигналов, как, например, в рамках синтеза MPEG-звука, состоит в надлежащем воспроизведении многоканальных сигналов с очень широкой звуковой картиной. Технически говоря, это соответствует генерированию нескольких сигналов с низкой межканальной корреляцией (или когерентностью), но при плотном управлении спектральными и временными огибающими. Примерами таких сигналов являются элементы "аплодисментов", которые предоставляют как высокую степень декорреляции, так и резкие переходные события (хлопки). Как следствие, эти элементы являются наиболее критичными для технологии объемного звучания MPEG, которая, к примеру, подробнее описана в "Report on MPEG Spatial Audio Coding RMO Listening Tests", ISO/IEC JTC1/SC29/WG11 (MPEG), документ N7138, Bu-san, Korea, 2005". Как правило, предыдущие работы фокусировались на ряде аспектов, связанных с оптимальным воспроизведением широких/рассеянных сигналов, таких как аплодисменты, посредством предоставления решений, которые:

1. Приспосабливают временную (и спектральную) форму декоррелированного сигнала к форме передаваемого сигнала понижающего микширования, чтобы предотвратить помехи опережающего эхо (примечание: это не требует отправки никакой побочной информации от пространственного аудиокодера в пространственный аудиодекодер).

2. Приспосабливают временные огибающие синтезированных выходных каналов к исходным формам огибающих (присутствующим на входе соответствующего кодера) с помощью побочной информации, которая описывает временные огибающие исходных входных сигналов и которая передается от пространственного аудиокодера в пространственный аудиодекодер.

В настоящее время эталонная модель объемного звучания MPEG уже содержит несколько средств, поддерживающих кодирование таких сигналов, к примеру:

- временное генерирование во временной области (TP);

- генерирование временной огибающей (TES).

В системе синтеза объемного звучания MPEG декоррелированный звук генерируется и сводится с "сухим" сигналом, чтобы контролировать корреляцию синтезированных выходных каналов согласно передаваемым значениям ICC. Далее декоррелированный сигнал упоминается как "рассеянный" сигнал, хотя термин "рассеянный" отражает свойства восстановленного пространственного звукового поля, а не свойства самого сигнала. Для переходных сигналов рассеянный звук, генерируемый в декодере, не соответствует автоматически точной временной форме сухих сигналов и комбинируется перцепционно оптимальным образом с сухим сигналом. Это приводит к плохому воспроизведению переходов по аналогии с проблемой опережающего эхо, которая известна из перцепционного аудиокодирования. Средство TP, реализующее временное генерирование во временной области, разработано так, чтобы разрешать проблему посредством обработки рассеянного звука.

Средство TP применяется во временной области, как проиллюстрировано на фиг. 14. Оно фактически состоит из оценки временной огибающей сухих и рассеянных сигналов с более высоким временным разрешением, чем разрешение, предоставляемое посредством группы фильтров кодера объемного звучания MPEG. Рассеянный сигнал перемасштабируется по своей временной огибающей, чтобы соответствовать огибающей "сухого" сигнала. Это приводит к значительному повышению качества звука для критичных переходных сигналов с широкой пространственной картиной/низкой корреляцией между сигналами каналов, таких как аплодисменты.

Генерирование огибающей (корректировка временного изменения энергии, содержащейся в канале) выполняется посредством согласования нормализованной кратковременной энергии "сырого" сигнала с энергией "сухого" сигнала. Это достигается посредством изменяющейся во времени функции усиления, которая применяется к рассеянному сигналу, так что временная огибающая рассеянного сигнала генерируется так, чтобы соответствовать огибающей "сухого" сигнала.

Отметим, что это не требует того, чтобы какая-либо побочная информация была передана от кодера в декодер, чтобы обрабатывать временную огибающую сигнала (только управляющая информация для выборочного включения/отключения TP передается посредством кодера объемного звучания).

Фиг. 14 иллюстрирует временное генерирование во временной области, применяемое к кодированию объемного звучания MPEG. Прямой сигнал 10 и рассеянный сигнал 12, которые должны быть сгенерированы, являются сигналами, которые должны быть обработаны, оба предоставляемые в области группы фильтров. В объемном звучании MPEG, в необязательном порядке, может быть доступен остаточный сигнал 14, который прибавляется к прямому сигналу 10 по-прежнему в рамках области группы фильтров. В специальном случае декодера объемного звучания MPEG генерируются только высокочастотные части рассеянного сигнала 12, тем самым низкочастотные части 16 сигнала добавляются к прямому сигналу 10 в области группы фильтров.

Прямой сигнал 10 и рассеянный сигнал 12 по отдельности преобразуются во временную область посредством устройств 18a и 18b синтеза группы фильтров. Фактическое временное генерирование во временной области выполняется после группы фильтров синтеза. Поскольку должны быть сгенерированы только высокочастотные части рассеянного сигнала 12, представления во временной области прямого сигнала 10 и рассеянного сигнала 12 вводятся в фильтры 20a и 20b верхних частот, которые гарантируют то, что только высокочастотные части используются в последующих этапах фильтрации. Последующее спектральное отбеливание сигналов может выполняться в спектральных отбеливателях (средствах отбеливания) 22a и 22b, чтобы обеспечить то, что соотношения амплитуды (энергии) полного спектрального диапазона сигналов учитываются в последующей оценке 24 огибающих, которая сравнивает соотношение энергий, которые содержатся в прямом сигнале и рассеянном сигнале, в заданном временном отрезке. Этот временной отрезок обычно задается посредством длины кадра. Оценка 24 огибающей имеет в качестве выходных данных коэффициент 26 масштабирования, который применяется к рассеянному сигналу 12 при генерировании 28 огибающей во временной области, чтобы гарантировать то, что огибающая сигнала фактически одинаковая для рассеянного сигнала 12 и прямого сигнала 10 в каждом кадре.

В завершение, рассеянный сигнал со сгенерированной огибающей повторно подвергается фильтрации верхних частот посредством фильтра 29 верхних частот, чтобы гарантировать то, что артефакты в полосах низких частот не содержатся для рассеянного сигнала со сгенерированной огибающей. Комбинирование прямого сигнала и рассеянного сигнала выполняется посредством сумматора 30. Выходной сигнал 32 в таком случае содержит части прямого сигнала 10 и рассеянного сигнала 12, при этом для рассеянного сигнала огибающая сгенерирована так, чтобы обеспечить то, что огибающая сигнала фактически одинаковая для рассеянного сигнала 12 и прямого сигнала 10, до комбинирования.

Проблема точного контроля временной формы рассеянного звука может быть разрешена посредством так называемого средства генерирования временной огибающей (TES), которое разработано так, чтобы быть несложной альтернативой средству временной обработки (TP). Хотя TP работает во временной области посредством масштабирования во временной области огибающей рассеянного звука, подход TES достигает такого же главного эффекта посредством управления огибающей временного звука в представлении спектральной области. Это выполняется аналогично подходу временного генерирования шума (TNS), известному из стандарта MPEG-2/4 Перспективное звуковое кодирование (AAC). Обработка точной временной огибающей рассеянного звука достигается посредством свертывания его спектральных коэффициентов по частоте с помощью надлежащего фильтра генерирования, полученного из LPC-анализа спектральных коэффициентов сухого сигнала. Вследствие достаточно высокого временного разрешения группы фильтров объемного звучания MPEG обработка TES требует только фильтрации нижнего порядка (комплексного прогнозирования первого порядка) и таким образом имеет небольшую вычислительную сложность. С другой стороны, вследствие ограничений, к примеру, связанных с временным наложением, он не может предоставить в полной степени временной контроль, который предлагает средство TP.

Отметим, что аналогично случаю TP, TES не требует передачу какой-либо побочной информации от кодера к декодеру, чтобы описать временную огибающую сигнала.

Оба средства, TP и TES, успешно разрешают проблему временного генерирования рассеянного звука посредством приспособления его временной формы к форме передаваемого сигнала понижающего микширования. Хотя это предотвращает опережающее эхо обнаружения, это не может компенсировать второй тип недостатка многоканального выходного сигнала, который обусловлен отсутствием пространственного перераспределения.

Сигнал аплодисментов состоит из плотной смеси переходных событий (хлопков), некоторые из которых типично попадают в один параметрический кадр. Очевидно, не все хлопки в кадре возникают из одного (или аналогичного) пространственного направления. Тем не менее, для декодера объемного звучания MPEG временная модульность декодера в значительной степени определяется размером кадра и временной модульностью параметрического такта. Таким образом, после синтеза все хлопки, которые попадают в кадр, показываются с одной пространственной ориентацией (распределением уровней между выходными каналами), в отличие от исходного сигнала, для которого каждый хлопок может быть локализован (и фактически воспринят) отдельно.

Чтобы также достичь хороших результатов в отношении пространственного перераспределения наиболее критических сигналов, таких как сигналы аплодисментов, временные огибающие подвергнутого повышающему микшированию сигнала должны быть сгенерированы с очень высоким временным разрешением.

Сущность изобретения

Цель настоящего изобретения заключается в том, чтобы реализовать концепцию кодирования многоканальных аудиосигналов, которая обеспечивает эффективное кодирование, предоставляющее улучшенное сохранение пространственного распределения многоканальных сигналов.

В соответствии с первым аспектом настоящего изобретения, эта цель достигается посредством декодера для генерирования многоканального выходного сигнала на основе базового сигнала, полученного из исходного многоканального сигнала, имеющего один или более каналов, при этом число каналов базового сигнала меньше числа каналов исходного многоканального сигнала, причем базовый сигнал организован в виде кадров, кадр содержит значения дискретизации, имеющие высокое разрешение, и на основе параметрического представления формы сигнала, представляющего форму сигнала в представлении с промежуточным разрешением для выбранного исходного канала исходного многоканального сигнала, при этом параметрическое представление формы сигнала включает в себя последовательность промежуточных параметров формы сигнала, имеющих промежуточное временное разрешение ниже упомянутого высокого временного разрешения значений дискретизации и выше низкого временного разрешения, задаваемого частотой следования кадров, содержащего: блок повышающего микширования для генерирования множества подвергнутых повышающему микшированию каналов, имеющих временное разрешение выше промежуточного разрешения; и генерирователь для генерирования выбранного подвергнутого повышающему микшированию канала с помощью промежуточных параметров формы сигнала выбранного исходного канала, соответствующего выбранному подвергнутому повышающему микшированию каналу.

В соответствии со вторым аспектом настоящего изобретения, эта цель достигается посредством кодера для генерирования параметрического представления формы сигнала канала многоканального сигнала, представляемого посредством кадров, при этом кадр содержит значения дискретизации, имеющие период дискретизации, причем кодер содержит: блок понижения временного разрешения для получения представления с низким разрешением канала с помощью значений дискретизации кадра, при этом представление с низким разрешением имеет значения с низким разрешением, имеющие ассоциированный период низкого разрешения, больший периода дискретизации; и блок вычисления параметров формы сигнала для вычисления параметрического представления формы сигнала, представляющего форму сигнала в представлении с низким разрешением, при этом блок вычисления параметров формы сигнала выполнен с возможностью генерировать последовательность параметров формы сигнала, имеющих временное разрешение ниже временного разрешения значений дискретизации и выше временного разрешения, задаваемого частотой следования кадров.

В соответствии с третьим аспектом настоящего изобретения, эта цель достигается посредством способа генерирования многоканального выходного сигнала на основе базового сигнала, полученного из исходного многоканального сигнала, имеющего один или более каналов, при этом число каналов базового сигнала меньше числа каналов исходного многоканального сигнала, причем базовый сигнал организован в виде кадров, кадр содержит значения дискретизации, имеющие высокое разрешение, и на основе параметрического представления формы сигнала, представляющего форму сигнала в представлении с промежуточным разрешением для выбранного исходного канала исходного многоканального сигнала, при этом параметрическое представление формы сигнала включает в себя последовательность промежуточных параметров формы сигнала, имеющих промежуточное временное разрешение ниже упомянутого высокого временного разрешения значений дискретизации и выше низкого временного разрешения, задаваемого частотой следования кадров, причем способ содержит: генерирование множества подвергнутых повышающему микшированию каналов, имеющих временное разрешение выше промежуточного разрешения; и генерирование выбранного подвергнутого повышающему микшированию канала с помощью промежуточных параметров формы сигнала выбранного исходного канала, соответствующего выбранному подвергнутому повышающему микшированию каналу.

В соответствии с четвертым аспектом настоящего изобретения, эта цель достигается посредством способа генерирования параметрического представления формы сигнала канала многоканального сигнала, представляемого посредством кадров, при этом кадр содержит значения дискретизации, имеющие период дискретизации, причем способ содержит: получение представления с низким разрешением канала с помощью значений дискретизации кадра, при этом представление с низким разрешением имеет значения с низким разрешением, имеющие ассоциированный период низкого разрешения, больший периода дискретизации; и вычисление параметрического представления формы сигнала, представляющего форму сигнала в представлении с низким разрешением, при этом при вычислении параметров формы сигнала генерируют последовательность параметров формы сигнала, имеющих временное разрешение ниже временного разрешения значений дискретизации и выше временного разрешения, задаваемого частотой следования кадров.

В соответствии с пятым аспектом настоящего изобретения, эта цель достигается посредством представления многоканального аудиосигнала на основе базового сигнала, полученного из многоканального аудиосигнала, имеющего один или более каналов, при этом число каналов базового сигнала меньше числа каналов многоканального сигнала, причем базовый сигнал организован в виде кадров, кадр содержит значения дискретизации, имеющие высокое разрешение, и на основе параметрического представления формы сигнала, представляющего форму сигнала в представлении с промежуточным разрешением для выбранного исходного канала многоканального сигнала, при этом параметрическое представление формы сигнала включает в себя последовательность промежуточных параметров формы сигнала, имеющих промежуточное временное разрешение ниже упомянутого высокого временного разрешения значений дискретизации и выше низкого временного разрешения, задаваемого частотой следования кадров.

В соответствии с шестым аспектом настоящего изобретения, эта цель достигается посредством машиночитаемого носителя информации, имеющего сохраненным представление многоканального аудиосигнала на основе базового сигнала, полученного из многоканального аудиосигнала, имеющего один или более каналов, при этом число каналов базового сигнала меньше числа каналов многоканального сигнала, причем базовый сигнал организован в виде кадров, кадр содержит значения дискретизации, имеющие высокое разрешение, и на основе параметрического представления формы сигнала, представляющего форму сигнала в представлении с промежуточным разрешением для выбранного канала многоканального сигнала, при этом параметрическое представление формы сигнала включает в себя последовательность промежуточных параметров формы сигнала, имеющих промежуточное временное разрешение ниже упомянутого высокого временного разрешения значений дискретизации и выше низкого временного разрешения, задаваемого частотой следования кадров.

В соответствии с седьмым аспектом настоящего изобретения, эта цель достигается посредством приемного устройства или аудиопроигрывателя, имеющего декодер для генерирования многоканального выходного сигнала на основе базового сигнала, полученного из исходного многоканального сигнала, имеющего один или более каналов, при этом число каналов базового сигнала меньше числа каналов исходного многоканального сигнала, причем базовый сигнал организован в виде кадров, кадр содержит значения дискретизации, имеющие высокое разрешение, и на основе параметрического представления формы сигнала, представляющего форму сигнала в представлении с промежуточным разрешением для выбранного исходного канала исходного многоканального сигнала, при этом параметрическое представление формы сигнала включает в себя последовательность промежуточных параметров формы сигнала, имеющих промежуточное временное разрешение ниже упомянутого высокого временного разрешения значений дискретизации и выше низкого временного разрешения, задаваемого частотой следования кадров, содержащего: блок повышающего микширования для генерирования множества подвергнутых повышающему микшированию каналов, имеющих временное разрешение выше промежуточного разрешения; и генерирователь для генерирования выбранного подвергнутого повышающему микшированию канала с помощью промежуточных параметров формы сигнала выбранного исходного канала, соответствующего выбранному подвергнутому повышающему микшированию каналу.

В соответствии с восьмым аспектом настоящего изобретения, эта цель достигается посредством передающего устройства или аудиорекордера, имеющего кодер для генерирования параметрического представления формы сигнала канала многоканального сигнала, представляемого посредством кадров, при этом кадр содержит значения дискретизации, имеющие период дискретизации, причем кодер содержит: блок понижения временного разрешения для получения представления с низким разрешением канала с помощью значений дискретизации кадра, при этом представление с низким разрешением имеет значения с низким разрешением, имеющие ассоциированный период низкого разрешения, больший периода дискретизации; и блок вычисления параметров формы сигнала для вычисления параметрического представления формы сигнала, представляющего форму сигнала в представлении с низким разрешением, при этом блок вычисления параметров формы сигнала выполнен с возможностью генерировать последовательность параметров формы сигнала, имеющих временное разрешение ниже временного разрешения значений дискретизации и выше временного разрешения, задаваемого частотой следования кадров.

В соответствии с девятым аспектом настоящего изобретения, эта цель достигается посредством способа приема или воспроизведения аудио, причем способ имеет способ генерирования многоканального выходного сигнала на основе базового сигнала, полученного из исходного многоканального сигнала, имеющего один или более каналов, при этом число каналов базового сигнала меньше числа каналов исходного многоканального сигнала, причем базовый сигнал организован в виде кадров, кадр содержит значения дискретизации, имеющие высокое разрешение, и на основе параметрического представления формы сигнала, представляющего форму сигнала в представлении с промежуточным разрешением для выбранного исходного канала исходного многоканального сигнала, при этом параметрическое представление формы сигнала включает в себя последовательность промежуточных параметров формы сигнала, имеющих промежуточное временное разрешение ниже упомянутого высокого временного разрешения значений дискретизации и выше низкого временного разрешения, задаваемого частотой следования кадров, при этом способ содержит: генерирование множества подвергнутых повышающему микшированию каналов, имеющих временное разрешение выше промежуточного разрешения; и генерирование выбранного подвергнутого повышающему микшированию канала с помощью промежуточных параметров формы сигнала выбранного исходного канала, соответствующего выбранному подвергнутому повышающему микшированию каналу.

В соответствии с десятым аспектом настоящего изобретения, эта цель достигается посредством способа передачи или аудиозаписи, причем способ имеет способ генерирования параметрического представления формы сигнала канала многоканального сигнала, представляемого посредством кадров, при этом кадр содержит значения дискретизации, имеющие период дискретизации, при этом способ содержит: получение представления с низким разрешением канала с помощью значений дискретизации кадра, при этом представление с низким разрешением имеет значения с низким разрешением, имеющие ассоциированный период низкого разрешения, больший периода дискретизации; и вычисление параметрического представления формы сигнала, представляющего форму сигнала в представлении с низким разрешением, при этом при вычислении параметров формы сигнала генерируют последовательность параметров формы сигнала, имеющих временное разрешение ниже временного разрешения значений дискретизации и выше временного разрешения, задаваемого частотой следования кадров.

В соответствии с одиннадцатым аспектом настоящего изобретения, эта цель достигается посредством системы передачи, имеющей передающее устройство и приемное устройство, при этом передающее устройство имеет кодер для генерирования параметрического представления формы сигнала канала многоканального сигнала, представляемого посредством кадров, при этом кадр содержит значения дискретизации, имеющие период дискретизации; и приемное устройство имеет декодер для генерирования многоканального выходного сигнала на основе базового сигнала, полученного из исходного многоканального сигнала, имеющего один или более каналов, при этом число каналов базового сигнала меньше числа каналов исходного многоканального сигнала, причем базовый сигнал организован в виде кадров, кадр содержит значения дискретизации, имеющие высокое разрешение, и на основе параметрического представления формы сигнала, представляющего форму сигнала в представлении с промежуточным разрешением для выбранного исходного канала исходного многоканального сигнала, при этом параметрическое представление формы сигнала включает в себя последовательность промежуточных параметров формы сигнала, имеющих промежуточное временное разрешение ниже упомянутого высокого временного разрешения значений дискретизации и выше низкого временного разрешения, задаваемого частотой следования кадров.

В соответствии с двенадцатым аспектом настоящего изобретения, эта цель достигается посредством способа передачи и приема, при этом способ передачи имеет способ генерирования параметрического представления формы сигнала канала многоканального сигнала, представляемого посредством кадров, при этом кадр содержит значения дискретизации, имеющие период дискретизации; и способ приема имеет способ генерирования многоканального выходного сигнала на основе базового сигнала, полученного из исходного многоканального сигнала, имеющего один или более каналов, при этом число каналов базового сигнала меньше числа каналов исходного многоканального сигнала, причем базовый сигнал организован в виде кадров, кадр содержит значения дискретизации, имеющие высокое разрешение, и на основе параметрического представления формы сигнала, представляющего форму сигнала в представлении с промежуточным разрешением для выбранного исходного канала исходного многоканального сигнала, при этом параметрическое представление формы сигнала включает в себя последовательность промежуточных параметров формы сигнала, имеющих промежуточное временное разрешение ниже упомянутого высокого временного разрешения значений дискретизации и выше низкого временного разрешения, задаваемого частотой следования кадров.

В соответствии с тринадцатым аспектом настоящего изобретения, эта цель достигается посредством компьютерной программы, имеющей программный код для осуществления любого из вышеуказанных способов, при исполнении на компьютере.

Настоящее изобретение основано на установлении того, что выбранный канал многоканального сигнала, который представляется посредством кадров, скомпонованных из значений дискретизации, имеющих высокое временное разрешение, может быть кодирован с высоким качеством, когда получают параметрическое представление формы сигнала, представляющее форму сигнала в представлении с промежуточным разрешением выбранного канала, при этом параметрическое представление формы сигнала включает в себя последовательность промежуточных параметров формы сигнала, имеющих промежуточное временное разрешение ниже упомянутого высокого временного разрешения значений дискретизации и выше низкого временного разрешения, задаваемого частотой следования кадров. Параметрическое представление формы сигналов с промежуточным разрешением может быть использовано для того, чтобы генерировать восстановленный канал, чтобы получать канал, имеющий огибающую сигнала, близкую к огибающей выбранного исходного канала. Временная шкала, на которой выполняется генерирование, точнее временной шкалы обработки касательно кадров, тем самым повышается качество восстановленного канала. С другой стороны, временная шкала генерирования более грубая, чем временная шкала значений дискретизации, чем значительно снижается объем данных, требуемый параметрическим представлением формы сигнала.

Параметрическое представление формы сигнала, подходящее для генерирования огибающей, в предпочтительном варианте осуществления содержит показатель интенсивности сигнала в качестве параметра, который указывает интенсивность сигнала в периоде дискретизации. Поскольку интенсивность сигнала в значительной степени связана с воспринимаемой громкостью сигнала, использование параметров интенсивности сигнала, следовательно, является подходящим вариантом для реализации генерирования огибающей. Два естественных параметра интенсивности сигнала - это, например, амплитуда или квадрат амплитуды, т.е. энергия сигнала.

Настоящее изобретение направлено на предоставление механизма для того, чтобы восстанавливать пространственное распределение сигналов с высокой степенью разрешения по времени и таким образом восстанавливать полное ощущение "пространственного распространения", поскольку это важно, к примеру, для сигналов аплодисментов. Важное дополнительное условие заключается в том, что улучшенные рабочие характеристики воспроизведения достигаются без недопустимо высокого увеличения объема передаваемой управляющей информации (побочной информации объемного звучания).

Настоящее изобретение, описанное в последующих разделах, относится в первую очередь к многоканальному восстановлению аудиосигналов на основе доступного сигнала понижающего микширования и дополнительных управляющих данных. На стороне кодера извлекаются пространственные параметры, представляющие многоканальные характеристики в отношении (заданного) понижающего микширования исходных каналов. Сигнал понижающего микширования и пространственное представление используются в декодере для того, чтобы воссоздавать очень похожее представление исходного многоканального сигнала посредством распределения комбинации сигнала понижающего микширования и его декоррелированной версии к восстанавливаемым каналам.

Изобретение применимо в системах, где желателен обратно совместимый сигнал понижающего микширования, таких как цифровая стереорадиопередача (DAB, спутниковое радио XM и т.д.), но также в системах, которые требуют очень компактного представления многоканального сигнала. В последующих разделах настоящее изобретение описывается в применении в рамках аудиостандарта объемного звучания MPEG. Само собой разумеется, что он также применим в рамках других систем многоканального аудиокодирования, как, к примеру, вышеупомянутые системы.

Настоящее изобретение основано на следующих соображениях:

- для оптимального воспринимаемого аудиокачества стадия синтеза объемного звучания MPEG должна не только предоставлять средство декорреляции, но также иметь возможность повторно синтезировать пространственное распределение сигнала при точной степени разрешения по времени.

- Это требует передачи побочной информации объемного звучания, представляющей пространственное распределение (огибающие канала) многоканального сигнала.

- Чтобы минимизировать требуемый битрейт для передачи отдельных временных огибающих канала, эта информация кодируется нормализованным и зависимым способом относительно огибающей сигнала понижающего микширования. Дополнительный этап энтропийного кодирования следует далее, чтобы дополнительно снизить битрейт, требуемый для передачи огибающей.

- В соответствии с этой информацией декодер объемного звучания MPEG генерирует прямой и рассеянный звук (либо комбинированный прямой/рассеянный звук), с тем, чтобы он соответствовал временной целевой огибающей. Это предоставляет независимое управление отдельными огибающими канала и воссоздает восприятие пространственного распределения с точной степенью разрешения по времени, которое очень похоже на оригинал (вместо основанной на кадрах пространственной обработки с низким разрешением посредством только методик декорреляции).

Принцип направляемого генерирования огибающих может быть применен и в спектральной, и во временной области, при этом реализация в спектральной области предоставляет меньшую вычислительную сложность.

В одном варианте осуществления настоящего изобретения выбранный канал многоканального сигнала представляется посредством параметрического представления, описывающего огибающую канала, при этом канал представляется посредством кадров значений дискретизации, имеющих высокую частоту дискретизации, т.е. высокое временное разрешение. Огибающая задается как эволюция во времени энергии, содержащейся в канале, при этом огибающая типично вычисляется для интервала времени, соответствующего длине кадра. В настоящем изобретении временной отрезок, в течение которого один параметр описывает огибающую, уменьшается относительно временной шкалы, заданной посредством кадра, т.е. временной отрезок - это промежуточный временной интервал, больший интервала дискретизации и короче длины кадра. Чтобы достичь этого, вычисляется представление с промежуточным разрешением, которое описывает кадр с меньшим временным разрешением в сравнении с разрешением, предоставляемым посредством параметров дискретизации. Огибающая выбранного канала оценивается с временным разрешением представления с низким разрешением, которое, с одной стороны, повышает временное разрешение представления с низким разрешением и, с другой стороны, уменьшает объем данных и вычислительную сложность, которая требуется в сравнении с генерированием во временной области.

В предпочтительном варианте осуществления настоящего изобретения представление с промежуточным разрешением выбранного канала предоставляется посредством группы фильтров, которая производит представление выбранного канала группой фильтров с пониженной частотой дискретизации. В представлении группы фильтров каждый канал разделяется на ряд конечных полос частот, причем каждая полоса частот представляется посредством ряда значений дискретизации, которые описывают временную эволюцию сигнала в рамках выбранной полосы частот с временным разрешением, которое меньше временного разрешения значений дискретизации.

Применение настоящего изобретения в области гребенок фильтров имеет ряд значительных преимуществ. Реализация оптимально подходит для существующих схем кодирования, т.е. настоящее изобретение может быть реализовано полностью обратно совместимо с существующими схемами аудиокодирования, такими как аудиокодирование объемного звучания MPEG. Более того, требуемое уменьшение временного разрешения предоставляется автоматически посредством свойств понижающей дискретизации группы фильтров, и отбеливание спектра может быть реализовано с гораздо меньшей вычислительной сложностью в области группы фильтров, чем во временной области. Дополнительное преимущество заключается в том, что отвечающая изобретению концепция может быть применена только к частям выбранного канала, которые требуют генерирования с точки зрения качества восприятия.

В дополнительном предпочтительном варианте осуществления изобретения получают параметрическое представление формы сигнала выбранного канала, описывающее соотношение между огибающей выбранного канала и огибающей сигнала понижающего микширования, полученного на стороне кодера. Получение представления формы сигнала на основе дифференциальной или относительной оценки огибающих имеет основное преимущество, заключающееся в дополнительном снижении битрейта, требуемого параметрическим представлением формы сигнала. В дополнительном предпочтительном варианте осуществления таким образом полученное параметрическое представление формы сигнала квантуется для того, чтобы дополнительно снизить битрейт, требуемый параметрическим представлением формы сигнала. Помимо этого, наиболее предпочтительно применять энтропийное кодирование к квантованным параметрам для большей экономии битрейта без дополнительной потери информации.

В дополнительном предпочтительном варианте осуществления настоящего изобретения параметры формы сигнала основаны на показателях энергии, описывающих энергию, содержащуюся в выбранном канале для заданного временного отрезка. Энергия предпочтительно вычисляется как возведенная в квадрат сумма параметров дискретизации, описывающих выбранный канал.

В дополнительном варианте осуществления настоящего изобретения изобретаемая концепция получения параметрического представления формы сигнала на основе представления с промежуточным разрешением выбранного аудиоканала многоканального аудиосигнала реализуется во временной области. Требуемое получение представления с промежуточным разрешением может быть достигнуто посредством вычисления (возведенного в квадрат) среднего от суммы энергий ряда последовательных значений дискретизации. Изменение числа последовательных значений дискретизации, которые усредняются, дает возможность удобной корректировки временного разрешения процесса генерирования огибающей. В модификации ранее описанного варианта осуществления только каждое n-ое значение дискретизации используется для получения параметрического представления формы сигнала, дополнительно снижая вычислительную сложность.

В дополнительном варианте осуществления настоящего изобретения получение параметров генерирования выполняется при сравнительно низкой вычислительной сложности в частотной области, при этом фактическое генерирование, т.е. применение параметров генерирования, выполняется во временной области.

В дополнительном варианте осуществления настоящего изобретения генерирование огибающей применяется только к тем частям выбранного канала, которые требуют генерирования огибающей с высоким временным разрешением.

Настоящее изобретение, описанное в предыдущих разделах, достигает следующих преимуществ:

- Улучшение пространственного качества звука для плотных переходных звуков, таких как сигналы аплодисментов, которые в настоящее время могут считаться самыми неблагоприятными сигналами.

- Только незначительное увеличение расхода побочной пространственной аудиоинформации (примерно 5 кбит/с для непрерывной передачи огибающих) благодаря очень компактному кодированию информации огибающих.

- Совокупный битрейт может быть дополнительно снижен посредством разрешения кодеру передавать огибающие, только когда это в плане восприятия необходимо. Предлагаемый синтаксис элемента потока битов огибающей учитывает это.

Отвечающая изобретению идея может быть описана как направляемое генерирование огибающей и вкратце может быть обобщена в нижеследующих разделах.

Направляемое генерирование огибающих восстанавливает широкополосную огибающую синтезированного выходного сигнала посредством выравнивания огибающей и восстановления первоначальной формы каждого выходного канала с помощью параметрической побочной информации широкополосной огибающей, содержащейся в потоке битов.

Для процесса восстановления исходной формы извлекают огибающие каналов понижающего микширования и выходных каналов. Чтобы получить эти огибающие, вычисляется энергия каждой параметрической полосы и каждого слота. Затем выполняется операция спектрального отбеливания, при которой значения энергии каждой параметрической полосы взвешиваются, так чтобы общая энергия параметрических полос была равной. В завершение, получается широкополосная огибающая посредством суммирования и нормирования взвешенных энергий всех параметрических полос, а долгосрочная усредненная энергия получается посредством фильтрации нижних частот с помощью долговременной константы.

Процесс восстановления исходной формы огибающей выполняет выравнивание и восстановление исходной формы выходных каналов в направлении целевой огибающей посредством вычисления и применения кривой усиления для части прямого и рассеянного звука каждого выходного канала. Следовательно, огибающие передаваемого канала понижающего микширования и соответствующего выходного канала получаются так, как описано выше.

Кривая усиления в таком случае получается посредством масштабирования соотношения полученной огибающей понижающего микширования и полученной выходной огибающей со значениями соотношения огибающих, передаваемыми в потоке битов.

Предлагаемое средство генерирования огибающих использует квантованную побочную информацию, передаваемую в потоке битов. Общая потребность по битрейту для побочной информации огибающей перечислена в таблице (при условии частоты дискретизации 44,1 кГц, 5-этапной квантованной побочной информации огибающей).

Как указано выше, направляемое генерирование временной огибающей разрешает вопросы, которые ортогональны вопросам, разрешаемым посредством TES или TP. Хотя предлагаемое направляемое генерирование временных огибающих нацелено на улучшение пространственного распределения переходных событий, средство TES и TP имеет такую функциональность, чтобы генерировать огибающую рассеянного звука так, чтобы соответствовать сухой огибающей. Таким образом, для сценария высококачественного варианта применения рекомендуется комбинация предлагаемого средства с TES или TP. Для оптимальных рабочих характеристик направляемое генерирование временной огибающей выполняется до применения TES или TP в цепочке средств декодера. Более того, средства TES и TP в небольшой степени приспособлены по своей конфигурации для того, чтобы прозрачно интегрироваться с предлагаемым средством. По сути, сигнал, используемый для того, чтобы получать целевую огибающую в обработке TES или TP, изменяется с использования сигнала понижающего микширования в направлении использования отдельных сигналов повышающего микширования канала с восстановленной исходной формой.

Как уже упоминалось выше, серьезное преимущество отвечающей изобретению идеи состоит в возможности ее размещения в схеме кодирования объемного звучания MPEG. Отвечающая изобретению идея, с одной стороны, расширяет функциональность средства TP/TES, поскольку она реализует механизм временного генерирования, требуемый для надлежащей обработки переходных событий или сигналов. С другой стороны, средство требует передачи побочной информации, чтобы направлять процесс генерирования. Хотя требуемый средний битрейт побочной информации (5 кбит/с для непрерывной передачи огибающей) сравнительно небольшой, прирост в качестве восприятия значителен. Следовательно, новая идея предлагается как дополнение к существующим средствам TP/TES. В смысле поддержания вычислительной сложности, достаточно низкой при сохранении высокого качества аудио, комбинация новой предлагаемой идеи с TES является предпочтительным режимом работы. Что касается вычислительной сложности, следует отметить, что некоторые вычисления требуются для получения и восстановления исходной формы огибающих на покадровой основе кадра, в то время как другие приводятся в исполнение в каждом слоте (т.е. интервале времени в области группы фильтров). Сложность зависит от длины кадра, а также частоты дискретизации. При условии длины кадра в 32 слота и частоты дискретизации в 44,1 кГц, описанный алгоритм требует примерно 105000 операций в секунду (OPS) для извлечения огибающей для одного канала и 330000 OPS для восстановления исходной формы одного канала. Поскольку требуется одно извлечение огибающей на канал понижающего микширования, и одна операция восстановления исходной формы требуется для каждого выходного канала, это приводит к общей сложности в 1,76 MOPS для конфигурации 5-1-5, т.е. конфигурации, в которой 5 каналов многоканального аудиосигнала представляются посредством монофонического сигнала понижающего микширования, и 1,86 MOPS для конфигурации 5-2-5, использующей стереосигнал понижающего микширования.

Перечень фигур чертежей

Предпочтительные варианты осуществления настоящего изобретения далее описываются посредством ссылки на прилагаемые чертежи, из которых:

Фиг. 1 - отвечающий изобретению декодер.

Фиг. 2 - отвечающий изобретению кодер.

Фиг. 3A и 3B - таблицы, назначающие индексы фильтров для гибридной группы фильтров соответствующим индексам подполос.

Фиг. 4 - параметры различных конфигураций декодирования.

Фиг. 5 - схема кодирования, демонстрирующая обратную совместимость изобретаемой идеи.

Фиг. 6 - конфигурации параметров, выбирающие различные конфигурации.

Фиг. 7 - обратно совместимая схема кодирования.

Фиг. 7B - различные схемы квантования.

Фиг. 8 - дополнительная иллюстрация обратно совместимой схемы кодирования.

Фиг. 9 - таблица кодирования Хаффмана, используемая для эффективной реализации.

Фиг. 10 - пример конфигурации канала для многоканального выходного сигнала.

Фиг. 11 - отвечающее изобретению передающее устройство или аудиорекордер.

Фиг. 12 - отвечающее изобретению приемное устройство или аудиопроигрыватель.

Фиг. 13 - отвечающая изобретению система передачи.

Фиг. 14 - временное генерирование во временной области, отвечающее предшествующему уровню техники.

Подробное описание предпочтительных вариантов осуществления

Фиг. 1 иллюстрирует отвечающий изобретению кодер 40, имеющий блок 42 повышающего микширования и генерирователь 44.

Декодер 40 принимает в качестве входных данных базовый сигнал 46, получаемый из исходного многоканального сигнала, причем базовый сигнал имеет один или более каналов, при этом число каналов базового сигнала меньше числа каналов исходного многоканального сигнала. Декодер 40 принимает в качестве вторых входных данных параметрическое представление 48 формы сигнала, представляющее форму сигнала в представлении с низким разрешением выбранного исходного канала, при этом параметрическое представление 48 формы сигнала включает в себя последовательность параметров формы сигнала, имеющих временное разрешение, которое ниже временного разрешения значений дискретизации, которые организованы в виде кадров, причем кадры описывают базовый сигнал 46. Блок 42 повышающего микширования генерирует канал 50 повышающего микширования из базового сигнала, где повышающее микширование 50 - это оцененное представление с низким разрешением выбранного исходного канала исходного многоканального сигнала, который имеет меньшее временное разрешение, чем временное разрешение значений дискретизации. Формирователь 44 принимает канал 50 повышающего микширования и параметрическое представление 48 формы сигнала в качестве входных данных и получает сформированный подвергнутый повышающему микшированию канал 52, который формируется таким образом, что огибающая сформированного подвергнутого повышающему микшированию канала 52 корректируется, чтобы соответствовать огибающей соответствующего исходного канала в области допустимых значений, при этом временное разрешение задается временным разрешением параметрического представления формы сигнала.

Таким образом, огибающая сгенерированного подвергнутого повышающему микшированию канала может быть сгенерирована с временным разрешением, которое выше временного разрешения, задаваемого посредством кадров, составляющих базовый сигнал 46. Следовательно, пространственное перераспределение восстановленного сигнала обеспечивается с большей степенью разрешения по времени, чем посредством использования кадров, и воспринимаемое качество может быть повышено за счет незначительного увеличения битрейта вследствие представления 48 параметров формы сигнала.

Фиг. 2 иллюстрирует отвечающий изобретению кодер 60, имеющий блок 62 понижения временного разрешения и блок 64 вычисления параметров формы сигнала. Кодер 60 принимает в качестве входных данных канал многоканального сигнала, который представляется посредством кадров 66, причем кадры содержат значения 68a-68g дискретизации, при этом каждое значение дискретизации представляет первый период дискретизации. Блок 62 понижения временного разрешения получает представление 70 с низким разрешением для канала, в котором кадр имеет значения 72a-72d низкого разрешения, которые ассоциированы с периодом низкого разрешения, который больше периода дискретизации.

Блок 64 вычисления параметров формы сигнала принимает представление 70 с низким разрешением в качестве входных данных и вычисляет параметры 74 формы сигнала, при этом параметры 74 формы сигнала имеют временное разрешение ниже временного разрешения значений дискретизации и выше временного разрешения, задаваемого посредством кадров.

Параметры 74 формы сигнала предпочтительно зависят от амплитуды канала в рамках временного отрезка, задаваемого посредством периода низкого разрешения. В предпочтительном варианте осуществления параметры 74 формы сигнала описывают энергию, которая содержится в канале, в периоде низкого разрешения. В предпочтительном варианте осуществления параметры формы сигнала получаются таким образом, что показатель энергии, содержащийся в параметрах 74 формы сигнала, получаются относительно эталонного показателя энергии, который задается сигналом понижающего микширования, извлеченным отвечающим изобретению многоканальным аудиокодером.

Применение отвечающего изобретению идеи в контексте аудиокодера объемного звучания MPEG подробно описывается в последующих разделах, чтобы обрисовать отвечающие изобретению идеи.

Применение отвечающей изобретению идеи в области подполосы кодера MPEG предшествующего уровня техники дополнительно подчеркивает преимущественную обратную совместимость отвечающий изобретению идеи со схемами кодирования предшествующего уровня техники.

Настоящее изобретение (направляемое генерирование огибающей) восстанавливает широкополосную огибающую синтезированного выходного сигнала. Оно содержит модифицированную процедуру повышающего микширования, за которой следует выравнивание и восстановление исходной формы огибающей части прямого (сухого) и рассеянного (сырого) сигнала каждого выходного канала. Для управления побочной информацией используется восстановление исходной формы параметрической широкополосной огибающей, содержащееся в потоке битов. Побочная информация содержит соотношения (envRatio), связывающие огибающую передаваемых сигналов понижающего микширования с огибающей исходных сигналов входного канала.

Поскольку процесс генерирования огибающих использует операцию получения огибающих для различных сигналов, процесс получения огибающих сначала должен быть более подробно описан. Следует отметить, что в рамках схемы кодирования MPEG каналы обрабатываются в представлении, получаемом посредством гибридной группы фильтров, т.е. два последовательных фильтра применяются к входному каналу. Первая группа фильтров получает представление входного канала, в котором множество частотных интервалов описываются независимо посредством параметров, имеющих временное разрешение, которое ниже временного разрешения значений дискретизации входного канала. Эти параметрические полосы далее обозначаются буквой k. Некоторые из параметрических полос затем фильтруются посредством дополнительной группы фильтров, которая дополнительно подразделяет полосы частот первой группы фильтров на одну или более конечных полос частот с представлениями, которые в последующих разделах обозначаются k. Другими словами, каждая параметрическая полоса k может иметь ассоциированным более одного гибридного индекса k.

Фиг. 3A и 3B иллюстрируют таблицу, ассоциативно связывающую число параметрических полос с соответствующими гибридными параметрами. Гибридный параметр k задается в первом столбце 80 таблицы, в которой ассоциированная параметрическая полоса k задается в одном из столбцов 82a или 82b. Применение столбца 82a или 82b зависит от параметра 84 (decType), который указывает две возможные конфигурации группы фильтров MPEG-декодера.

Дополнительно следует отметить, что параметры, ассоциированные с каналом, обрабатываются покадрово, при этом один кадр имеет n временных интервалов и при этом для каждого временного интервала n один параметр y существует по каждому гибридному индексу k. Временные интервалы n также называются слотами, и ассоциированные параметры указываются как y^n,k. Для оценки нормализованной огибающей энергии параметрических полос вычисляются с y^n,k в качестве входного сигнала для каждого слота в кадре:

Суммирование включает в себя все k, приписываемые всем параметрическим полосам k, согласно таблице, показанной на фиг. 3A и 3B.

Затем общая энергия параметрических полос в кадре для каждой параметрической полосы вычисляется как:

Здесь α - весовой коэффициент, соответствующий IIR низких частот первого порядка с временной константой в 400 мс, t обозначает индекс кадра, sFreq - частота дискретизации сигнала, а 64 представляет коэффициент понижающей дискретизации группы фильтров. Средняя энергия в кадре вычисляется как:

при

Соотношение этих энергий определяется для того, чтобы получить веса для спектрального отбеливания:

Широкополосная огибающая получается посредством суммирования взвешенных вкладов параметрических полос, нормирования и вычисления квадратного корня:

После получения огибающей выполняется процесс генерирования огибающей, который состоит из выравнивания огибающей прямого и рассеянного звука для каждого выходного канала, после чего выполняется восстановление исходной формы в направлении целевой огибающей. Это приводит к применению кривой усиления к части прямого и рассеянного сигнала каждого выходного канала.

В случае схемы кодирования, совместимой с объемным звучанием MPEG, конфигурация 5-1-5 и конфигурация 5-2-5 должны быть различены.

Для конфигурации 5-1-5 целевая огибающая получается посредством оценки огибающей передаваемого понижающего микширования Env_Dmx и последующего ее масштабирования с переданными кодером и повторно квантованными соотношениями огибающих envRatio^L,Ls,C,R,Rs. Кривая усиления для всех слотов в кадре вычисляется для каждого выходного канала посредством оценки огибающей

Для конфигураций 5-2-5 целевая огибающая для L и Ls получается из совместимой с левым каналом огибающей передаваемого сигнала понижающего микширования Env_DmxL, для R и Rs совместимый с правым каналом передаваемый сигнал понижающего микширования используется для того, чтобы получить Env_DmxR. Центральный канал получается из суммы совместимых с левым и правым каналом огибающих передаваемого сигнала понижающего микширования. Кривая усиления вычисляется для каждого выходного канала посредством оценки огибающей

Для всех каналов кривая усиления корректировки огибающей применяется как:

При этом k начинается с переходной гибридной подполосы k₀, и для n = 0,..., numSlots -1.

После отдельного генерирования огибающей сырого и сухого сигнала сгенерированный прямой и рассеянный звук сводится в рамках области подполосы согласно следующей формуле:

В предыдущих разделах показано, что преимущественно можно реализовать отвечающую изобретению идею в рамках схемы кодирования предшествующего уровня техники, которая основана на кодировании объемного звучания MPEG. Настоящее изобретение также использует уже существующее представление области подполос сигналов, которые должны быть обработаны, подразумевая небольшие дополнительные вычислительные затраты. Чтобы повысить эффективность реализации отвечающей изобретению идеи в многоканальном аудиокодировании MPEG, некоторые дополнительные изменения в повышающем микшировании и генерировании временной огибающей предпочтительны.

Если предоставляется направляемое генерирование огибающей, прямые и рассеянные сигналы синтезируются по отдельности с помощью модифицированного последующего микширования в гибридной области подполос согласно:

при этом k₀обозначает переходную гибридную подполосу.

Как можно видеть из вышеуказанных уравнений, прямые выводы содержат прямой сигнал, рассеянный сигнал для нижних полос и остаточный сигнал (если имеется). Рассеянные выводы предоставляют рассеянный сигнал для верхних полос.

Здесь k₀обозначает переходную гибридную подполосу согласно фиг. 4. Фиг. 4 иллюстрирует таблицу, которая задает переходную гибридную подполосу k₀в зависимости от двух возможных конфигураций декодера, указанных посредством параметра 84 (decType).

Если TES используется в комбинации с направляемым генерированием огибающей, обработка TES в незначительной степени адаптируется для оптимальной производительности.

Вместо сигналов понижающего микширования прямые сигналы повышающего микширования с восстановленной формой используются для генерирования оценки фильтрации:

x_c = y_direct,c

Независимо от режима 5-1-5 или 5-2-5 все вычисления TES выполняются соответствующим образом на поканальной основе. Более того, в таком случае этап микширования прямого и рассеянного сигналов опускается в направляемом генерировании огибающей, поскольку он выполняется посредством TES.

Если TP используется в комбинации с направляемым генерированием огибающей, обработка TP в незначительной степени адаптируется для оптимальных рабочих характеристик.

Вместо общего понижающего микширования (полученного из исходного многоканального сигнала), прямой сигнал повышающего микширования с восстановленной формой для каждого канала используется для получения целевой огибающей для каждого канала.

Независимо от режима 5-1-5 или 5-2-5 все вычисления TP выполняются соответствующим образом на поканальной основе. Более того, этап микширования прямого и рассеянного сигналов опускается в направляемом генерировании огибающей, поскольку он выполняется посредством TP.

Чтобы дополнительно подчеркнуть и доказать обратную совместимость отвечающей изобретению идеи с аудиокодированием MPEG, следующие чертежи показывают определения и функции потока битов, заданные так, чтобы быть полностью обратно совместимыми и дополнительно поддерживающими данные восстановления исходной формы огибающей.

Фиг. 5 иллюстрирует общий синтаксис, показывающий конкретную пространственную конфигурацию потока битов.

В первой части 90 конфигурации переменные связаны с кодированием MPEG предшествующего уровня техники, задавая, например, то, применяется ли остаточное кодирование, или предоставляя индикацию о схемах декорреляции для применения. Эта конфигурация может быть легко расширена посредством второй части 92, описывающей модифицированную конфигурацию, когда применяется отвечающая изобретению идея направленного генерирования огибающей.

В частности, вторая часть использует переменную bsTempShapeConfig, указывающую конфигурацию генерирования огибающей посредством декодера.

Фиг. 6 иллюстрирует обратно совместимый способ интерпретации четырех битов, задействуемых упомянутой переменной. Как можно видеть из фиг. 6, значения переменной от 4 до 7 (указанные в строке 94) указывают применение отвечающей изобретению идеи и, более того, комбинации отвечающей изобретению идеи с механизмами генерирования предшествующего уровня техники TP и TES.

Фиг. 7 показывает предлагаемый синтаксис схемы энтропийного кодирования, поскольку оно используется в предпочтительном варианте осуществления настоящего изобретения. Дополнительно, побочная информация огибающей квантуется с помощью правила пятиэтапного квантования.

В первой части псевдокода, представленного на фиг. 7, генерирование временной огибающей предоставляется для всех требуемых выходных каналов, тогда как во второй части 102 кода запрашивается представленное восстановление исходной формы огибающей. Это указано посредством переменной bsTempShapeConfig, показанной на фиг. 6.

В предпочтительном варианте осуществления настоящего изобретения используется пятиэтапное квантование, и квантованные значения кодируются совместно с информацией, при этом появляется от одного до восьми последовательных идентичных значений в потоке битов параметров генерирования огибающей.

Следует отметить, что в принципе возможно более точное квантование, предлагаемое пятиэтапным квантованием, которое в таком случае может быть указано посредством переменной bsEnvquantMode, показанной на фиг. 7B. Хотя принципиально возможно, что настоящее изобретение вводит только одно допустимое квантование.

Фиг. 8 иллюстрирует код, который приспособлен для того, чтобы получать квантованные параметры из кодированного представления Хаффмана. Как уже упоминалось, комбинированная информация, касающаяся квантованного значения и числа повторений рассматриваемого значения, представляется посредством одного кодового слова Хаффмана. Следовательно, декодирование Хаффмана содержит первый компонент 104, инициирующий цикл по требуемым выходным каналам, и второй компонент 106, который принимает кодированные значения для каждого отдельного канала для передачи кодовых слов Хаффмана и приема ассоциированных значений параметров и повторяющихся данных, как показано на фиг. 9.

Фиг. 9 иллюстрирует ассоциированную таблицу кодирования Хаффмана, которая имеет 40 записей, поскольку для 5 различных значений параметров 110 подразумевается максимальная частота следования, равная 8. Каждое кодовое слово 112 Хаффмана, следовательно, описывает комбинацию параметра 110 и номера последовательного вхождения 114.

С учетом значений декодированных параметров, соотношения огибающих, используемые для направленного генерирования огибающих, получаются из передаваемых данных восстановления исходной формы согласно следующему уравнению:

где n=0,..., numSlots-1 и X и oc обозначают выходной канал согласно фиг. 10.

Фиг. 10 иллюстрирует таблицу, которая ассоциирует переменную oc 120 цикла, используемую в предыдущих таблицах и выражениях, с выходными каналами 122 восстановленного многоканального сигнала.

Как показано на фиг. 3A-9, применение отвечающей изобретению идеи к схемам кодирования предшествующего уровня техники легко допускается, приводя к повышению качества восприятия при сохранении полной обратной совместимости.

Фиг. 11 иллюстрирует отвечающее изобретению передающее аудиоустройство или рекордер 330, который имеет кодер 60, интерфейс 332 ввода и интерфейс 334 вывода.

Аудиосигнал может подаваться на интерфейс 332 ввода передающего устройства/рекордера 330. Аудиосигнал кодируется отвечающим изобретению кодером 60 в передающем устройстве/рекордере, и кодированное представление выводится в интерфейсе 334 вывода передающего устройства/рекордера 330. Кодированное представление затем может быть передано или сохранено в носителе записи.

Фиг. 12 иллюстрирует отвечающее изобретению приемное устройство или аудиопроигрыватель 340, имеющий отвечающий изобретению декодер 40, входной поток 342 битов и выходное аудио 344.

Поток битов может быть введен на вход отвечающего изобретению приемного устройства/аудиопроигрывателя 340. Затем поток битов декодируется посредством декодера 40, и декодированный сигнал выводится или воспроизводится на выходе 344 отвечающего изобретению приемного устройства/аудиопроигрывателя 340.

Фиг. 13 иллюстрирует систему передачи, содержащую отвечающее изобретению передающее устройство 330 и отвечающее изобретению приемное устройство 340.

Аудиосигнал, поступающий в интерфейс 332 ввода передающего устройства 330, кодируется и передается с выхода 334 передающего устройства 330 на вход 342 приемного устройства 340. Приемное устройство декодирует аудиосигнал и воспроизводит или выводит аудиосигнал на выходе 344.

Обобщая, настоящее изобретение предоставляет усовершенствованные решения посредством описания, к примеру, способа вычисления надлежащей и стабильной широкополосной огибающей, которая минимизирует воспринимаемое искажение; оптимизированного способа, чтобы кодировать побочную информацию огибающей таким образом, чтобы она представлялась относительно (нормализованно) к огибающей сигнала понижающего микширования, и тем самым минимизирует накладные расходы по битрейту, схемы квантования для информации огибающей, которая должна быть передана; надлежащего синтаксиса потока битов для передачи этой побочной информации, эффективного способа обработки широкополосных огибающих в области QMF-подполос; концепции того, как типы обработки (1) и (2), описанные выше, могут быть использованы единообразно в одной архитектуре, что позволяет восстанавливать точное пространственное распределение многоканальных сигналов во времени, если доступна пространственная побочная информация, описывающая исходные временные огибающие каналов. Если данная информация не отправляется в пространственном потоке битов (к примеру, вследствие ограничений на доступный битрейт для побочной информации), обработка возвращается обратно к обработке типа (1), которая по-прежнему позволяет осуществлять корректное временное генерирование декоррелированного звука (хотя не на основе отдельного канала).

Хотя отвечающая изобретению идея, описанная выше, подробно пояснена в применении к существующим схемам MPEG-кодирования, очевидно, что отвечающая изобретению идея может быть применена к любому другому типу кодирования, когда пространственные характеристики аудио должны быть сохранены.

Отвечающая изобретению идея, заключающаяся во введении или использовании промежуточного сигнала для генерирования огибающей, т.е. энергии сигнала с повышенным временным разрешением, может быть применена не только в частотной области, как проиллюстрировано посредством чертежей, но также во временной области, где, например, снижение временного разрешения, а следовательно, снижение требуемого битрейта может быть достигнуто посредством усреднения по последовательным временным фрагментам или только посредством учета каждого n-го значения дискретизации для представления выборки аудиосигнала.

Хотя отвечающая изобретению идея, проиллюстрированная в предыдущих разделах, задействует спектральное взвешивание обработанных сигналов, идея сигнала промежуточного разрешения также может быть включена без пространственного взвешивания.

В зависимости от конкретных требований к реализации отвечающих изобретению способов, отвечающие изобретению способы могут быть реализованы в аппаратных средствах или в программном обеспечении. Реализация может быть выполнена с помощью цифрового носителя хранения, в частности, диска, DVD или CD, имеющего электронно-читаемые сигналы управления, сохраненные на нем, который взаимодействует с программируемой компьютерной системой, так чтобы выполнялись отвечающие изобретению способы. В общем, настоящее изобретение, таким образом, относится к компьютерному программному продукту с программным кодом, сохраненным на машиночитаемом носителе, при этом программный код приспособлен для осуществления изобретаемых способов, когда компьютерный программный продукт исполняется на компьютере. Другими словами, отвечающие изобретению способы, таким образом, относятся к компьютерной программе, имеющей программный код для осуществления, по меньшей мере, одного из способов, когда компьютерная программа исполняется на компьютере.

Несмотря на то, что вышеизложенное описание подробно показано и пояснено со ссылкой на его конкретные варианты осуществления, специалистам в данной области техники следует понимать, что различные другие изменения по форме и содержанию могут быть сделаны без отступления от существа и объема изобретения. Необходимо понимать, что различные изменения могут быть сделаны для адаптации к различным вариантам осуществления без отступления от более широких идей, раскрытых в данном документе и охватываемых прилагаемой формулой изобретения.

Реферат

Изобретение относится к кодированию многоканальных аудиосигналов. Выбранный канал многоканального сигнала, который представляется посредством кадров, скомпонованных из значений дискретизации, имеющих высокое временное разрешение, может быть кодирован с высоким качеством, когда получают параметрическое представление формы сигнала, представляющее форму сигнала в представлении с промежуточным разрешением выбранного канала, при этом параметрическое представление формы сигнала включает в себя последовательность промежуточных параметров формы сигнала, имеющих промежуточное временное разрешение ниже высокого временного разрешения значений дискретизации и выше низкого временного разрешения, задаваемого частотой следования кадров. Параметрическое представление формы сигналов с промежуточным разрешением может быть использовано для того, чтобы генерировать восстановленный канал для получения канала, имеющего огибающую сигнала, близкую к огибающей выбранного исходного канала. Временная шкала, на которой выполняется генерирование, короче временной шкалы покадровой обработки, тем самым повышая качество восстановленного канала. С другой стороны, временная шкала генерирования больше, чем временная шкала значений дискретизации, что значительно снижает объем данных, требуемый параметрическим представлением формы сигнала. Технический результат - улучшение пространственного восприятия восстановленного многоканального сигнала. 16 н. и 21 з.п. ф-лы, 16 ил., 1 табл.

Формула