Определение местоположения аудиоисточника - RU2565338C2

Чертежи

Показать все 8 чертежа(ей)

Описание

Область техники, к которой относится изобретение

Изобретение относится к определению местоположения аудиоисточника и, в частности, но не исключительно, к определению местоположения аудиоисточника с использованием матриц микрофонов, состоящих из трех или четырех микрофонов для определения направлений множества источников звука.

Уровень техники

Усовершенствованная обработка аудиосигналов приобретает все более важное значение во многих областях, включая, например, электросвязь, распространение контента и т.д. Например, в некоторых приложениях, например системах громкой связи и голосового управления, используется комплексная обработка входных сигналов от множества микрофонов для обеспечения конфигурируемой направленной чувствительности для матрицы микрофонов, содержащей микрофоны. В другом примере приложение телеконференцсвязи может использовать управление звуковым пучком для выбора и изоляции участников разговора. В частности, обработка сигналов от матрицы микрофонов предусматривает генерацию звукового пучка, направление которого можно изменять, просто изменяя характеристики комбинации сигналов отдельных микрофонов.

Все более важную роль в приложениях усовершенствованной обработки аудио приобретает оценивание позиции различных источников звука. Действительно, поскольку обработка аудио используется во все более сложных аудиосредах, часто возникает необходимость иметь возможность оценивать направления двух одновременно действующих источников звука. Например, в сценарии телеконференцсвязи, два участника разговора одновременно могут быть активны. Такие оценки направлений можно, например, использовать для ориентирования звуковых пучков в желаемых направлениях или для обеспечения провалов в направлениях, соответствующих источникам звука, создающим помехи. В некоторых сценариях разделение источников звука может играть важную роль и может базироваться на оцененных направлениях двух источников звука.

Однако обычно бывает существенно труднее оценивать направления для двух одновременно действующих источников звука, чем оценивать направление для единичного преобладающего источника звука. Критической проблемой в таких приложениях является разделение вкладов от разных источников звука в сигналах разных микрофонов. Традиционные решения обычно базируются на дифференциации между сигналами на основании различий во временных или частотных характеристиках двух сигналов. Например, если известно, что один из двух источников звука будет преобладать в течение определенных интервалов времени, оценка направления для этого источника звука может генерироваться только в течение таких интервалов времени. Другой подход состоит в использовании частотных различий между двумя источниками звука. Например, к сигналам можно применять быстрое преобразование Фурье (FFT) и можно предположить, что один из источников звука будет преобладать в каждом поддиапазоне. Соответственно, для каждого поддиапазона может генерироваться единичная оценка направления, и оценки направлений могут генерироваться путем усреднения поддиапазонов, принадлежащих каждому источнику звука.

Однако такие подходы, во многих сценариях, являются неоптимальными или ненадежными. В частности, подходы опираются на два аудиосигнала источника звука, имеющие значительные временные или частотные различия, и, таким образом, не позволяют работать с сигналами, имеющими сходные характеристики. Даже для сравнительно различных аудиосигналов, может происходить значительное ухудшение, ввиду возможного затруднения в определении преобладающего аудиосигнала в каждом частотном и/или временном интервале. Например, даже для разных аудиосигналов, предположение о том, что в каждом поддиапазоне преобладает один источник звука, справедливо только для малой части поддиапазонов. Кроме того, традиционные подходы к определению местоположения источника звука отличаются сложностью и ресурсозатратностью.

Следовательно, имел бы преимущество усовершенствованный подход к определению местоположения аудиоисточника, и, в частности, имел бы преимущество подход, допускающий повышенную точность, сниженную чувствительность к сходным характеристикам аудиосигналов, повышенную гибкость, облегченную реализацию, сниженное потребление ресурсов, повышенную производительность для разных сценариев эксплуатации и/или повышенной производительности.

Раскрытие изобретения

Соответственно, изобретение призвано предпочтительно смягчать, ослаблять или исключать один или более из вышеупомянутых недостатков по отдельности или в любой комбинации.

Согласно аспекту изобретения предусмотрено устройство определения местоположения аудиоисточника, содержащее: схему приема для приема сигналов микрофона от по меньшей мере двухмерной матрицы микрофонов, содержащей по меньшей мере три микрофона; опорную схему для генерации сигналов по меньшей мере трех опорных пучков из сигналов микрофонов, причем три опорных пучка имеют разные направленные свойства; и схему оценивания для генерации одновременной оценки направлений для двух источников звука, причем схема оценивания содержит: схему для генерации комбинированного сигнала путем комбинирования сигналов по меньшей мере трех опорных пучков, причем комбинация имеет параметр формы пучка, выражающий форму звукового пучка для комбинированного сигнала, и параметр направления пучка, выражающий направление звукового пучка для комбинированного сигнала, схему для генерации меры стоимости, указывающей меру энергии комбинированного сигнала, схему для оценивания значения параметра формы пучка для параметра формы пучка и значения параметра направления пучка для параметра направления пучка, соответствующих локальному минимуму меры стоимости, и схему для определения оценки первого направления первого источника звука и оценки второго направления для второго источника звука как функций значения параметра формы пучка и значения параметра направления пучка.

Изобретение может обеспечивать улучшенное определение местоположения источника звука для двух одновременно действующих источников звука во многих сценариях и приложениях. Определение двух оценок направлений может быть более точным во многих сценариях. В частности, подход могут обеспечивать сниженную чувствительность к сходствам в аудио от двух источников звука. В частности, подход допускает определение направлений на основании пространственных характеристик и, таким образом, допускает определение направлений даже для аудиосигналов от двух источников звука, имеющих очень сходные характеристики. Кроме того, подход можно реализовать с низкой сложностью и/или с низкими требованиями к вычислительным ресурсам.

Подход может быть особенно пригоден для систем, в которых длина волны аудиосигналов существенно больше размера матрицы микрофонов.

Опорные пучки могут быть неадаптивными и могут не зависеть от полученных сигналов и/или условий аудио. Опорные пучки могут быть постоянными и могут генерироваться постоянной/ неадаптивной комбинацией сигналов от по меньшей мере трех микрофонов. Опорные пучки, в частности, могут быть собственными пучками или ортогональными пучками. Один опорный пучок может быть монополем, и остальные опорные пучки могут быть диполями. Диполи могут быть по существу ортогональными.

Параметр формы пучка может выражать относительное взвешивание направленных опорных пучков относительно ненаправленного опорного пучка. Параметр направления пучка может выражать относительное взвешивание разных направленных опорных пучков. Разные направленные характеристики опорных пучков могут выражать разные формы пучка и/или разные направления пучка, например измеренные основным направлением усиления или средним направлением главного лепестка.

В соответствии с признаком изобретения при необходимости схема оценивания выполнена с возможностью итерационного определения значения обновления для по меньшей мере первого параметра из параметра формы пучка и параметра направления пучка в ответ на комбинированный сигнал, текущее значение параметра формы пучка и текущее значение параметра направления пучка, и генерации нового значения для первого параметра из значения обновления и текущего значения первого параметра.

Это может обеспечивать облегченную реализацию и/или сниженную сложность при поддержании высокой производительности. В частности, это позволяет снижать расходование вычислительных ресурсов. Кроме того, это позволяет создать практическую систему для отслеживания перемещений источников звука.

В соответствии с признаком изобретения при необходимости значение обновления зависит от значения производной меры стоимости по первому параметру.

Это может обеспечивать улучшенное определение значения параметра формы пучка и значения параметра направления пучка. В частности, это допускает эффективное определение правильного знака значения обновления и в некоторых вариантах осуществления может обеспечивать преимущественное определение пригодной величины значения обновления.

В соответствии с признаком изобретения при необходимости схема оценивания выполнена с возможностью независимого определения значений обновления для параметра формы пучка и параметра направления пучка.

Это может обеспечивать более эффективное и/или улучшенное обновление значения параметра формы пучка и значения параметра направления пучка. Определения могут быть независимыми в том смысле, что значение обновления в текущей итерации для одного из параметров не зависит от значения обновления текущей итерации для другого параметра.

В соответствии с признаком изобретения при необходимости схема оценивания выполнена с возможностью оценивания локального минимума с использованием процесса градиентного поиска по меньшей мере одного из параметра формы пучка и параметра направления пучка.

Это может обеспечивать облегченную реализацию и/или сниженную сложность при поддержании высокой производительности. В частности, это позволяет снижать расходование вычислительных ресурсов. Кроме того, это позволяет создать практическую систему для отслеживания перемещений источников звука.

В соответствии с признаком изобретения при необходимости схема оценивания выполнена с возможностью ограничения параметра формы пучка значениями, для которых максимальное взвешивание первого опорного пучка из по меньшей мере трех опорных пучков меньше комбинированного взвешивания второго и третьего опорных пучков из по меньшей мере трех опорных пучков.

Это может обеспечивать улучшенное определение оценок первого и второго направлений.

В соответствии с признаком изобретения при необходимости оценка первого направления и оценка второго направления являются двухмерными оценками направлений в плоскости, и схема оценивания выполнена с возможностью компенсации оценки первого направления и оценок вторых направлений на возвышение источника вне плоскости.

Это может обеспечивать улучшенное определение оценок первого и второго направлений. Компенсация может базироваться, например, на предполагаемом и/или заранее определенном значении возвышения источников звука над плоскостью.

В соответствии с признаком изобретения при необходимости матрица микрофонов является трехмерной матрицей микрофонов, содержащей по меньшей мере четыре микрофона; опорная схема выполнена с дополнительной возможностью генерации четвертого опорного пучка, и схема оценивания содержит: схему для генерации дополнительного комбинированного сигнала путем комбинирования сигналов четвертого опорного пучка и по меньшей мере двух других опорных пучков из по меньшей мере трех опорных пучков, причем комбинация имеет дополнительный параметр формы пучка, выражающий форму звукового пучка для дополнительного комбинированного сигнала, и дополнительный параметр направления пучка, выражающий направление дополнительного звукового пучка для дополнительного комбинированного сигнала, схему для генерации дополнительной меры стоимости, указывающей меру энергии дополнительного комбинированного сигнала, схему для оценивания значения дополнительного параметра формы пучка для дополнительного параметра формы пучка и значения дополнительного параметра направления пучка для параметра направления пучка, соответствующих локальному минимуму дополнительной меры стоимости; причем схема для определения оценки первого направления и оценки второго направления выполнена с дополнительной возможностью определения оценки первого направления и оценки второго направления в соответствии со значением дополнительного параметра формы пучка и значением дополнительного параметра направления пучка.

Это допускает генерацию более точных оценок направлений. В частности, это допускает генерацию трехмерных оценок направлений и/или допускает генерацию более точных двухмерных оценок направлений, поскольку их можно компенсировать на оцененное возвышение от плоскости двухмерных оценок направлений. Тот же подход к определению двух направленных оценок в одной плоскости на основании одного множества опорных пучков можно использовать для определения двух дополнительных оценок направлений в другой, возможно, перпендикулярной, плоскости с использованием другого множества опорных пучков.

Четвертый опорный пучок может, в частности, быть диполем и может быть ортогонален другим диполям опорных пучков.

В соответствии с признаком изобретения при необходимости значение параметра формы пучка и значение параметра направления пучка характеризуют первое множество трехмерных точек, для которых производная меры стоимости по по меньшей мере одному из параметра формы пучка и параметра направления пучка равна нулю; и значения дополнительного параметра формы пучка и дополнительного параметра направления пучка характеризуют второе множество трехмерных точек, для которых производная дополнительной меры стоимости по меньшей мере одному из дополнительного параметра формы пучка и дополнительного параметра направления пучка равна нулю; причем схема оценивания выполнена с возможностью определения оценки первого направления и оценки второго направления в качестве оценок направлений для по меньшей мере двух трехмерных точек, содержащихся как в первом множестве трехмерных точек, так и во втором множестве трехмерных точек.

Это допускает точное и/или менее сложное определение трехмерных оценок направлений.

В соответствии с признаком изобретения при необходимости схема оценивания выполнена с возможностью выбора по меньшей мере двух трехмерных точек в соответствии с требованием, чтобы по меньшей мере две трехмерные точки соответствовали заранее определенному значению коэффициента усиления.

Это допускает точное и/или менее сложное определение трехмерных оценок направлений. Заранее определенное значение коэффициента усиления может, в частности, соответствовать нормализованному значению коэффициента усиления, и две трехмерные точки можно выбирать как точки, принадлежащие обоим множествам трехмерных точек и единичной сфере.

В соответствии с признаком изобретения при необходимости схема оценивания выполнена с возможностью определения оценки первого направления и оценки второго направления в качестве оценок направлений, которые соответствуют значению параметра формы пучка и значения параметра направления пучка, для которых аналитическая производная функция стоимости по меньшей мере по одному из параметра формы пучка и параметра направления пучка равна нулю.

Это допускает преимущественное определение направлений двух одновременно действующих источников звука с использованием практической алгоритмической минимизации значения сигнала с аналитическим знанием соответствующей функции стоимости. Изобретение допускает применение практических и аналитических импликаций функции стоимости, связанной с мерой энергии комбинированного сигнала для обеспечения ресурсоэффективного вычисления оценок направлений для двух одновременно действующих источников звука.

Оценки направлений можно определять согласно критерию, что производная по параметру формы пучка и производная по параметру направления пучка равны нулю.

В соответствии с признаком изобретения при необходимости первый опорный пучок из по меньшей мере трех опорных пучков является монополем, и по меньшей мере второй опорный пучок и третий опорный пучок из по меньшей мере трех опорных пучков являются по-разному ориентированными диполями.

Это может обеспечивать особенно преимущественную производительность и допускает эффективное и точное определение оценок направлений для двух одновременных оценок направлений на основании только пространственных соображений. Второй и третий опорные пучки могут быть ортогональными.

В соответствии с признаком изобретения при необходимости параметр направления пучка указывает на взвешивание второго опорного пучка относительно третьего опорного пучка, и параметр формы пучка указывает на взвешивание первого опорного пучка относительно второго и третьего опорных пучков.

Это может обеспечивать особенно эффективную генерацию комбинированного сигнала, что допускает упрощенное аналитическое оценивание и обеспечивает менее сложные функции для определения оценок направлений из значения параметра формы пучка и значения параметра направления пучка.

В соответствии с признаком изобретения при необходимости комбинация задается по существу в виде:

где y[k] выражает выборку k комбинированного сигнала, m[k] выражает выборку k первого опорного пучка, d_x[k] выражает выборку k второго опорного сигнала, d_y[k] выражает выборку k третьего опорного сигнала, α - параметр формы пучка, и φ_s - параметр направления пучка.

Это может обеспечивать особенно преимущественную производительность и допускает эффективное и точное определение оценок направлений для двух одновременных оценок направлений на основании пространственных соображений.

Согласно аспекту изобретения предусмотрен способ определения местоположения аудиоисточника, содержащий этапы, на которых: принимают сигналы микрофона от по меньшей мере двухмерной матрицы микрофонов, содержащей по меньшей мере три микрофона; генерируют сигналы по меньшей мере трех опорных пучков из сигналов микрофонов, причем три опорных пучка имеют разные направленные свойства; и генерируют одновременную оценку направлений для двух источников звука путем осуществления этапов, на которых: генерируют комбинированный сигнал путем комбинирования сигналов по меньшей мере трех опорных пучков, причем комбинация имеет параметр формы пучка, выражающий форму звукового пучка для комбинированного сигнала, и параметр направления пучка, выражающий направление звукового пучка для комбинированного сигнала, генерируют меру стоимости, указывающую меру энергии комбинированного сигнала, оценивают значение параметра формы пучка для параметра формы пучка и значения параметра направления пучка для параметра направления пучка, соответствующие локальному минимуму меры стоимости, и определяют оценку первого направления первого источника звука и оценку второго направления для второго источника звука как функции значения параметра формы пучка и значения параметра направления пучка.

Эти и другие аспекты, признаки и преимущества изобретения явствуют из описанных ниже вариантов осуществления и пояснены со ссылкой на них.

Краткое описание чертежей

Ниже исключительно в порядке примера описаны со ссылкой на чертежи варианты осуществления изобретения, в которых:

фиг. 1 иллюстрирует пример элементов устройства для определения местоположения источника звука для двух одновременно действующих источников звука в соответствии с некоторыми вариантами осуществления изобретения;

фиг. 2 иллюстрирует пример конфигурации микрофонов для матрицы микрофонов;

фиг. 3 иллюстрирует пример собственных пучков, генерируемых устройством, показанным на фиг. 1;

фиг. 4 иллюстрирует пример элементов процессора оценивания направления для устройства, показанного на фиг. 1;

фиг. 5 иллюстрирует пример результатов оценивания направления, генерируемых устройством по п. 1;

фиг. 6 иллюстрирует пример результатов оценивания направления, генерируемых устройством по п. 1;

фиг. 7 иллюстрирует пример звуковых пучков, генерируемых устройством по п. 1;

фиг. 8 иллюстрирует пример схождения для оценок направлений, определяемых устройством по п. 1; и

фиг. 9 иллюстрирует пример собственных пучков, генерируемых устройством, показанным на фиг. 1.

Осуществление изобретения

Фиг. 1 иллюстрирует пример устройства для определения местоположения источника звука для двух одновременно действующих источников звука в соответствии с некоторыми вариантами осуществления изобретения. Система обрабатывает сигналы от множества микрофонов для оценивания направлений от микрофонов к двум разным и одновременно действующим источникам звука. Оценки направлений определяются на основании пространственных соображений и не опираются на разные временные или спектральные характеристики аудиосигналов от двух источников.

Система, показанная на фиг. 1, содержит матрицу 101 микрофонов, которая в конкретном примере является двухмерной матрицей микрофонов. Матрица 101 микрофонов содержит по меньшей мере три микрофона, которые не располагаются на одной одномерной линии. В большинстве вариантов осуществления кратчайшее расстояние от одного микрофона до линии, проходящей через два другие микрофона, составляет по меньшей мере пятую часть расстояния между этими двумя микрофонами.

В конкретном примере матрица 101 микрофонов содержит три микрофона, эквидистантно разнесенные по окружности, как показано на фиг. 2.

Таким образом, в примере используется круглая матрица из по меньшей мере трех (все- или однонаправленных) датчиков в плоской геометрии. Очевидно, что в других вариантах осуществления можно использовать другие конфигурации микрофонов. Очевидно также то, что для вариантов осуществления, в которых используется более трех микрофонов, они могут располагаться в неплоской геометрии, т.е. матрица микрофонов может быть трехмерной матрицей микрофонов. Однако нижеследующее описание будет сосредоточено на круглой матрице из трех микрофонов, эквидистантно размещенных в азимутальной плоскости.

Матрица 101 микрофонов подключена к схеме 103 приема, которая принимает сигналы микрофонов. В примере, показанном на фиг. 1, схема 103 приема выполнена с возможностью усиления, фильтрации и оцифровки сигналов микрофонов, общеизвестных в технике.

Схема 103 приема подключена к опорному процессору 105, который выполнен с возможностью генерации по меньшей мере трех опорных пучков из сигналов микрофонов. Опорные пучки являются постоянными пучками, которые не адаптируются, но генерируются фиксированной комбинацией оцифрованных сигналов микрофонов из схемы 103 приема. В примере, показанном на фиг. 1, три ортогональных собственных пучка генерируются опорным процессором 105.

В примере три микрофона матрицы микрофонов являются направленными микрофонами, в частности однонаправленными кардиоидными микрофонами, которые размещены так, что основное усиление обращено наружу от периметра, образованного соединением позиций микрофонов (и, таким образом, наружу окружности круглой матрицы в конкретном примере). Использование однонаправленных кардиоидных микрофонов обеспечивает преимущество в том, что чувствительность к шуму датчика и рассогласованию датчиков значительно снижается. Однако очевидно, что в других сценариях можно использовать другие типы микрофонов, например всенаправленные микрофоны.

Отклики трех кардиоидных микрофонов обозначаются соответственно

Амплитудная часть A_n и фазовая часть ψ_n отклика n-го кардиоидного микрофона задается в виде:

и

В вышеприведенных уравнениях c это скорость звука, и x_nи y_nэто координаты x и y n-го микрофона.

Используя:

и

где r - радиус окружности, можно получить:

Из трех кардиоидных микрофонов можно генерировать три ортогональных собственных пучка с использованием 3-точечного дискретного преобразования Фурье (DFT), имея на входе три микрофона. Это DFT создает три фазовые моды

где

Эти функции можно использовать для генерации трех опорных пучков, образующих монополь

и два ортогональных диполя:

В матричной системе обозначений это можно представить в виде

Для длин волны, превышающих размер матрицы, фазовую составляющую кардиоидного отклика можно игнорировать, получая следующие отклики собственного пучка:

Диаграммы направленности этих собственных пучков проиллюстрированы на фиг. 3.

Собственный пучок E_mнулевого порядка выражает отклик монополя, соответствующий сфере, тогда как другие собственные пучки представляют собственные пучки первого порядка, соответствующие двойным сферам, как показано на фиг. 3. Таким образом, два собственных пучка первого порядка являются ортогональными диполями.

Таким образом, опорный процессор 105 принимает три входных сигнала (в виде трех выборочных последовательностей) и генерирует из них три опорных пучка. Три опорных пучка имеют разные направленные характеристики, например первый опорный пучок является по существу ненаправленным, тогда как второй и третий опорные пучки являются направленными и имеют одинаковую форму пучка, но ориентированы в разных направлениях.

В каждое время выборки, выборка сигнала генерируется для каждого опорного пучка из выборок сигнала микрофона. Таким образом, в нижеследующем описании рассмотрены дискретные по времени (дискретизированные) сигналы с временным индексом k. Опорный процессор 105 генерирует сигнал монополя m[k] и два сигнала ортогональных диполей d_x[k], d_y[k] из трех сигналов кардиоидных микрофонов c_o[k], c₁[k], c₂[k]:

Заметим, что обработка, необходимая для генерации сигналов опорного пучка из сигналов микрофонов, обладает низкой сложностью и представляет низкую потребность в вычислительных ресурсах.

Три сигнала m[k], dx[k], dy[k] опорного пучка поступают на процессор 107 оценивания, который выполнен с возможностью генерации оценок направлений для двух одновременно действующих источников звука на основании сигналов опорного пучка. Фиг. 4 иллюстрирует элементы процессора 107 оценивания более подробно и в соответствии с некоторыми вариантами осуществления изобретения.

Процессор 107 оценивания содержит комбинатор 401, который принимает сигналы m[k], dx[k], dy[k] опорного пучка и комбинирует их с образованием комбинированного сигнала. Комбинирование может осуществляться простым взвешенным суммированием сигналов опорного пучка, т.е.

y[k]=z₁∙m[k]+z₂∙d_x[k]+z₃∙d_y[k]

В случае когда d_x[k] и d_y[k] соответствуют направленным опорным пучкам, тогда как m[k] соответствует ненаправленному опорному пучку, это можно переписать в виде:

y[k]=z₁∙m[k]+z₄∙(z₅∙d_x[k]+z₆∙d_y[k]),

где z₄∙z₅₌z₂и z₄∙z₆₌z₃и z₅ и z₆являются скалярными значениями, отвечающими критерию (z₅)²+(z₆)² = 1. Таким образом, в данном случае (z₄)² =(z₂)²+(z₃)² и z₅₌z₂/z₄ и z₆₌z₃/z₄.

Таким образом, конкретный пример, где два направленных опорных пучка идентичны за исключением своих направлений, параметры z₅и z₆ управляют направлением главного лепестка, т.е. направлением наибольшего усиления звукового пучка, образованного комбинацией двух направленных опорных пучков, а также звукового пучка, образованного комбинацией трех опорных пучков. Кроме того, форма результирующего звукового пучка, образованного комбинацией трех опорных пучков, определяется параметрами z₁и z₄.

Таким образом, можно видеть, что взвешенная комбинация опорных пучков обеспечивает (по меньшей мере один) параметр направления пучка и (по меньшей мере один) параметр формы пучка, которые выражают/указывают форму пучка и направление комбинированного пучка соответственно.

В конкретном примере комбинация, в частности, выражается следующей комбинацией:

Таким образом, в конкретном примере z₁ = α, z₄ = 1 - α, z₅ = cos(φ_s) и z₆ = sin(φ_s).

В примере, где второй и третий опорные пучки являются диполями с единичным коэффициентом усиления, сумма в квадратных скобках просто соответствует генерации единичного диполя в направлении φ_s. Кроме того, поскольку первый опорный пучок является единичным монополем, ограничение по z₁ и z₄ гарантирует, что результирующий звуковой пучок является звуковым пучком с единичным коэффициентом усиления. Форма звукового пучка регулируется параметром α. В частности, для α=1 результирующий звуковой пучок является единичным монополем, и для α=0 результирующий пучок является единичным диполем в направлении φ_s.

Действительно, результирующая диаграмма направленности звукового пучка задается в виде:

где α - параметр формы пучка, который регулирует форму диаграммы направленности пучка первого порядка, и φ_s - параметр направления пучка, выражающий поворот диаграммы направленности пучка в азимутальной плоскости.

Таким образом, в примере, явное комбинирование осуществляется в соответствии с параметром φ_s направления пучка, который задает взвешивание второго опорного пучка относительно третьего опорного пучка (относительное взвешивание диполей) и параметром α формы пучка, который задает взвешивание первого опорного пучка (монополя) относительно второго и третьего опорных пучков (т.е. относительно комбинированного диполя).

Однако очевидно, что в некоторых вариантах осуществления параметр формы пучка и параметр направления пучка могут быть неявными параметрами, выражающими форму и направление пучка соответственно. Таким образом, комбинация может базироваться на разных весовых значениях, каждое из которых может влиять на характеристики как формы пучка, так и направления пучка. Например, операция комбинирования может непосредственно использовать весовые коэффициенты z₁, z_2,z₃. Таким образом, параметр формы пучка и параметр направления пучка могут не использоваться явно, но могут выражать виртуальные, теоретические или неявные параметры, которые можно выводить из конкретных физических весовых значений, явно используемых в комбинации. Таким образом, параметр формы пучка и параметр направления пучка могут быть функциями весовых коэффициентов комбинации.

Комбинатор подключен к процессору 403 стоимости, который генерирует меру стоимости из комбинированного сигнала. Мера стоимости генерируется как указание энергии и, в частности, мощности, комбинированного сигнала. В конкретном примере мера стоимости вычисляется просто как мощность комбинированного сигнала:

Очевидно, что во многих вариантах осуществления меру стоимости можно определять как значение на выходе низкочастотного фильтра и, в частности, можно усреднять по пригодному количество выборок.

Процессор 403 стоимости подключен к процессору 405 минимизации, который выполнен с возможностью оценивания значения параметра формы пучка для параметра формы пучка и значения параметра направления пучка для параметра направления пучка, которые соответствуют локальному минимуму меры стоимости. Таким образом, процессор 405 минимизации определяет значения параметра направления пучка и параметра формы пучка, при которых функция стоимости достигает локального минимума. В некоторых сценариях локальный минимум является также глобальным минимумом, соответствующим сценарию, где значения параметра формы пучка и параметра направления пучка определяются для достижения наименьшего значения меры стоимости и, таким образом, наименьшей мощности комбинированного сигнала.

В сценариях, где существуют только два источника звука, минимальное значение часто может соответствовать полному ослаблению двух источников звука и, таким образом, нулевой мощности комбинированного сигнала. Однако в практических сценариях мера стоимости обычно бывает выше вследствие шума, отраженных звуков и т.д.

В конкретном случае процессор 405 минимизации дополнительно подключен к комбинатору 401 и непосредственно регулирует значения параметра формы пучка и параметра направления пучка, которые используются для комбинации. Таким образом, в примере минимизация функции стоимости достигается процессором 405 минимизации, регулирующим значения параметров, которые используются для комбинирования сигналов опорного пучка.

Очевидно, что можно использовать другие подходы к определению значений параметров, обеспечивающих минимум функции стоимости. Например, процессор 405 минимизации может генерировать большое множество значений параметров и выдавать их на комбинатор 401 и может отслеживать результирующую меру стоимости.

Например, для каждого времени выборки, процессор 405 минимизации может генерировать большое количество множеств параметров, содержащих значение параметра формы пучка и значение параметра направления пучка. Например, могут генерироваться все возможные множества со значениями α из дискретной последовательности 0, 0.01, 0.02, 0.03 … 0.99 и значения φ_s из дискретной последовательности 0, π/100, 2π/100, 3π/100… 99π/100. Для каждого из этих множеств можно осуществлять комбинирование и можно вычислять меру стоимости. Затем процессор 405 минимизации может производить поиск по значениям меры стоимости для отыскания наименьшего значения. Затем нужные значение параметра формы пучка и значение параметра направления пучка задаются как значения для этого множества.

Процессор 405 минимизации подключен к блоку 407 оценивания направления, который принимает значение параметра формы пучка и значение параметра направления пучка. Блок 407 оценивания направления переходит к определению оценки первого направления для первого источника звука и оценки второго направления для второго источника звука как функций принятых значения параметра формы пучка и значения параметра направления пучка.

Действие блока 407 оценивания направления, в частности, базируется на том факте, что значения параметра формы пучка и параметра направления пучка, которые обеспечивают минимум меры стоимости, также будут обеспечивать нулевую производную функции стоимости по параметру формы пучка и параметру направления пучка. Этот факт позволяет аналитически/теоретически анализировать функцию стоимости для получения функции, выражающей направления источников звука как функцию параметра формы пучка и параметра направления пучка. Таким образом, блок 407 оценивания направления комбинирует конкретный подход к минимизации конкретной измеренной меры стоимости с тем фактом, что эта операция позволяет вычислять аналитическую функцию для оценок направлений из теоретической функции стоимости.

Таким образом, оценка первого направления и оценка второго направления вычисляются в системе как оценки направлений, которые, для значения параметра формы пучка и значения параметра направления пучка, соответствуют аналитической производной функции стоимости по меньшей мере одному из параметра формы пучка и параметра направления пучка, равной нулю.

Иллюстративный аналитический вывод будет описан ниже для конкретной комбинации примера, т.е. для

Однако очевидно, что тот же подход можно применять к другим комбинациям и другим параметрам.

В примере, предполагается, что существует два разных источника звука, находящиеся в азимутальной плоскости, т.е. в плоскости матрицы микрофонов.

Функцию стоимости можно задать в виде:

где ε{∙} обозначает операцию усреднения (или низкочастотной фильтрации).

Предполагая наличие двух направленных источников n_i[k] с i=1, 2 при азимутальных углах φ_ni, значение комбинированного сигнала задается в виде:

Предполагая отсутствие корреляции звуковых сигналов, получаем:

где

Затем функцию стоимости можно анализировать путем дифференцирования по параметру α формы пучка и параметру φ_s направления пучка,получая:

где

и

где

В локальном минимуме меры стоимости производные функции стоимости равны нулю. Как можно видеть для вышеприведенных уравнений, это может иметь место, если:

откуда следует

Однако такое решение соответствует направлению одного источника звука, тогда как предполагается, что в сценарии присутствует два источника звука. Кроме того, можно показать, что это решение является седловой точкой и, соответственно, является нестабильным решением. Соответственно, это решение игнорируется.

Также можно видеть, что производные функции стоимости равны нулю, когда

Это дает выражение

которое справедливо только для

Таким образом, вышеприведенное уравнение выражает направления источников звука как функцию значения параметра формы пучка и значения параметра направления пучка, для которых функция стоимости равна нулю. Поскольку функция стоимости равна нулю в локальных минимумах, значение параметра формы пучка и значение параметра направления пучка, определенные из условия минимальной меры стоимости, соответственно, соответствуют значениям параметров, для которых производные функции стоимости равны нулю. Соответственно, эти значения можно подставлять в вышеприведенное уравнение для обеспечения оценок направлений для двух источников.

Следует отметить, что хотя вышеприведенное уравнение вносит неопределенность вследствие операции ±, верны оба варианта. Действительно, переход между вариантами соответствует всего лишь переключению оценок направлений между двумя источниками звука (т.е. переключению между источниками звука, к которым относится индекс i).

Таким образом, система, показанная на фиг. 1, обеспечивает эффективное оценивание направления для двух одновременно действующих источников звука. Установлено, что этот подход обеспечивает преимущество высокой производительности при высокой точности результатов и низких сложности и требованиях к ресурсам.

В вышеприведенном конкретном примере применялся сравнительно затратный с точки зрения вычислительных ресурсов подход к определению значений параметров, соответствующих минимуму меры стоимости. Ниже будет описан более эффективный с точки зрения вычислительных ресурсов и одновременно более точный и надежный подход.

В нижеследующем примере локальный минимум меры стоимости, в частности, определяется путем итерационного обновления значений параметра формы пучка и параметра направления пучка. Таким образом, на основании текущих значений, значение обновления определяется для каждого нового времени выборки и прибавляется к текущему значению для генерации значений параметров, которые используются для комбинации следующего времени выборки. Таким образом, для каждой выборки определяется только один результат комбинирования, и, на основании текущих значений, определяются новые значения параметров для следующего времени выборки. Таким образом, подход может первоначально не обеспечивать верные значения параметров, но будет сходиться к верным значениям.

Конкретный подход использует процесс градиентного поиска для параметра формы пучка и параметра направления пучка, но очевидно, что градиентный поиск, в принципе, можно применять только к одному из параметров.

Таким образом, в примере значение обновления зависит от значения производной функции стоимости. В частности, значение обновления для параметра формы пучка зависит от значения производной функции стоимости по параметру формы пучка, и значение обновления для параметра направления пучка зависит от значения производной функции стоимости по параметру направления пучка.

Более подробно, оценки значений α и φ_s, генерируются адаптивным алгоритмом на основании самого плавного понижающего обновления, где шаг обновления направлен против поверхности функции стоимости. Таким образом:

и

где ^ обозначает оценочные значения,

Производные (градиенты) можно определять в виде:

и

где y[k], как описано ранее, определяется в виде

Поскольку вычисление градиента зависит от энергии сигналов m[k], dx[k], dy[k] опорного пучка, часто бывает полезно нормализовать уравнение обновление. В результате, можно получить:

и

где

Заметим, что подход позволяет независимо определять обновленные значения двух параметров. В частности, текущее значение обновления для одного параметра не зависит от текущего значения обновления для другого параметра, но только от предыдущих значений.

Этот подход может обеспечивать высокоэффективный подход и комбинацию градиентного поиска с комбинацией, и конкретный подход на основе нулевой производной для вычисления оценок направлений обеспечивает точный подход к определению оценок направлений, одновременно поддерживая низкую сложность и низкие требования к вычислительным ресурсам.

В порядке примера, адаптивный алгоритм был смоделирован для следующих трех множеств местоположений источников:

Заметим, что для каждого множества источников звука, верны два оптимальных решения для значений параметров (оба имеющие нулевое значение функции стоимости). Одно оптимальное решение соответствует положительным значениям α, тогда как другое соответствует отрицательным значениям α. Однако оба решения дают одинаковые направленные оценки для двух источников.

В ходе моделирования использовались два некоррелированных источника гауссовой шумовой последовательности с единичной дисперсией. Некоррелированный шум также добавили в сигнал монополя и два сигнала ортогональных диполей с дисперсией 0.0001 для монополя и 0.000058 для диполей (в соответствии со сферическим изотропным шумовым полем).

Усредненные по множеству результаты (по 10000 независимым проходам) для оценочных значений оценок направлений φ_ni проиллюстрированы на фиг. 5 и 6. Диаграммы направленности пучка, соответствующие комбинированным сигналам для трех множеств источников звука, проиллюстрированы на фиг. 7. Как можно видеть, нули располагаются под правильными азимутальными углами. Кроме того, ясно, что для множества #1 форма диаграммы направленности пучка аналогична форме множества #3 без учета масштабного коэффициента. Этот масштабный коэффициент обусловлен тем, что диаграмма направленности пучка множества #1 построена из положительного значения α, тогда как диаграмма направленности пучка множества #3 построена из отрицательного значения α. Для значений α между 0 и 1, главный лепесток диаграммы направленности пучка имеет единичный коэффициент усиления. Фиг. 8 иллюстрирует схождение усредненной по множеству меры стоимости.

В некоторых вариантах осуществления процессор 107 оценивания выполнен с возможностью ограничения параметра формы пучка уменьшенным рабочим интервалом. Интервал, в частности, может ограничивать значение таким образом, чтобы максимальное взвешивание первого опорного пучка было меньше, чем взвешивание комбинированного взвешивания второго и третьего опорного пучка из по меньшей мере трех опорных пучков. В конкретном примере этого можно добиться, просто устанавливая условие α < ½.

Ограничение значения формы пучка взвешиванием монополя, которое меньше, чем взвешивание диполя, происходящего из комбинации двух отдельных диполей опорного пучка, гарантирует наличие по меньшей мере двух провалов в азимутальной плоскости.

В предыдущем описании предполагалось, что два источника звука располагаются в азимутальной плоскости. В частности, уравнения опорного пучка:

были упрощены исходя из того, что параметр θ возвышения равен π/2, и, таким образом, sin(θ)=1. Однако в некоторых вариантах осуществления может быть преимущественно учитывать возвышение источников звука. В таком случае, форму пучка комбинированного сигнала можно выразить следующим образом:

Используя функцию стоимости

где

получаем

где угол возвышения для каждого из источников звука выражается как

Дифференцируя эту функцию по параметру α формы пучка и параметру φ_s направления пучка, получаем:

где

и

где

Таким образом, производные функции соответствуют функциям, определенным для двухмерного случая, но видоизмененным для учета параметра возвышения

Как и раньше, требование нулевой производной обеспечивает нестабильное решение, соответствующее

и, таким образом,

Игнорируя это решение, получаем решение:

Таким образом, как можно видеть, требование нулевых производных приводит к соответствующему уравнению для определения оценок направлений из значений параметров, как для двухмерного случая (где предполагается, что источники звука находятся в азимутальной плоскости). Однако, как показано, оценки направлений также изменяются в зависимости от возвышения. Заметим, что возвышение источников звука вне азимутальной плоскости (матрицы микрофонов) приводит к внесению ошибки в двухмерной плоскости, если используется предыдущее упрощенное двухмерное уравнение.

В некоторых вариантах осуществления двухмерные оценки направлений можно, таким образом, скомпенсировать на возвышение источников звука вне плоскости. В порядке простого примера, пользователь может вручную определять угол возвышения потенциальных источников относительно матрицы микрофонов и может вручную вводить угол возвышения. Например, для приложения конференции, где матрица микрофонов располагается в центре стола для проведения конференции, угол возвышения, соответствующий типичной высоте говорения людей, сидящих вокруг стола, можно определять и сообщать устройству. Затем этот угол возвышения используется в качестве фиксированного заранее определенного значения калибровки в вышеприведенном уравнении.

Такой подход может повысить точность определенных оценок направлений. Однако очевидно, что для многих практических приложений, ошибка, вносимая вследствие возвышения источников звука, будет незначительной, и ее можно просто игнорировать.

В некоторых вариантах осуществления устройство может быть дополнительно выполнено с возможностью генерации трехмерной оценки направления для двух оценок направлений. В частности, помимо азимутального угла можно также определять угол возвышения.

В некоторых вариантах осуществления опорный процессор 105 дополнительно выполнен с возможностью генерации четвертого опорного пучка в качестве направленного пучка, имеющего пик усиления в направлении от плоскости, образованной пиками усиления второго и третьего опорных пучков. Такие пучки, в частности, можно генерировать с использованием трехмерной матрицы микрофонов. Например, помимо трех микрофонов M₁, M₂, M₃ в плоскости x, y (см. фиг. 2), матрица микрофонов может дополнительно содержать четвертый микрофон, смещенный в направлении z, т.е. имеющий z≠0.

В конкретном примере матрица микрофонов может содержать четыре микрофона, которые располагаются в точках правильного тетраэдра. Таким образом, можно использовать симметричную сферическую компоновку микрофонов. Аналогично плоской матрице микрофонов, использование направленных (например, кардиоидных) микрофонов в сферической матрице микрофонов имеет преимущество в том, что чувствительность к шуму датчика и рассогласованию датчиков значительно снижается.

Кроме того, в примере опорный процессор 105 может комбинировать сигналы для генерации четвертого опорного пучка, который является диполем, аналогичным по форме диполям второго и третьего опорных пучков. В частности, диполи могут быть ортогональны и идентичны за исключением ориентации (направления). В частности, опорный процессор 105 может генерировать следующие опорные пучки:

где θ - угол возвышения, и ϕ - азимутальный угол. Таким образом, помимо трех опорных пучков предыдущего двухмерного примера, генерируется третий диполь, ориентированный по оси z. Опорные пучки проиллюстрированы на фиг. 9.

Затем устройство может осуществлять вышеописанный процесс оценивания двухмерного направления на основании первых трех опорных пучков, т.е. на основании E_m,

Как показано выше, производные равны нулю, когда

Таким образом, оценивание направления на основании первых трех опорных пучков идентифицирует множество точек в трехмерном пространстве. Вышеприведенное уравнение, в частности, задает множество точек, соответствующее боковой поверхности (поворотно-симметричного) конуса, вершина которого находится в центре системы координат. Все источники звука, находящиеся в точках на боковой поверхности конуса, дают нулевые производные. Точки пересечения боковой поверхности конуса с плоскостью x-y соответствуют предыдущим двухмерным оценкам.

Устройство может дополнительно осуществлять точно такие же операции на основании первого, второго и четвертого опорных пучков, т.е. на основании E_m,

Затем устройство может переходить к определению трехмерных оценок на основе обоих процессов и, таким образом, на основании значений параметра формы пучка и параметра направления пучка для плоскости x-y и значений параметра формы пучка и параметра направления пучка для плоскости x-z.

В частности, оценивание в плоскости x-y дает первое множество трехмерных точек, для которых производная функции стоимости в плоскости x-y равна нулю (первый конус), и оценивание в плоскости x-z дает второе множество трехмерных точек, для которых производная функции стоимости в плоскости x-z равна нулю (второй конус). Поскольку источник звука позиции должен удовлетворять обоим требованиям, множество возможных позиций источника звука соответствуют точкам, принадлежащим обоим множествам точек. Таким образом, множества возможных позиций источника звука соответствуют пересечениям двух конусов. Следовательно, множества возможных позиций источника звука задают две линии в трехмерном пространстве, которые обе исходят из центра системы координат.

Выбор между точками пересечения можно осуществлять на основании требования, чтобы они соответствовали заранее определенному значению коэффициента усиления, т.е. чтобы они находились на конкретном расстоянии от центра системы координат. В частности, в примере, где все опорные пучки являются пучками с единичным коэффициентом усиления, точки источников звука можно находить как точки пересечения множеств возможных позиций источника звука с единичной сферой. Это приводит к определению двух конкретных точек. Две точки (x_i, y_i, z_i) с i=1, 2 можно преобразовать к сферическим координатам:

и

где arctan[∙] это оператор арктангенса с областью определения в четырех квадрантах.

Таким образом, для определения трехмерных оценок направлений можно использовать четвертый опорный пучок и эквивалентную обработку в двух плоскостях.

Очевидно, что описанный подход может использовать любые две из трех плоскостей, т.е. трехмерное оценивание направления может альтернативно базироваться на множествах опорных пучков E_m,

В некоторых вариантах осуществления алгоритм можно осуществлять во всех трех плоскостях. В этом случае, оценивание направления может базироваться на двух плоскостях, для которых разность между оценочными углами в плоскости максимальна. Дело в том, что, как известно, адаптивное поведение алгоритма ухудшается, когда разность между углами двух источников (наблюдаемая в соответствующей плоскости) уменьшается (например, когда α приближается к ½). Следовательно, мы выбираем две плоскости, где α/(α-1) ближе всего к 0 (нулю).

Очевидно, что оценки направлений можно преимущественно использовать во многих сценариях и для многих приложений. Например, это может составлять основу разделения источников звука, в котором, например, можно использовать направленные пучки или нули, ориентируемые в соответствии с направленными оценками. Например, два пучка могут формироваться в оцененных направлениях источников звука (когда источники звука представляют требуемые сигналы) или два нуля могут формироваться в оцененных направлениях источников звука (когда источники звука представляют нежелательные сигналы) с использованием любого пригодного метода формирования диаграммы направленности.

Очевидно, что в вышеприведенном описании варианты осуществления изобретения, для ясности, описаны со ссылкой на различные функциональные схемы, блоки и процессоры. Однако очевидно, что можно использовать любое пригодное распределение функциональных возможностей между разными функциональными схемами, блоками или процессорами, не выходя за рамки изобретения. Например, функциональные возможности, проиллюстрированные как осуществляемые отдельными схемами, процессорами или контроллерами, могут осуществляться одной и той же схемой, процессором или контроллером. Следовательно, ссылки на конкретные функциональные блоки или схемы следует рассматривать только как ссылки на пригодные средства для обеспечения описанных функциональных возможностей, а не указания строгой логической или физической структуры или организации.

Изобретение можно реализовать в любой пригодной форме, включая аппаратную, программную, программно-аппаратную или любую их комбинацию. Изобретение можно при необходимости реализовать по меньшей мере частично в виде компьютерного программного обеспечения, выполняющегося на одном или более процессорах данных и/или цифровых сигнальных процессорах. Элементы и компоненты варианта осуществления изобретения можно физически, функционально и логически реализовать любым пригодным образом. Действительно, функциональные возможности можно реализовать в едином блоке, во множестве блоков или в виде части других функциональных блоков. Таким образом, изобретение можно реализовать в едином блоке или физически и функционально распределить между разными блоками, схемами и процессорами.

Термин схема, процессор, контроллер и т.д. не подразумевает конкретную конструкцию или реализацию, но предполагает реализацию любым пригодным образом. В частности, схема может представлять собой, например, алгоритм обработки, реализованный в виде исполнимого кода на пригодном процессоре.

Хотя настоящее изобретение было описано в связи с некоторыми вариантами осуществления, не предусмотрено его ограничение конкретной формой, представленной здесь. Напротив, объем настоящего изобретения ограничен только формулой изобретения. Дополнительно, хотя тот или иной признак может быть описан в связи с конкретными вариантами осуществления, специалисту в данной области техники очевидно, что различные признаки описанных вариантов осуществления можно комбинировать в соответствии с изобретением. В формуле изобретения термин «содержащий» не исключает наличия других элементов или этапов.

Кроме того, хотя они индивидуально перечислены, множество средств, элементов, схем или этапов способа можно реализовать, например, посредством единой схемы, блока или процессора. Дополнительно, хотя отдельные признаки могут быть включены в разные пункты формулы изобретения, их можно преимущественно комбинировать, и включение в разные пункты формулы изобретения не подразумевает, что комбинация признаков не является осуществимой и/или преимущественной. Кроме того, включение признака в одну категорию пунктов формулы изобретения не подразумевает ограничения этой категорией, но, напротив, указывает, что признак в равной степени применим к другим категориям пунктов формулы изобретения, если таковые существуют. Кроме того, порядок признаков в формуле изобретения не подразумевает никакого конкретного порядка использования признаков, и, в частности, порядок отдельных этапов в пункте способа не подразумевает, что этапы должны осуществляться в этом порядке. Напротив, этапы можно осуществлять в любом пригодном порядке. Кроме того, ссылки в единственном числе не исключают наличия множества. Таким образом, ссылки на элемент, в том числе "первый", "второй" и т.д. не исключают наличия их множества. Ссылочные позиции в формуле изобретения предусмотрены лишь как пояснительный пример и никоим образом не подлежат рассмотрению в порядке ограничения объема формулы изобретения.

Реферат

Изобретение относится к акустике. Устройство определения местоположения аудиоисточника выполнено с возможностью приема сигналов от матрицы микрофонов, а опорный процессор генерирует по меньшей мере три опорных пучка с разными направленными свойствами. Процессор оценивания формирует одновременные оценки направлений для двух источников звука и содержит схему, комбинирующую сигналы по меньшей мере трех опорных пучков с параметром формы пучка, определяющим форму звукового пучка, и параметром направления пучка, задающим направление звукового пучка для комбинированного сигнала. Устройство содержит процессор стоимости, вычисляющий меру стоимости, характеризующую энергию комбинированного сигнала, и процессор минимизации, который оценивает значения параметра формы пучка и параметра направления пучка с учетом локального минимума величины стоимости. Затем процессор направления определяет одновременные оценки направлений для двух источников звука из полученных ранее значений параметров. Технический результат - повышение точности оценки направления на источники звука. 2 н. и 13 з.п. ф-лы, 9 ил., 1 табл.

Формула

14. Устройство определения местоположения аудиоисточника по п. 1, в котором комбинация задается по существу в виде

где y[k] выражает выборку k комбинированного сигнала, m[k] выражает выборку k первого опорного пучка, d_x[k] выражает выборку k второго опорного сигнала, d_y[k] выражает выборку k третьего опорного сигнала,

- параметр формы пучка, и

- параметр направления пучка.