Оценка положения источника звука - RU2611563C2
Код документа: RU2611563C2
Чертежи
Описание
Область техники, к которой относится изобретение
Изобретение относится к определению положения источника звука и, в частности, но не исключительно, к оценке положения, основанной на разности времени прихода сигналов в два микрофона.
Уровень техники
Во многих приложениях знание положения источника звука является предпочтительным и может, например, использоваться для оптимизации обработки сигналов звука, захваченного из источника звука. Например, обработка сигналов для передачи данных в режиме "свободные руки" и в приложениях для организации телеконференций может быть оптимизирована в зависимости от конкретного положения, и обычно просто в зависимости от углового направления на источник звука. В соответствии с этим, множество систем обработки звука содержат системы отслеживания звука, которые позволяют детектировать и отслеживать (например, угловое) положение источника звука.
В одном подходе для определения положения источника звука используется массив микрофонов с относительными различиями между сигналами микрофона, которые анализируют для оценки положения источника. Общие способы локализации, используя массивы микрофонов, в основном, основаны на расчете разности во времени прихода звуковых волн в каждый из микрофонов.
Другие способы локализации, с использованием близко расположенных рядом друг с другом микрофонов основаны на построении дифференциальных откликов первого порядка, путем комбинирования сигналов двух микрофонов и использования критерия оптимизации для управления с поддержанием нуля в направлении источника звука.
Используя три микрофона, определение местоположения источника звука относительно массива может быть определено в (горизонтальной) азимутальной плоскости в пределах 360 градусов на основе времени прихода, и, действительно, на основе разности времен прихода. Однако, для уменьшения стоимости и сложности соответствующей обработки, желательно уменьшить количество микрофонов в максимально возможной степени, и, поэтому, желательно выполнять определение положения, используя только два микрофона.
С двумя микрофонами расчет правильного времени прихода может обеспечить возможность определения конкретных положений, то есть, определение положения обычно в горизонтальной плоскости. Однако такие расчеты требуют, чтобы было известно время перехода от источника звука, и, таким образом, обычно требуют, чтобы источник звука был синхронизирован со схемой определения положения. Обычно это является чрезвычайно непрактичным, и, поэтому, определение положения обычно основано на разности измерений времени прихода между микрофонами. Для варианта воплощения с двумя микрофонами это означает, что только угловое направление может быть обычно определено при известном расстоянии до источника звука. Однако, для множества вариантов применения такое определение углового положения является чрезвычайно предпочтительным и действительно достаточным для множества вариантов применения.
Однако другая проблема с установкой из двух микрофонов состоит в том, что они являются абсолютно симметричными вокруг оси, взаимно соединяющей эти два микрофона, как представлено на Фиг. 1. В примере два микрофона M1 и M2 используются для определения углового направления А на источник S звука на основе разности времени между двумя микрофонами M1 и M2.
Таким образом, система определяет разность во времени прихода между фронтами волн для микрофонов M1 и M2. Если источник расположен в дальней области, тогда можно предположить, что звуковые волны будут плоскими и параллельными друг другу. Используя тригонометрию, угол связан с разностью времени прихода (TDOA) t (в секундах) соотношением
где d представляет собой расстояние между микрофонами, и c представляет собой скорость звука в воздухе. Поэтому угол A может быть определен следующим образом:
где A находится в диапазоне [0, 180°].
Однако, с таким подходом связана присущая ему неоднозначность, и он может определять А только в диапазоне [0, 180°]. Таким образом, он не обеспечивает достаточную информацию о направлении источника в азимутальной плоскости в пределах 360°. В частности, он не может различать, расположен ли источник звука в положении S или в фантомном положении G.
Следовательно, улучшенный подход для оценки положения источника звука мог бы быть предпочтительным и, в частности, был бы предпочтительным подход, обеспечивающий повышенную гибкость, улучшенную работоспособность и/или воплощение, меньшую сложность, сниженную стоимость, уменьшенные требования к вычислительной мощности и/или улучшенные характеристики. В частности, был бы предпочтительным подход, пригодный для улучшенного определения положения источника звука, и, в частности, обеспечивающий разрешение неоднозначности для установки двух микрофонов.
Раскрытие изобретения
В соответствии с этим, изобретение направлено на то, чтобы, предпочтительно, уменьшить, облегчить или устранить один или больше из упомянутых выше недостатков по одному или в любой комбинации.
В соответствии с аспектом изобретения предложено устройство для определения оценки положения для источника звука, устройство, содержащее: первый микрофон, предназначенный для генерирования сигнала первого микрофона; второй микрофон, предназначенный для генерирования сигнала второго микрофона; акустический элемент, обеспечивающий акустический эффект для звука из положений источника звука для первого микрофона, акустический эффект является асимметричным относительно оси между первым и вторым микрофоном; процессор положения, содержащий: первую схему положения для оценки первого возможного положения и второго возможного положения для источника звука, в ответ на время прихода в первой микрофон и во второй микрофон для звука от источника звука, первое возможное положение представляет собой положение в первой области с одной стороны оси, и второе возможное положение представляет собой положение во второй области с противоположной стороны оси; блок оценки, предназначенный для определения первой меры акустического эффекта для сигнала первого микрофона, первый акустический эффект обозначает степень, с которой акустический эффект сигнала первого микрофона соответствует ожидаемой характеристике акустического эффекта для источников звука в первой области; вторую схему положения, предназначенную для определения оценки положения для источника звука путем выбора между первым возможным положением и вторым возможным положением, в ответ на меру первого акустического эффекта.
Изобретение может обеспечить возможность улучшенного и/или облегченного определения/оценки положения для источника звука. В частности, определение/оценка положения могут быть выполнены, используя только два микрофона.
Данный подход основан на реализации того, что физический акустический элемент может использоваться для нарушения симметрии между положениями источника звука, и оценка асимметричного акустического эффекта в сигнале микрофона может использоваться для разрешения неоднозначности между разными возможными оценками положения.
Ожидаемая характеристика акустического эффекта может представлять собой заданную характеристику. Ожидаемая характеристика может отражать, в какой степени акустический эффект влияет на положения источника звука для первой области. Акустический эффект будет отличаться для акустических эффектов в первой области и во второй области, и ожидаемая характеристика может отражать эту разность. Акустический эффект может быть выполнен так, чтобы он был намного сильнее для первой области относительно второй области, или наоборот. Ожидаемая характеристика может представлять собой отсутствие акустического эффекта. Например, акустический эффект может быть существенным для источников звука во второй области и может быть незначительным для источников звука в первой области, и ожидаемая характеристика для первой области может, соответственно, быть такой, что (существенный) акустический эффект отсутствует.
Первая схема положения, в частности, может быть выполнена с возможностью оценки первого возможного положения и второго возможного положения в ответ на разность времени прихода между первым микрофоном и вторым микрофоном для звука от источника звука.
Положение может представлять собой одномерное положение. Например, первое и второе возможные положения могут быть определены при ограничении, ограничивающем их до одномерных положений. Положения, в частности, могут представлять собой направления на источник звука от компоновки микрофонов, такие, как угловое направление.
Первая и вторая области могут соответствовать двум половинам плоскостей для плоскости положения, в которой первая схема положения определяет два возможных положения. Две полуплоскости, в таком случае, разделены осью между микрофонами. Плоскость положения, в частности, может представлять собой горизонтальную плоскость. Плоскость положения может включать в себя ось между микрофонами.
Выбор может быть основан на сравнении с пороговым значением. В качестве конкретного примера, если мера акустического эффекта превышает пороговое значение, может быть выбрано первое возможное положение, и в противном случае будет выбрано второе возможное положение.
В соответствии с опциональным признаком изобретения, мера первого акустического эффекта обозначает степень, с которой акустический эффект сигнала первого микрофона соответствует ожидаемому акустическому эффекту акустического элемента для источников звука в первой области относительно степени, в которой акустический эффект сигнала первого микрофона соответствует ожидаемой характеристике акустического эффекта для источников звука во второй области.
Это может обеспечивать улучшенное определение положения во множестве сценариев и может, в частности, обеспечивать более надежный выбор между первым и вторым возможными положениями. Ожидаемый акустический эффект для первой или для второй области может представлять собой нулевой эффект, то есть, можно ожидать, что акустический эффект будет пренебрежимо малым либо для первой, или для второй области.
В соответствии с опциональным признаком изобретения, акустический эффект является асимметрично зависимым от частоты в отношении оси, и блок оценки выполнен с возможностью генерирования меры первого акустического эффекта в ответ на определение степени корреляции между частотным откликом первого сигнала и ожидаемым частотным откликом для источника звука в первой области.
Это может способствовать обработке и/или может обеспечивать более надежный выбор и/или может способствовать воплощению акустического элемента. Акустический эффект может проявлять функцию передачи частоты из источников звука в первый микрофон, которая отличается для двух областей. Ожидаемая характеристика, в частности, может представлять собой ожидаемую характеристику частотной области для сигнала первого микрофона.
В некоторых вариантах осуществления блок оценки может быть выполнен с возможностью генерирования меры первого акустического эффекта в ответ на определение степени корреляции между частотным откликом первого сигнала и ожидаемым частотным откликом для источника звука во второй области.
В соответствии с опциональным признаком изобретения акустический эффект является асимметрично зависимым от частоты; и блок оценки содержит фильтр для фильтрации первого сигнала микрофона, для генерирования первого отфильтрованного сигнала микрофона, и выполнен с возможностью определения меры первого акустического эффекта в ответ на отфильтрованный сигнал первого микрофона.
Это может обеспечивать более надежный выбор между двумя возможными положениями во многих вариантах осуществления. Во многих сценариях акустический элемент может обеспечивать акустический эффект, который является более выраженным и/или более асимметричным в конкретном частотном интервале, и путем детального учета характеристик в таких частотных интервалах может быть достигнут более надежный выбор.
В соответствии с опциональным признаком изобретения, акустический элемент выполнен с возможностью приема первым микрофоном отражения от источников звука в первой области, но не от источников звука во второй области.
Это может обеспечивать особенно существенный и асимметричный эффект, который может обеспечивать более надежный выбор между двумя возможными положениями во многих сценариях. В частности, во многих вариантах осуществления могут быть обеспечены существенные провалы из-за деструктивной интерференции между прямым и непрямым путями. Такие провалы, в частности, могут быть надежно детектированы в сигнале микрофона, и часто могут быть детектированы, даже если частотный отклик сигнала источника звука не известен.
В соответствии с опциональным признаком изобретения, ожидаемая характеристика представляет собой эффект интерференции, получаемый в результате интерференции между прямыми и отраженными звуковыми компонентами от источников звука в первой области.
Это может обеспечивать особенно существенный и асимметричный эффект, который может обеспечивать более надежный выбор между двумя возможными положениями во многих сценариях.
В частности, часто характеристика может быть такой, что ее можно будет относительно легко детектировать в сигнале первого микрофона.
В соответствии с опциональным признаком изобретения, ожидаемая характеристика представляет собой частотный отклик интерференции.
Это может обеспечить, в частности, надежный выбор между двумя возможными положениями во многих сценариях. В частности, степень провалов на определенных частотах может использоваться для детектирования, расположен ли источник звука в первой или во второй области.
В соответствии с опциональным признаком изобретения, акустический элемент присутствует только с одной стороны оси.
Это может способствовать обработке и/или может обеспечить более надежный выбор и/или может помочь воплощению акустического элемента. В частности во многих вариантах осуществления это обеспечивает подход с малой сложностью для генерирования в высокой степени асимметричного акустического эффекта.
В соответствии с опциональным признаком изобретения, блок оценки выполнен с возможностью определения меры первого акустического эффекта в ответ на сравнение первого сигнала микрофона со вторым сигналом микрофона.
Это может обеспечить улучшенное определение положения во многих сценариях и, в частности, может обеспечить более надежный выбор между первым и вторым возможными положениями. Во многих вариантах осуществления это может обеспечить повышенную интенсивность для вариаций в характеристиках (например, распределения частоты) звука, получаемого из источника звука.
В соответствии с опциональным признаком изобретения, устройство дополнительно содержит: второй акустический элемент, обеспечивающий второй акустический эффект для звука из положений источников звука во второй микрофон, второй акустический эффект является асимметричным относительно оси; и в котором процессор положения содержит: второй блок оценки, предназначенный для определения второй меры акустического эффекта для сигнала второго микрофона, вторая мера акустического эффекта обозначает степень, с которой акустический эффект сигнала второго микрофона соответствует ожидаемой характеристике второго акустического эффекта для источников звука во второй области; и в котором вторая схема положения выполнена с возможностью определения оценки положения для источника звука путем дополнительного выбора между первым возможным положением и вторым возможным положением в ответ на вторую меру акустического эффекта.
Это может обеспечить улучшенное определение положения во многих сценариях и может, в частности, обеспечить более надежный выбор между первым и вторым возможными положениями.
В соответствии с опциональным признаком изобретения, вторая схема положения выполнена с возможностью выбора первого возможного положения, если первая мера акустического эффекта превышает вторую меру акустического эффекта, и выбора второго возможного положения, если вторая мера акустического эффекта превышает первую меру акустического эффекта.
Это может обеспечить улучшенное определение положения во многих сценариях и, в частности, может обеспечить более надежный выбор между первым и вторым возможными положениями.
В соответствии с опциональным признаком изобретения ближайшая точка акустического элемента расположена не далее, чем 10 см от первого микрофона.
Это может обеспечить улучшенное определение положения во многих сценариях и/или может обеспечить более практичное воплощение. В частности, это может обеспечить возможность игнорирования эффектов в ближнем поле.
В соответствии с опциональным признаком изобретения, расстояние между первым микрофоном и вторым микрофоном выбирают не меньше, чем 1 см и не больше, чем 50 см.
Это может обеспечить улучшенное определение положения во многих сценариях и/или может обеспечить более практичное воплощение.
В соответствии с аспектом изобретения, предусмотрено устройство для определения по сигналу первого микрофона, поступающего из первого микрофона, и сигналу второго микрофона, поступающего из второго микрофона, оценки положения для источника звука в звуковой окружающей среде, содержащей акустический элемент, обеспечивающий акустический эффект для звука из положений источника звука в первый микрофон, причем этот акустический эффект является асимметричным относительно оси между первым микрофоном и вторым микрофоном; при этом устройство содержит: первый приемник, предназначенный для приема сигнала первого микрофона; второй приемник, предназначенный для приема второго микрофона; первую схему положения для оценки первого возможного положения и второго возможного положения для источника звука, в ответ на время прихода в первый микрофон и второй микрофон для звука из источника звука, первое возможное положение представляет собой положение в первой области с одной стороны оси, и второе возможное положение представляет собой положение во второй области с противоположной стороны оси; блок оценки для определения меры акустического эффекта для сигнала первого микрофона, причем мера акустического эффекта обозначает степень, с которой акустический эффект сигнала первого микрофона соответствует ожидаемой характеристике акустического эффекта для источников звука в первой области; схему второго положения, предназначенную для определения оценки положения для источника звука путем выбора между первым возможным положением и вторым возможным положением, в ответ на меру акустического эффекта.
В соответствии с аспектом изобретения, предусмотрен способ определения из сигнала первого микрофона, поступающего из первого микрофона, и сигнала второго микрофона, поступающего из второго микрофона, оценки положения для источника звука в окружающей звуковой среде, содержащей акустический элемент, обеспечивающий акустический эффект для звука из положений источника звука для первого микрофона, причем акустический эффект является асимметричным относительно оси между первым микрофоном и вторым микрофоном; при этом способ содержит этапы, на которых: принимают сигнал первого микрофона; принимают сигнал второго микрофона; выполняют оценку первого возможного положения и второго возможного положения для источника звука в ответ на время прихода в первый микрофон и во второй микрофон для звука из источника звука, причем первое возможное положение представляет собой положение в первой области с одной стороны оси, и второе возможное положение представляет собой положение во второй области с противоположной стороны оси; определяют меру акустического эффекта для сигнала первого микрофона, причем мера акустического эффекта обозначает степень, с которой акустический эффект сигнала первого микрофона соответствует ожидаемой характеристике акустического эффекта для источников звука в первой области; и определяют оценку положения для источника звука для выбора между первым возможным положением и вторым возможным положением, в ответ на первую меру акустического эффекта.
Эти и другие аспекты, свойства и преимущества изобретения будут понятны и будут представлены со ссылкой на вариант (варианты) осуществления, описанные ниже.
Краткое описание чертежей
Варианты осуществления изобретения будут описаны только в качестве примера, со ссылкой на чертежи, на которых:
на Фиг. 1 показана иллюстрация примера компоновки для оценки положения источника звука в соответствии с предшествующим уровнем техники;
на Фиг. 2 показана иллюстрация примера компоновки для оценки положения источника звука в соответствии с некоторыми вариантами осуществления изобретения;
на Фиг. 3 иллюстрируется пример элементов системы для определения оценки положения источника звука в соответствии с некоторыми вариантами осуществления изобретения;
на Фиг. 4 показана иллюстрация примера компоновки для оценки положения источника звука, в соответствии с некоторыми вариантами осуществления изобретения;
на Фиг. 5-7 показаны иллюстрации примеров частотных откликов для компоновок для оценки положения источника звука;
на Фиг. 8 показана иллюстрация примеров импульсных откликов, для компоновок для оценки положения источника звука;
на Фиг. 9 иллюстрируется пример элементов системы для определения оценки положения, для источника звука в соответствии с некоторыми вариантами осуществления изобретения;
на Фиг. 10 показана иллюстрация примера компоновки для оценки положения источника звука в соответствии с некоторыми вариантами осуществления изобретения; и
на Фиг. 11 показана иллюстрация примера компоновки для оценки положения источника звука в соответствии с некоторыми вариантами осуществления изобретения.
Осуществление изобретения
Следующее описание фокусируется на вариантах осуществления изобретения, применимых для оценки положения из источника звука, используя разность времени прихода (TDOA) только в двух микрофонах, для определения углового направления в направлении источника звука. Однако следует понимать, что изобретение не ограничено этим применением, но может быть применено во многих других вариантах применения, в которых определяют положения источников звука.
На Фиг. 2 иллюстрируется пример конфигурации установки для такого подхода. Аналогично Фиг. 1, в системе используются два микрофона М1 и M2, которые расположены на заданном расстоянии друг от друга. В описанных подходах разность времени прихода звука от источника S звука к этим двум микрофонам М1 и M2 используют для того, чтобы вначале сгенерировать два возможных положения. В частности, генерируют первое возможное положение в полуплоскости слева от оси 201 между микрофонами М1, M2, и генерируют второе возможное положение в полуплоскости справа. Поскольку TDOA будет одинаковой для симметричных положений вокруг оси 201 между микрофонами М1, M2 (соответствующими оценке А углового положения, алгоритм TDOA имеет возможность определять положения только в диапазоне 180°), алгоритм TDOA не будет иметь возможности различать между симметричными положениями.
Однако в подходе по Фиг. 2 введен акустический элемент 203, который обеспечивает акустический эффект для звука от источника S звука в направлении первого микрофона М1. Кроме того, акустический эффект является асимметричным в отношении оси 201 между микрофонами. Акустический элемент 203, таким образом, вводит разность в сигнал для сигнала первого микрофона, зависящую от того, находится ли источник звука в левой полуплоскости или в правой полуплоскости.
При таком подходе такая введенная асимметрия используется для выбора между двумя возможными положениями (и, в частности, в примере между двумя возможными направлениями), то есть, для определения, находится ли источник звука в положении S или G на Фиг. 2. Это осуществляется только путем использования того факта, что акустический эффект акустического элемента 203 на сигнал первого микрофона является предсказуемым, и что сигнал микрофона от первого микрофона М1 соответственно будет проявлять свойство, соответствующее физическому эффекту для левой полуплоскости, если источник звука будет расположен в левой полуплоскости, и свойство, соответствующее физическому эффекту для правой полуплоскости, если источник звука расположен в правой полуплоскости. Поэтому, путем определения, проявляет ли измеренный сигнал микрофона свойство, которые наиболее близко соответствуют свойству левой полуплоскости или правой полуплоскости, становится возможным определять, находится ли положение источника звука в левой полуплоскости или в правой полуплоскости, и соответственно выбирать соответствующее положение из двух возможных положений.
Более конкретно, в примере на Фиг. 2 акустический элемент 203 (в частности, препятствие) расположен рядом с первым микрофоном М1 и выполнен таким образом, что акустический эффект для (и, таким образом, влияние на сигнал от) первого микрофона М1 зависит от того, расположен ли акустический элемент 203 между источником звука и микрофоном М1 или расположен ли микрофон М1 между источником звука и акустическим элементом 203. В частности, акустический элемент 203 может быть выполнен таким образом, что сильный и ясно детектируемый акустический эффект возникает для одного сценария, но не для другого. Выбор между двумя оценками возможного положения может затем быть выполнен просто на основе того, можно ли детектировать акустический эффект в сигнале первого микрофона, или нет.
На Фиг. 3 иллюстрируется пример системы для определения оценки положения для источника звука, в соответствии с некоторыми вариантами осуществления изобретения.
Система включает в себя компоновку, представленную на Фиг. 2. Таким образом, система содержит первый и второй микрофоны М1, M2 с акустическим элементом 203, проксимальным первому микрофону М1. Акустический элемент 203 расположен ближе к первому микрофону М1, чем ко второму микрофону M2, и влияние на акустический сигнал во втором микрофоне M2 может быть пренебрежимо малым. Кроме того, акустический эффект, оказываемый на первый микрофон М1, является асимметричным относительно оси 201 между микрофонами М1, M2.
В примере на Фиг. 3 первый и второй микрофоны М1, M2 обеспечивают оцифрованные и соответствующим образом усиленные сигналы микрофона (или эквивалентно первый и второй микрофоны М1, M2 подают сигналы в цепи (не показаны) для соответствующего усиления и оцифровки захваченных аналоговых сигналов микрофона).
В примере оцифрованные сигналы подают в опциональные преобразователи 301, 303 с понижением частоты, которые уменьшают частоту выборки до соответствующей частоты, чтобы уменьшить вычислительную нагрузку при последующей обработке.
Сигналы микрофонов после преобразования с понижением частоты затем подают в первый процессор 305 положения, который генерирует оценку для первого возможного положения и второго возможного положения для источника звука, в ответ на время прихода в первый микрофон М1 и во второй микрофон M2 для звука из источника звука.
В конкретном примере первый процессор 305 положения выполняет оценку TDOA для одномерного положения. В частности, угловое направление А в направлении источника звука из средней точки между микрофонами М1, M2 оценивают на основе относительной разности во времени между сигналами двух микрофонов.
Следует понимать, что в других вариантах осуществления, могут использоваться ограничения для определения двумерного положения (или даже трехмерного положения). Например, если известно, что источник звука расположен на фиксированном расстоянии до оси 201, процессор 305 первого положения может определять соответствующее двумерное положение на основе TDOA для сигналов микрофона (например, по угловой оценке и расстоянию до оси 201).
Кроме того, хотя алгоритм TDOA на основе двух микрофонов обычно позволяет определять только одномерное положение, оценка двумерного положения может быть выполнена в других вариантах осуществления, например, путем определения абсолютного времени прихода для сигналов от источника звука. Однако такой подход обычно требует, чтобы было известно начальное время для звука из источника звука, что дополнительно требует тесной синхронизации источника звука и системы, что обычно является непрактичным.
Таким образом, в данном примере, первый процессор 305 положения определяет две возможных оценки положения для источника звука. Эти две оценки положения являются симметричными вокруг оси между микрофонами М1, M2.
Следует понимать, что известно множество разных алгоритмов и технологий для генерирования оценки положения на основе TDOA для сигналов в двух микрофонах, и что можно использовать любой соответствующий подход. Благодаря симметрии вокруг оси микрофона, такие алгоритмы обычно будут генерировать оценки положения в угловом диапазоне 180°, и, таким образом, будут обеспечивать одну оценку положения (например, в одном направлении) в каждой из полуплоскостей оси.
Таким образом, первый процессор 305 положения будет генерировать первую оценку возможного положения, которая находится в первой области, которая находится с одной стороны от оси 201 микрофона, и вторую оценку возможного положения, которая находится во второй области, которая находится с противоположной стороны от оси 201 микрофона. Хотя каждая область, в принципе, может соответствовать полуплоскости, ограниченной этой осью, области, в которых система обеспечивает точную оценку положения, могут во многих практических приложениях быть более ограничены. Например, для точной оценки положения, обычно может потребоваться, чтобы источник звука был расположен в дальнем поле, чтобы источник звука не был слишком близким к оси 201 микрофона, чтобы источник звука не был расположен слишком далеко от микрофонов, чтобы источник звука не был расположен слишком близко к акустическому элементу и т.д. В соответствии с этим, на практике, области, в которых такой подход рассматривается, как практически применимый, могут быть, существенно меньшими, чем полная полуплоскость.
Аналогично, при таком походе выполняют оценку положения двумерной плоскости, и предполагаются, что источники звука расположены, по существу, в этой плоскости. Для источников звука, которые не расположены в этой плоскости, алгоритм TDOA может представлять оценки, которые отклоняются от проектируемой точки в двумерной плоскости (по существу, алгоритм TDOA генерирует оценки положения, которые являются осесимметричными вокруг оси микрофона). Кроме того, эффект акустического элемента 203 может зависеть от конкретных характеристик акустического элемента 203, отклонившихся от ожидаемого значения для источников звука за пределами предполагаемой плоскости. Таким образом, на практике, точность и/или надежность оценки положения могут ухудшиться для источников звука, находящихся за пределами плоскости, в которой они, как предполагается, должны быть расположены. Однако обычно такой подход все еще будет пригодным для источников звука, которые отклоняются не слишком существенно от плоскости, в которой, как предполагается, они расположены.
Процессор 305 первого положения, в частности, может определять TDOA на основе оценки корреляции двух сигналов микрофона. Например, функцию взаимной корреляции между этими двумя микрофонами М1, M2 получают в отношении времени, и задержка τ по времени, которая максимизирует эту функцию, определяет t. Пределы задержки по времени основаны на расстоянии между микрофонами:
где d представляет собой промежуток между микрофонами, и c представляет собой скорость звука в воздухе. Математически, задача представляет собой следующее:
где m1 и м2 представляют собой сигналы первого и второго микрофонов, соответственно, n обозначает время в секундах, и f представляет функцию взаимной корреляции.
В цифровом процессоре сигнал обычно разделяют на выборки с удвоенной частотой Найквиста для сигнала, и, таким образом, функция корреляции формирует различие по времени в выборках, которые могут быть преобразованы в секунды на основе частоты выборки. В примере, где сигналы были подвергнуты выборке с понижением частоты, частота выборки после понижения частоты выборки является соответствующей, и, таким образом, выборка с понижением частоты может вводить меньшую гранулярность для оценки TDOA и, таким образом, для определенного положения.
Как упомянуто выше, оценка углового направления может быть определена из соотношения:
где A представляет собой диапазон [0, 180°]. Таким образом, две возможных оценки положения, соответствующие двум углам ±A, генерируют с помощью процессора 305 первого положения.
В качестве другого примера, блок 305 оценки положения может в некоторых вариантах осуществления выполнять оценку положения, путем применения алгоритма формирования луча для сигналов микрофона, где алгоритм формирования луча выполнен с возможностью взвешивания и комбинирования сигналов для обеспечения нуля в направлении источника звука. Таким образом, формирование луча может представлять собой адаптивное формирование луча, выполненного с возможностью минимизации энергии сигнала в комбинации для двух микрофонов М1, M2. В результате комбинирования сигналов двух микрофонов и применения адаптивной обработки сигналов для формирования отклика микрофона с нулем в направлении источника, оценка положения для источника звука будет автоматически сгенерирована.
По сути, такой подход направлен на объединение сигналов таким образом, что разность в длинах пути от источника звука, и, таким образом, разность времени прибытия сигналов в микрофоны М1, M2 приводит к ослабленной интерференции между сигналами, то есть, приводит к тому, что они имеют сдвиг по фазе на 180°. Таким образом, данный подход также неотъемлемо основан на времени прихода в два микрофона М1, M2 и, в частности, основан на разности времени прихода в микрофоны М1, M2. Следовательно, алгоритм также не позволяет дифференцировать между двумя полуплоскостями, и, таким образом, он оценивает два возможных положения.
В системе на Фиг. 3 два сигнала микрофона также подают в модуль 307 оценки акустического эффекта, который выполнен с возможностью определения меры акустического эффекта для сигнала из первого микрофона М1. Первая мера акустического эффекта обозначает степень, с которой акустический эффект сигнала первого микрофона соответствует ожидаемой характеристике акустического эффекта для акустического элемента 203 для источников звука в одной из полуплоскостей (или ее области).
В частности, акустический элемент 203 представляет собой физический элемент с физическими свойствами, которые обеспечивают акустический эффект, который является прогнозируемым. Например, акустический эффект может быть заранее определен, используя математический анализ, специфичные измерения (например, во время калибровки системы), в ходе моделирования и/или путем оценки модели. Кроме того, акустический эффект спроектирован так, чтобы он был асимметричным, поэтому оцениваемый/прогнозируемый/заданный акустический эффект акустического элемента 203 будет отличаться для источников звука в двух разных полуплоскостях.
Путем анализа принятого сигнала первого микрофона, блок 307 оценки акустического эффекта, соответственно, может определять, имеет ли сигнал первого микрофона свойство, которое, вероятно, представляет собой результат акустического эффекта, который воздействовал на источник звука, расположенный в первой полуплоскости или источник звука, расположенный во второй полуплоскости.
Следует понимать, что во многих вариантах осуществления, сигнал первого микрофона можно просто сравнивать с акустическим эффектом, и мера акустического эффекта может обозначать, насколько близка схожесть. Например, если акустический эффект обеспечивает вырез в функции акустического переноса от источника звука в первой полуплоскости, блок 307 оценки акустического эффекта может определять меру акустического эффекта для отражения степени, в которой сигнал первого микрофона имеет вырез на ожидаемой частоте.
Такое прямое сравнение в типовом случае приемлемо, когда конкретные характеристики звука, получаемые из источника звука, можно игнорировать. Например, когда акустический эффект представляет собой характерную структуру частотного отклика передаточной функции в заданном частотном интервале, захваченный сигнал первого микрофона можно непосредственно оценивать, чтобы определить, имеет ли он аналогичную структуру в частотном интервале, при условии, что звук из источника звука можно рассматривать, как имеющий, по существу, плоский частотный отклик в заданном частотном интервале. Следует понимать, что в некоторых сценариях или вариантах осуществления, определение меры акустического эффекта может включать в себя компенсацию сигнала первого микрофона для характеристик звука, получаемого из источника звука, например, используя звук из источника звука, захваченный вторым микрофоном M2.
Процессор 305 первого положения и блок 307 оценки акустического эффекта соединены с селектором 309 положения, который принимает меру акустического эффекта двух возможных положений. Селектор 309 положения выполнен с возможностью определения конечной оцениваемой оценки положения для источника звука на основе меры акустического эффекта. Таким образом, селектор 309 положения выбирает между двумя возможными положениями, то есть, между положением в первой полуплоскости и положением во второй полуплоскости, на основе значения меры акустического эффекта.
Например, если мера акустического эффекта обозначает, что сигнал первого микрофона имеет характеристику, которая близко соответствует характеристике акустического эффекта из первой полуплоскости, он переходит к генерированию конечной оценки положения в качестве возможной оценки положения в первой полуплоскости. В противном случае, он переходит к генерированию конечной оценки положения в качестве возможной оценки положения во второй полуплоскости. Например, селектор 309 положения может просто выбирать между двумя возможными положениями, в зависимости от того, превышает ли мера акустического эффекта пороговое значение или нет.
Таким образом, в системе используется введение акустического элемента для обеспечения прогнозируемого акустического эффекта, который является асимметричным, и который может быть детектирован, по меньшей мере, в сигналах одного из микрофонов для разрешения неоднозначности, созданной подходом TDOA, используя только два микрофона. Таким образом, может быть достигнуто улучшенное определение положения.
В некоторых вариантах осуществления определение меры акустического эффекта может быть основано только на анализе того, соответствует ли сигнал микрофона из первого микрофона М1 ожидаемому акустическому эффекту из первой полуплоскости. Например, если ожидается заданная структура в области частоты для источников звука в первой полуплоскости, блок 307 оценки акустического эффекта может просто определять значение корреляции в области частоты между ожидаемым частотным откликом и частотным откликом принимаемого сигнала (предполагая, таким образом, что источник звука является достаточно плоским в рассматриваемом частотном интервале).
Однако, в других вариантах осуществления, мера акустического эффекта также может быть определена в ответ на степень, с которой сигнал первого микрофона соответствует ожидаемой характеристике акустического эффекта для источников звука в другой полуплоскости.
Например, если акустический эффект будет таким, что заданная структура в частотной области ожидается из одной полуплоскости, а другая структура в частотной области ожидается из другой полуплоскости, мера акустического эффекта может определять значение корреляции частоты для обеих частотных структур. Мера акустического эффекта может затем, например, быть определена, как отношение между значением корреляции для первой полуплоскости, разделенным на значение корреляции для второй полуплоскости. Селектор 309 положения может в таком примере просто выбирать оценку положения в первой полуплоскости, если мера акустического эффекта превышают единицу, и, в противном случае, выбирать оценку положения во второй полуплоскости. Таким образом, выбирают положение, для которого сигнал первого микрофона ближе всего соответствует ожидаемой структуре частоты.
Во многих вариантах осуществления акустический элемент 203 разработан таким образом, что акустический эффект асимметрично зависит от частоты по отношению оси 201 микрофона. В частности, акустический элемент 203 может быть расположен так, чтобы он вводил зависимую от частоты вариацию в функцию акустической передачи для источников звука в первой полуплоскости, но не во второй полуплоскости. Мера акустического эффекта в таких случаях может быть определена путем оценки, насколько близко представление частоты второго принятого сигнала соответствует тому, что введено акустическим элементом для источников звука в первой полуплоскости.
В некоторых вариантах осуществления такая корреляция или сравнение могут подразумевать компенсацию для частотного отклика звука, излучаемого из источника звука. Это, например, может быть выполнено путем компенсации сигнала первого микрофона на основе сигнала второго микрофона, на который акустический элемент 203 обычно не влияет. В соответствии с этим, сигнал второго микрофона должен представлять частотный отклик излучаемого звука из источника звука (при условии, это он громче, чем шумы и звук из других источников). Действительно, он может дополнительно отражать частотные характеристики звуковой окружающей среды.
Например, FFT можно применять для обоих сигналов первого и второго микрофонов. Значения для сигнала первого микрофона затем могут быть разделены на соответствующие значения сигнала второго микрофона (обычно после нормализации). Полученный в результате частотный спектр может быть затем скоррелирован с ожидаемой частотной структурой для акустического эффекта, для определения меры акустического эффекта. Селектор 309 положения, таким образом, может выбирать между двумя положениями, в зависимости от того, является ли корреляция достаточно высокой или нет.
Во многих сценариях физический эффект может быть ограничен или может быть сделан наиболее доминирующим в относительно узком частотном интервале. В таких случаях блок 307 оценки акустического эффекта, предпочтительно, может включать в себя фильтр, который отфильтровывает соответствующий частотный интервал, и определение меры акустического эффекта может быть определено по отфильтрованному сигналу. Такой подход во многих сценариях обеспечивает улучшенное и более надежное определение положения.
Фильтрация может выполняться неявно. Например, FFT можно применять для сигнала первого микрофона, но только поднабор значений в отдельных полосах можно сравнивать с ожидаемым частотным откликом.
В некоторых вариантах осуществления акустический элемент 203 выполнен с возможностью приема с помощью первого микрофона М1 отражения от источников звука в первой области, но не от источников звука во второй области. Это представлено на Фиг. 4, где акустический элемент 201 может отражать звук от источников звука из первой полуплоскости, которая включает в себя S. Как представлено, существует прямой акустический путь 401 от источника S звука до микрофона М1. Кроме того, существует отраженный акустический путь 403 от источника S звука до микрофона М1. Однако, любые отражения в положении G источника звука будут находиться дальше от микрофона М1. Таким образом, акустический элемент 201 вводит отражение только для источников звука из одной полуплоскости.
В этих вариантах осуществления система может быть выполнена с возможностью детектировать характеристику сигнала первого микрофона, соответствующую таким отражениям. В частности, акустический элемент 203 может быть разработан так, чтобы отражения вводили эффект интерференции между прямым и отраженным путями. Кроме того, путем проектирования акустического элемента 203 соответствующим образом (в частности, выбора расстояния от микрофона М1 до отражающей поверхности акустического элемента), эффект интерференции может быть выполнен так, чтобы он вводил распознаваемую частотную структуру. Действительно, конструкция может обеспечивать то, что отражения будут возникать в требуемом частотном диапазоне.
В частности, отражения могут вводить интерференцию, которая вводит один или больше существенных провалов в частотном отклике. Это может быть достигнуто путем проектирования акустического элемента 203 для обеспечения ослабленной интерференции для заданной частоты. В частности, ослабленная интерференция возникает, когда разность между длинами прямого и отраженного путей равна половине длины волны (в результате чего, сигналы, достигающие микрофона, находятся на 180° не в фазе).
Таким образом, как представлено на Фиг. 4, разность в спектральных характеристиках может возникнуть, в зависимости от того, с какой стороны оси микрофона расположен источник звука. Для микрофона М1, например, формируется эффект, аналогичный эффекту границы, вызывающий усиленную и ослабленную интерференцию между прямым и отраженным звуком для источников звука в полуплоскости, содержащей S. Частоты, в которых возникают эти эффекты, зависят от размера, формы и расстояния препятствия относительно микрофона.
Таким образом, в некоторых вариантах осуществления, частотный отклик, соответствующий эффектам интерференции, может быть заранее определен, и принимаемый сигнал первого микрофона можно сравнивать с заданным частотным откликом. Если будет детектировано достаточно близкое соответствие, выбирают оценку положения в противоположной полуплоскости для акустического элемента 203 и в противном случае выбирают оценку положения в той же полуплоскости, где находится акустический элемент 203.
В некоторых вариантах осуществления ожидаемая характеристика может быть такой, что сигналы первого и второго микрофонов должны быть, по существу, равны от источников звука в одной полуплоскости, но не для источников звука в другой плоскости. Например, на Фиг. 4, сигналы микрофона будут, по существу, равны для источников звука в полуплоскости, содержащей G, но будут отличаться для источников звука в полуплоскости, содержащей C. Таким образом, ожидаемые характеристики для сигнала первого микрофона могут представлять собой относительную характеристику, то есть, которая имеет определенную взаимосвязь с сигналом второго микрофона (и, в качестве примера с малой сложностью, два сигнала должны быть одинаковыми или разными, в зависимости от того, в какой полуплоскости находится положение).
Таким образом, в некоторых вариантах осуществления, меру акустического эффекта определяют в ответ на сравнение сигнала первого микрофона с сигналом второго микрофона.
В качестве конкретного примера подхода на основе характеристики интерференции по отражениям, блок 307 оценки акустического эффекта может использовать полосовую фильтрацию, чтобы отфильтровывать только области спектра сигнала, на которые влияет акустический элемент 201. Мощности полосовых сигналов затем сравнивают для определения, в какой полуплоскости (левой или правой) расположен источник звука. Акустический элемент 201 может быть спроектирован так, чтобы он формировал четкое различие в спектрах, в зависимости от того, в какой азимутальной полуплоскости расположен источник звука.
На Фиг. 5-7 показаны спектральные характеристики сигнала развертки, воспроизводимого в громкоговорителе, и захватываемого 2-элементным массивом микрофонов, расположенным на расстоянии приблизительно 1,5 м для трехмерной конфигурации:
Фиг. 5: акустический элемент 201 отсутствует.
Фиг. 6: акустический элемент 201 расположен между первым микрофоном М1 и источником звука.
Фиг. 7: акустический элемент 201 расположен противоположно источникам звука (например, в соответствии с Фиг. 4 с источником звука в положении S).
На Фиг. 5 иллюстрируется разница в спектрах микрофона, которые являются общими в пределах определенных заданных допусков (обычно +/-3 дБ) в соответствии с процессом изготовления.
При сравнении Фиг. 6 и 7 можно очень четко видеть большую разницу между откликом сигнала микрофона, в зависимости от того, в какой полуплоскости расположен источник. Такая разность достигается вплоть до приблизительно 20 дБ в пределах 6,5 кГц (в этом месте также происходит небольшое усиление приблизительно 8 дБ в пределах 10 кГц), что может использоваться с целью определения местоположения. Такие разности являются еще большими, чем разность +/- 3 дБ в откликах микрофона, если сделать способ, устойчивым от несоответствия микрофонов.
Для понимания механизма за пределами наблюдаемых результатов на частоте 6,5 кГц, можно рассмотреть импульсные отклики в области времени, показанные на Фиг. 8. Для первого микрофона М1 импульсный отклик представляет отражение в выборках 198, 200 и 201, которые имеют практически такую же величину, как и прямое поле, ассоциированное со звуковыми волнами, которые первыми достигают микрофона. Эти отражения ясно вызваны отражениями, произведенными первым акустическим элементом, и приводят к деструктивной и конструктивной интерференции звуковых волн, которые влияют на наблюдения, показанные на Фиг. 7. В отличие от Фиг. 6, где акустический элемент 201 расположен между микрофоном и источником звука, эти отражения направлены в сторону от микрофона.
Физические и акустические свойства акустического элемента обычно зависят от предпочтений, требований и ограничений отдельных вариантов осуществления. Например, для подхода, основанного на отражении и интерференции, полученная в результате разность спектров сигналов зависит от размера, формы и расстояния акустического элемента 203 относительно микрофона.
В предыдущих примерах акустический элемент 203 был спроектирован так, что он присутствует только с одной стороны оси 201, то есть, он полностью находится в пределах одной полуплоскости. Это может обеспечить подход с малой сложностью, одновременно обеспечивающий высокую степень асимметрии. В частности, такой подход может ограничивать отражения одного микрофона так, чтобы они происходили только с одной стороны оси микрофона.
Компоновка микрофонов М1, M2 и акустического элемента 203 часто может быть довольно компактной, но при этом может обеспечивать хорошую оценку положения. Действительно, особенно предпочтительные характеристики были определены для компоновок, где расстояние между первым микрофоном М1 и вторым микрофоном M2 составляет от 1 см до 50 см (обе точки включены). Кроме того, предпочтительные рабочие характеристики были найдены для акустического элемента 203, который расположен близко к микрофону М1. В частности, определено, что особенно предпочтительные рабочие характеристики были найдены, когда ближайшая точка акустического элемента расположена не более, чем на расстоянии 10 см от первого микрофона М1. Близко расположенный акустический элемент 203 может, в частности, обеспечивать сильные отражения, вызывающие сильные структуры интерференции в частотном диапазоне аудио.
Пример компоновки микрофонов М1, M2 и акустического элемента 203 представлен на Фиг. 9.
В некоторых вариантах осуществления компоновка может включать в себя второй акустический элемент 1001, расположенный проксимально второму микрофону M2, как показано на Фиг. 10. Второй акустический элемент 1001 может быть расположен симметрично вокруг второго микрофона M2 относительно первого акустического элемента 203 вокруг первого микрофона М1.
В таком варианте осуществления второй блок оценки может использоваться для второго микрофона М1, соответствующего блоку 307 оценки акустического эффекта. Выбор между двумя возможными положениями в таких вариантах осуществления может быть основан на оценке того, насколько близко сигналы первого и второго микрофонов показывают акустические эффекты от каждой из двух полуплоскостей.
Например, в примере на Фиг. 10, звук от источника S звука будет отражен акустическим элементом 203, но не вторым акустическим элементом 1001. Таким образом, для этого источника звука, сигнал первого микрофона проявляет характеристическую частотную структуру эффекта интерференции, вызванного отражениями, в то время как сигнал второго микрофона не проявляет такую структуру.
Однако, для источника звука в симметричном положении (относительно оси микрофона) на второй микрофон M2 будут воздействовать отражения и, таким образом, интерференция, в то время как на первый микрофон они не будут воздействовать. Таким образом, в этом случае, сигнал первого микрофона не будет проявлять характерную частотную структуру или эффект интерференции, вызванный отражениями, тогда как сигнал второго микрофона будет проявлять ее.
Относительные показания присутствия характеристической структуры для эффекта интерференции, таким образом, можно использовать для выбора между двумя возможными сценариями. В частности, корреляции между характерной частотной структурой и представлением частотной области сигналов двух микрофонов могут быть определены, соответственно. Затем можно выбрать положение, соответствующее отражениям, возникающим для микрофона, проявляющего наибольшую корреляцию.
Использование второго акустического элемента может обеспечить дополнительную информацию, полезную для разрешения неоднозначности и, таким образом, может повысить надежность выбора и, таким образом, генерируемой конечной оценки положения.
Следует понимать, что в некоторых вариантах осуществления два акустических элемента 1001, 203 могут быть сформированы, как части одного акустического элемента. Пример такого варианта осуществления представлен на Фиг. 11.
Следует понимать, что в представленном выше описании, для ясности, были описаны варианты осуществления изобретения со ссылкой на разные функциональные схемы, модули и процессоры. Однако будет понятно, что любое соответствующее распределение функции между разными функциональными схемами, модулями или процессорами может использоваться, без выхода за пределы изобретения. Например, функции, представленные, как выполняемые отдельными процессорами или контроллерами, могут быть выполнены одним и тем же процессором или контроллерами. Следовательно, ссылки на конкретные функциональные модули или схемы следует рассматривать только, как ссылки на соответствующее средство для обеспечения описываемой функции, а не как обозначение строгой логической или физической структуры или организации.
Изобретение может быть воплощено в любой соответствующей форме, включающей в себя аппаратные средства, программное средство, встроенное программное обеспечение или любую их комбинацию. В случае необходимости, изобретение может быть воплощено, по меньшей мере, частично, как компьютерное программное обеспечение, работающее в одном или более процессорах данных и/или в цифровых сигнальных процессорах. Элементы и компоненты варианта осуществления изобретения могут быть физически, функционально и логически воплощены любым соответствующим образом. Действительно, функция может быть воплощена в виде одного модуля, в виде множества модулей или как часть других функциональных модулей. При этом, изобретение может быть воплощено в виде одного модуля или может быть физически и функционально распределено между разными модулями, схемами и процессорами.
Хотя настоящее изобретение было описано в связи с определенными вариантам осуществления, оно не предназначено для ограничения конкретной формой, представленной здесь. Скорее, объем настоящего изобретения ограничен только приложенной формулой изобретения. Кроме того, хотя свойства могут быть описаны в связи с определенными вариантами осуществления, для специалиста в данной области техники будет понятно, что различные свойства описанных вариантов осуществления могут быть скомбинированы в соответствии с изобретением. В формуле изобретения термин "содержащий" не исключает присутствия других элементов или этапов.
Кроме того, хотя они представлены отдельно, множество средств, элементов, схем или этапов способа может быть воплощено, например, в виде одной схемы, модуля или процессора. Кроме того, хотя отдельные свойства могут быть включены в разные пункты формулы изобретения, они могут быть, предпочтительно, скомбинированы, и включение в разные пункты формулы изобретения не подразумевает, что комбинация свойств не является физически выполнимой и/или предпочтительной. Также включение свойств в одну категорию пунктов формулы изобретения не подразумевает ограничение этой категорией, а скорее обозначает, что свойство в равной степени применимо к другим категориям пунктов формулы изобретения, соответственно. Кроме того, порядок признаков в формуле изобретения не подразумевают какой-либо конкретный порядок, в котором эти признаки должны работать, и, в частности, порядок отдельных этапов в пункте, относящемся к способу, не подразумевает, что эти этапы должны быть выполнены в этом порядке. Скорее, этапы могут быть выполнены в любом соответствующем порядке. Кроме того, ссылка на единственное число не исключает множественности. Номера ссылочных позиций в формуле изобретения представлены просто в качестве поясняющего примера, и их не следует рассматривать, как какое-либо ограничение объема формулы изобретения.
Реферат
Устройство для определения оценки положения для источника звука содержит два микрофона (М1, M2) и акустический элемент (203), обеспечивающий акустический эффект для звука из положений источника звука для первого микрофона (М1). Акустический эффект является асимметричным относительно оси (201) между микрофонами (М1, M2). Схема (305) положения выполняет оценку двух возможных положений с разных сторон от оси источника звука в ответ на время прихода в микрофоны (М1, M2). Блок (307) оценки определяет меру акустического эффекта, которая обозначает степень, с которой акустический эффект сигнала первого микрофона соответствует ожидаемой характеристике акустического эффекта для источников звука с одной стороны оси (201). Другая схема (309) определяет оценку положения путем выбора между двумя возможными положениями в ответ на меру акустического эффекта. Такой подход может устранить неточности при определении положения, связанные с определением положения, на основе времени прихода в два микрофона. 2 н. и 12 з.п. ф-лы, 11 ил.
