Способ и устройство для осуществления записи объектного аудиосигнала и электронная аппаратура - RU2630187C1

Чертежи

Показать все 7 чертежа(ей)

Описание

ПЕРЕКРЕСТНАЯ ССЫЛКА НА СВЯЗАННЫЕ ЗАЯВКИ

[0001] Настоящая заявка основана на Заявке №201510490373.6 на выдачу Китайского патента, все содержание которой включено в настоящий документ и по которой испрошен приоритет. Данная заявка была подана 11 августа 2015 года.

ОБЛАСТЬ ТЕХНИКИ

[0002] Настоящее изобретение, в целом, относится к технической области записи и, более конкретно, к способу и устройству для осуществления записи объектного аудиосигнала и к электронной аппаратуре.

УРОВЕНЬ ТЕХНИКИ

[0003] В феврале 2015 года следующее поколение стандарта аудиокодека MPEG-H 3D аудио Экспертной группы по движущемуся изображению (MPEG) официально стало международным стандартом ИСО/МЭК 23008-3. В рамках данного стандарта принят принципиально новый аудиоформат - объектный аудиосигнал, посредством которых можно идентифицировать ориентацию звука, таким образом, чтобы слушатель мог слышать звук, пришедший из конкретного направления, независимо от того, будет ли он использовать наушники или стереозвуковую систему, и от количества громкоговорителей.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0004] Данное изобретение предоставляет способ и устройство для

осуществления записи объектного аудиосигнала, а также электронную аппаратуру, созданные таким образом, чтобы устранить недостатки в соответствующей области техники.

[0005] В соответствии с первым аспектом осуществления данного изобретения, заявлен способ осуществления записи объектного аудиосигнала, включающий в себя:

[0006] выполнение операции сбора звуков с одновременным использованием множества микрофонов, таким образом, чтобы был получен смешанный звуковой сигнал;

[0007] идентификацию количества источников звука и информации о положении каждого источника звука и выделение объектного звукового сигнала, соответствующего каждому источнику звука, из смешанного звукового сигнала, в соответствии со смешанным звуковым сигналом и установленной информацией о положении каждого микрофона; и

[0008] объединение информации о положении и объектного звукового сигнала отдельных источников звука для получения аудиоданных в формате объектного аудиосигнала.

[0009] Дополнительно, идентификация количества источников звука и информации о положении каждого источника звука, а также выделение объектного звукового сигнала, соответствующего каждому источнику звука, из смешанного звукового сигнала, в соответствии со смешанным звуковым сигналом и установленной информацией о положении каждого микрофона включают в себя:

[0010] идентификацию количества источников звука и информации о положении каждого источника звука и выделение объектного звукового сигнала, соответствующего каждому источнику звука, из смешанного звукового сигнала, в соответствии с разностью амплитуд и разностью фаз, образованными среди соответствующих микрофонов звуковым сигналом, излучаемым каждым источником звука.

[0011] Дополнительно, идентификация количества источников звука и информации о положении каждого источника звука, а также выделение объектного звукового сигнала, соответствующего каждому источнику звука, из смешанного звукового сигнала, в соответствии со смешанным звуковым сигналом и установленной информацией о положении каждого микрофона включают в себя:

[0012] идентификацию количества источников звука и информации о положении каждого источника звука из смешанного звукового сигнала в соответствии со смешанным звуковым сигналом и установленной информацией о положении каждого микрофона; и

[0013] выделение объектного звукового сигнала, соответствующего каждому источнику звука, из смешанного звукового сигнала в соответствии со смешанным звуковым сигналом, установленной информацией о положении каждого микрофона, количеством источников звука и информацией о положении источников звука.

[0014] Дополнительно, выделение объектного звукового сигнала, соответствующего каждому источнику звука, из смешанного звукового сигнала в соответствии со смешанным звуковым сигналом, установленной информацией о положении каждого микрофона, количеством источников звука и информацией о положении источников звука включает в себя:

[0015] создание соответствующей статистической модели в соответствии с характеристическим показателем, сформированным звуковым сигналом, излучаемым каждым источником звука в предварительно заданном направлении; и

[0016] идентификацию и выделение звукового сигнала, соответствующего информации о положении любого источника звука в смешанном звуковом сигнале посредством статистической модели, как объектного звукового сигнала, соответствующего любому источнику звука.

[0017] Дополнительно, объединение информации о положении и объектных звуковых сигналов от отдельных источников звука для получения аудиоданных в формате объектного аудиосигнала включает в себя:

[0018] объединение соответствующих объектных звуковых сигналов согласно порядку размещения отдельных источников звука таким образом, чтобы были получены аудиоданные множественных объектов;

[0019] объединение информации о положении отдельных источников звука в соответствии с порядком размещения, таким образом, чтобы были получены вспомогательные данные объектного аудиосигнала; и

[0020] объединение информации файла заголовка, содержащей предварительно установленный параметр, аудиоданных множественных объектов и вспомогательных данных объектного аудиосигнала в порядке их поступления, таким образом, чтобы были получены аудиоданные в формате объектного аудиосигнала.

[0021] Дополнительно, объединение информации о положении и объектного звукового сигнала отдельных источников звука для получения аудиоданных в формате объектного аудиосигнала включает в себя:

[0022] составление информации файла заголовка, содержащей предварительно установленный параметр, и отправка ее на предварительно настроенную аппаратуру для обработки аудиосигналов, при этом информация файла заголовка включает в себя продолжительность каждого фрейма аудиоданных; и

[0023] составление каждого фрейма аудиоданных в формате объектного аудиосигнала, соответствующих продолжительности каждого фрейма аудиоданных посредством выполнения следующих шагов, и отправку каждого фрейма аудиоданных в формате объектного аудиосигнала на предварительно настроенную аппаратуру для обработки аудиосигналов:

[0024] объединение соответствующих объектных звуковых сигналов согласно порядку размещения отдельных источников звука таким образом, чтобы были получены аудиоданные множественных объектов;

[0025] объединение информации о положении отдельных источников звука в соответствии с порядком размещения, таким образом, чтобы были получены вспомогательные данные объектного аудиосигнала; и

[0026] объединение аудиоданных множественных объектов и вспомогательных данных объектного аудиосигнала в порядке их поступления, таким образом, чтобы был получен каждый фрейм аудиоданных в формате объектного аудиосигнала.

[0027] Дополнительно, объединение соответствующих объектных звуковых сигналов согласно порядку размещения отдельных источников звука таким образом, чтобы были получены аудиоданные множественных объектов, включает в себя:

[0028] дискретизацию объектных звуковых сигналов, соответствующих отдельным источникам звука, соответственно, в каждый момент времени дискретизации, согласно предварительно установленной частоте дискретизации, и компоновка всех дискретизированных сигналов в соответствии с порядком компоновки, таким образом, чтобы был получен объединенный дискретизированный сигнал; и

[0029] компоновка объединенных дискретизированных сигналов, получаемых в каждый момент времени дискретизации поочередно, в порядке дискретизации, таким образом, чтобы были получены аудиоданные множественных объектов.

[0030] Дополнительно, объединение информации о положении отдельных источников звука в соответствии с порядком размещения, таким образом, чтобы были получены вспомогательные данные объектного аудиосигнала, включает в себя:

[0031] дискретизацию информации о положении, соответствующей отдельным источникам звука, в каждый момент времени дискретизации, согласно предварительно установленной частоте дискретизации, и запись каждой дискретизированной информации о положении в сочетании с информацией о соответствующем источнике звука и информацией о моменте времени дискретизации, таким образом, чтобы была получена объединенная дискретизированная информация о положении; и

[0032] компоновка объединенной дискретизированной информации о положении, получаемой в каждый момент времени дискретизации поочередно, в порядке дискретизации, таким образом, чтобы были получены аудиоданные множественных объектов.

[0033] Дополнительно, объединение информации о положении отдельных источников звука в соответствии с порядком размещения, таким образом, чтобы были получены вспомогательные данные объектного аудиосигнала, включает в себя:

[0034] дискретизацию информации о положении, соответствующей отдельным источникам звука, согласно предварительно установленной частоте дискретизации;

[0035] при этом, если текущая точка дискретизации является первым моментом времени дискретизации, каждая полученная дискретизированная информация о положении записывается в сочетании с информацией о соответствующем источнике звука и информацией о моменте времени дискретизации; и если текущая точка дискретизации не является первым моментом времени дискретизации, полученная дискретизированная информация о положении каждого источника звука сравнивается с записанной ранее прежней дискретизированной информацией о положении того же самого источника звука, и при определении путем сравнения того, что они различны, дискретизированная информация о положении записывается в сочетании с информацией о соответствующем источнике звука и информацией о моменте времени дискретизации.

[0036] В соответствии со вторым аспектом осуществления данного изобретения, заявлено устройство для осуществления записи объектного аудиосигнала, включающее в себя:

[0037] блок сбора, сконфигурированный для выполнения операции сбора звуков с одновременным использованием множества микрофонов, таким образом, чтобы был получен смешанный звуковой сигнал;

[0038] блок обработки, сконфигурированный для идентификации количества источников звука и информации о положении каждого источника звука и выделения объектного звукового сигнала, соответствующего каждому источнику звука, из смешанного звукового сигнала, в соответствии со смешанным звуковым сигналом и установленной информацией о положении каждого микрофона; и

[0039] блок объединения, сконфигурированный для объединения информации о положении и объектного звукового сигнала отдельных источников звука для получения аудиоданных в формате объектного аудиосигнала.

[0040] Дополнительно, блок обработки включает в себя:

[0041] субблок обработки, сконфигурированный для идентификации количества источников звука и информации о положении каждого источника звука и выделения объектного звукового сигнала, соответствующего каждому источнику звука, из смешанного звукового сигнала, в соответствии с разностью амплитуд и разностью фаз, образованными среди соответствующих микрофонов звуковым сигналом, излучаемым каждым источником звука.

[0042] Дополнительно, блок обработки включает в себя:

[0043] субблок идентификации, сконфигурированный для идентификации количества источников звука и информации о положении каждого источника звука из смешанного звукового сигнала в соответствии со смешанным звуковым сигналом и установленной информацией о положении каждого микрофона; и

[0044] субблок выделения, сконфигурированный для выделения объектного звукового сигнала, соответствующего каждому источнику звука, из смешанного звукового сигнала в соответствии со смешанным звуковым сигналом, установленной информацией о положении каждого микрофона, количеством источников звука и информацией о положении источников звука.

[0045] Дополнительно, субблок выделения включает в себя:

[0046] модуль создания модели, сконфигурированный для создания соответствующей статистической модели в соответствии с характеристическим показателем, сформированным звуковым сигналом, излучаемым каждым источником звука в предварительно заданном направлении; и

[0047] модуль выделения, сконфигурированный для идентификации и выделения звукового сигнала, соответствующего информации о положении любого источника звука в смешанном звуковом сигнале посредством статистической модели, как объектного звукового сигнала, соответствующего любому источнику звука.

[0048] Дополнительно, блок объединения включает в себя:

[0049] субблок объединения сигналов, сконфигурированный для объединения соответствующих объектных звуковых сигналов согласно порядку размещения отдельных источников звука таким образом, чтобы были получены аудиоданные множественных объектов;

[0050] субблок объединения положений, сконфигурированный для объединения информации о положении отдельных источников звука в соответствии с порядком размещения таким образом, чтобы были получены вспомогательные данные объектного аудиосигнала; и

[0051] первый субблок объединения, сконфигурированный для объединения информации файла заголовка, содержащей предварительно установленный параметр, аудиоданных множественных объектов и вспомогательных данных объектного аудиосигнала в порядке их поступления, таким образом, чтобы были получены аудиоданные в формате объектного аудиосигнала.

[0052] Дополнительно, блок объединения включает в себя:

[0053] субблок отправки файлов заголовков, сконфигурированный для составления информации файла заголовка, содержащей предварительно установленный параметр, и отправки ее на предварительно настроенную аппаратуру для обработки аудиосигналов, при этом информация файла заголовка включает в себя продолжительность времени каждого фрейма аудиоданных, таким образом, что субблок объединения сигналов, субблок объединения положений и второй субблок объединения составляют каждый фрейм аудиоданных в формате объектного аудиосигнала, соответствующем продолжительности каждого фрейма аудиоданных;

[0054] субблок объединения сигналов, сконфигурированный для объединения соответствующих объектных звуковых сигналов согласно порядку размещения отдельных источников звука таким образом, чтобы были получены аудиоданные множественных объектов;

[0055] субблок объединения положений, сконфигурированный для объединения информации о положении отдельных источников звука в соответствии с порядком размещения таким образом, чтобы были получены вспомогательные данные объектного аудиосигнала;

[0056] второй субблок объединения, сконфигурированный для объединения аудиоданных множественных объектов и вспомогательных данных объектного аудиосигнала в порядке их поступления, таким образом, чтобы был получен каждый фрейм аудиоданных в формате объектного аудиосигнала; и

[0057] субблок отправки аудиоданных, сконфигурированный для отправки каждого фрейма аудиоданных в формате объектного аудиосигнала на предварительно настроенную аппаратуру для обработки аудиосигналов.

[0058] Дополнительно, субблок объединения сигналов включает в себя:

[0059] модуль дискретизации сигналов, сконфигурированный для

дискретизации объектных звуковых сигналов, соответствующих отдельным источникам звука, соответственно, в каждый момент времени дискретизации, согласно предварительно установленной частоте дискретизации, и компоновка всех дискретизированных сигналов в соответствии с порядком компоновки, таким образом, чтобы был получен объединенный дискретизированный сигнал; и

[0060] модуль компоновки сигналов, сконфигурированный для компоновки объединенных дискретизированных сигналов, получаемых в каждый момент времени дискретизации поочередно, в порядке дискретизации, таким образом, чтобы были получены аудиоданные множественных объектов.

[0061] Дополнительно, субблок объединения положений включает в себя:

[0062] первый модуль записи положения, сконфигурированный для дискретизации информации о положении, соответствующей отдельным источникам звука, в каждый момент времени дискретизации время выборки интервал дискретизации по времени, согласно предварительно установленной частоте дискретизации, и записи каждой дискретизированной информации о положении в сочетании с информацией о соответствующем источнике звука и информацией о моменте времени дискретизации, таким образом, чтобы была получена объединенная дискретизированная информация о положении; и

[0063] модуль компоновки положений, сконфигурированный для компоновки объединенной дискретизированной информации о положении, получаемой в каждый момент времени дискретизации поочередно, в соответствии с порядком дискретизации, таким образом, чтобы были получены вспомогательные аудиоданные.

[0064] Дополнительно, субблок объединения положений включает в себя:

[0065] модуль дискретизации положения, сконфигурированный для дискретизации информации о положении, соответствующей отдельным источникам звука, согласно предварительно установленной частоте дискретизации;

[0066] второй модуль записи положения, сконфигурированный для записи каждой полученной дискретизированной информации о положении в сочетании с информацией о соответствующем источнике звука и информацией о моменте времени дискретизации, если текущая точка дискретизации является первым моментом времени дискретизации, и для сравнения полученной дискретизированной информации о положении каждого источника звука с записанной ранее прежней дискретизированной информацией о положении того же самого источника звука, если текущая точка дискретизации не является первым моментом времени дискретизации, и для записи дискретизированной информации о положении в сочетании с информацией о соответствующем источнике звука и информацией о моменте времени дискретизации при определении путем сравнения, что они различны.

[0067] В соответствии с третьим аспектом осуществления данного изобретения, заявлена электронная аппаратура, включающая в себя:

[0068] процессор; и

[0069] запоминающее устройство для хранения команд, выполняемых процессором;

[0070] при этом процессор сконфигурирован для:

[0071] выполнения операции сбора звуков с одновременным использованием множества микрофонов, таким образом, чтобы был получен смешанный звуковой сигнал;

[0072] идентификации количества источников звука и информации о положении каждого источника звука и выделения объектного звукового сигнала, соответствующего каждому источнику звука, из смешанного звукового сигнала в соответствии со смешанным звуковым сигналом и установленной информацией о положении каждого микрофона; и

[0073] объединения информации о положении и объектных звуковых сигналов отдельных источников звука для получения аудиоданных в формате объектного аудиосигнала.

[0074] Технические решения, в соответствии с примерами реализации данного изобретения, обеспечивают следующие преимущества:

[0075] Как видно из вышеописанных примеров осуществления изобретения, в настоящем варианте осуществления полученный смешанный звуковой сигнал содержит звуковые сигналы, собранные соответствующими микрофонами путем установки множества микрофонов и одновременного выполнения сбора звуков; при этом, за счет объединения установленной информации о положении среди соответствующих микрофонов, каждый источник звука идентифицируется и соответствующий объектный звуковой сигнал выделяется без отдельного сбора звукового сигнала каждого источника звука, что снижает зависимость и требования к аппаратным средствам, и можно непосредственно получить аудиоданные в формате объектного аудиосигнала.

[0076] Следует понимать, что как вышеизложенное общее описание, так и последующее детальное описание являются всего лишь иллюстративными и поясняющими, и не ограничивают объем изобретения, как оно заявлено

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0077] Чертежи, которые включены в настоящую спецификацию и составляют ее часть, иллюстрируют варианты осуществления изобретения и, вместе с описанием, служат для разъяснения принципов изобретения.

[0078] Фиг. 1 представляет собой схематическое изображение получения объектного аудиосигнала известного из уровня техники.

[0079] Фиг. 2 представляет собой другое схематическое изображение получения объектного аудиосигнала известного из уровня техники.

[0080] Фиг. 3 представляет собой блок-схему способа записи объектного аудиосигнала в соответствии с примером осуществления данного изобретения.

[0081] Фиг. 4 представляет собой блок-схему другого способа записи объектного аудиосигнала в соответствии с примером осуществления данного изобретения.

[0082] Фиг. 5 представляет собой схематическое изображение сбора сигнала от источника звука, в соответствии с примером осуществления данного изобретения.

[0083] Фиг. 6 представляет собой блок-схему еще одного способа записи объектного аудиосигнала в соответствии с примером осуществления данного изобретения.

[0084] Фиг. 7 представляет собой схематическое изображение структуры фрейма объектного аудиосигнала в соответствии с примером осуществления данного изобретения.

[0085] Фиг. 8 представляет собой схематическое изображение другой структуры фрейма объектного аудиосигнала в соответствии с примером осуществления данного изобретения.

[0086] Фиг. 9 представляет собой схематическое изображение еще одной структуры фрейма объектного аудиосигнала в соответствии с примером осуществления данного изобретения.

[0087] Фиг. 10 - Фиг. 18 представляют собой блок-схемы, иллюстрирующие устройство для записи объектного аудиосигнала в соответствии с примером осуществления данного изобретения.

[0088] Фиг. 19 представляет собой структурную блок-схему, иллюстрирующую устройство для записи объектного аудиосигнала в соответствии с примером осуществления данного изобретения.

ПОДРОБНОЕ ОПИСАНИЕ

[0089] Далее приведено подробное описание примеров осуществления изобретения, проиллюстрированных на чертежах. Приведенное ниже описание относится к чертежам, на которых одни и те же номера на различных чертежах представляют одни и те же или похожие элементы, если на них не представлено иное. Варианты осуществления, представленные в последующем описании примеров осуществления, не представляют всех вариантов осуществления, соответствующих данному изобретению. Они являются всего лишь примерами устройств и способов, соответствующих аспектам изобретения, как изложено в прилагаемых пунктах формулы изобретения.

[0090] В соответствующей области техники невозможно получить объектный аудиосигнал с помощью прямой записи. Для удобства понимания ниже проиллюстрированы обычные режимы обработки известного из уровня техники.

[0091] Фиг. 1 представляет собой схематическое изображение получения объектного аудиосигнала известного из уровня техники. Как показано на Фиг. 1, при осуществлении данного процесса необходимо заранее подготовить множество монофонических аудиоустройств, таких, как аудиоустройство канала I, аудиоустройство канала II и аудиоустройство канала III, изображенные на Фиг. 1. В то же время, необходимо заранее подготовить информацию о положении, соответствующую каждому монофоническому аудиоустройству, таком как положение I, соответствующее аудиоустройству канала I; положение II, соответствующее аудиоустройству канала II; и положение III, соответствующее аудиоустройству канала III. Наконец, аудиоустройство каждого звукового канала объединяется с соответствующим положением посредством аппаратуры, создающей объектный аудиосигнал, таким образом, чтобы получить объектный аудиосигнал.

[0092] Однако в режиме обработки, проиллюстрированном на Фиг. 1, имеются следующие недостатки.

[0093] 1) Аудиоданные и информация о положении должны быть подготовлены заранее, поэтому объектный аудиосигнал невозможно получить с помощью прямой записи.

[0094] 2) В то же время, положения соответствующих аудиоустройств звуковых каналов готовят и получают независимо, поэтому реальное положение аудиоустройства каждого звукового канала часто не может быть отражено точно.

[0095] Фиг. 2 представляет собой другое схематическое изображение получения объектного аудиосигнала, известного из уровня техники. Как показано на Фиг. 2, соответствующий микрофон (MIC) подготовлен для каждого источника звука, например, источник звука I соответствует MIC1, источник звука II - MIC2, а источник звука III - MIC3. Каждый микрофон собирает сигналы только от соответствующего источника звука и получает соответствующий объектный звуковой сигнал I, объектный звуковой сигнал II и объектный звуковой сигнал III. В то же время, информация о положении каждого источника звука должна быть подготовлена заранее. Наконец, звуковые сигналы объектов и информация о положении, соответствующая отдельным источникам звука, объединяются посредством аппаратуры, создающей объектные аудиосигналы, таким образом, чтобы были получены аудиосигналы объектов.

[0096] Однако в режиме обработки, проиллюстрированном на Фиг. 2, имеются следующие недостатки.

[0097] 1) Каждый источник звука должен быть оборудован отдельным микрофоном, что повышает стоимость аппаратных средств.

[0098] 2) Поскольку микрофон должен располагаться близко к источнику звука и перемещаться вместе с источником звука, реализация такого режима является очень сложной, и стоимость записывающего оборудования значительно возрастает.

[0099] 3) Между объектными звуковыми сигналами, соответственно,

собираемыми множеством микрофонов, должна поддерживаться синхронизация; при условиях, когда количество источников звука велико, а микрофон расположен поблизости от источника звука и в удалении от аппаратуры, создающей объектный аудиосигнал, или когда используются беспроводные микрофоны, осуществление данного режима весьма затруднено.

[00100] 4) Поскольку информация о положении источника звука получается по отдельности и затем позднее добавляется в объектный аудиосигнал, под влиянием относительно большего количества источников звука и нерегулярного перемещения, полученный в итоге объектный аудиосигнал едва ли будет верно отражать фактическое положение источника звука.

[00101] Таким образом, данное изобретение предоставляет технические решения осуществления записи объектного аудиосигнала, и может решить вышеперечисленные технические проблемы, существующие в соответствующей области техники.

[00102] Фиг. 3 представляет собой блок-схему способа записи объектного аудиосигнала в соответствии с примером осуществления. Как показано на Фиг. 3, данный способ применим в записывающей аппаратуре, и может включать в себя следующие шаги.

[00103] При выполнении шага 302 получается смешанный звуковой сигнал путем выполнения операции сбора звуков посредством множества микрофонов, используемых одновременно.

[00104] При выполнении шага 304 идентифицируются количество источников звука и информация о положении каждого источника звука, и объектный звуковой сигнал, соответствующий каждому источнику звука, выделяется из смешанного звукового сигнала в соответствии с данным сигналом и установленной информацией о положении каждого микрофона.

[00105] В качестве иллюстративного варианта осуществления, могут быть идентифицированы количество источников звука и информация о положении каждого источника звука, и объектный звуковой сигнал, соответствующий каждому источнику звука, может быть выделен из смешанного звукового сигнала непосредственно, в соответствии с характеристической информацией, такой как разность амплитуд и разность фаз, образованные среди соответствующих микрофонов звуковым сигналом, излучаемым каждым источником звука.

[00106] В качестве другого иллюстративного осуществления, количество источников звука и информация о положении каждого источника звука может быть сначала идентифицировано из смешанного звукового сигнала в соответствии с характеристической информацией, такой как вышеупомянутые разность амплитуд и разность фаз, основанные на смешанном звуковом сигнале, и установленной информацией о положении каждого микрофона; после чего объектный звуковой сигнал, соответствующий каждому источнику звука, может быть выделен из смешанного звукового сигнала, в соответствии с характеристической информацией, такой как вышеупомянутые разность амплитуд и разность фаз, на основании смешанного звукового сигнала и установленной информации о положении каждого микрофона.

[00107] При выполнении шага 306 информация о положении каждого источника звука и объектный звуковой сигнал объединяются для получения аудиоданных в формате объектного аудиосигнала.

[00108] В данном варианте осуществления объектный аудиосигнал может относиться к звуковому формату для Audio Object (аудиообъекта) в целом, при этом в качестве аудиообъекта может быть использован точечный источник звука, содержащий информацию о положении, или поверхностный источник звука, центральное положение которого может быть оценено приблизительно.

[00109] В данном варианте осуществлении объектный аудиосигнал включает в себя две части: часть источника звука и объектного звукового сигнала, при этом объектный звуковой сигнал сам по себе может рассматриваться как монофонический аудиосигнал; форма объектного звукового сигнала может представлять собой несжатый формат, такой как ИКМ (импульсно-кодовая манипуляция) и ПЦП (прямой цифровой поток), или сжатый формат, такой как МР3 (MPEG-1 или MPEG-2 аудиослой III), ААС (усовершенствованное звуковой кодирование) и Dolby Digital (цифровой формат 5.1-канальной дискретной стереофонической записи звука), что данным изобретением не ограничивается.

[00110] Как видно из вышеописанных примеров осуществления изобретения, в настоящем варианте осуществления полученный смешанный звуковой сигнал содержит звуковые сигналы, собранные соответствующими микрофонами путем установки множества микрофонов и одновременного выполнения сбора звуков; при этом, за счет объединения установленной информации о положении среди соответствующих микрофонов, каждый источник звука идентифицируется, и соответствующий объектный звуковой сигнал выделяется без отдельного сбора звукового сигнала каждого источника звука, что снижает зависимость и требования к аппаратным средствам, и можно непосредственно получить аудиоданные в формате объектного аудиосигнала.

[00111] Фиг. 4 представляет собой блок-схему другого способа записи объектного аудиосигнала в соответствии с примером осуществления данного изобретения. Как показано на Фиг. 4, данный способ может включать в себя следующие шаги.

[00112] При выполнении шага 402 получается смешанный звуковой сигнал путем выполнения сбора звука с использованием множества микрофонов одновременно.

[00113] В данном варианте осуществлении изобретения, если количество микрофонов равно двум, операция записи объектного аудиосигнала может выполняться на множестве источников звука в одной и той же плоскости; а если количество микрофонов равно трем или более, операция записи объектного аудиосигнала может выполняться на множестве источников звука в любом трехмерном пространстве. Для одной и той же настройки источников звука, чем больше имеется микрофонов, тем больший вклад они будут вносить в идентификацию количества и информации о положении источников звука, а также в выделение объектного звукового сигнала каждого источника звука.

[00114] При выполнении шага 404 получают состояние положения каждого микрофона.

[00115] В данном варианте осуществлении изобретения, как показано на Фиг. 5, во время записи объектного аудиосигнала каждым из микрофонов состояние положения остается неизменным. Даже в случае изменения информации о положении источника звука микрофон не требует изменения состояния своего положения, поскольку изменение положения может быть осуществлено в собранном смешанном звуковом сигнале и может быть идентифицировано в последующих шагах. В то же время, взаимно однозначное соответствие между микрофонами и источниками звука отсутствует; независимо от количества источников звука, сбор звуковых сигналов может выполняться посредством, по меньшей мере, двух микрофонов, и могут быть получены соответствующие смешанные звуковые сигналы.

[00116] Поэтому, по сравнению с примерами осуществления, показанными на Фиг. 1 и Фиг. 2, в данном примере осуществления может быть идентифицировано фактическое положение каждого источника звука четко и точно, без большого количества микрофонов и без синхронного перемещения микрофона вместе с источником звука, что помогает снизить стоимость аппаратных средств и сложность системы, а также повысить качество объектного аудиосигнала.

[00117] В данном варианте осуществления изобретения состояние положения микрофона включает в себя установленную информацию о положении микрофона. Состояние положения каждого микрофона может регистрироваться с использованием координат, например, пространственных координат любого положения (такого как положение аудитории) в качестве начала координат, при этом такими пространственными координатами могут быть прямоугольные координаты (O-xyz) или сферические координаты (O-^θγr), и соотношение преобразования между этими двумя координатами имеет следующий вид:

[00118]

[00119] при этом координаты х, y, и z, соответственно, указывают координаты положения микрофона или источника звука (объекта) по оси х (направление вперед и назад), по оси у (направление слева направо), и по оси z (направление сверху вниз) в прямоугольных координатах; и θ, γ, и z, соответственно, указывают горизонтальный угол (угол между проекцией линии, соединяющей микрофон или источник звука и начало координат в горизонтальной плоскости и по оси х), вертикальный угол (угол между линией, соединяющей микрофон или источник звука и начало координат, и горизонтальную плоскость) микрофона или источника звука, и расстояние от микрофона или источника до начала координат по прямой линии в сферических координатах.

[00120] Очевидно, что состояние положения каждого микрофона может быть записано отдельно; или может быть записано состояние относительных положений среди соответствующих микрофонов, и из них можно вывести состояние индивидуального положения каждого микрофона.

[00121] При выполнении шага 406, в соответствии с положением каждого микрофона, идентифицируют источник звука из смешанного звукового сигнала, и получают количество источников звука и информация о положении каждого источника звука.

[00122] В качестве примера осуществления изобретения, количество источников звука и информация о положении каждого источника звука могут быть идентифицированы на основании разности амплитуд и разности фаз, образованных среди соответствующих микрофонов звуковым сигналом, излучаемым каждым источником звука. В данном примере осуществления изобретения соответствующая разность фаз может быть реализована разностью между моментами времени, когда звуковой сигнал, излучаемый каждым источником звука, поступает на соответствующие микрофоны.

[00123] На практике все технические решения идентификации источника звука (определение, существует ли источник звука) и идентификации количества источников звука и информации о положении, основанные на разности амплитуд и разности фаз, известные в соответствующей области техники, могут применяться в процессе выполнения шага 406, такие, как метод MUSIC (классификация множественных сигналов), лучеобразующий метод, и метод CSP (фазы спектра перекрестной мощности).

[00124] Очевидно, что в соответствующей области техники существуют и другие алгоритмы идентификации количества источников звука, информации о положении на основании разности амплитуд и разность фаз, а также алгоритмы, основанные на других принципах для идентификации количества источников звука и информации о положении, все из которых могут применяться в примерах осуществления данного изобретения, и которые не ограничиваются данным изобретением. [00125] При выполнении шага 408 объектный звуковой сигнал, соответствующий каждому источнику звука, выделяется из смешанного звукового сигнала в соответствии с информацией о положении каждого микрофона, а также количеством источников звука и информацией о положении каждого источника звука.

[00126] В качестве примера осуществления изобретения, объектный звуковой сигнал, соответствующий каждому источнику звука, может быть выделен на основании разности амплитуд и разности фаз, образованных среди соответствующих микрофонов звуковым сигналом, излучаемым каждым источником звука, например, для осуществления описанного выше разделения могут использоваться метод лучеобразования и метод GHDSS (разделение источников на основе геометрической декорреляции высокого порядка).

[00127] В качестве другого примера осуществления изобретения, может быть установлена соответствующая статистическая модель в соответствии с характеристическим показателем, сформированным звуковым сигналом, излучаемым каждым источником звука в предварительно заданном направлении; и звуковой сигнал, соответствующий информации о положении любого источника звука, идентифицируется и выделяется из смешанного звукового сигнала посредством статистической модели, и используется в качестве объектного звукового сигнала, соответствующего любому источнику звука. Статистическая модель может принимать все характеристические показатели в доступной размерности, такие как разность спектра, разность объемов, разность фаз, разность основных частот, разность энергий основных частот и резонансный пик, все из которых могут использоваться в настоящем документе. Принцип данного осуществления изобретения заключается в установлении, принадлежит ли определенный звуковой сигнал определенному пространству конкретного звукового поля, посредством статистической модели (т.е. предполагаемое положение источника звука). Для осуществления описанного выше процесса могут использоваться такие алгоритмы, как GMM (модель смеси нормальных распределений).

[00128] Очевидно, что в соответствующей области техники существуют и другие алгоритмы выделения объектного звукового сигнала на основании разности амплитуд и разности фаз или статистической модели, а также алгоритмы, основанные на других принципах для выделения объектного звукового сигнала, все из которых могут применяться в вариантах осуществления данного изобретения, и которые не ограничиваются настоящим изобретением.

[00129] Кроме того, шаги 406 и 408 на Фиг. 4 описываются, соответственно, при некоторых фактических условиях; в самом деле, должен быть реализован процесс для осуществления шагов 406 и 408; тогда как при некоторых других условиях распознавание количества источников звука и информации о положении и выделение объектного звукового сигнала каждого звукового сигнала могут осуществляться одновременно в соответствии с принципами описанного выше лучеобразования, без двух вышеописанных шагов для обработки, соответственно.

[00130] При выполнении шага 410 объектный звуковой сигнал и информация о положении отдельных источников звука объединяются для получения объектного аудиосигнала.

[00131] Что касается операции объединения при выполнении шага 410, подробное описание будет приведено ниже в сочетании с Фиг. 6. Фиг. 6 представляет собой блок-схему еще одного способа записи объектного аудиосигнала в соответствии с примером осуществления данного изобретения. Как показано на Фиг. 6, данный способ может включать в себя следующие шаги.

[00132] При выполнении шага 602 принимают количество источников звука, информацию о положении каждого источника звука и объектный звуковой сигнал каждого источника звука.

[00133] При выполнении шага 604 определяют режим сохранения, выбранный пользователем; если режимом сохранения является режим упаковки файлов, то процесс переключается на шаг 606; и если режимом сохранения является режим малой задержки, процесс переключается на шаг 616.

[00134] 1. Режим упаковки файлов

[00135] При выполнении шага 606 создается файл заголовка.

[00136] В данном варианте осуществления изобретения файл заголовка содержит предварительно определенные параметры, описывающие объектный аудиосигнал, такие как идентификационная информация и номер версии. В качестве примера осуществления изобретения, формат и содержание файла заголовка показаны в Таблице 1.

[00137] Таблица 1

[00138] При выполнении шага 608 соответствующие звуковые сигналы объектов объединяются в соответствии с порядком размещения отдельных источников звука таким образом, чтобы были получены аудиоданные множественных объектов.

[00139] В данном варианте осуществления изобретения процедура объединения объектных звуковых сигналов может включать в себя:

[00140] 1) дискретизацию объектного звукового сигнала, соответствующего каждому источнику звука, в каждый момент времени дискретизации, согласно предварительно установленной частоте дискретизации, и компоновка всех дискретизированных сигналов в соответствии с порядком компоновки, таким образом, чтобы был получен объединенный дискретизированный сигнал; и

[00141] 2) компоновка объединенных дискретизированных сигналов, получаемых в каждый момент времени дискретизации поочередно, в порядке дискретизации, таким образом, чтобы были получены аудиоданные множественных объектов.

[00142] Как показано, например, на Фиг. 7, параметры t0, t1 и т.д. в структуре данных объектного аудиосигнала в примере осуществления изобретения представляют собой отдельные моменты времени дискретизации, соответствующие предварительно установленной частоте дискретизации. Если принять в качестве примера момент времени дискретизации Ю и предположить, что существует всего четыре источника звука - А, В, С и D, и порядок размещения соответствующих источников звука имеет вид А→В→С→D, то дискретизированный сигнал А0, дискретизированный сигнал В0, дискретизированный сигнал С0 и дискретизированный сигнал DO получают путем дискретизации четырех источников звука в соответствии с порядком размещения, и генерируется соответствующий объединенный дискретизированный сигнал 0. Аналогичным образом, путем дискретизации таким же самым образом в каждый момент времени дискретизации могут быть получены объединенный дискретизированный сигнал 0 и объединенный дискретизированный сигнал 1, соответствующие каждому моменту времени дискретизации t0 и t1, соответственно. Наконец, аудиоданные множественных объектов могут быть получены путем компоновки их согласно соответствующей последовательности дискретизации соответствующих объединенных дискретизированных сигналов.

[00143] При выполнении шага 610 положения отдельных источников звука объединяются в соответствии с порядком размещения отдельных источников звука таким образом, чтобы были получены вспомогательные данные объектного аудиосигнала.

[00144] В качестве примера осуществления изобретения, процедура объединения объектных звуковых сигналов может включать в себя:

[00145] 1) дискретизацию информации о положении, соответствующем каждому источнику звука в каждый момент времени дискретизации, согласно предварительно установленной частоте дискретизации, и запись каждой дискретизированной информации о положении в.сочетании с информацией о соответствующем источнике звука и информацией о моменте времени дискретизации, таким образом, чтобы была получена объединенная дискретизированная информация о положении; и

[00146] 2) компоновка объединенной дискретизированной информации о положении, получаемой в каждый момент времени дискретизации поочередно, в порядке дискретизации, таким образом, чтобы были получены аудиоданные множественных объектов.

[00147] При осуществлении процедура выработки вспомогательных данных объектного аудиосигнала аналогична процедуре выработки аудиоданных множественных объектов. Если взять в качестве примера снова Фиг. 7, то для момента времени дискретизации t0, и исходя из предположения, что существует всего четыре источника звука - А, В, С и D, и порядок размещения соответствующих источников звука имеет вид А→В→С→D, информация о положении четырех источников звука дискретизируется поочередно, в соответствии с данным порядком компоновки, после чего получается дискретизированная информация о положении а0, дискретизированная информация о положении b0, дискретизированная информация о положении с0 и дискретизированная информация о положении d0, и составляется соответствующая объединенная дискретизированная информация о положении 0. Аналогично, путем дискретизации таким же образом в каждый момент времени дискретизации могут быть получены объединенная дискретизированная информация о положении 0 и объединенная дискретизированная информация о положении 1, соответствующие каждому моменту времени t0 и t1, соответственно. Наконец, вспомогательные данные объектного аудиосигнала могут быть получены путем компоновки их в соответствии с последовательностью дискретизации согласно соответствующей объединенной дискретизированной информации о положении.

[00148] В данном варианте осуществления изобретения информация о положении всех источников звука во всех моментах времени дискретизации записывается во вспомогательных данных объектного аудиосигнала; однако, поскольку источники звука не перемещаются постоянно, объем вспомогательных данных объектного аудиосигнала уменьшен за счет дифференциальной информации о положении источников звука. Способ дифференциальной записи разъясняется следующим режимом осуществления изобретения.

[00149] В другом варианте осуществления процедура объединения объектных звуковых сигналов может включать в себя информацию о дискретизации положения, соответствующего каждому источнику звука согласно предварительно установленной частоте дискретизации; при этом

[00150] если текущая точка дискретизации является первым моментом времени дискретизации, каждая полученная дискретизированная информация о положении записывается в сочетании с информацией о соответствующем источнике звука и информацией о моменте времени дискретизации; и

[00151] если текущая точка дискретизации не является первым моментом времени дискретизации, каждая полученная дискретизированная информация о положении сравнивается с записанной ранее прежней дискретизированной информацией о положении того же самого источника звука, и когда результат сравнения указывает на то, что они различны, дискретизированная информация о положении записывается в сочетании с информацией о соответствующем источнике звука и информацией о моменте времени дискретизации.

[00152] Например, как показано на Фиг. 8, исходя из предположения, что существует всего четыре источника звука - А, В, С и D, и порядок размещения соответствующих источников звука имеет вид А→В→С→D, для момента времени дискретизации t0, поскольку момент времени дискретизации Ю является первым моментом времени дискретизации, информация о положении четырех источников звука дискретизируется поочередно в соответствии со способом реализации, показанным на Фиг. 7, таким образом, чтобы была получена объединенная дискретизированная информация о положении 0, состоящая из дискретизированной информации о положении а0, дискретизированной информации о положении b0, дискретизированной информации о положении с0 и дискретизированной информации о положении d0.

[00153] Для других моментов времени дискретизации, в дополнение к t0, таких как момент времени дискретизации t1, несмотря на то, что информация о положении четырех источников звука может быть дискретизирована поочередно для получения соответствующей дискретизированной информации о положении a1, дискретизированной информации о положении b1, дискретизированной информации о положении c1 и дискретизированной информации о положении d1, если дискретизированная информация о положении a1, соответствующая источнику звука А, является такой же, как и прежняя дискретизированная информация о положении а0, необходимость в записи дискретизированной информации о положении a1 отсутствует. Таким образом, исходя из предположения, что дискретизированная информация о положении a1 является такой же, как и дискретизированная информация о положении а0, дискретизированная информация о положении d1 является такой же, как и дискретизированная информация о положении d0, дискретизированная информация о положении b1 отличается от дискретизированной информации о положении b0, и дискретизированная информация о положении c1 отличается от дискретизированной информации о положении с0, то объединенная дискретизированная информация о положении 1, соответствующая моменту времени дискретизации t1 включает в себя только дискретизированную информацию о положении b1 и дискретизированную информацию о положении c1.

[00154] При выполнении шага 612 файл заголовка, аудиоданные множественных объектов и вспомогательные данные объектного аудиосигнала монтируются поочередно, таким образом, чтобы были получены аудиоданные в формате объектного аудиосигнала.

[00155] В данном примере осуществления изобретения, как показано на Фиг. 7-8, аудиоданные в формате объектного аудиосигнала включают в себя файл заголовка, аудиоданные множественных объектов и вспомогательные данные объектного аудиосигнала, которые монтируются поочередно. При передаче аудиоданных дескриптор и параметр аудиоданных могут считываться посредством файла заголовка, после чего объединенный дискретизированный сигнал, соответствующий каждому моменту дискретизации, извлекается поочередно из аудиоданных множественных объектов, и объединенная дискретизированная информация о положении, соответствующая каждому моменту времени дискретизации, извлекается поочередно из вспомогательных данных объектного аудиосигнала; таким образом, осуществляется соответствующая операция передачи.

[00156] При выполнении шага 614 сохраняют полученный объектный аудиосигнал.

[00157] 2. Режим малой задержки

[00158] При выполнении шага 616 информация файла заголовка, содержащая предварительно установленный параметр, составляется и отправляется на предварительно настроенную аппаратуру для обработки аудиосигналов, при этом информация файла заголовка включает в себя продолжительность времени каждого фрейма аудиоданных.

[00159] В данном варианте осуществления изобретения, аналогично режиму упаковки файлов, файл заголовка содержит предварительно определенные параметры, описывающие объектный аудиосигнал, такие как идентификационная информация и номер версии. В то же время, в отличие от режима упаковки файлов, файл заголовка также содержит продолжительность времени каждого фрейма аудиоданных. В данном варианте осуществления изобретения продолжительность времени каждого фрейма аудиоданных предварительно определяется и записывается, вследствие чего во время выработки объектного аудиосигнала весь объектный аудиосигнал подразделятся на несколько частей за единицу продолжительности времени каждого фрейма аудиоданных, после чего каждая часть сегмента объектного аудиосигнала отправляется на аппаратуру для обработки аудиосигналов, таким образом, чтобы они могли рассылаться в режиме реального времени или сохраняться аппаратурой для обработки аудиосигналов; таким образом, реализуются характеристики малой задержки и высокой эффективности в режиме реального времени.

[00160] В качестве примера осуществления изобретения, формат и содержание файла заголовка показаны в Таблице 2.

[00161] Таблица 2

[00162] При выполнении шага 618 фреймы, которые были обработаны, подсчитываются с использованием параметра i, и первоначальное значение параметра i устанавливается как i=0. Если процесс переходит к шагу 618, и обработка всех аудиоданных завершена, то процесс завершается; и если существуют аудиоданные, которые еще не обработаны, значение параметра i увеличивается на 1, и процесс переходит к шагу 620.

[00163] При выполнении описанных ниже шагов 620 - 622 обрабатываются только данные во фрейме, соответствующем значению параметра i, и режим обработки является таким же, как и в вышеописанных шагах 608-610, и здесь детально не излагается.

[00164] При выполнении шага 624 аудиоданные множественных объектов и вспомогательные данные объектного аудиосигнала в одном фрейме, соответственно, полученные при выполнении шага 620 и шага 622, объединяются таким образом, чтобы был получен фрейм аудиоданных. После этого процедура переходит к шагу 618 для обработки следующего фрейма и к шагу 626 для обработки аудиосигналов.

[00165] При выполнении шага 626 составленные отдельные фреймы объектного аудиосигнала отправляются, соответственно, на аппаратуру для обработки аудиосигналов таким образом, чтобы они могли быть переданы в режиме реального времени или сохранены.

[00166] В варианте осуществления изобретения, описанном выше, как показано на Фиг. 9, в дополнение к файлу заголовка в верхней части, оставшаяся часть структуры полученных объектного аудиосигнала разделяется на несколько фреймов, таких как первый фрейм (фрейм р0) и второй фрейм (p1), и каждый фрейм включает в себя аудиоданные множественных объектов и вспомогательные данные объектного аудиосигнала, которые монтируются соответствующим образом. Соответственно, при передаче аудиоданных аппаратура для обработки аудиосигналов может считывать дескриптор и параметр аудиоданных посредством файла заголовка (включая продолжительность времени каждого фрейма аудиоданных), затем извлекать аудиоданные множественных объектов и вспомогательные данные объектного аудиосигнала из каждого полученного фрейма объектного аудиосигнала поочередно, после чего извлекать объединенный дискретизированный сигнал, соответствующий каждому моменту времени дискретизации из аудиоданных множественных объектов поочередно и извлекать объединенную дискретизированную информацию о положении, соответствующем каждому моменту времени дискретизации из вспомогательных данных объектного аудиосигнала поочередно, таким образом, чтобы была выполнена соответствующая операция передачи.

[00167] В соответствии с описанными выше вариантами осуществления способа для осуществления записи объектного аудиосигнала, данное изобретение также предусматривает варианты осуществления устройства для осуществления записи объектного аудиосигнала.

[00168] Фиг. 10 представляет собой блок-схему, иллюстрирующую устройство для записи объектного аудиосигнала в соответствии с примером осуществления изобретения. Что касается Фиг. 10, устройство включает в себя блок 1001 сбора, блок 1002 обработки, блок 1003 объединения.

[00169] Блок 1001 сбора сконфигурирован для выполнения операции сбора звуков с одновременным использованием множества микрофонов, таким образом, чтобы был получен смешанный звуковой сигнал.

[00170] Блок 1002 обработки сконфигурирован для идентификации количества источников звука и информации о положении каждого источника звука и выделения объектного звукового сигнала, соответствующего каждому источнику звука, из смешанного звукового сигнала, в соответствии со смешанным звуковым сигналом и установленной информацией о положении каждого микрофона.

[00171] Блок 1003 объединения сконфигурирован для объединения информации о положении и объектного звукового сигнала отдельных источников звука для получения аудиоданных в формате объектного аудиосигнала.

[00172] Фиг. 11 представляет собой блок-схему, иллюстрирующую другое устройство для записи объектного аудиосигнала в соответствии с примером осуществления изобретения. Как показано на Фиг. 11, в соответствии с примерами осуществления, показанными на Фиг. 10, блок 1002 обработки в данном примере осуществления включает в себя субблок 1002А обработки.

[00173] Субблок 1002А обработки сконфигурирован для идентификации количества источников звука и информации о положении каждого источника звука и выделения объектного звукового сигнала, соответствующего каждому источнику звука, из смешанного звукового сигнала, в соответствии с разностью амплитуд и разностью фаз, образованными среди соответствующих микрофонов звуковым сигналом, излучаемым каждым источником звука.

[00174] Фиг. 12 представляет собой блок-схему, иллюстрирующую еще одно устройство для записи объектного аудиосигнала в соответствии с примером осуществления изобретения. Как показано на Фиг. 12, в соответствии с примерами осуществления, показанными на Фиг. 10, блок 1002 обработки в данном варианте осуществления включает в себя субблок 1002В идентификации и субблок 1002С выделения.

[00175] Субблок 1002В идентификации сконфигурирован для идентификации количества источников звука и информации о положении каждого источника звука из смешанного звукового сигнала в соответствии со смешанным звуковым сигналом и установленной информацией о положении каждого микрофона.

[00176] Субблок 1002С выделения сконфигурирован для выделения объектного звукового сигнала, соответствующего каждому источнику звука, из смешанного звукового сигнала в соответствии со смешанным звуковым сигналом, установленной информацией о положении каждого микрофона, количеством источников звука и информацией о положении источников звука.

[00177] Следует отметить, что структура субблока 1002В идентификации и субблока 1002С выделения в варианте осуществления устройства на Фиг. 12 может быть также включена в вариант осуществления устройства, показанный на Фиг. 11, который не ограничивается настоящим изобретением.

[00178] Фиг. 13 представляет собой блок-схему, иллюстрирующую еще одно устройство для записи объектного аудиосигнала в соответствии с вариантом осуществления изобретения. Как показано на Фиг. 13, в соответствии с примерами осуществления, показанными на Фиг. 12, субблок 1002С выделения в данном примере осуществления включает в себя модуль 1002С1 создания модели и модуль 1002С2 выделения.

[00179] Модуль 1002С1 создания модели сконфигурирован для создания соответствующей статистической модели в соответствии с характеристическим показателем, сформированным звуковым сигналом, излучаемым каждым источником звука в предварительно заданном направлении.

[00180] Модуль 1002С2 выделения сконфигурирован для идентификации и выделения звукового сигнала, соответствующего информации о положении любого источника звука в смешанном звуковом сигнале, посредством статистической модели и использования данного звукового сигнала в качестве объектного звукового сигнала, соответствующего любому источнику звука.

[00181] Фиг. 14 представляет собой блок-схему, иллюстрирующую еще одно устройство для записи объектного аудиосигнала, в соответствии с примером осуществления изобретения. Как показано на Фиг. 14, в соответствии с вариантами осуществления, показанными на Фиг. 10, блок 1003 объединения в данном варианте осуществления включает в себя: субблок 1003А объединения сигналов, субблок 1003В объединения положений и первый субблок 1003С объединения.

[00182] Субблок 1003А объединения сигналов сконфигурирован для объединения соответствующих объектных звуковых сигналов согласно порядку размещения отдельных источников звука таким образом, чтобы были получены аудиоданные множественных объектов.

[00183] Субблок 1003В объединения положений сконфигурирован для объединения информации о положении отдельных источников звука в соответствии с порядком размещения таким образом, чтобы были получены вспомогательные данные объектного аудиосигнала.

[00184] Первый субблок 1003С объединения сконфигурирован для объединения информации файла заголовка, содержащей предварительно установленный параметр, аудиоданных множественных объектов и вспомогательных данных объектного аудиосигнала в порядке их поступления, таким образом, чтобы были получены аудиоданные в формате объектного аудиосигнала.

[00185] Следует отметить, что структура субблока 1003А объединения сигналов, субблока 1003В объединения положений и первого субблока 1003С объединения в варианте осуществления устройства на Фиг. 14 может быть также включена в варианты осуществления устройства, показанные на Фиг. 11-13, которые не ограничиваются настоящим изобретением.

[00186] Фиг. 15 представляет собой блок-схему, иллюстрирующую еще одно устройство для записи объектного аудиосигнала, в соответствии с примером осуществления изобретения. Как показано на Фиг. 15, в соответствии с примерами осуществления, показанными на Фиг. 10, блок 1003 объединения в данном примере осуществления включает в себя: субблок 1003D отправки файлов заголовков, субблок 1003А объединения сигналов, субблок 1003В объединения положений, второй субблок 1003Е объединения и субблок 1003F отправки аудиоданных.

[00187] Субблок 1003D отправки файлов заголовков сконфигурирован для составления информации файла заголовка, содержащей предварительно установленный параметр, и отправки ее на предварительно настроенную аппаратуру для обработки аудиосигналов, при этом информация файла заголовка включает в себя продолжительность времени каждого фрейма аудиоданных, таким образом, что субблок объединения сигналов, субблок объединения положений и второй субблок объединения составляют каждый фрейм аудиоданных в формате объектного аудиосигнала, соответствующем продолжительности каждого фрейма аудиоданных.

[00188] Субблок 1003А объединения сигналов сконфигурирован для объединения соответствующих объектных звуковых сигналов согласно порядку размещения отдельных источников звука таким образом, чтобы были получены аудиоданные множественных объектов;

[00189] Субблок 1003В объединения положений сконфигурирован для объединения информации о положении отдельных источников звука в соответствии с порядком размещения таким образом, чтобы были получены вспомогательные данные объектного аудиосигнала.

[00190] Второй субблок 1003Е объединения сконфигурирован для объединения аудиоданных множественных объектов и вспомогательных данных объектного аудиосигнала в порядке их поступления, таким образом, чтобы был получен каждый фрейм аудиоданных в формате объектного аудиосигнала.

[00191] Субблок 1003F отправки аудиоданных сконфигурирован для отправки каждого фрейма аудиоданных в формате объектного аудиосигнала на предварительно настроенную аппаратуру для обработки аудиосигналов.

[00192] Следует отметить, что структура субблока 1003D отправки файлов заголовков, субблока 1003А объединения сигналов, субблока 1003В объединения положений, второго субблока 1003Е объединения и субблока 1003F отправки аудиоданных в варианте осуществления устройства на Фиг. 14 может быть также включена в примеры осуществления устройства, показанные на Фиг. 11-13, которые не ограничиваются настоящим изобретением.

[00193] Фиг. 16 представляет собой блок-схему, иллюстрирующую еще одно устройство для записи объектного аудиосигнала, в соответствии с примером осуществления изобретения. Как показано на Фиг. 16, в соответствии с вариантами осуществления, показанными на Фиг. 14 или Фиг. 15, субблок 1003А объединения сигналов в данном варианте осуществления включает в себя модуль 1003А1 дискретизации сигналов и модуль 1003А2 компоновки сигналов.

[00194] Модуль 1003А1 дискретизации сигналов сконфигурирован для дискретизации объектных звуковых сигналов, соответствующих отдельным источникам звука соответственно, в каждый момент времени дискретизации, согласно предварительно установленной частоте дискретизации, и компоновки всех дискретизированных сигналов в соответствии с порядком компоновки, таким образом, чтобы был получен объединенный дискретизированный сигнал.

[00195] Модуль 1003А2 компоновки сигналов сконфигурирован для компоновки объединенных дискретизированных сигналов, получаемых в каждый момент времени дискретизации поочередно, в порядке дискретизации, таким образом, чтобы были получены аудиоданные множественных объектов.

[00196] Фиг. 17 представляет собой блок-схему, иллюстрирующую еще одно устройство для записи объектного аудиосигнала, в соответствии с примером осуществления изобретения. Как показано на Фиг. 17, в соответствии с примерами осуществления, показанными на Фиг. 14 или Фиг. 15, субблок 1003В объединения положений в данном варианте осуществления включает в себя первый модуль 1003В1 записи положения и модуль 1003В2 компоновки положений.

[00197] Первый 1003В1 модуль записи положения сконфигурирован для дискретизации информации о положении, соответствующей отдельным источникам звука, в каждый момент времени дискретизации, согласно предварительно установленной частоте дискретизации, и записи каждой дискретизированной информации о положении в сочетании с информацией о соответствующем источнике звука и информацией о моменте времени дискретизации, таким образом, чтобы была получена объединенная дискретизированная информация о положении.

[00198] Модуль 1003В2 компоновки положений, сконфигурированный для компоновки объединенной дискретизированной информации о положении, получаемой в каждый момент времени дискретизации поочередно, в соответствии с порядком дискретизации, таким образом, чтобы были получены вспомогательные аудиоданные.

[00199] Фиг. 18 представляет собой блок-схему, иллюстрирующую еще одно устройство для записи объектного аудиосигнала, в соответствии с примером осуществления изобретения. Как показано на Фиг. 18, в соответствии с вариантами осуществления, показанными на Фиг. 14 или Фиг. 15, субблок 1003В объединения положений в данном варианте осуществления включает в себя: модуль 1003В3 дискретизации положения и второй модуль записи положения 1003В4.

[00200] Модуль 1003 ВЗ дискретизации положения сконфигурирован для дискретизации информации о положении, соответствующей отдельным источникам звука, согласно предварительно установленной частоте дискретизации;

[00201] Второй модуль 1003В4 записи положения сконфигурирован для записи каждой полученной дискретизированной информации о положении в сочетании с информацией о соответствующем источнике звука и информацией о моменте времени дискретизации, если текущая точка дискретизации является первым моментом времени дискретизации, и, если текущая точка дискретизации не является первым моментом времени дискретизации, для сравнения полученной дискретизированной информации о положении каждого источника звука с записанной ранее прежней дискретизированной информацией о положении того же самого источника звука, и, если путем сравнения определено, что они различны, для записи дискретизированной информации о положении в сочетании с информацией о соответствующем источнике звука и информацией о моменте времени дискретизации.

[00202] Что касается устройств в описанных выше вариантах осуществления, конкретные способы выполнения операций для отдельных их модулей подробно описаны в примерах осуществления, относящихся к способам, и не будут раскрыты далее в настоящем документе.

[00203] Поскольку примеры осуществления устройств в значительной степени соответствуют вариантам осуществления способов, в соответствующем содержании описания вариантов осуществления устройств могут быть сделаны ссылки на некоторые разъяснения в примерах осуществления способов. Вышеописанные примеры осуществления устройства являются всего лишь иллюстративными. Блоки, проиллюстрированные как раздельные компоненты, могут быть разделены или не разделены физически; компонент, используемый в качестве блока, может быть или не быть физическим блоком, т.е., может быть расположен в одном месте или распределен по нескольким блокам сети. Все модули или их часть могут быть выбраны для достижения цели решения в данном изобретении в соответствии с фактическими требованиями. Специалист в данной области техники может понять и реализовать данное изобретение, не затрачивая большого труда.

[00204] Соответственно, данное изобретение далее предоставляет устройство для осуществления записи объектного аудиосигнала, включающее в себя процессор и запоминающее устройство для хранения команд, выполняемых процессором; при этом процессор сконфигурирован для выполнения операции сбора звуков путем одновременного использования множества микрофонов таким образом, чтобы был получен смешанный звуковой сигнал; идентификации количества источников звука и информации о положении каждого источника звука и выделения объектного звукового сигнала, соответствующего каждому источнику звука, из смешанного звукового сигнала в соответствии со смешанным звуковым сигналом и установленной информацией о положении каждого микрофона; и объединения информации о положении и объектных звуковых сигналов отдельных источников звука для получения аудиоданных в формате объектного аудиосигнала.

[00205] Соответственно, данное изобретение предоставляет также терминал, который включает в себя запоминающее устройство и одну или более программ, при этом одна или более программ сохраняются в запоминающем устройстве, и инструкции по выполнению следующих операций, содержащихся в одной или более программах, сконфигурированных для выполнения одним или несколькими процессорами: выполнение операции сбора звуков путем одновременного использования множества микрофонов таким образом, чтобы был получен смешанный звуковой сигнал; идентификация количества источников звука и информации о положении каждого источника звука и выделение объектного звукового сигнала, соответствующего каждому источнику звука, из смешанного звукового сигнала в соответствии со смешанным звуковым сигналом и установленной информацией о положении каждого микрофона и объединение информации о положении и объектных звуковых сигналов отдельных источников звука для получения аудиоданных в формате объектного аудиосигнала.

[00206] Фиг. 19 представляет собой блок-схему устройства 1900 для осуществления записи объектного аудиосигнала, в соответствии с примером осуществления изобретения. Устройство 1900 может, например, представлять собой мобильный телефон, компьютер, абонентское устройство цифрового вещания, устройства передачи сообщений, игровую консоль, планшет, медицинское устройство, тренажерное оборудование, электронного секретаря и аналогичное оборудование.

[00207] Что касается Фиг. 19, устройство 1900 может включать в себя один или несколько из следующих компонентов: компонент 1902 обработки, запоминающее устройство 1904, блок 1906 питания, мультимедийный компонент 1908, аудиокомпонент 1910, интерфейс 1912 ввода/вывода (I/O), сенсорный компонент 1914 и компонент 1916 связи.

[00208] Компонент 1902 обработки обычно управляет общими операциями устройства 1900, такими как операции, связанные с дисплеем, телефонные звонки, передача данных, операции съемки и операции записи. Компонент 1902 обработки может включать в себя один или несколько процессоров 1920 для исполнения команд на выполнение всех шагов описанных выше способов или их части. Более того, компонент 1902 обработки может включать в себя один или более модулей, облегчающих взаимодействие между компонентом 1902 обработки и другими компонентами. Компонент 1902 обработки может, например, включать в себя мультимедийный модуль для облегчения взаимодействия между мультимедийным компонентом 1908 и компонентом 1902 обработки.

[00209] Запоминающее устройство 1904 сконфигурировано для хранения различных типов данных для поддержания функционирования устройства 1900. Примеры таких данных включают в себя инструкции по любым приложениям или способам, задействованным в устройстве 1900, контактные данные, данные из телефонного справочника, сообщения, рисунки, видео и т.д. Запоминающее устройство 1904 может быть реализовано с использованием энергозависимых или энергонезависимых запоминающих устройств или их комбинации, таких как статическое оперативное запоминающее устройство (СОЗУ), электрически программируемое постоянное запоминающее устройство (ЭСППЗУ), стираемое программируемое постоянное запоминающее устройство (СППЗУ), программируемое постоянное запоминающее устройство (ППЗУ), постоянное запоминающее устройство (ПЗУ), магнитное запоминающее устройство, флэш-карта, магнитный или оптический диск.

[00210] Блок питания 1906 обеспечивает электрическое питание различных компонентов устройства 1900. Блок питания 1906 может включать в себя систему управления электрическим питанием, один или несколько источников питания и любые другие компоненты, связанные с выработкой и распределением электроэнергии, а также управлением электрическим питанием в устройстве 1900.

[00211] Мультимедийный компонент 1908 включает в себя экран, обеспечивающий выходной интерфейс между устройством 1900 и пользователем. В некоторых вариантах осуществления изобретения экран может включать в себя жидкокристаллический дисплей (LCP) и сенсорную панель (TP). Если экран включает в себя сенсорную панель, он может быть реализован как сенсорный экран для принятия входных сигналов от пользователя. Сенсорная панель включает в себя один или более тактильных датчиков для восприятия касаний, скольжения и жестов на сенсорной панели. Тактильные датчики могут воспринимать не только границу касания или скольжения, но также воспринимать период времени и нажатие, связанный с действием касания или скольжения. В некоторых вариантах осуществления мультимедийный компонент 1908 включает в себя переднюю камеру и/или заднюю камеру. Передняя и задняя камеры могут принимать внешнюю мультимедийную информацию, когда устройство 1900 находится в рабочем режиме, таком, как режим фотографии или видеосъемки. Каждая из камер - передняя и задняя - может представлять собой фиксированную систему оптических линз или иметь функцию фокусировки и оптического масштабирования.

[00212] Аудиокомпонент 1910 способен выводить и/или вводить аудиосигналы. Аудиокомпонент 1910 может, например, включать в себя микрофон («MIC»), сконфигурированный для приема внешнего аудиосигнала, когда устройство 1900 находится в рабочем режиме, например, в режиме вызова, режиме записи и режиме распознавания голоса. Принятый аудиосигнал может быть далее сохранен в запоминающем устройстве 1904 или передан посредством компонента 1916 связи. В некоторых примерах осуществления, аудиокомпонент 1910 дополнительно включает в себя динамик для вывода аудиосигналов.

[00213] Интерфейс 1912 ввода/вывода обеспечивает интерфейсную связь между компонентом обработки информации 1902 и периферийными интерфейсными модулями, такими, как клавиатура, мышь, кнопки и т.д. Кнопки могут включать в себя кнопку возврата в исходное положение, кнопку регулирования громкости, кнопку запуска и кнопку блокировки, но не ограничиваются ими.

[00214] Сенсорный компонент 1914 включает в себя один или несколько датчиков для обеспечения оценки состояния различных аспектов устройства 1900. Сенсорный компонент 1914 может, например, обнаруживать состояние открытия/закрытия устройства 1900, взаимное расположение компонентов, например, дисплея и клавиатуры устройства 1900, изменение положения устройства 1900 или компонента устройства 1900, наличие или отсутствие контакта пользователя с устройством 1900, ориентацию или ускорение/замедление перемещения устройства 1900 и изменение температуры устройства 1900. Сенсорный компонент 1914 может включать в себя датчик присутствия, сконфигурированный для обнаружения присутствия находящихся вблизи объектов без какого-либо физического контакта. Сенсорный компонент 1914 может также включать в себя оптический датчик, такой как датчик изображения КМОП или ПЗС, для использования с целью получения изображений. В некоторых примерах осуществления сенсорный компонент 1914 может также включать в себя акселерометр, гиродатчик, магнитный датчик, датчик давления или датчик температуры.

[00215] Компонент 1916 связи сконфигурирован для облегчения связи - проводной или беспроводной - между устройством 1900 и другими устройствами. Устройство 1900 может иметь доступ к беспроводной сети, основанной на стандарте связи, такой как WiFi, 2G или 3G, или на их сочетании. В одном из примеров осуществления изобретения компонент 1916 связи принимает транслируемый сигнал оповещения или информацию, связанную с оповещением, от внешней системы управления оповещением посредством широковещательного канала. В одном из примеров осуществления изобретения компонент 1916 связи далее включает в себя модуль беспроводной связи ближнего радиуса действия (NFC) для облегчения связи малого радиуса действия. Модуль NFC может быть выполнен, например, на основе технологии радиочастотной идентификации (РЧИД), технологии Ассоциации передачи данных в инфракрасном диапазоне (АПДИК), сверхширокополосной (UWB) технологии, технологии Bluetooth (технология ближней беспроводной связи для устройств разных типов) и других технологий.

[00216] В примерах осуществления устройство 1900 для реализации описанных выше способов может быть выполнено на одной или нескольких специализированных заказных интегральных схемах (ASIC), цифровых сигнальных процессорах (ЦСП), устройствах цифровой обработки сигналов (УЦОС), программируемых логических устройствах (ПЛУ), программируемых пользователем вентильных матрицах (ППВМ), контроллерах, микроконтроллерах, микропроцессорах или других электронных компонентах.

[00217] В примерах осуществления предусмотрен также энергонезависимый машиночитаемый носитель информации, включающий в себя команды, такие как записанные в запоминающем устройстве 1904, выполняемые процессором 1920 в устройстве 1900, для реализации описанных выше способов. Энергонезависимым машиночитаемым носителем информации может быть, например, ПЗУ, ОЗУ, компакт-диск, магнитная лента, дискета, оптическое устройство хранения данных и подобные им.

[00218] Другие варианты осуществления изобретения будут очевидны для специалистов в данной области техники из рассмотрения описания и работы изобретения, описанных в настоящем документе. Предполагается, что данная заявка охватывает любые изменения, варианты использования или адаптации изобретения с соблюдением его общих принципов, включая такие отклонения от данного описания, которые возникают в рамках известной или традиционной практики в данной области техники. Предполагается, что описание и примеры считаются только примерами, при этом истинный объем изобретения указан в нижеследующей формуле изобретения.

[00219] Данное изобретение, предпочтительно, не ограничивается точной конструкцией, которая описана выше и проиллюстрирована на чертежах, и различные модификации и изменения могут быть сделаны, оставаясь в пределах его объема. Предполагается, что объем изобретения ограничивается только прилагаемыми пунктами формулы изобретения.

Реферат

Изобретение относится к электронной аппаратуре и предназначено для записи объектного аудиосигнала. Технический результат – возможность осуществления прямой записи объектного аудиосигнала. Данный способ может включать в себя: выполнение операции сбора звуков путем одновременного использования множества микрофонов таким образом, чтобы был получен смешанный звуковой сигнал; идентификацию количества источников звука и информации о положении каждого источника звука и выделение объектного звукового сигнала, соответствующего каждому источнику звука, из смешанного звукового сигнала в соответствии со смешанным звуковым сигналом и установленной информацией о положении каждого микрофона; и объединение информации о положении и объектных звуковых сигналов отдельных источников звука для получения аудиоданных в формате объектного аудиосигнала. 3 н. и 16 з.п. ф-лы, 19 ил., 2 табл.

Формула