Поддержание аудиосвязи в перегруженном канале связи - RU2658602C2

Чертежи

Описание

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к способу поддержания аудиосвязи в перегруженном канале связи, компьютерной программе для выполнения такого способа, долговременному компьютерно-читаемому носителю, содержащему приложение, сохраненное на нем для выполнения способа, и системе связи, адаптированной для выполнения способа.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

Пользователи часто сталкиваются с проблемами, связанными с передачей данных, таких как, в частности, речевые данные, которые возникают из-за проблем в работе сети, таких как высокий коэффициент битовых ошибок (BER) или потери пакетов. Эти проблемы возникают особенно часто при беспроводной аудиосвязи. В результате качество связи может падать и становиться очень плохим. Если эти ошибки возникают из-за проблем, связанных в целом с работой сети, а не с одним конкретным каналом связи, даже повторный набор не поможет установить вызов с более высоким качеством. Однако вызов может быть важным, как, например, экстренный вызов.

Следовательно, поставщики услуг связи должны предложить хорошее решение для сохранения аудиосвязи даже в случае серьезных проблем в работе сети.

Сохранение связи с согласованными и установленными кодеками и/или несущими каналами может быть невозможным из-за плохой полосы пропускания, высокой задержки пакетов, слишком больших потерь пакетов или высокого BER.

Согласно документу US 7,617,106 B2, для того, чтобы проверить корректность преобразования речи в текст (STT), преобразованный текст снова преобразуется в речь. Как первоначальная речь, так и речь, созданная из представления текста, воспроизводится затем через стереогарнитуру. Контрольный редактор (который в данном случае представляет собой контрольного слушателя) может легко найти различия между первоначальной и преобразованной речью. В документе US 7,697,551 B2 предложено соединить между собой телефон и систему мгновенной передачи текстовых сообщений (IM) через определенную систему. Эта система преобразует текст IM в речь и затем речь обратно в текст IM. В документе US 2002/123892 A1 раскрыта встроенная система для преобразования речи в текст, которая представляется на интерфейсе пользователю. В случае ошибки пользователь выдает в систему указание об ошибке неправильного распознавания. В свою очередь, ввод аудио наряду со ссылкой на модель общеупотребительных слов передается в процесс обучения. Согласно документу CN 201440733 U изображение языка жестов захватывается камерой устройства мобильной связи. Дорожка видеозаписи создается из изображений и преобразуется в неопределенную текстовую информацию. Этот текст дополнительно улучшается с помощью параметров грамматики и словосочетаний. В документе JP 2006005440 A показано, что в случае нахождения в шумной окружающей среде камера мобильного телефона захватывает картинки движения губ и передает их. На приемной стороне эти картинки отображаются в виде движущихся изображений. В качестве альтернативы, передаются только параметры движения губ. Согласно документу US 2005/049868 A1 слова или фразы передаются в приложение преобразования текста в речь. Затем созданная речь передается в один или более механизмов преобразования речи в текст. Полученным словам или фразам назначается уровень доверительной вероятности.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Проблему, упомянутую выше, можно решить с помощью способа по п. 1 формулы изобретения. Преимущественные варианты осуществления изобретения представляют собой предмет изобретения зависимых пунктов формулы изобретения.

Согласно изобретению способ поддержания аудиосвязи в перегруженном канале связи, который в текущий момент несет в себе передачу речи при аудиосвязи между отправляющей стороной и приемной стороной, причем канал связи содержит по меньшей мере один канал сигнализации и по меньшей мере один канал полезной нагрузки, который характеризуется (переменным) качеством обслуживания, содержит следующие этапы, на которых: контролируют качество обслуживания канала полезной нагрузки, прерывают отправку речи с отправляющей стороны по каналу полезной нагрузки, при этом удерживая по меньшей мере канал сигнализации канала связи в случае, если качество обслуживания канала полезной нагрузки ниже заданного порогового значения. Другими словами, способ предусматривает, что отправка аудиоданных останавливается без разрыва канала связи, то есть поддерживается по меньшей мере часть сигнализации канала связи. Подразумевается, что это прерывание отправки речевых данных (которые кратко называются "речью") можно выполнить, поддерживая и "полноценный" канал связи, то есть также его канал полезной нагрузки. Вместо передачи речи от отправителя на приемную сторону речь преобразуется в текст и отправляется в виде текстовых данных на приемную сторону. Если не указано иное пользователем или центром управления способа связи, речь, произведенная на приемной стороне, будет преобразовываться в текст и отправляться на (бывшую) отправляющую сторону, которой теперь является приемная сторона. Другими словами, после переключения на передачу только текстовых данных, речь на соответствующей отправляющей стороне преобразуется в текст и передается на соответствующую приемную сторону.

Как объяснено выше, используя способ согласно настоящему изобретению, можно сохранить вызов даже в условиях плохого качества обслуживания.

Согласно одному аспекту изобретения передача текстовых данных происходит по каналу полезной нагрузки.

Настоящее изобретение основано на рассуждении о том, что полосы пропускания перегруженного канала связи может все еще быть достаточно для того, чтобы осуществлять связь/передавать необходимую информацию в виде текстовых данных и избежать потоковой передачи аудио, чтобы можно было использовать канал с низким качеством обслуживания или полосой пропускания. Качество обслуживания можно определить с помощью существующей матрицы всех типов связи. Качество обслуживания речевого потока в канале полезной нагрузки или в канале транспортного протокола реального времени (RTP) можно обнаружить, в частности, следующим образом:

1) Пакеты RTP (которые транспортируются в IP-пакетах протокола передачи дейтаграмм пользователя (UDP)) в потоке нумеруются последовательно. Потерю пакетов можно легко обнаружить в случае, когда отсутствует/отсутствуют один или более пакетов. Можно также обнаружить пакеты, которые остаются за пределами последовательности. Это может произойти тогда, когда пакеты IP получают различные маршруты в место назначения.

2) Пакеты с битовой ошибкой свидетельствуют о плохих пакетах. Хотя поток RTP может иметь не механизм обнаружения битовых ошибок, а только некоторые кодировки, полезные нагрузки RTP имеют возможность обнаружения битовых ошибок (согласно RFC 4867). В этом контексте можно использовать кодеки типа G.722 и кодек AMR типа.

3) Задержку пакета и буфер фазового дрожания, установленный в приемниках, можно также использовать для обнаружения плохого качества передачи. Интервал для передачи пакета RTP определяется на основании определенного/используемого кодека. Так как в течение периода передачи пакеты имеют задержку, обычно выделенный буфер используется для буферизации новых пакетов и сглаживания фазового дрожания при получении пакетов. Этот буфер приводит к отсроченному воспроизведению потока. Так как человек на приемной стороне не видит передатчик, допускается некоторая величина задержки (которая также называется "запаздывание"). Однако размер этого буфера является ограниченным, и когда прибытие пакетов задерживается более чем на размер буфера, приемная сторона будет затем распознавать паузы в речи. Отставание буфера фазового дрожания может также представлять собой индикацию плохого качества речи (качества обслуживания).

4) Анализ аудио после восстановления потока можно также использовать для обнаружения плохого качества аудио. На основании резких изменений аудио можно обнаружить нерегулярности.

Преимущество соответствующего приемника состоит в том, что способ согласно настоящему изобретению содержит этап преобразования принятого текста обратно в речь. В этом случае пользователи, участвующие в телефонном вызове или аудиосвязи, могут продолжить свое общение на устной основе, им не нужно читать переданные тексты, которые были ранее преобразованы из речи в текст. Конечно, возможно, что соответствующие пользователи на своем конце могут заставить систему продолжать отображать текст, передаваемый каналом связи, вместо того, чтобы повторно преобразовывать текст в речь.

В случае если качество обслуживания канала полезной нагрузки непрерывно контролируется, преимущественным может быть переключение обратно на передачу речи по удерживаемому каналу полезной нагрузки сразу после того, как будет обнаружено достаточное качество обслуживания, для того чтобы повторно установить "нормальную" аудиосвязь или телефонный вызов.

Преимущественным может быть то, что аварийное сообщение отправляется на соответствующую приемную сторону сразу, как только прерывается отправка речи, и вместо этого передаются текстовые данные, полученные в результате преобразования речи в текст. Это позволяет помочь соответствующему приемнику подготовиться к предстоящему изменению текущей связи.

В случае если текущая аудиосвязь шифруется с использованием определенного ключа и заданного алгоритма, преимущественным является также использование того же самого ключа и того же самого алгоритма для шифрования переданного текста. Таким образом, статус безопасного соединения можно поддерживать, несмотря на возникновение изменения на передачу только текстовых данных.

Согласно одному аспекту настоящего изобретения для передачи текста можно использовать только канал сигнализации. Тем самым можно исключить канал полезной нагрузки из текущего канала связи, например, в случае, когда качество обслуживания (качество передачи) становится слишком низким, или для того, чтобы сократить расходы на использование канала полезной нагрузки. В этом случае данные могут быть представлены в любом формате, таком как RAW, XML или другие форматы. Однако партнеру по связи должен быть передан сигнал о том, что будут поступать другие данные вместо ранее установленных/согласованных, и какой тип и формат текста будут поступать.

Согласно дополнительному аспекту изобретения этап обнаружения языка речи может быть включен для того, чтобы преобразовать речь в текст соответствующего языка. Так как технология преобразования речи в текст является достаточно продвинутой, это решение можно также использовать для настоящего изобретения. В случае если STT не может обнаружить язык, используемый язык должен быть указан исходя из настройки устройства связи на том конце текущей связи, на котором было инициировано изменение на передачу текста вместо речи.

Для того чтобы улучшить обработку, преимущественным является случай, когда предстоящее изменение с передачи речи на передачу текста, стороной, которая является отправителем в данный момент времени, согласовано в этот момент времени с другой участвующей стороной, например с приемником. При согласовании переключения на текст отправитель может также указать, какой язык по умолчанию используется для передачи текста.

Некоторые решения STT и TTS (преобразование текста в речь) позволяют пользователям определить дополнительные параметры, такие как категория типа голоса и предварительно определенный признак голоса, который должен использоваться в TTS на приемной стороне. Например, отправитель может указать в своей текстовой полезной нагрузке, что язык представляет собой американский английский язык и "голос=Майк". В некоторых решениях TTS предшествующего уровня техники используются эти предварительно определенные признаки голоса типа Майка (для лиц мужского пола) или Мэри (для лиц женского пола). Приемник может принять такой выбор или отклонить, делая свой собственный выбор или используя значение по умолчанию.

Чтобы облегчить процесс преобразования текста в речь на приемной стороне, на соответствующей отправляющей стороне предпочтительно использовать этап преобразования речи в фонетический тип текста.

Согласно дополнительному аспекту настоящего изобретения пользователи могут по требованию заставить систему связи переключиться с передачи речи на передачу текста путем ввода соответствующей команды. Например, для передачи заданного сообщения пользователь может захотеть использовать голос, который отличается от своего собственного голоса. Другим примером является уменьшение действующих фоновых помех, которое может быть получено путем переключения на передачу текста. Это хорошо работает в том случае, если устройство связи является достаточно продвинутым для распознавания соответствующей речи пользователя и оптимального преобразования ее в текст, после чего выходной сигнал будет увеличивать ясность на приемной стороне.

Проблема, упомянутая выше, решается также с помощью долговременного компьютерно-читаемого носителя, на котором хранится соответствующее приложение, которое позволяет выполнить способ, как описано выше. Подразумевается, что приложение должно быть разработано таким образом, чтобы его мог исполнить процессор соответствующего устройства связи.

Вышеупомянутая проблема также решается с помощью компьютерной программы или компьютерного программного продукта для процессора устройства связи, причем программа предназначена для выполнения способа, как описано выше.

Согласно дополнительному аспекту настоящего изобретения вышеупомянутую задачу можно также решить с помощью системы связи, которая содержит первое устройство связи, второе устройство связи, по меньшей мере один канал связи для установления соединения с первым устройством связи с помощью второго устройства связи и процессор для управления связью между первым устройством связи и вторым устройством связи таким образом, чтобы можно было выполнить способ, как описано выше. Первое и второе устройства связи могут представлять собой, например, настольный телефон, PDA, смартфон или компьютер, оборудованный микрофоном и подсоединенный к телефонной сети.

Подразумевается, что система связи согласно настоящему изобретению может содержать любой из признаков, которые описаны в связи со способом согласно настоящему изобретению, а также любое преимущество или особенность, которые описаны выше по отношению к способу, могут также присутствовать в системе.

Преимущество системы связи может состоять в том, что она дополнительно содержит средство обнаружения языка, предназначенное для обнаружения языка речи и преобразования ее в текст на соответствующем языке. Языки, используемые двумя пользователями на отправляющей стороне и на приемной стороне, необязательно должны быть одинаковыми, поэтому каждый пользователь может использовать, например, свой родной язык, который будет затем преобразовываться в соответствующий текст на этом же языке.

При отсутствии согласования языка абонент на приемной стороне может проигнорировать сообщение в том случае, если он не может понять указанный язык с отправляющей стороны. Кроме того, один пользователь может обратить внимание на отсутствие правильной связи, что может привести к молчанию. В этом случае соответствующий пользователь может продолжить связь/вызов, завершить вызов или просто передать сообщение о проблеме связи на другую сторону, говоря об этом факте в микрофон.

Если пользователь на приемной стороне не может обработать TTS в общепринятом или в текущем формате, соответствующий пользователь может проигнорировать этот факт или попытаться сообщить о проблеме другой стороне.

Как показано выше, переключение на передачу текста вместо речи происходит при выявлении того, что качество обслуживания является недостаточным для поддержания аудиосвязи без изменения.

Предпочтительные варианты осуществления настоящего изобретения показаны на чертеже в качестве примера, который не следует рассматривать ограничительным образом.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 изображает один возможный вариант осуществления системы связи согласно изобретению, в которой можно выполнить первый вариант осуществления способа согласно настоящему изобретению; и

Фиг. 2 изображает такую же систему связи, как и на фиг. 1, и показывает, как можно выполнить второй вариант осуществления способа согласно настоящему изобретению.

ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Как показано на фиг. 1, система 20 связи согласно изобретению содержит первое устройство А связи, второе устройство B связи и сеть 10 связи, с помощью которой два устройства А, B связи могут устанавливать соединения друг с другом. Сеть 10 связи может представлять собой коммутируемую телефонную сеть общего пользования (PSTN), сеть мобильной связи или любую другую подходящую сеть. В качестве одного компонента сети 10 связи представлен коммутатор 28. В качестве первого и второго устройств А, B связи можно использовать мобильные телефоны, смартфоны, настольные телефоны или аналогичные устройства. В качестве примера показаны две сигнальные линии или каналы 33 и 34, с помощью которых два устройства А и B связи, соответственно, могут устанавливать связь друг с другом. Такую связь можно установить с помощью канала 36 полезной нагрузки, который может также называться каналом RTP или несущим каналом.

Способ по настоящему изобретению можно реализовать с помощью предназначенной для этого компьютерной программы 52 или компьютерного программного продукта, который может предписать процессору 40 выполнять способ согласно настоящему изобретению. Процессор 40 изображен выполненным в первом и втором устройствах А и B связи. Между тем, в некоторых случаях, например, он может быть выполнен в коммутаторе 28 или в центре управления (не показан). Другими словами, способ согласно настоящему изобретению является компьютерно-реализуемым. В качестве альтернативы, способ можно реализовать также с помощью аппаратных средств. Компьютерная программа 52 символически изображена как хранящаяся на компьютерно-читаемом носителе 50, который может представлять собой флеш-накопитель, карту памяти, твердотельный накопитель или "обычный" жесткий диск, которые являются только примерами такого долговременного компьютерно-читаемого носителя.

Для описания способа согласно настоящему изобретению можно предположить, что разговор между первым устройством А связи и вторым устройством B связи был установлен с использованием канала 30 связи, который содержит канал 33, 34 сигнализации и канал 36 полезной нагрузки. В определенный момент времени первое устройство А связи обнаруживает, что качество обслуживания в канале 26 полезной нагрузки канала 30 связи стало настолько плохим, что недостаточно поддерживать аудиосвязь без выполнения изменения.

В целях описания способа согласно настоящему изобретению сначала первое устройство А связи образует отправляющую сторону 22 связи, и второе устройство B связи образует приемную сторону 24 связи.

Способ согласно настоящему изобретению описан с использованием протокола инициирования сеанса (SIP). Подразумевается, что вместо этого протокола можно использовать любой другой протокол связи, и что изобретение не ограничивается использованием SIP. С учетом этой ситуации первое устройство А связи отправляет сообщение приглашения через сигнальную линию 33 в коммутатор 28. В этом сообщении приглашения протокол описания сеанса (SDP) определен как неактивный. Затем коммутатор 28 отправляет сообщение приглашения во второе устройство B связи с SDP, определенным как неактивный. Второе устройство B связи отправляет обратно ответное сообщение в коммутатор 28 со все еще неактивным SDP. Коммутатор 28 отправляет так называемое сообщение 200OK со все еще неактивным SDP обратно в первое устройство А связи. Первое устройство А связи выполняет преобразование речи в текст (STT) речевых данных, записанных с помощью микрофона 21, который связан с первым устройством А связи. В качестве примера, предложение на немецком языке "Wie stark ist der Sturm?" (Насколько сильна буря?) размещается в сигнальной линии 33 в качестве текстовой информации вместе с указанием немецкого языка, используемого системой. То же самое сообщение размещается коммутатором 28 в сигнальной линии 34 и отправляется во второе устройство B связи. После приема на приемной стороне 24 (второе устройство B связи) выполняется преобразование текста в речь (TTS) этого сообщения, и результат выводится через громкоговоритель 23, связанный со вторым устройством B связи. Пользователь, использующий второе устройство B связи, может ответить на вопрос, говоря в свой микрофон (не показан): "The wind speed is 250 miles per hour" ("Скорость ветра равна 250 миль в час"). Эти речевые данные, поступающие из второго устройства B связи, которым теперь является отправляющая сторона 22, STT преобразуются, и данные размещаются в сообщении 200OK (вместе с указанием на то, что языком является американский английский язык) и отправляются в коммутатор 28. Коммутатор 28 передает это сообщение в первое устройство А связи, которое является теперь приемной стороной 24, где сообщение является преобразованным с помощью TTS и выводится через громкоговоритель (не показан).

Такого типа связь можно продолжать до тех пор, пока она будет желательна или необходима, или вплоть до окончания соответствующей связи. Следует отметить, что в данном случае отсутствует согласование языка. Если приемная сторона 24 не может интерпретировать указанный язык с отправляющей стороны 22, то приемная сторона 24 может или должна игнорировать соответствующие сообщения. Пользователь на приемной стороне 24 может заметить отсутствие правильной связи (например, когда он слышит только молчание), и от пользователя зависит, продолжит он или завершит вызов. То же самое применимо к пользователю на отправляющей стороне 22.

На фиг. 2 показана одинаковая окружающая обстановка системы 20 связи, как и на фиг. 1. Однако, как можно видеть на фиг. 2, выполняемый способ отличается от способа, показанного на фиг. 1. Хотя, согласно фиг. 1, данные (речевые данные, преобразованные с помощью STT в текстовые данные) размещаются в канале 33, 34 сигнализации, вместо этого согласно фиг. 2 используется канал 36 полезной нагрузки. При выявлении неприемлемого качества обслуживания в канале 30 связи, первое устройство А связи отправляет сообщение приглашения в коммутатор 28 со спецификацией: SDP: аудиокодек: неактивный, код TTS: активный, язык: немецкий. То же сообщение передается с помощью коммутатора 28 во второе устройство B связи. Второе устройство B связи отвечает путем отправки ответного сообщения со спецификацией: SDP: аудиокодек: неактивный, код TTS: активный, язык: английский. Это означает, что второе устройство B связи, которым теперь является отправляющая сторона 22, собирается использовать в качестве языка американский английский. После получения ответного сообщения коммутатор 28 отправляет сообщение 200OK с той же самой спецификацией в первое устройство А связи. Таким образом, два устройства А, B связи осуществляют согласование использования текстовых данных, преобразованных из речевых данных, и использования немецкого языка и американского английского языка для двух устройств 22 и 24 связи соответственно. После этого поток RTP может передавать вопрос-ответ туда и обратно по каналу 36 полезной нагрузки, например, вопрос "Wie stark ist der Sturm?" (Насколько сильна буря?) и ответ "The wind speed is 250 miles per hour" ("Скорость ветра равна 250 миль в час"), как известно из приведенного выше описания. Как уже было описано, соответствующие текстовые данные будут затем преобразовываться с помощью TTS на соответствующих приемных сторонах и выводиться на соответствующие громкоговорители.

В вышеописанном способе можно определить новый тип полезной нагрузки в RTP. Список примеров типов полезной нагрузки можно найти на следующих сайтах:

http://en.wikipedia.org/wiki/Packet_loss

http://ieeexplore.ieee.org/xpl/login.jsp?tp=&arnumber=1559904&url=http%3A%2F%2Fieeexplore.ieee.org%2Fxpls%2Fabs_all.jsp%3Farnumber%3D1559904

http://vonage.nmhoy.net/packetloss.html

http://pe.org.pl/articles/2011/10/78.pdf

http://voip.netlab.uky.edu/~fei/teaching/cs671/slides/rtp.pdf

Если согласование включено в протокол, можно применять стандартные процедуры повторного согласования, предусмотренного в протоколе. Согласно одному аспекту изобретения канал 36 полезной нагрузки можно постоянно контролировать для того, чтобы обнаружить, достигло ли снова качество обслуживания приемлемого уровня для того, чтобы переключиться снова на нормальную передачу речевых сообщений вместо передачи текстовых сообщений.

Как можно увидеть из приведенного выше описания, преобразование текста в речь может быть опциональным. Другими словами, пользователь может настроить свое устройство на отмену преобразования из текста в речь.

Дополнительный аспект настоящего изобретения состоит в том, что переключение на передачу текстовых данных может быть также вызвано по требованию пользователем. Например, пользователь может захотеть использовать речь, которая отличается от своего собственного голоса, или разговору может помешать посторонний шум. В последнем случае, если устройство связи является достаточно продвинутым для того, чтобы распознавать речь пользователя и оптимальным образом преобразовывать ее в текст, преобразованный с помощью TTS выходной сигнал будет увеличивать ясность на соответствующей приемной стороне, поскольку шум был подавлен.

Хотя изобретение было описано по отношению к ограниченному числу вариантов осуществления, их следует истолковывать не как ограничивающие объем настоящего изобретения, а скорее как примеры некоторых возможных вариантов осуществления. Специалисты в данной области техники могут представить себе и другие возможные варианты, модификации и реализации, которые также находятся в пределах объема настоящего изобретения. Следует понимать, что некоторые отдельные признаки различных вариантов осуществления могут быть объединены друг с другом способами, которые отличаются от описанных. Это касается, например, типа устройств, используемых в системе связи, или типа сообщений, используемых для выполнения способа.

С другой стороны, специалистам в данной области техники должно быть очевидно, что изобретение можно осуществить на практике без некоторых конкретных деталей, представленных в данном документе. Кроме того, некоторые известные этапы или компоненты могут быть описаны только в общих чертах или даже опущены ради ясности иллюстрации.

Способ и система связи согласно настоящему изобретению могут относиться и могут использоваться в ISDN и VoIP или в любой другой подходящей окружающей среде, при этом не ограничиваясь ими.

Реферат

Изобретение относится к системе связи. Технический результат изобретения заключается в возможности сохранения вызова в условиях плохого качества обслуживания. Способ поддержания аудиосвязи в перегруженном канале связи, который в текущий момент несет в себе передачу речи при аудиосвязи между отправляющей стороной и приемной стороной, причем канал связи имеет по меньшей мере один канал сигнализации и по меньшей мере один канал полезной нагрузки, который характеризуется качеством обслуживания, содержит этапы, на которых во время аудиосвязи контролируется качество обслуживания канала полезной нагрузки. Если качество обслуживания канала полезной нагрузки ниже порогового значения, то речь на соответствующей отправляющей стороне преобразуется в текст и передается по удерживаемому каналу связи на соответствующую приемную сторону. Текст преобразовывается обратно в речь на приемной стороне. 3 н. и 10 з.п. ф-лы, 2 ил.

Формула