Интерактивная мультимедиа система связи - RU2110162C1

Чертежи

Показать все 12 чертежа(ей)

Описание

Изобретение имеет отношение к созданию способа и системы для производства, передачи и приема мультимедиа информации по сети связи, а более конкретно касается производства, передачи и получения мультимедиа информации с усиленной (увеличенной) интерактивностью по такой сети.

Мультимедиа информация по сети может передаваться в различных формах. Под мультимедиа информацией понимают информацию с различными параметрами, которые могут быть увеличены или уменьшены в зависимости от важности подлежащей транспортировке специфической информации. Например, в видеосреде (при использовании видеоинформации) может присутствовать информация переднего и заднего планов, подлежащая представлению на экране. Экраном обычно является видеоэкран или экран монитора компьютера. Наиболее общим примером такого типа системы является интерактивная (диалоговая) видеосистема, которая используется в кабельных телевизионных сетях (например, сетях QVC или в сетях осуществления покупок, не выходя из дома). Эти типы систем позволяют зрителю, глядя на экран, выбрать желательный тип продукта при просмотре информации, а затем осуществить его заказ по определенному телефонному номеру.

Мультимедиа информация может также представлять, собой аудиоинформацию, в которой могут передаваться новости, прогноз погоды, музыка и т.п., с использованием фоновой информации, такой как белый шум, фоновая музыка или другая информация, дополняющей передачу. Мультимедиа информация может быть также комбинацией графической информации, видеоинформации и музыки в развлекательной форме, такой как караоке. Как упоминалось выше, в настоящее время имеются интерактивные системы, которые позволяют осуществить индивидуальный доступ к определенной видео, аудио и графической информации в сети. Общей проблемой для всех известных в настоящее время систем является необходимость существенной полосы пропускания для осуществления качественной передачи мультимедиа информации.

Известно, что мультимедиа информация требует значительной полосы частот. В случае видеоинформации требуется ширина полосы до 30 МБ/с для передачи качественного видеосигнала по тракту передачи. В случае аудиоинформации требуется ширина полосы до 10 МБ/с для неискаженной передачи высококачественного аудиосигнала.

Что подразумевается под ограниченной шириной полосы, можно увидеть двумя различными путями. Одним путем является рассмотрение общей имеющейся в распоряжении ширины полосы в любой момент времени. Другим путем является принятие решения о том, какая специфическая ширина полосы требуется для передачи в течение определенного периода времени.

Имеющаяся в наличии полоса пропускания может быть ограничена двумя путями; первое, общая ширина полосы сети является ограниченной, как, например, в случае телефонной сети, когда ширина полосы составляет приблизительно 10 кГц. Однако в этом примере имеющаяся в наличии в течение определенного периода времени полоса частот может быть значительно шире, потому что данный телефонный аппарат не используется постоянно.

С другой стороны, если обратиться к рассмотрению сети с широкой полосой пропускания, такой как кабельное телевидение, то можно увидеть, что хотя ширина полосы и значительна, но она использована для создания (собственных) сигналов сети. В таком примере имеющаяся в наличии в течение определенного периода времени ширина полосы намного меньше, чем в случае вышеупомянутой телефонной системы.

Телефонные сети традиционно используются для передачи данных или речевой информации. Имеются телефонные аппараты (видеотелефоны), которые могут также передавать видеоинформацию по телефонным линиям. Например, компания Американский Телефон и Телеграф (АТ&Т) разработала телефон под названием Видеофон, который может передавать видеоизображения по телефонной сети. Совершенно очевидно, что телефонные сети могут быть также использованы для передачи интерактивной мультимедиа информации. Однако, как это было упомянуто выше, телефонная сеть имеет ограниченную полосу пропускания для передачи определенных видов информации. Это в особенности относится к случаю попытки передачи видеоинформации, которая может потребовать значительной полосы, поэтому телефонные линии могут оказаться неподходящими (неадекватными) для обеспечения быстрой передачи высококачественного видеоизображения.

Дополнительно следует указать, что такие системы сети связи, такой как собственно телефонная сеть, не обеспечивают возможности усиления, которые требуются для получения психографической информации, которая усиливает интерактивность. Наконец, в стандартной телефонной сети многие из требующихся для такой системы технологий не могут быть еще применены клиентами в домашних условиях. Например, хотя известна возможность усиления видеоизображения и аудиосигнала, возможность распечатки информации, возможность применения систем управления обработкой (телефонных) вызовов и пр. в коммерческих применениях, эти технологии обычно не являются частью домашней системы (среды).

Поэтому возникает необходимость в использовании интерактивной мультимедиа системы, которая обеспечивает получение высококачественной информации по телефонной сети. Также возникает потребность в системе, которая позволяет осуществить производство, передачу и прием интерактивной мультимедиа информации и которая включает в себя усиленную интерактивность. Дополнительно требуется устройство, которое может быть использовано в домашних условиях для приема и передачи усиленной мультимедиа информации и которое может быть также использовано для управления определенным числом других устройств, осуществляющих полезные функции.

Важно, чтобы такое устройство было недорогим, что позволяет установить его в любом доме. Более того, важно, чтобы интерактивное мультимедиа устройство относилось к такому типу, который не потребовал быть модификации существующей сети.

В настоящем изобретении предлагаются такие система и устройство, которые могут быть использованы совместно с сетью связи, такой как телефонная сеть или ей подобная.

В настоящем изобретении предлагается мультимедиа система связи, которая может быть использована совместно с телефонной сетью, аналогичной коммутационной сетью или в комбинации с широковещательной сетью, такой как спутниковая или кабельная сеть.

Интерактивная мультимедиа система связи содержит интерактивную мультимедиа ведущую (главную) систему для получения программных материалов из источника программ; мультимедиа систему обработки вызовов для обеспечения информации в соответствии с программными материалами интерактивной мультимедиа ведущей системы; средства интерактивного реагирования на работу интерактивной мультимедиа ведущей системы и мультимедиа системы обработки вызовов для управления потоком мультимедиа информации через мультимедиа систему обработки вызовов; и множество интерактивных мультимедиа устройств для приема и передачи мультимедиа информации в двух направлениях через мультимедиа систему обработки вызовов.

В соответствии с другим аспектом изобретения, интерактивное мультимедиа устройство содержит мультимедиа модем для получения интерактивной мультимедиа информации от телефонной сети; память для получения интерактивной мультимедиа информации от мультимедиа модема; средства сжатия по крайней мере части интерактивной мультимедиа информации, полученной от мультимедиа модема и от памяти; средства для распаковки по крайней мере части интерактивной мультимедиа информации; средства передачи несжатой части интерактивной мультимедиа информации, полученной от телефонной сети; средства смешивания распакованной части с несжатой частью информации и создания (суммарного) выходного сигнала; средства вывода выходного сигнала интерактивной мультимедиа информации на дисплей; и средства для интерактивного управления мультимедиа модемом, средствами сжатия, средствами распаковки, средствами смешивания и средствами представления интерактивной мультимедиа информации на дисплее. В соответствии с одним из аспектов настоящего изобретения предусмотрены средства для управления другими устройствами, выполняющими определенные функции, включая распечатку информации, и для управления другими домашними устройствами.

При применении такой системы и устройства может быть создана система, позволяющая получить высококачественную мультимедиа информацию при использовании существующей телефонной сети.

На фиг. 1 приведена блок-схема интерактивной мультимедиа системы, соответствующей известному уровню техники; на фиг.2 - блок-схема предлагаемой интерактивной мультимедиа системы, предназначенной для использования только с телефонной сетью или с телефонной сетью в сочетании с кабельным широковещательным телевидением; на фиг. 3 - структурная схема первого варианта осуществления метода оптимизации, который использован в телефонной сети в соответствии с настоящим изобретением; на фиг.4 - структурная схема, иллюстрирующая функционирование второго варианта осуществления метода оптимизации, который использован в телефонной сети в соответствии с настоящим изобретением, в котором применена матрица сжатия (информации) и алгоритмы передачи; на фиг.5 - блок-схема, иллюстрирующая психографическое усиление в соответствии с настоящим изобретением; на фиг. 6 изображена карта, показывающая взаимодействие алгоритма сжатия с алгоритмом передачи (информации) в соответствии с настоящим изобретением; на фиг. 7 показана в виде блока цифровая информация файла изображения и файла MIDI; на фиг.8 - блок-схема мультимедиа системы обработки вызовов (МCOВ), соответствующая настоящему изобретению; на фиг. 9 - блок-схема общего вида осуществления предлагаемого интерактивного мультимедиа устройства (ИМУ); на фиг.10 - блок-схема второго варианта осуществления ИМУ, в соответствии с которым ИМУ подключено к принтеру; на фиг.11 - блок-схема третьего варианта осуществления предлагаемого ИМУ, в котором ИМУ вырабатывает (посылает) факсимильное сообщение (факс); на фиг.12 - блок-схема четвертого варианта предлагаемого ИМУ, в котором ИМУ к факсимильному аппарату (факсу); на фиг.13 показан пульт дистанционного управления, который используется в сочетании с системной структурой в соответствии с настоящим изобретением.

Предлагаемое изобретение относится к усовершенствованию передачи и приема мультимедиа информации при использовании существующих сетей связи. Последующее описание позволит специалистам в данной области использовать изобретение в полной мере; описание представлено в контексте заявки на патент и его формулы изобретения. В нем описаны групповые принципы и характеристики и приведен предпочтительный вариант осуществления, различные модификации которого могут быть легко получены специалистами.

Обратимся теперь к рассмотрению фиг. 1, на которой приведена простая блок-схема интерактивной мультимедиа системы 10, соответствующей известному состоянию техники. В такой системе 10 отправитель сообщений посылает и принимает информацию на одной стороне системы 10, а приемник посылает и принимает информацию на другой стороне системы 10. Система 10 может представлять собой единичное устройство, такое как плейер CD-ROM, или может быть сетью, способной к полной (двухсторонней) передаче интерактивной мультимедиа информации.

Перед тем как подробно описать настоящее изобретение, следует обсудить и выявить полезность настоящего изобретения относительно существующих мультимедиа систем. В мультимедиа системе получателю предоставляется разнообразная сенсорная информация. В случае видеоинформации эта информация приобретает форму изображений переднего и заднего планов, воспроизводящих определенную сцену. В случае аудиоинформации, полезный сигнал и фон могут быть такими, что полезным сигналом является речь, а фоновой информацией является музыка.

Обычно, вне зависимости от формы информации, в мультимедиа системах информация поступает по единственному тракту передачи. Поэтому объем и качество мультимедиа информации в существенной степени ограничиваются полосой пропускания линии передачи.

В предлагаемом изобретении прежде всего производится дифференциация между важной и менее важной информацией путем разделения информации на первичный и вторичный уровни путем применения программной модели для минимизации ограничений полосы пропускания. В такой системе каждый уровень будет иметь свой собственный набор параметров, которые важны психографически, причем второй уровень будет изменяться не так сильно, как первый.

Программная модель связана с психографическими параметрами внутри мультимедиа системы, которые относятся к индивидуальному чувствительному восприятию (субъекта) при получении мультимедиа информации. Эти параметры включают в себя набор единственных и значимых элементов для определенного класса мультимедиа информации. В соответствии с настоящим изобретением эта мультимедиа информация подразделяется на различные уровни в соответствии с программной моделью. Так, например, в случае видеоизображений информация о переднем и заднем планах может быть разнесена на различные уровни.

Аналогично для случая аудиоинформации, новости, прогноз погоды и т.п. могут быть на одном уровне, в то время как фоновая музыка - на другом.

В соответствии с настоящим изобретением эти уровни будут разделены на первый и второй уровни в соответствии с важностью информации относительно программной модели. Производится идентификация наиболее важной информации и ее усиление для обеспечения лучшего качества передачи информации к получателю мультимедиа информации.

В соответствии с предпочтительным вариантом осуществления изобретения первичные уровни будут усиливаться таким образом, чтобы обеспечить воспринимаемое (значительное) улучшение качества имеющейся мультимедиа информации. В соответствии с одним из вариантов осуществления изобретения имеющиеся вторичные уровни могут усиливаться или не усиливаться. Важная информация или первичные уровни, которые подлежат передаче, могут быть идентифицированы и избирательно усилены в соответствии с предлагаемым изобретением.

Дополнительно первичные уровни обычно могут быть усилены через важные психографические параметры, которые приобретают форму пространственных, цветовых, аудио и временных переменных, которые имеются на первичном или вторичном уровнях.

В системе связи, такой как телефонная сеть, важно обеспечить, чтобы мультимедиа информация, которая производится, передается и принимается, была усилена одинаковым образом. Это необходимо для обеспечения высокой точности передачи информации и ее высокого качества представления получателю. При этом возникает возможность получения продукта более высокого качества в домашней среде. Известно, например, что возможно передавать видеоинформацию по телефонным линиям. Однако проблемой является передача высококачественной видеоинформации по причине требований к ширине полосы пропускания, которая необходима для обеспечения такой высококачественной видеоинформации.

Изобретение направлено на создание способа и устройства для усиления интерактивной мультимедиа информации, передаваемой по сети связи. Для более полного объяснения такого способа и устройства, обратимся теперь к рассмотрению фиг. 2, на которой приведена структурная схема полной системной архитектуры 40 интерактивной мультимедиа системы с усилением. Полная архитектура 40 может быть подключена к телефонной сети или к ей подобной таким образом, что обеспечивается полный доступ к локализованным в ней линиям передачи. Показанная на фиг.2 системная архитектура 40 содержит интерактивную мультимедиа ведущую систему (ИМВ) 42, которая получает материал от источника программ. ИМВ система обеспечивает информацию от телефонной сети для мультимедиа системы обработки вызовов (МCOВ) 44 и вспомогательной системы 46. Мультимедиа система обработки вызовов 44 получает информацию от интерактивных мультимедиа устройств (ИМУ) 52, а также поставляет им информацию. Построение ИМУ 52 будет приведено далее в настоящем описании более подробно. Эти ИМУ 52 приобретают множество различных форм в зависимости от того, насколько "разумными" являются эти устройства 52 по отношению к системной архитектуре 40.

Системная архитектура 40 обеспечивает программный материал, который будет усиливать интерактивность информации, которая будет передаваться по телефонной сети. Соответственно, в действительности системная архитектура 40 представляет собой дополнительную сеть, которая получает информацию источника программ, который является также частью существующей телефонной системы. В таком случае системная архитектура 40 используется для предоставления усиленной мультимедиа информации за счет психографических манипуляций или другого вида усиления, за счет чего создается усовершенствованная интерактивная мультимедиа система.

Вышеупомянутая система 40 включает в себя ИМВ систему 42, которая в значительной степени осуществляет оптимизацию материала источника программ для представления на МCOВ 44.

Для более конкретного описания этой техники оптимизации обратимся теперь к фиг. 3, на которой приведена структурная схема способа оптимизации в соответствии с настоящим изобретением. Соответствующая техника оптимизации детально описана в заявке на патент США N 07/976941 "Способ производства и передачи усиленной мультимедиа информации", 1992.

Назначением ИМВ системы 42 является обеспечение максимальной интерактивности с одновременным максимальным сохранением программной модели. Важным является также и то, что обеспечивается минимальное время прохождения для интерактивности, в то время как информация обладает максимальной воспроизводимостью (копируемостью). В связи с изложенным важно, чтобы психографические параметры программной модели были хорошо описаны. Например, в программной модели должны быть хорошо описаны и определены пространственные, цветовые, временные характеристики, речевой ответ, концепция материала и параметры восприятия.

Обратимся теперь к фиг. 3, на которой иллюстрируется первый вариант осуществления структурной схемы для получения усиленного интерактивного изображения в соответствии с принципами настоящего изобретения. Структурная схема 100 показывает операции от поступления программной модели к разделителю. Разделитель 102 подразделяет информацию на первичный и вторичный уровни интерактивной мультимедиа информации. Разделение производится автоматически и может осуществляться разнообразными способами. Например, уровни могут разделяться по источникам производства. В другом примере разделение может производиться при помощи ключевого кодирования уровней. В соответствии с третьим примером уровни могут разделяться пространственно или разделяться по различным цветам. Наконец, уровни информации могут быть разделены в соответствии с процессом фильтрации.

Первичные уровни поступают на блок генерации сжатия 104. Существует множество путей, в соответствии с которыми мультимедиа данные могут быть изменены или генерированы для использования в менее широкой полосе. Например, для уменьшения используемой полосы пропускания могут быть использованы алгоритмы сжатия или их эквиваленты. Для сужения требуемой полосы могут быть использованы дополнительные генераторы, такие как система тональных генераторов. Наконец, для сужения используемой полосы могут применяться системы ключевого кодирования. Такие системы будут обсуждены далее более подробно.

В соответствии с этим вариантом осуществления первичный уровень поступает на кодирующее устройство 106, в котором осуществляется подготовка для передачи информации при помощи последующего блока 108. Затем первичный уровень распаковывается (блок 110). После распаковки первичный уровень декодируется и смешивается с вторичным уровнем информации в этом же блоке 110 и выдается в виде интерактивного мультимедиа изображения (киноизображение, видеоизображение или другое) или поступает в виде данных на дисплей 112.

Аналогичным образом вторичный уровень подвергается сжатию в блоке 114, кодируется в блоке 116 и затем передается при помощи блока 118 и распаковывается и смешивается с сигналами первичного уровня в блоке 110, Затем суммарный сигнал (первичного и вторичного уровней) поступает на дисплей 112.

В данном варианте осуществления, например при оптимизации видеоизображений, первичным уровнем может быть изображение первого плана, а вторичным уровнем может быть информация заднего плана. За счет использования этой техники оптимизации можно получить усиление мультимедиа информации с одновременным использованием значительно более узкой полосы пропускания.

В типичной интерактивной мультимедиа системе информация полностью передается по одному уровню. В этом случае подлежащая передаче информация ограничена шириной полосы этого уровня.

В соответствии с известным уровнем техники интерактивная мультимедиа информация, которая должна передаваться по типичным сетям или трактам передачи, существенно ограничена, например, в случае видеоизображений за счет того, что ширина полосы не соответствует (не адекватна) требованию получения высококачественного изображения на экране дисплея.

Однако за счет разделения в соответствии с настоящим изобретением мультимедиа информации на первичный и вторичный уровни с последующим сжатием наиболее важной информации с использованием хорошо известных алгоритмов сжатия удается создать систему, которая производит усиленную интерактивную мультимедиа информацию, которая легко может быть передана по существующим сетям связи.

Для более полного описания характеристик психографического усиления настоящего изобретения обратимся теперь к фиг.4, на которой иллюстрируются различные возможности для определенной программной модели. Программная модель обеспечивается на разделителе 42 мультимедиа системы.

Психографическое усиление является важным для улучшения усилений при интерактивной мультимедиа передаче и приеме в контексте настоящего применения для информации, которая не передается, но собственно с которой производятся различные операции или с которой производятся операции в сочетании с передаваемой мультимедиа информацией или операции в дополнение к передаваемой мультимедиа информации. Всего имеются три различных категории, которые будут описаны относительно психографического усиления.

Первая категория относится к взаимной корреляции между информацией, подлежащей передаче и подлежащей усилению, в результате присутствия информации, которая не передавалась. Подмешивание псевдослучайного сигнала является одним из таких примеров, когда за счет подмешивания маскируются присутствующие артефакты (дефекты) изображений, за счет чего улучшается качество изображения. В таком типе системы артефакты не удаляются, а только маскируются дефекты. Второй пример относится к области аудиоинформации, когда вторичные аудиоматериалы, такие как рокот морских волн или что-то подобное могут маскировать дефекты качества первичного звука (речи, музыки или подобного).

Вторая категория связана с действительным изменением сигнала без использования любого управляющего сигнала например, за счет применения интерполяции или любой другой техники. Типичным примером этой категории является графический эквалайзер, в котором определенные частоты усиливаются в зависимости от диапазона конкретного устройства. Другим примером второй категории является частотное или амплитудное сжатие определенного сигнала с последующим усилением частот, подлежащих передаче. Известно также использование различных фильтров для обострения или предоставления определенной информации, за счет чего в действительности изменяется сигнал без использования собственно элементов управления им.

Наконец, при третьей категории используется первичная и вторичная информация для управления другими (дополнительными) генераторами, которые могут присутствовать в мультимедиа системе. Это может быть использовано либо для усиления мультимедиа информации, либо для усиления программной модели. В качестве примера можно привести использование графиков частотного спектра в реальном масштабе времени для усиления программной модели типа музыкального автомата для дансинга.

Как показано на фиг. 4, первичный уровень мультимедиа информации может быть сжат для сужения полосы пропускания с использованием хорошо известных алгоритмов. Можно также видеть, что реальный сигнал может быть заменен сигналом от генератора, который зависит от сигналов первичного/вторичного уровней. Наконец, может быть использовано ключевое кодирование (манипуляция) для получения информации из справочной (просмотровой) таблицы или чего-то подобного.

Хотя все указанные выше способы обеспечивают преимущества в соответствии с предлагаемым изобретением, ключевое кодирование обеспечивает некоторые дополнительные не очевидные преимущества, когда оно используется в соответствующей предлагаемому изобретению системе оптимизации.

Если рассматривать сигнал интерактивной мультимедиа информации, в нем имеется множество компонентов этой информации. Первым компонентом являются данные собственно мультимедиа информации, которые подлежат транспортировке (передаче). Второй компонент имеет отношение к динамике программной модели. В интерактивной мультимедиа информации имеются изменения, которые вызываются, например, вытеснением затемнением, которое позволяет осуществить переход от одного кадра видеоизображения или графиков к другому. Наоборот, если желательно произвести вытеснение затемнением изображения, то следует использовать связанную с мультимедиа данными информацию, которая позволяет эффективно осуществить этот переход.

Наконец, настоящее описание связано с третьей категорией интерактивной мультимедиа информации, когда используется особое устройство или система для осуществления перехода от одной категории к другой. В типичной интерактивной мультимедиа информационной системе вся эта информация требуется для осуществления адекватной передачи такой информации.

В его наиболее простой форме ключ имеет код идентификации, который диктует команды на другой стороне устройства. Наиболее ясным примером такой манипуляционной системы является очень простая система с двухтональным многочастотным сигналом (ДТМЧ). Такой тип сигнала может быть использован в области систем связи для обеспечения манипуляции при протоколе с низкой шириной полосы. Подобные ключи управляют кодовой таблицей на одной стороне сети связи для обеспечения (создания) определенной информации относительно мультимедиа информации, которая должна выводиться на дисплей, без требования реального осуществления передачи мультимедиа информации.

Более специфической версией этого типа ключевого кодирования, который имеет отношение к настоящему описанию, является манипуляция контрольной информации. Под манипуляцией контрольной информации понимают использование ключевого кода для доступа к определенным типам команд, которые затем могут быть использованы для управления другими элементами (устройствами) на другой стороне сети.

Такая таблица может быть затем использована для обеспечения доступа к определенному комплекту мультимедиа информации в сети. Финальной версией ключевого кодирования является так называемое программное кодирование ветвей, которое описывается для каждого представления ключей при помощи определенной идентификации ветви. В этом типе ключевого кодирования ключ имеет поперечную связь с особой ветвью интерактивной мультимедиа программы, в которой каждая ветвь позволяет осуществлять доступ к множеству функций или команд для копирования программной модели.

Важной характеристикой, которая обеспечивается всеми этими типами средств ключевого кодирования, является то, что может быть использована информация, уже присутствующая в сети. Поэтому скорее могут быть использованы мощности обработки (информации), присущие системе или сети и к которым имеется доступ, чем мощности обработки, которые должны быть предусмотрены в самой системе оптимизации.

Важно также предусмотреть средства улучшения качества передачи мультимедиа информации, например осуществлять передачу информации с использованием типичного алгоритма передачи, такого как CCITT v.32 или Bell 202, со стандартным файлом связи протоколов передачи данных. Интерактивная мультимедиа информация может также использовать специальные протоколы, которые оптимизированы для определенной интерактивной мультимедиа информации, которую необходимо передавать. В таком случае алгоритм сжатия может быть интерактивно матрицирован с алгоритмом передачи для обеспечения наивысшего качества информации с максимальной интерактивностью и минимальной линией передачи.

Обратимся теперь к фиг. 4, на которой показана блок-схема, иллюстрирующая взаимодействие алгоритма передачи с алгоритмом сжатия для производства высококачественного мультимедиа изображения. Блок-схема предусматривает использование программной модели, в которой первичный и вторичный уровни разделены (блок 202). Первичный уровень сжат и закодирован (блоки 204 и 206).

Элемент управления (блок 210) использован для управления матрицей сжатия и матрицей передачи. Эти две матрицы содержат множество алгоритмов сжатия и алгоритмов передачи, каждый из которых интерактивно контролируется таким образом, что при обнаружении различных алгоритмов происходит интерактивное принятие решения о качестве мультимедиа информации и о скорости передачи.

Качество информации может оцениваться вручную или путем использования некоторой схемы контроля. Следует понимать, что те же самые матрицы могут быть использованы на вторичном уровне. Они не описаны из соображений упрощения изложения и его большей ясности.

Обратимся теперь к фиг. 6, на которой приведено представление в виде блока матрицы алгоритма сжатия совместно с алгоритмом передачи, которые могут быть использованы в соответствии с предлагаемым изобретением. Кружки 302, идущие в вертикальном направлении, представляют алгоритмы сжатия. Прямоугольники 304 в горизонтальном направлении представляют алгоритмы передачи.

Например, алгоритмами сжатия могут быть JPEG, генератор может быть с MIDI, и может быть использован ключ для фоновой карты погоды. Аналогично может быть произведена оптимизация алгоритмов передачи для JPEG, сжатия данных для MIDI или ДТМЧ для типовых алгоритмов ключевой передачи. Для обеспечения высочайшего качества мультимедиа информации при одновременном использовании минимальной полосы пропускания могут быть выбраны интерактивным образом различные алгоритмы.

Следовательно, первый алгоритм сжатия может быть выбран совместно с первым алгоритмом передачи. Затем производится просмотр мультимедиа информации для оценки качества изображения или звука, после чего выбирается второй алгоритм сжатия. Затем вновь производится просмотр мультимедиа информации, и если качество неприемлемое, то выбирается второй алгоритм передачи. Затем опять производится оценка качества информации. Этот процесс повторяют до тех пор, пока не достигаются высочайшее или желательное качество мультимедиа информации и нужная скорость интерактивности.

Мультимедиа информация, полученная из алгоритмов сжатия/передачи, может иметь аналоговую или цифровую природу. Однако в цифровом сигнале имеются некоторые другие характеристики, которые могут быть успешно использованы в соответствии с предлагаемым изобретением.

Известно, что цифровые данные обычно передаются в файле, в котором заданы определенные параметры данных и собственно самой информации, причем среди последних данных имеется информация, которая не может быть изменена для определенного набора файлов. В случае файла изображения информация заголовка может задавать размеры, глубину (размер) элемента изображения (пиксела) и некоторые другие характеристики определенного изображения. Этот файл может занимать до двадцати процентов файла данных.

Напротив, если файл представляет собой MIDI музыкальный файл, который содержит множество или ряд музыкальных нот, заголовок может содержать информацию об инструменте, другую связанную информацию и характеристики определенного файла. В обоих упомянутых примерах информация заголовка не может изменяться, хотя за счет использования метода оптимизации объем во времени этой информации может быть значительно уменьшен.

Следовательно, в случае файла изображения, заголовок сначала должен быть передан без сжатия или со сжатием без потери информации в качестве вторичного файла, так как он всегда должен оставаться неизменным. Затем может быть произведено сжатие до его минимального размера самого файла данных.

Другим способом усиления психографических параметров является предусмотрение некой формы детектирования ошибки и проведение настройки. Как было упомянуто ранее, детектирование и настройка могут осуществляться через интерполяцию ошибки. Альтернативным способом коррекции ошибки является использование алгоритма корректировки/передачи ошибки. При этом подразумевается организация связи передачи со сжатием для усиления интерактивности.

В этом типе системы перед передачей файла производится сжатие и затем распаковка базового файла. Этот распакованный файл именуется расширенным сжатым базовым файлом. Затем расширенный сжатый базовый файл сравнивают с исходным базовым файлом и вырабатывают файл ошибки (файл ошибки представляет собой разницу между базовым файлом и расширенным сжатым базовым файлом). Затем файл ошибки сжимается и передается совместно с базовым файлом в сжатом варианте по линии связи. В последующем эти файлы комбинируются и распаковываются для создания усиленного изображения.

Обратимся теперь к фиг. 7, на которой показан файл данных для использования описанной техники, который может быть первоначально разделен на первичный и вторичный уровни. Первичный уровень может быть сжат с использованием первого алгоритма сжатия, заголовок может быть передан первым по первому тракту передачи, а сжатый сигнал может быть передан затем по второму тракту передачи.

В результате за счет использования техники вторичного сжатия существенно уменьшается объем памяти, необходимой для хранения файла. Поэтому вместо хранения полной информации в особом устройстве в системе оптимизации, можно передавать или хранить в сети только указанную выше информацию.

Для специалистов в данной области ясно, что число алгоритмов не ограничивается показанным на чертежах числом. Ясно также, что порядок выбора алгоритмов может быть изменен, причем это не выходит за рамки изобретения.

Изобретение было объяснено в терминах сжатия первичного уровня или уровней и с указанием особого пути осуществления сжатия и передачи, когда интерактивность системы усиливается. Следует понимать, что для получения аналогичного эффекта может быть в равной степени важно производить усиление вторичных уровней.

Следовательно, может быть важно усиливать вторичный уровень, может быть важно усиливать первичный уровень или может быть важно усиливать оба уровня. В результате за счет использования алгоритмов сжатия и передачи и за счет психографического усиления программной модели изобретение позволяет усиливать интерактивность мультимедиа системы.

Следует также понимать, что функция алгоритмов сжатия и передачи может осуществляться другими средствами; например, для получения аналогичной информации может быть использован генератор сигналов. В этом случае может быть использован генератор сигналов, чувствительный к определенному уровню или уровню информации, для обеспечения информацией или некоторым уровнем информации, который является репрезентативным для этого уровня. Например, тональный генератор, чувствительный к сигналу вторичного уровня, может вырабатывать тон, который является репрезентативным для этого вторичного уровня.

Напротив, некоторые типы графических генераторов могут быть использованы для реагирования на такие же типы сигналов для обеспечения (создания) определенного типа графического изображения в видеосистеме. Следует также понимать, что психографические параметры могут регулироваться человеком-оператором или, в альтернативном варианте, могут регулироваться или изменяться при помощи автоматики.

Затем оптимизированная мультимедиа информация от источника программ обрабатывается в МCOВ 44 (фиг.2) для интерактивного ее использования в ИМУ 52. Обратимся теперь к фиг.8, на которой показан предпочтительный вариант осуществления МCOВ 44. МCOВ содержит распределенную вычислительную архитектуру 500. Распределенная вычислительная архитектура 500 содержит ведущий узел 502, который имеет различные узлы серверов 504, которые в свою очередь подключены к различным портам 506. При подключении через существующую сеть связи, такую как коммутационная телефонная сеть, и затем при подключении к ИМУ 52, которое имеет свою собственную структуру вычисления и хранения, полная сеть может управляться как массивная распределенная вычислительная среда. В этой среде имеются все возможности проведения вычислений, хранения, передачи, а также содержатся периферические ресурсы (распечатка, заказ продукта, функции почты и т.п.). Этот тип вычислительной архитектуры включает в себя назначение динамического порта и может включать инкрементные характеристики отказа для обеспечения живучести МCOВ 44.

Также очень важно в этой архитектуре системы иметь интерактивное мультимедиа устройство 52, которое позволяет осуществлять прием высококачественной информации из архитектуры системы. ИМУ 52 может представлять собой принтер, подключенный к видеодисплею. Это может быть также факсимильный аппарат, который используется для получения усиленной информации в виде факса. ИМУ 52 также может использоваться с телевизионным монитором для получения усиленной аудио, видео и графической информации. В ИМУ 52 также могут быть предусмотрены соединения с другими домашними устройствами, такими как кассетный магнитофон или система управления обогревом помещения.

На фиг.9 показан предпочтительный вариант выполнения интерактивного мультимедиа декодера (ИМУ) 52. ИМУ 52 содержит различные компоненты. Телефонная линия подключена к мультимедиа модему 522. Мультимедиа модем подключен к мультимедиа памяти 524, которая может представлять собой расширяемую память (запоминающее устройство) с динамической произвольной выборкой (ЗУДПВ) 524. Микросхема мультимедиа модема 522 вырабатывает данные для мультимедиа декомпрессора (устройства распаковки) 526. Мультимедиа память вырабатывает данные для генератора графиков/знаков 536, для речевого генератора 538 и музыкального синтезатора 540.

Дополнительно выходы генераторов 536, 538 и 540 подключены к микросхеме видеоконтроля 532. Микросхема видеоконтроля 532 вырабатывает сигналы для стандартного телевизионного дисплея и получает сигналы от стандартного телевизионного источника. Мультимедиа модем 522, мультимедиа память 524, мультимедиа декомпрессор 526, мультимедиа устройство управления цифровой/аудио информацией 528, устройство видеоуправления 532 и музыкальный синтезатор 544 в конечном счете управляются интерактивным интерфейсом управления 530, который руководит работой всех указанных элементов. Устройство видеоуправления 528 подключено ко входу стандартной телефонной клавиатуры или пульту управления телевизором дистанционного типа, или к специальному удаленному ИМУ; это устройство может использоваться самым различным образом.

Персональная и демографическая информация (такая как возраст, раса, пол и другие персональные характеристики) пользователя используется совместно с технической информацией, связанной с ИМУ 52 (серийный номер, число генераторов, тип и т.п.). При подключении ИМУ 52 к МCOВ 44, ИМУ 52 будет продвигать оба вида указанной информации либо в начале сеанса, либо в любое время после него. Затем может производиться обновление информации при помощи МCOВ 44 или же непосредственно в ИМУ 52 за счет выбора с использованием клавиатуры или пульта дистанционного управления, или при получении данных от МCOВ 44.

Другим видом работы является выдача мультимедиа информации в течение периода, когда сеть связи не используется. В этом случае могут эффективно передаваться и запоминаться в ИМУ 52 большие объемы мультимедиа информации для последующего их просмотра и усиления интерактивности.

Ниже кратко описаны функции каждого из различных компонентов преимущественного варианта.

Мультимедиа модем 522.

а. Отвечает за все связи между стандартной телефонной линией, опционным последовательным портом, является интерфейсом для мультимедиа памяти, мультимедиа декодера, устройства аудиоконтроля и управляющего процессора модулей.

б. Поддерживает стандартный протокол для полудуплексного, полного дуплексного и высокоскоростного полудуплексного функционирования.

в. Обеспечивает кодирование/декодирование в одной микросхеме, аналого-цифровое и цифро-аналоговое преобразование для речевой функции, факса и передачи данных.

г. Детектирование и генерация многочастотного сигнала двойного тона (ДТМЧ).

д. Переключение для автоматического обнаружения речь/факс/данные для перехода в соответствующий режим.

е. Встроенный блок контроллера с бинарным файлом режимов передачи, факса, данных или речи, и опционными мультимедиа программно-аппаратными средствами управления оптимизированным протоколом.

ж. Программно-аппаратные средства, позволяющие ИМУ использовать мультимедиа модем для осуществления функции обработки вызовов, включая среди других функций набор номера и осуществление соединения, а также неожиданное получение данных и факса.

Мультимедиа память 524.

а. Номинальное динамическое или видео ЗУПВ для смешивания/обработки изображения и хранения вспомогательных мультимедиа данных.

б. Номинальная RОМ (только считываемая память) для резидентной программы управления ИМУ.

в. Опционное со-резидентное ЗУДПВ для хранения мультимедиа данных и хранения программы/данных.

г. Опционное сохраняющее информацию при выключении питания запоминающее устройство (расширяемое).

д. Устройство управления памятью для динамического и видео ЗУПВ, а также для RОМ и памяти с сохранением информации при выключении питания.

Мультимедиа декодер 526.

а. Отвечает за распаковку в реальном масштабе времени изображений, переданных или запомненных в ИМУ 52 с кодированием множеством алгоритмов.

б. Однокристаллический процессор инверсного дискретного косинусного преобразования.

в. Реверсивный квантователь декодер/таблицы.

г. Встроенные ключи трансфокации, панорамирования, цветности, смешивания для встроенных интерфейсов сжатых данных, с передачей информации на шину видеоданных, в мультимедиа память, на мультимедиа модем, к устройству видеоуправления и на управление микропроцессором.

Видеоконтрольное устройство 532.

а. Отвечает за видеосмешивание для всех ИМУ 52, за осуществление усиления и функции вывода на дисплей.

б. Процессор элементов изображения для смешивания, трансфокации, панорамирования и изменения цветности при преобразовании данных элемента изображения и для осуществления переходов.

в. Графический процессор для генерирования геометрических фигур (например, прямоугольников с цветовым заполнением), спрайтов, текста на иностранном языке и для осуществления прокрутки.

г. Цифроаналоговое преобразование, преобразование анолог-NTSC-видео плюс стерео аудио в радиосигнал.

Графики/знаки, генератор речи, музыкальный синтезатор 536. 538 и 540.

а. Отвечают за усиление полученного аналого-цифрового аудиосигнала, за работу музыкального синтезатора, полное аналоговое смешивание и аудиоэффекты.

б. Встроенное устройство декодирования.

в. Выборки синтеза инструментов из сжатого MIDI входного сигнала.

г. Встроенный микроконтроллер для многоцелевой генерации.

д. Сдвоенный аналоговый источник для смешивания, для смешивания цифрового аудиосигнала и сигналов синтезатора, аналоговое аудиоконтрольное устройство (громкость, низкие и верхние частоты, баланс) для выходного аналогового сигнала левый/правый.

Интерактивный многоцелевой процессор 530.

а. Отвечает за многоцелевое исполнение резидентного и загружаемого кода ИМУ для функционирования в сочетании с МCOВ или независимо от него.

б. Микроконтроллерная архитектура ведущий/ведомый для многоцелевого управления передачей сообщений, мультимедиа памятью, мультимедиа декодером, цифровым видеоконтрольным устройством, цифровым аудио/синтезатором и управление интерфейсом.

В предпочтительном варианте ИМУ 52 (фиг.2) может быть использовано с телевизионным монитором для осуществления передачи и приема мультимедиа информации.

На фиг.10, 11 и 12 показаны различные варианты осуществления ИМУ 52. На фиг. 10 показано ИМУ 52 с выходом на принтер 501 и микротелефонную трубку 540. Принтер 501 используется для распечатки мультимедиа информации, поступающей через трубку 540.

На фиг.11 показано ИМУ 52, которое имеет выход на факс 700 и может распечатывать информацию в виде факса, поступающую от системной архитектуры 40. Внутри ИМУ 52 содержится факсимильный аппарат.

На фиг.12 показано ИМУ 52, которое имеет выход на телевизор 53, а также на факсимильный аппарат. Это дает возможность пользователю видеть поступающие факсимильные сообщения и другую мультимедиа информацию, а затем производить распечатку при помощи факсимильного аппарата.

Еще один предпочтительный вариант осуществления настоящего изобретения содержит МCOВ 44, в которую включен стандартный компьютер с речевым ответом или интерактивная система с речевым ответом, или нечто подобное, для осуществления цифровых или аналоговых речевых функций МCOВ 44. Дополнительно в системе осуществляются также функции ДТМЧ для программного управления МCOВ. Для осуществления передачи мультимедиа информации к ИМУ 52 и для управления переключением между речевыми данными и факсом система использует модификацию стандартной системы с речевым ответом, интерактивную систему с речевым ответом или их модификацию. При использовании соответствующего ИМУ 52 протокола можно осуществить подключение к стандартному телефону через упомянутые измененные системы. Соответственно, могут быть использованы одна стандартная телефонная линия или множество телефонных линий, работающих в параллель, для организации передачи от МCOВ 44 к ИМУ 52.

Другой важной характеристикой ИМУ является дистанционное управление, которое должно работать в сочетании с телевизором или другим дисплеем для производства усиленной мультимедиа информации. Для более полного объяснения этой характеристики обратимся к рассмотрению фиг.13. На этом чертеже показан пульт 900, который очень похож на телефонную клавиатуру (номеронабиратель). Он имеет цифры (0-9) и символы (* -,#), которые являются частью обычной телефонной клавиатуры. Пульт содержит также входной ключ 902, который обычно используется для изменения информации или для переключения каналов в случае телевизора. Пульт 900 также содержит кнопку громкости 904 и кнопку выбора канала или элемента памяти 906, кнопку соединения 908 и бистабильную мультимедиа кнопку 910. Пульт может также иметь щель 912 для кредитной карточки. Кредитная карточка может быть использована пользователем для прямой покупки некоторых товаров в момент их демонстрации на экране телевизора. Наконец, пульт управления 900 содержит клавишу специальных эффектов 916, которая позволяет, например, производить ускоренный просмотр мультимедиа справочника при одновременном рассмотрении изображения выбранного широковещательного канала на экране телевизора.

Пульт дистанционного управления 900 может также использовать радиочастотный сигнал или аудиосигнал для осуществления взаимодействия с приемником и/или ИМУ 52 для управления ИМУ, для управления выбором мультимедиа информации и для управления другими бытовыми устройствами. Также известно, что можно использовать более подходящий пульт дистанционного управления, например, такой, при помощи которого можно управлять кассетным видеомагнитофоном или телевизором; использование такого пульта не выходит за рамки данного изобретения.

Другой характеристикой вышеуказанной системной архитектуры 40 фиг.2 является то, что программная информация может быть связана с сетью для обеспечения усиленной интерактивности и улучшения качества программы.

Например, программный источник может позволять осуществлять синхронизацию или быть синхронизированным с кабельным или широковещательным сигналом для обеспечения улучшенного распределения программной информации. Одним из специфических примеров такого решения является получение новых программ аналогично широковещательной системе CNN, когда они состоят из множества коротких новостей. Для каждой новости может быть предусмотрен значительный архив или программный материал, связанный с конкретным событием. При этом имеется возможность, например, при помощи пульта дистанционного управления 900 обеспечить доступ к хранящемуся в памяти программному материалу. Это позволяет пользователю просмотреть детально интересующий его материал.

В соответствии с другим примером при поступлении рекламной информации для определенного товара также имеется возможность обратиться к более детальной информации относительно заинтересовавшего пользователя товара.

В соответствии с еще одним примером такой системы предусматривается связь одной из предлагаемых услуг с другой. Так, например, реклама может быть связана со средствами для заказа по телефону определенного товара при помощи ИМУ. При этом открывается доступ к получению дополнительных услуг.

Важным требованием для осуществления упомянутых связанных характеристик является знание требований относительно содержания системной программы и местоположения пользователя относительно программы. Например, ИМУ может быть использовано для опознания канала программы, с которой связан телефонный вызов. Другим примером является демографическая связь, которая предусматривает интерактивное рекламирование. Например, при рекламировании пеленок облегчен доступ к рекламированию сопутствующих товаров, таких как детская присыпка, детский вазелин или нечто подобное.

Следует понимать, что собственно ИМУ 52 может быть использовано в системе обработки вызовов. Наконец, следует понимать, что может существовать множество МCOВ 42 для обеспечения широкомасштабной обработки вызовов.

Хотя изобретение было описано в связи с вариантами его осуществления, показанными на чертежах, для специалистов в данной области должно быть понятно, что возможны другие варианты осуществления изобретения, причем эти варианты не выходят за рамки изобретения и соответствуют его идее. Соответственно, специалистами в данной области могут быть введены различные изменения в вариант осуществления изобретения, не выходящие за его рамки, которые определяются только приложенной формулой изобретения.

Реферат

Предлагаются система и устройство, которые усиливают интерактивность мультимедиа информации при ее прохождении по сетям связи или в сочетании с другими сетями, включая широковещательную и кабельную сети. Система содержит множество мультимедиа систем обработки вызовов 44, интерактивную систему обработки вызовов 42 и множество интерактивных мультимедиа устройств 52. Преимуществом системы является возможность сжатия и/или передачи алгоритмов для максимального усиления мультимедиа информации. 7 с. и 41 з.п. ф-лы, 13 ил.

Формула