Кодирующее устройство для сигналов трехмерного видеоизображения - RU2528080C2

Чертежи

Описание

ОБЪЕМ ИЗОБРЕТЕНИЯ

Изобретение относится к кодированию сигналов трехмерного видеоизображения, а именно к транспортному формату, используемому для транслирования трехмерного контента.

Область соответствует трехмерному видеоизображению, которое включает в себя кинематографический контент, используемый для показа кинофильмов, для распространения на DVD-носителях или для транслирования посредством телевизионных каналов. Таким образом, более точно оно включает в себя трехмерную цифровую кинематографию, трехмерный DVD и трехмерное телевидение.

ИЗВЕСТНЫЙ УРОВЕНЬ ТЕХНИКИ

Сегодня для рельефного показа изображений существуют многочисленные системы.

Трехмерная цифровая кинематография, известная как стереоскопическая система, основывается на ношении очков, например, с поляризационными фильтрами, и использует стереографическую пару представлений (левое/правое), или эквивалент двух "катушек" для пленки.

Трехмерный экран для рельефного цифрового телевидения, известный как автостереоскопическая система, поскольку она не требует ношения очков, основывается на использовании поляризационных линз или полос. Эти системы спроектированы, чтобы дать возможность зрителю получить разное изображение в угловом конусе, поступающее на правый глаз и левый глаз:

- Трехмерный телевизионный экран, произведенный компанией Newsight, содержит параллаксный барьер, прозрачную и непрозрачную пленку, соответствующие вертикальным щелям, которые работают как оптический центр линзы, причем лучи, которые не отклоняются, являются лучами, которые проходят через эти щели. Система фактически использует 8 представлений, 4 представления справа и 4 представления слева, причем эти представления дают возможность создания эффекта параллакса движения во время изменения точки зрения или перемещения зрителя. Этот эффект параллакса движения обеспечивает лучшее ощущение погружения зрителя в место действия, чем ощущение, порожденное простым автостереоскопическим представлением, другими словами, одиночным представлением справа и одиночным представлением слева, создающими стереоскопический параллакс. Трехмерный телевизионный экран от Newsight должен иметь на входе формат многовидового потока из 8 представлений, все еще проходящий стандартизацию. Расширение MVC (Многовидовое кодирование) к стандарту MPEG4 AVC/H264 от JVT MPEG/ITU-T, относящееся к многовидовому кодированию видеосигнала, предлагает соответственно кодирование каждого из представлений для их передачи в потоке, при этом отсутствует синтез изображений при поступлении.

- Трехмерный телевизионный экран, произведенный компанией Philips, содержит линзы спереди телевизионной панели. Система использует 9 представлений, 4 представления справа и 4 представления слева и одно центральное двумерное представление. Она использует формат "2D+Z", другими словами, стандартный поток двумерного видеоизображения, переносящий традиционное двумерное видеоизображение плюс вспомогательные данные, соответствующие карте глубин z, стандартизованные по стандарту MPEG-C, часть 3. Двумерное изображение соответственно синтезируется с использованием карты глубин для обеспечения показа на экране правого и левого изображений. Этот формат совместим с текущим стандартом, относящимся к двумерным изображениям, но недостаточен для обеспечения качественных трехмерных изображений, особенно при высоком количестве используемых представлений. Например, доступные данные по-прежнему не дают возможность правильной обработки перекрытий, порождая артефакты. Одно решение, называемое LDV (многослойное видеоизображение с глубиной) состоит в представлении сцены последовательными кадрами. Затем в дополнение к "2D+z" передаются данные содержания, относящиеся к этим перекрытиям, которые являются слоями перекрытий, составленными из карты цветов, задающей значение закрытых пикселей, и карты глубин для этих закрытых пикселей. Чтобы передать эти данные. Philips использует следующий формат: изображение, например HD-изображение (с высокой четкостью), делится на четыре фрагмента изображения, первый фрагмент изображения является центральным двумерным изображением, второй является картой глубин, третий является перекрытием относительно карты значений пикселей и последний является глубиной относительно карты перекрытий.

Также следует упомянуть, что существующие решения приводят к потере пространственного разрешения из-за дополнительной информации, которую нужно передать для трехмерного отображения. Например, для панели высокой четкости, 1080 строк по 1920 пикселей, каждое из представлений среди 8 или 9 представлений будет иметь потерю пространственного разрешения с коэффициентом 8 или 9, при этом используемая скорость передачи битов и количество пикселей в телевизионной системе остаются постоянными.

Исследования в области рельефного показа изображений на экранах сегодня направлены на:

- автостереоскопические многовидовые системы, другими словами, использование более 2 представлений без ношения специальных очков. Это включает в себя, например, ранее упомянутый формат LDV или формат MVD (многовидовое видеоизображение + глубина), использующий карты глубин,

- стереоскопические системы, другими словами, использование 2 представлений и ношение специальных очков. Контент, другими словами, используемые данные, может быть стереоскопическими данными, относящимися к двум изображениям, правому и левому, либо данными, соответствующими формату LDV, или данными, относящимися к формату MVD. Можно перечислить систему 3D DLP (Цифровая обработка света) Rear Projection HDTV от Samsung, систему 3D Plasma HDTV от того же производителя, систему 3D LCD от Sharp и т.д.

Кроме того, отметим, что контент, относящийся к трехмерной цифровой кинематографии, может распространяться посредством DVD-носителей, и изучаемые в настоящее время системы называются, например, Sensio или DDD.

Форматы основных видеопотоков, используемые для обмена трехмерным контентом, не согласованы. Совместно существуют фирменные (специализированные) решения. Стандартизован единственный формат, который является транспортным форматом-контейнером (MPEG-C часть 3), но он относится только к системе упаковки в транспортном потоке MPEG-2 TS и поэтому не задает новый формат для основного потока.

Это многообразие форматов основного видеопотока для трехмерного видеоконтента, это отсутствие сближения не содействует преобразованиям из одной системы в другую, например, из цифровой кинематографии в распространение на DVD и телевизионную передачу.

Одной из целей изобретения является преодоление вышеупомянутых недостатков.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Цель изобретения - кодирующее устройство, предназначенное для использования данных от разных средств создания трехмерного изображения, данных, относящихся к правому изображению и левому изображению, данных, относящихся к картам глубин, ассоциированным с правыми изображениями и/или левыми изображениями, и/или данных, относящихся к слоям перекрытия, и устройство отличается тем, что содержит средство для формирования потока, структурированного на более чем один уровень:

- уровень 0, содержащий два независимых слоя: базовый слой, содержащий видеоданные правого изображения, и слой расширения на уровне 0, содержащий видеоданные левого изображения, или наоборот,

- уровень 1, содержащий два независимых слоя расширения: первый слой расширения уровня 1, содержащий карту глубин, относящуюся к изображению базового слоя, второй слой расширения уровня 1, содержащий карту глубин, относящуюся к изображению слоя расширения уровня 0,

- уровень 2, содержащий слой расширения уровня 2, содержащий данные перекрытия, относящиеся к изображению базового слоя.

В соответствии с конкретным вариантом осуществления, данные, относящиеся к уровню 0, уровню 1 или уровню 2, поступают от средства формирования изображения с помощью трехмерного синтеза и/или средства создания трехмерных данных из:

- двумерных данных от двумерных камер и/или двумерного видеоконтента, и/или

- данных от стереоскопических камер и/или многовидовых камер.

В соответствии с конкретным вариантом осуществления, средство создания трехмерных данных для вычисления данных, относящихся к уровню 1, использует специальное средство для получения информации о глубине и/или средство для вычисления карты глубин из данных, поступающих от стереоскопических камер и/или многовидовых камер.

В соответствии с конкретным вариантом осуществления, средство создания трехмерных данных для вычисления данных, относящихся к уровню 2, использует средство вычисления карты перекрытий из данных, поступающих от средства получения информации о глубине, от стереоскопических камер и/или многовидовых камер.

Целью изобретения также является декодирующее устройство для трехмерных данных из потока для их отображения на экране, структурированного на несколько уровней:

- уровень 0, содержащий два независимых слоя: базовый слой, содержащий видеоданные правого изображения, и слой расширения на уровне 0, содержащий видеоданные левого изображения, или наоборот,

- уровень 1, содержащий два независимых слоя расширения: первый слой расширения уровня 1, содержащий карту глубин, относящуюся к изображению базового слоя, второй слой расширения уровня 1, содержащий карту глубин, относящуюся к изображению слоя расширения уровня 0,

- уровень 2, содержащий слой расширения уровня 2, содержащий данные перекрытия, относящиеся к изображению базового слоя,

для их отображения на устройстве отображения, отличающемся тем, что оно содержит схему адаптации трехмерного отображения, использующую данные одного или нескольких принятых слоев потока данных, чтобы воспроизвести их в соответствии с устройством отображения.

В соответствии с конкретным вариантом осуществления, схема адаптации трехмерного отображения использует:

- слои уровня 0, когда отображение происходит на трехмерном кинематографическом экране, на стереоскопическом экране с 2 представлениями, требующем использования очков, или на автостереоскопическом экране с 2 представлениями,

- базовый слой и первый слой расширения уровня 1, когда отображение происходит на экране типа Philips "2D+z",

- все слои уровня 0 и уровня 1, когда отображение происходит на автостереоскопическом трехмерном телевизоре типа MVD,

- базовый слой, первый слой расширения уровня 1 и уровня 2, когда отображение происходит на экране типа LDV.

Целью изобретения также является транспортный поток видеоданных, отличающийся тем, что синтаксис потока различает слои данных в соответствии со следующей структурой:

- слой уровня 0, состоящий из двух независимых слоев: один базовый слой, содержащий видеоданные правого изображения, и слой расширения, содержащий видеоданные левого изображения, или наоборот,

- слой расширения уровня 1, состоящий сам из двух независимых слоев расширения: первый слой расширения уровня 1, содержащий карту глубин, относящуюся к изображению базового слоя, второй слой расширения уровня 1, содержащий карту глубин, относящуюся к изображению слоя расширения уровня 0,

- слой расширения уровня 2, содержащий данные перекрытия, относящиеся к изображению базового слоя.

Единый "многоуровневый" формат используется для распространения разного трехмерного контента на разных носителях и для разных систем отображения, например контента для трехмерной цифровой кинематографии, трехмерного DVD, трехмерного телевидения.

Таким образом, можно восстановить трехмерный контент, поступающий из разных существующих режимов создания, и можно обращаться с рядом устройств автостереоскопического отображения из единого формата передачи.

Благодаря определению формата для самого видеоизображения и в результате структурирования данных в потоке, дающего возможность извлечения и выбора подходящих данных, обеспечивается совместимость трехмерной системы с другой системой.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Другие характерные признаки и преимущества появятся из нижеследующего описания, предоставленного в качестве неограничивающего примера, и ссылаясь на приложенные чертежи, на которых:

- фиг.1 показывает систему создания и распространения трехмерного контента,

- фиг.2 показывает организацию кодирующих слоев в соответствии с изобретением.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

По-видимому, многовидовые автостереоскопические экраны, например экран Newsight, обеспечивают наилучшие результаты в показателях отдачи качества, когда на них поступают N представлений, где крайние изображения соответствуют паре стереоскопических представлений, и где промежуточные изображения интерполируются, только при поступлении результата съемки с нескольких камер. Это происходит из-за ограничений, которые должны соблюдаться между фокальными осями камер, их апертурой, их расстановкой (расстояние между камерами, направления относительно оптических осей и т.д.), размером и расстоянием до снимаемого объекта. Для реальных сцен в помещении или на природе и "реалистичных" камер, другими словами, с разумным фокусным расстоянием и апертурами, которые не дают ощущения искажения сцены при отображении, как правило, используются системы камер, чьи оптические оси должны быть разнесены на расстояние порядка 1 см. Среднее расстояние между глазами человека составляет 6,25 см.

Поэтому казалось бы выгодным преобразовать данные, относящиеся к нескольким камерам, в данные, относящиеся к правому и левому стереоскопическим представлениям, соответствующим расстоянию между глазами. Эти данные обрабатываются, чтобы обеспечить стереоскопические представления с картами глубин и, по возможности, с шаблонами перекрытий. Поэтому становится бесполезным передавать несколько проекций, другими словами, данные, относящиеся к количеству двумерных изображений, соответствующих количеству используемых камер.

Для данных, относящихся к стереоскопическим камерам, левое и правое изображения могут обрабатываться для предоставления, в дополнение к изображениям, карт глубин и по возможности шаблонов перекрытий, обеспечивающих возможность использования посредством устройств автостереоскопического отображения после обработки.

Что касается информации о глубине, то она может оцениваться из подходящего средства, например лазерного или инфракрасного, или вычисляться путем измерения несоразмерности движения между правым изображением и левым изображением ручным способом с помощью оценки глубины для областей.

Видеоданные от одиночной двумерной камеры могут обрабатываться для предоставления двух изображений, двух представлений, допускающих рельеф. Трехмерную модель можно создать из этого одиночного двумерного видеоизображения с помощью вмешательства человека, заключающегося, например, в восстановлении сцен через использование последовательных представлений, чтобы обеспечить стереоскопические изображения.

Судя по всему, N представлений, использованных для многовидовых систем отображения и поступающих от N камер, могут вычисляться фактически из стереоскопического контента путем выполнения интерполяций. Здесь стереоскопический контент может служить в качестве основы для передачи телевизионных сигналов, данных, относящихся к стереоскопической паре, позволяющей получить N представлений для устройства трехмерного отображения с помощью интерполяции и, в конечном счете, экстраполяции.

Принимая во внимание эти наблюдения, можно сделать вывод, что разные типы данных, необходимые для отображения трехмерного видеоконтента, в соответствии с типом устройства отображения, являются следующими:

- одиночное представление и карта глубин, по возможности с шаблонами перекрытий для устройства автостереоскопического отображения типа Philips с 9 представлениями,

- стереографическая пара для:

- последовательного или метамерного, поляризованного показа трехмерной цифровой кинематографии,

- устройства стереоскопического отображения только с двумя представлениями, при использовании затвора или поляризованных очков,

- устройства автостереоскопического отображения только с двумя представлениями с сервомеханизмом в положении головы или методиками зрительного направления, известными как слежение за головой и глазами пользователя,

- стереографическая пара по возможности с двумя картами глубин, чтобы облегчить интерполяцию промежуточных представлений, если два переданных представления ухудшаются в результате сжатия, для устройства автостереоскопического отображения типа Newsight с 8 представлениями,

- стереографическая пара с картами глубин и разными слоями перекрытия для устройств отображения в соответствии с грядущим стандартом FTV (ТВ со свободной точкой обзора), другими словами, совместимых с MVD и LDV.

Фиг.1 схематически показывает систему создания и распространения трехмерного контента.

Существующий двумерный традиционный контент, поступающий, например, от средства передачи или хранения, по ссылке 1, и видеоданные от стандартной двумерной камеры по ссылке 2 передаются в средство создания по ссылке 3, осуществляющее преобразование в трехмерное видеоизображение.

Видеоданные от стереоскопических камер 4, от многовидовых камер 5, данные от средства 6 измерения расстояния передаются в схему 7 создания трехмерного изображения. Эта схема содержит схему 8 вычисления карты глубин и схему 9 вычисления шаблонов перекрытий.

Видеоданные, поступающие из схемы 10 формирования синтетических изображений, передаются в схему 11 сжатия и транспортировки. Информация от схем 3 и 7 создания трехмерного изображения также передается в эту схему 11.

Схема 11 сжатия и транспортировки осуществляет сжатие данных с использованием, например, способа сжатия MPEG 4. Сигналы приспосабливаются для транспортировки, причем синтаксис транспортного потока различает объектные слои в структурировании видеоданных, потенциально доступных на входе в схему сжатия и описываемых позже. Эти данные из схемы 11 могут передаваться в схемы приема разными способами:

- при посредничестве физического носителя, выполненного в виде трехмерного DVD или другого цифрового носителя,

- при посредничестве физического носителя, сохраненного на катушках для кинотеатра (раскатка),

- с помощью радиопередачи, кабеля, спутника и т.д.

Сигналы соответственно передаются с помощью схемы сжатия и транспортировки в соответствии со структурой транспортного потока, описанной позже, сигналы размещаются на DVD или катушках в соответствии со структурой этого транспортного потока. Сигналы принимаются схемой адаптации к устройствам трехмерного отображения по ссылке 12. Этот блок осуществляет вычисление данных, необходимых устройству отображения, к которому он подключен, из разных слоев в транспортном потоке или потоке программ. Устройства отображения имеют тип экрана для стереографической проекции 13, стереографического отображения 14, стерео- или многовидового автостереоскопического отображения 15, автостереоскопического отображения 16 с сервомеханизмом или другой.

Фиг.2 схематически показывает наложение разных слоев для транспортировки данных.

В вертикальном направлении задаются слои с уровнем О, уровнем один и уровнем два. В горизонтальном направлении для некоторого уровня задаются первый слой и, по возможности, второй слой.

Видеоданные первого изображения в стереоскопической паре, например левое представление стереоскопического изображения, назначаются базовому слою, первому слою уровня 0 в соответствии с предложенным выше обозначением. Этот базовый слой является тем, который используется стандартным телевидением, видеоданными традиционного типа, например двумерными данными, относящимися к изображению, показываемому стандартным телевидением, также назначаемыми этому базовому слою. Соответственно, поддерживается совместимость с существующими изделиями, то есть совместимость, которая не существует в стандартизации Многовидового кодирования видеосигнала (MVC).

Видеоданные второго слоя в стереоскопической паре, например правое представление, назначаются второму слою уровня 0, называемому стереографическим слоем. Он включает в себя слой расширения первого слоя уровня 0.

Видеоданные касательно карт глубин назначаются слоям расширения уровня один: первому слою уровня один, называемому левым слоем глубины для левого представления, и второму слою уровня один, называемому правым слоем глубины для правого представления.

Видеоданные, относящиеся к шаблонам перекрытий, назначаются слою расширения уровня два, первый слой уровня два называется слоем перекрытий.

Многоуровневый формат для основного видеопотока поэтому состоит из:

- базового слоя, содержащего стандартное видеоизображение, левое представление в стереографической паре,

- слоя расширения стереографии, содержащего правое представление в стереографической паре,

- двух слоев расширения глубины, причем карты глубин соответствуют левому и правому представлениям в стереографической паре,

- слоя расширения перекрытия, N шаблонов перекрытий.

Благодаря этой организации данных на разных слоях можно собирать контент, который относится к стереоскопическим устройствам для трехмерной цифровой кинематографии, к автостереоскопическим устройствам многовидового типа или использующим карты глубин и карты перекрытий. Многоуровневый формат дает возможность обращаться по меньшей мере с 5 разными типами устройства отображения. Конфигурации, используемые для каждого из этих типов устройства отображения, указываются на фиг.2, при этом объединяются слои, используемые для каждой из конфигураций.

Один базовый слой по ссылке 17 относится к традиционным устройствам отображения.

Группа по ссылке 18 из базового слоя, присоединенного к стереографическому слою, обеспечивает возможность показа трехмерного кинофильма, а также отображения DVD на стереоскопических экранах с очками или автостереоскопического отображения только с двумя представлениями при отслеживании головы пользователя.

Базовый слой, ассоциированный с "левым" слоем глубины, группа 19, дает возможность обращаться с устройством отображения типа Philips 2D+Z.

Базовый слой, ассоциированный с "левым" слоем глубины и слоем перекрытия, другими словами, первым слоем на уровне 0 и первыми слоями расширения уровней один и два, группа 20, дает возможность обращаться с устройством отображения типа LDV (многослойное видеоизображение с глубиной).

Базовый слой, ассоциированный со стереографическим слоем и с левым и правым слоями глубины, другими словами, слоями уровня 0 и уровня один, группа 21, относится к устройствам отображения автостереоскопического трехмерного телевидения типа MVD (многовидовое видеоизображение+карты глубин).

Такое структурирование транспортного потока дает возможность сближения форматов, например типа Philips 2D+z, 2D+z+перекрытия, LDV с форматами стереоскопического типа кинематографа и с форматами типа LDV или MVD.

Возвращаясь к фиг.1, схема 12 адаптации к трехмерному отображению выполняет выбор слоев: выбор базового слоя и стереографического слоя расширения, другими словами, слоев уровня 0, если отображение заключается в стереоскопической проекции 13 или использует устройство 16 трехмерного отображения с сервомеханизмом, выбор базового слоя, левого слоя расширения глубины и слоя перекрытия, другими словами первых слоев уровня 0 и уровней один и два, для устройства 14 отображения типа LDV, выбор слоев уровня 0 и уровня один для устройства 15 отображения многовидового типа (MDV). Например, в этом последнем случае схема адаптации выполняет вычисление 8 представлений из 2 стереоскопических представлений и карт глубин для передачи в устройство 15 отображения многовидового типа (MDV).

Поэтому традиционные сигналы двумерного или трехмерного видеоизображения, независимо от того, поступают ли они с носителей записи, радиопередачи или по кабелю, могут отображаться на любой двумерной или трехмерной системе. Декодер, который, например, содержит схему адаптации, выбирает и использует слои в соответствии с системой трехмерного отображения, к которой он подключен.

Также благодаря этому структурированию можно передавать приемнику, например, по кабелю, только слои, необходимые для используемой системы трехмерного отображения.

Изобретение в предшествующем тексте описывается в качестве примера. Подразумевается, что специалисты в данной области техники способны создать разновидности изобретения без отклонения от объема изобретения.

Реферат

Изобретение относится к кодированию сигналов трехмерного видеоизображения, а именно к транспортному формату, используемому для транслирования трехмерного контента. Технический результат заключается в повышении качества трехмерных изображений при высоком количестве используемых представлений. Технический результат достигается за счет устройства, которое отличается тем, что содержит средство для формирования потока, структурированного на несколько уровней: уровень 0, содержащий два независимых слоя: базовый слой, содержащий видеоданные правого изображения, и слой расширения уровня 0, содержащий видеоданные левого изображения, или наоборот, уровень 1, содержащий два независимых слоя расширения: первый слой расширения уровня 1, содержащий карту глубин, относящуюся к изображению базового слоя, второй слой расширения уровня 1, содержащий карту глубин, относящуюся к изображению слоя расширения уровня 0, уровень 2, содержащий слой расширения уровня 2, содержащий данные перекрытия, относящиеся к изображению базового слоя. 2 н. и 4 з.п. ф-лы, 2 ил.

Формула