Вставка трехмерных объектов в стереоскопическое изображение на относительную глубину - RU2527249C2
Код документа: RU2527249C2
Чертежи
Описание
ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ
[0001] Данная заявка заявляет приоритет Предварительной заявки на патент США №61/220007, поданной 24 июня 2009 г., которая ссылкой полностью включается в настоящее описание.
ОБЛАСТЬ ТЕХНИЧЕСКОГО ПРИМЕНЕНИЯ
[0002] Изобретение относится к области трехмерной (3D) визуализации, в частности к обработке объекта для его размещения на перцептивной глубине.
ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ
[0003] Для двумерных (2D) дисплеев титрование (в частности, субтитрование, ввод кодированных титров между кадрами и т.п.) могут произвольно визуализироваться на уже существующем 20-изображении посредством устройства для воспроизведения видеоизображения или посредством программного обеспечения для наложения изображений. Вставленные 20-титры будут проявляться посредством преграды, находящейся перед или за деталями на уже существующем изображении. Вспомогательные данные, предоставляемые вместе с титрами, могут точно определять положения 2D-размещения и стили. Например, вспомогательные данные титров, полученных из сети вещания, могут определять «всплывающие», «нарисованные» или «разворачиваемые» титры. «Разворачиваемые» титры, как правило, появляются в нижней части экрана, в то время как «всплывающие» титры появляются в любом месте экрана. «Нарисованные» титры используют заранее определенный неподвижный блок на экране.
[0004] Однако описанные традиционные способы не подходят для уже существующего 3D-изображения. Произвольная визуализация титров в 3D-пространстве приводит к титрам, которые находятся на заднем плане (например, за уже существующим изображением), но визуализируются на переднем плане (например, перед уже существующим изображением), или, наоборот, существуют на переднем плане, а визуализируются - на заднем. Иными словами, титры могут проявляться как преграда перед деталью изображения, в то же время, проявляясь посредством диспарантности между глазами за той же деталью. Этот конфликт приводит в замешательство зрительную систему человека, что разрушает иллюзию глубины в 3D-изображении, а также вызывает утомление глаз зрителя.
[0005] Этих подводных камней можно избежать путем зрительного анализа каждой вставки 3D-титров вручную в ходе завершающего этапа создания изображения. То есть человек-редактор подтверждает правильность каждой вставки. Нетрудно представить, что этот процесс отнимает много времени, является дорогостоящим и подверженным субъективным ошибкам. Зрительный анализ вручную непрактичен в случае ранее записанного содержимого и почти невозможен при прямом вещании.
[0006] Кроме того, зрительный анализ вручную выполняется для конкретного размера устройства визуального отображения и часто приводит к неожиданным результатам для отличающихся устройств визуального отображения. Перцептивная глубина является нелинейной относительно диспарантности пикселей, а диспарантность пикселей зависит как от смещения разделения пикселей, так и от разрешающей способности в пикселях каждого отдельного устройства визуального отображения. Соответственно, вставленные титры могут проявляться в нежелательном положении даже при использовании одного и того же смещения разделения пикселей. Например, титры могут появляться на отличающемся устройстве визуального отображения как находящиеся за пределами бесконечности, приводя к дивергенции глаз зрителя. Титры проявляются за пределами бесконечности тогда, когда диспарантность пикселей между изображениями для левого и правого глаз больше глазного базиса, который для взрослого, как правило, составляет около 65 миллиметров. Неожиданный результат также может включать недопустимое расположение титров, такое как, например, расположение за зрителем, которого невозможно достичь на дисплее.
[0007] Из приведенного выше обсуждения видно, что 3D-титрование, а также, в целом, вставка 3D-объектов, которые располагаются автоматически и/или независимо от устройства визуального отображения могут обеспечить множество преимуществ над традиционными 2D- и 3D-способами.
КРАТКОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
[0008] Предусматриваются способы и устройства для визуализации, по меньшей мере, одного объекта на стереоскопическом изображении для устройства визуального отображения. Стереоскопическое изображение может включать два изображения (например, изображение для правого глаза и изображение для левого глаза), которые обрабатываются отдельно или комбинируются совместно. В одном из вариантов осуществления изобретения способ включает прием данных перцептивной глубины как доли расстояния от зрителя до объекта. Смещение разделения пикселей для конкретного устройства визуального отображения вычисляется с использованием перцептивной глубины. Первое и второе изображения (как, например, изображения для левого и правого глаз) объекта соответствующим образом вставляются в стереоскопическое изображение со смещением разделения пикселей.
[0009] В другом варианте осуществления изобретения для, по меньшей мере, части титра создаются данные глубины как доли расстояния от зрителя. Данные глубины используются для определения соответствующего смещения разделения пикселей между первым и вторым изображениями титра для того, чтобы получить, в значительной мере, желаемую перцептивную глубину. Первое и второе изображения титра вставляются в стереоскопическое изображение, или битовый поток изображения, с заранее определенным смещением разделения пикселей. В частном варианте осуществления изобретения созданные данные глубины нормируются для репрезентативного устройства визуального отображения (например, с разрешением 1 пиксель на миллиметр с шириной 1 метр).
[0010] В еще одном из вариантов осуществления изобретения предусматривается способ вставки объекта в стереоскопическое изображение. Стереоскопическое изображение передается, прямо или косвенно, в первое воспроизводящее устройство (такое как, например, мобильный телефон, компьютер, телевизор, кинопроектор и т.п.). Данные перцептивной глубины как доли расстояния от зрителя до, по меньшей мере, одного объекта также передаются в первое воспроизводящее устройство. Первое воспроизводящее устройство способно вычислять первое смещение разделения пикселей из данных перцептивной глубины. Стереоскопическое изображение, а также относящиеся к нему же данные перцептивной глубины передаются, прямо или косвенно, во второе воспроизводящее устройство. Второе воспроизводящее устройство способно вычислять второе смещения разделения пикселей из данных перцептивной глубины. В случае если первое и второе воспроизводящие устройства имеют отличающиеся размеры ширины экрана и разрешающую способность в пикселях, то первое смещение разделения пикселей не равно второму смещению разделения пикселей.
[0011] В другом варианте осуществления изобретения способ предусматривает генерирование нормированных данных глубины для объекта, визуализируемого на стереоскопическом 3D-изображении. Способ включает идентификацию детали на стереоскопическом изображении, например, посредством сегментации. Для данной детали определяется пространственное смещение (такое как, например, смещение разделения пикселей). Ряд пространственных смещений может, необязательно, использоваться для формирования карты диспарантности стереоскопического изображения. Пространственное смещение коррелирует с перцептивной глубиной, поэтому можно определить положение детали и объем, занимаемый ею в 3D-пространстве. Способ также включает определение геометрии изображения стереоскопического объекта, предназначенного для вставки в стереоскопическое изображение. Для размещения стереоскопического объекта в 3D-пространстве в стороне от занятого объема, а также с удовлетворением любых других ограничений размещения, вычисляется одно или несколько пространственных смещений. Каждое из вычисленных пространственных смещений, одного или нескольких, может нормироваться для того, чтобы оно не зависело от устройства визуального отображения, и выражаться, как и соответствующая ему перцептивная глубина, как доля расстояния от зрителя. Может выводиться поток данных каждой перцептивной глубины. В частном варианте осуществления изобретения для более точного регулирования перцептивной глубины (перцептивных глубин) и, соответственно, положения детали изображения и занимаемого ею объема также используется карта глубины стереоскопического изображения.
[0012] В другом варианте осуществления изобретения устройство для генерирования выходного сигнала включает терминал ввода данных, терминал вывода данных и схему обработки сигнала, связанную с терминалом ввода данных и терминалом вывода данных. Схема обработки сигнала адаптирована для приема данных перцептивной глубины как доли расстояния от зрителя для, по меньшей мере, одного объекта и для вычисления соответствующего смещения разделения пикселей. Схема обработки сигнала выполняет вставку, соответственно, изображения объекта для левого глаза и изображения объекта для правого глаза для, по меньшей мере, одного объекта в изображение для левого глаза и изображение для правого глаза стереоскопического изображения. Изображение объекта для левого глаза и изображение объекта для правого глаза смещаются на величину смещения разделения пикселей.
[0013] В другом варианте осуществления изобретения устройство генерирования данных глубины для визуализации объекта включает терминал ввода данных, терминал вывода данных и схему обработки сигнала, связанную с терминалом ввода данных и терминалом вывода данных. Схема обработки сигнала адаптирована для идентификации деталей на стереоскопическом изображении и для определения пространственных смещений для этих деталей. Пространственные смещения, необязательно, могут использоваться схемой обработки сигнала для формирования карты диспарантности. Схема обработки сигнала также адаптирована для определения геометрии изображения стереоскопического объекта, предназначенного для вставки в стереоскопическое изображение, и для вычисления одного или нескольких пространственных смещений объекта для размещения стереоскопического объекта в 3D-пространстве в стороне от занятых объемов, а также с удовлетворением любых других ограничений размещения. Каждое из вычисленных одного или нескольких пространственных смещений объекта может нормироваться для того, чтобы оно не зависело от устройства визуального отображения, и выражаться, как и соответствующая ему перцептивная глубина, как доля расстояния от зрителя. Через терминал вывода данных может выводиться поток данных для каждой перцептивной глубины.
[0014] В качестве еще одного из вариантов осуществления изобретения предусматривается носитель данных, на котором записана программа, состоящая из команд. Программа пригодна для ее исполнения устройством визуального отображения с целью выполнения способа генерирования выходных данных. Способ включает прием нормированных данных перцептивной глубины как доли расстояния от зрителя для, по меньшей мере, одного объекта. Смещение разделения пикселей вычисляется для устройства визуального отображения на основе нормированных данных перцептивной глубины и размера дисплея. Первое и второе изображения объекта для, по меньшей мере, одного объекта вставляются в первое и второе изображения стереоскопического изображения. Первое и второе изображения объекта смещаются на величину смещения разделения пикселей. Устройство визуального отображения визуально выводит стереоскопическое изображение наряду со вставленным объектом.
[0015] Различные дополнительные цели, характерные признаки и преимущества изобретения могут быть более полно оценены с отсылкой к подробному описанию и нижеследующим сопроводительным графическим материалам.
КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ
[0016] Может быть легко получена более полная оценка изобретения и многих из его сопутствующих преимуществ, и то же становится более понятным путем отсылки к нижеследующему подробному описанию при его рассмотрении в связи с сопроводительными графическими материалами, где:
[0017] Фиг.1 - иллюстрация схемы 3D-позиционирования согласно одному из вариантов осуществления изобретения;
[0018] Фиг.2А - иллюстрация примера тригонометрической взаимосвязи между диспарантностью изображения и глазным базисом;
[0019] Фиг.2В - иллюстрация перцептивной глубины в зависимости от диспарантности пикселей для примера дисплея шириной 7 метров в соответствии с одним из вариантов осуществления изобретения;
[0020] Фиг.3 - иллюстрация схемы ЗО-позиционирования для нормировочного экрана согласно одному из вариантов осуществления изобретения;
[0021] Фиг.4 - иллюстрация упрощенной схемы последовательности операций размещения 3D-объекта согласно одному из вариантов осуществления изобретения;
[0022] Фиг.5А-5F - иллюстрации примеров результатов для упрощенной схемы последовательности операций размещения 3D-объекта согласно одному из вариантов осуществления изобретения;
[0023] Фиг.6А-6В - иллюстрация карты глубины и ее комбинации с картой диспаратности сегментирования; и
[0024] Фиг.7 - иллюстрация упрощенной схемы системы 3D-проектора согласно одному из вариантов осуществления изобретения.
ПОДРОБНОЕ ОПИСАНИЕ
[0025] Нижеследующее описание и графические материалы являются иллюстративными, и их не следует толковать как ограничивающие изобретение. Многочисленные конкретные детали описаны для того, чтобы обеспечить исчерпывающее понимание изобретения. Однако, в некоторых случаях, хорошо известные или традиционные детали не описаны во избежание затруднения понимания описания изобретения. Ссылки на «один из» вариантов осуществления изобретения в настоящем описании необязательно отсылают к одному и тому же варианту осуществления изобретения, но эти ссылки подразумевают, «по меньшей мере, один».
[0026] Фиг.1 иллюстрирует 3D-позиционную систему 100 согласно одному из вариантов осуществления изобретения. Позиционные данные используются для определения того, где разместить объект при его визуализации на целевом 3D-изображении. Объект может включать любой из следующих объектов: текст субтитров, кодированные титры между кадрами, экранную информационную полосу, прокручиваемую бегущую строку, гид телевизионных программ, информационное табло, экранные элементы управления воспроизводящим устройством (необязательно, высвечиваемые на сенсорном экране элементы управления), наложение логотипа канала, информацию элементов HUD, или другие графические объекты. Для того чтобы обеспечить возможность независимости устройств в ходе воспроизведения используется процентная позиционная система. Положение в 3D-пространстве выражается в процентах ширины экрана (ось х), высоты экрана (ось у) и расстояния от зрителя до экрана (ось z).
[0027] Например, стереоскопический объект с положительной диспарантностью 19 пикселей по оси х между изображениями для левого и правого глаз на изображении шириной 2048 пикселей представляет около 0,927% (19/2048) ширины изображения. Результат, например, заключается в том, что стереоскопический объект проявляется перед плоскостью экрана, на полпути между зрителем и экраном (например, на, около, 50% расстояния от зрителя до плоскости экрана). Тогда для экрана шириной 7 метров стереоскопический объект может разделяться согласно варианту осуществления изобретения на 0,927% ширины экрана, 64,94 миллиметра (7 метров*0,927%), или 27 пикселей (предполагая горизонтальную ширину равной 1998 пикселей). Это снова приводит к стереоскопическому объекту, появляющемуся приблизительно на половине расстояния между зрителем и экраном, что подтверждается тригонометрическим соотношением по фиг.2А и точкой 201 по фиг.2В. Для сравнения, положительная диспарантность 19 пикселей на экране шириной 7 метров, представляющая 0,951% (19/1998) ширины экрана, приводит к перцептивной глубине, значительно более близкой к плоскости экрана, что показано точкой 203 на фиг.2В.
[0028] Как видно на вышеприведенном примере, пропорциональное позиционирование сохраняет восприятие глубины для различных устройств, несмотря на то, что абсолютная диспарантность пикселей не сохраняется. Желательно, чтобы перцептивная глубина вдоль оси z оставалась постоянной независимо от размеров устройства визуального отображения. Иными словами, 3D-изображение должно быть согласованным при его просмотре на различных воспроизводящих устройствах, несмотря на то, что диспарантность пикселей может сильно меняться. Фактически изменения в диспарантности пикселей, как правило, будут нелинейными при переходе от одного воспроизводящего устройства к другому.
[0029] Независимость перцептивной глубины от устройства является предпочтительной, поскольку расстояние от зрителя в 3D-позиционной системе 100 может значительно изменяться. Например, расстояние от зрителя может варьироваться в интервале от около 15 сантиметров до около 1 метра для карманного устройства (например, сотового телефона, персонального цифрового помощника (PDA), портативного медиаплеера - видео-iPod от Apple и т.п.). Расстояние от зрителя может увеличиваться для ноутбуков, настольных компьютеров, телевизоров и дисплеев аркадных игр от около 0,5 метра до около 5 метров. Для общественных мест расстояния от зрителя могут варьироваться в интервале от около 3 метров до около 100 метров или более - для кинопроекторов, стадионных дисплеев и рекламных щитов. Соответственно, воспроизводящие устройства имеют широкий разброс размеров дисплея в зависимости от предполагаемого расстояния от зрителя. Ширина экрана для одного воспроизводящего устройства по сравнению с другим воспроизводящим устройством может быть больше, в 5 раз больше, в 10 раз больше или в 100 и более раз больше.
[0030] Согласно одному из вариантов осуществления изобретения позиционные значения на оси z (глубина) могут определяться как процентные доли расстояния от зрителя до плоскости экрана, Zpv. Таким образом, позиционные значения глубины могут являться не зависящими от устройства. Например, возвращаясь к фиг.1, первый объект при+50% (точка 101) всегда будет восприниматься как находящийся на половине расстояния между зрителем и плоскостью экрана независимо от абсолютного положения зрителя или от размера экрана. Второй и третий объекты при 0% (точка 103) и -50% (точка 105) всегда будут находится, соответственно, на удвоенном расстоянии (на плоскости экрана) и на утроенном расстоянии (за плоскостью экрана) относительно расстояния до первого объекта. Когда, при сравнении одного воспроизводящего устройства с другим, зритель перемещается ближе к плоскости экрана, объект будет проявляться ближе к нему в абсолютном выражении. Когда он перемещается в направлении от плоскости экрана, объект проявляется еще дальше. Однако важно, что объект будет проявляться на той же пропорции расстояния от зрителя.
[0031] В частном варианте осуществления изобретения для того, чтобы перевести Zpv в величину, пригодную для использования воспроизводящим устройством, ширина физического экрана w, предполагаемого устройства визуального отображения, используемого для размещения на некоторой глубине, является известной или сообщается. Иными словами, воспроизводящее устройство будет получать позиционные данные, по меньшей мере, как значения х, у, Zpv и ws. Для того, чтобы получить значение Zpv, воспроизводящее устройство может, используя предоставленную информацию, вычислить соответствующую диспарантность пикселей на оси х для размеров его собственного дисплея.
[0032] В другом варианте осуществления изобретения может использоваться экран, нормированный на 1 метр, такой как, например, экран шириной 1000 пикселей с разрешающей способностью 1 миллиметр на пиксель. Нормирование обеспечивает преимущество, которое заключается в том, что воспроизводящее устройство для того, чтобы надлежащим образом визуализировать объект на глубине, нуждается только в его собственной ширине экрана, и программное обеспечение для комбинирования может виртуально визуализировать (например, не используя какой-либо физический экран для принятия решения о глубине объекта) с использованием нормированной ширины экрана. Т.е. величина ws необязательно должна передаваться, поскольку она известна заранее.
[0033] Следует понимать, что описанное численное представление Zpv может приводить к величинам, находящимся за пределами характеристик конкретного воспроизводящего устройства, главным образом, небольших унаследованных устройств с низкой разрешающей способностью. Например, видеодисплеи мобильных телефонов могут иметь такую малую ширину, как 23 миллиметра (или даже меньше), и поэтому они ограничены максимальной глубиной +29%. Современные воспроизводящие устройства предлагают дисплеи больших размеров со значительно увеличенной разрешающей способностью, и они способны выполнять визуализацию на большей глубине, однако эти устройства по-прежнему неспособны достигать +100% расстояния от зрителя. Это ограничение не является преградой, имеющей практическое значение, поскольку глубина +100% почти всегда не является необходимой. Диспарантность пикселей объекта, помещенного чрезвычайно близко к зрителю, делает фокусировку и сходимость объекта затруднительной для зрителя.
[0034] Кроме того, численное представление Zpv как процентной доли расстояния от зрителя не способно адекватно выражать глубину на плоскости бесконечности и за плоскостью бесконечности. Эта трудность преодолевается путем принятия во внимание того, что объект оказывается на бесконечности тогда, когда зрительные оси зрителя являются параллельными. Таким образом, плоскость бесконечности может быть определена как находящаяся при отрицательном значении глазного базиса или около отрицательного значения глазного базиса (около -65 миллиметров для взрослого). Для нормированного на 1 пиксель/миллиметр экрана плоскость бесконечности можно установить как имеющую смещение глазного базиса при -65 пикселях или около -65 пикселей.
[0035] Используя схему 300 3D-позиционирования для нормированного экрана, показанную на фиг.3, воспроизводящее устройство или комбинирующее устройство может надлежащим образом вставлять такой объект, как титры, в 3D-изображение при условии обеспечения тремя позиционными величинами: х - процентной доли ширины экрана, у - процентной доли высоты экрана, zn - процентной доли нормированной перцептивной глубины. Тогда нормированное смещение разделения пикселей Sp можно вычислить, по меньшей мере, так, как, в неограничивающем смысле, описано ниже:
, где 0
Sp=0.65zn, где zn<0 (т.е. объект лежит за плоскостью экрана в направлении от положения зрителя).
[0036] Нормированное смещение разделения пикселей позволяет размещать объект в 3D-пространстве относительно перцептивной глубины зрителя независимо от размера дисплея или расстояния от зрителя. Воспроизводящее устройство может использовать нормированное смещение разделения пикселей (Sp), принимаемое, например, в качестве метаданных в битовом потоке, для вычисления специфичного для данного устройства смещения разделения пикселей (Sd) путем регулирования посредством коэффициента его собственного шага пикселя. Если шаг пикселя воспроизводящего устройства составляет 0,5 миллиметра вместо 1 миллиметра для нормированного экрана, то, в данном примере, Sd=Sp/0,5.
[0037] Фиг.4 иллюстрирует упрощенную схему последовательности операций 400 для размещения 3D-объекта посредством, например, комбинирующего устройства в соответствии с одним из вариантов осуществления изобретения. На этапе 401 принимается уже существующее стереоскопическое изображение, целевое изображение. Положение и размер деталей изображения идентифицируются на этапе 403, который может быть реализован, например, посредством сегментационного анализа на каждой паре стереоскопических изображений (например, на изображениях для левого глаза и для правого глаза). Сегментационный анализ выделяет каждую деталь (например, уже существующий объект на изображении) по цвету и затем применяет границу раздела к каждой отдельной области, формируя карту сегментации.
[0038] Затем на этапе 405 для деталей определяется пространственное смещение. Это может выполняться путем сравнения карт сегментации изображения для левого глаза и изображения для правого глаза. Карты сегментации изображений для левого глаза и правого глаза сходны, и, соответственно, детали, или формы, сегментов на одной из карт пары естественным образом соотносятся с деталями дополнения, имеющего сходную форму и положение. Пара карт может сравниваться для определения пространственного смещения по оси х между комплиментарными деталями пары.
[0039] Указанные пространственные смещения используются на необязательном этапе 407 для построения карты доступа. Карта доступа определяет 3D-объемы, доступные для размещения объекта. Т.е. карта доступа указывает объемы, не занятые деталями изображения. Указанная карта доступа может динамически обновляться по всей продолжительности высвечивания объекта, который размещается на целевом изображении.
[0040] На этапах 409 и 411 принимается объект для размещения и определяется его геометрия для определения ограничивающих пределов. В простых случаях геометрия объекта может быть определена посредством простого ограничивающего прямоугольника вокруг всего объекта с любым необходимым промежутком (например, минимальным расстоянием между объектом и любой деталью на целевом изображении), как обсуждается ниже для фиг.5F. В сложных случаях геометрия объекта может потребовать более сжатого определения, чем простой ограничивающий прямоугольник. Например, геометрия объекта может характеризоваться ограничивающим прямоугольником, имеющим форму каждого символа, как описано ниже для фиг.5Е.
[0041] Затем на этапе 413 по фиг.4 объект размещается в 3D-объеме в соответствии с простыми правилам размещения, которые, предпочтительно, конструируются так, чтобы минимизировать утомление зрительной системы человека. Простые правила размещения обычно следуют одному или нескольким из приведенных далее атрибутов: отсутствие столкновений с деталями на оригинальном изображении; объект всегда находится спереди (в альтернативном варианте, объект всегда находится сзади); простая геометрия объекта; текст или размер объекта; максимумы и минимумы глубины; и статическое размещение.
[0042] Простые правила размещения могут представлять собой начало координат и набор иерархических вариантов выбора. Например, простое правило размещения для объекта, размещаемого в центре экрана на плоскости экрана может представлять собой:
Начало координат: 0:х=0 у=0 z=0
Варианты выбора:
1:x=-20
2:x=+20
3:x<0
4:x>0
5:0 5a:x<0 5b:х>0 6: Ошибка Если положение x=0, y=0, z=0 недоступно, то предпочтительным оказывается положение на 20% влево, затем - на 20% вправо, куда угодно влево, куда угодно вправо, куда угодно вперед до максимума 50%, затем вперед влево и, наконец, вперед вправо. Если не доступно ни одно из предпочтительных положений, то возвращается ошибка. [0043] На этапе 415 вместо или в дополнение к этапу 413, необязательно, следуют сложные правила размещения. Сложные правила размещения могут включать динамическое изменение, позволяющее объекту перемещаться, основываясь на перемещении деталей на оригинальном изображении. Сложное размещение, как правило, требует более сжатого определения, чем простой ограничивающий прямоугольник, поэтому часто используется сложная геометрия объекта. Фактически при сложном размещении геометрия объекта может отличаться от оригинальной по причине морфинга объекта с целью удовлетворения предпочтениям сложного размещения, как проиллюстрировано на фиг.5F, которая будет обсуждаться ниже. [0044] Сложное размещение можно обобщить как размещение, имеющее один или несколько из следующих атрибутов: динамические правила, допущение столкновений с объектами на оригинальном изображении, допущение преград, сложная геометрия объекта и динамическое размещение. Примером сложного размещения является динамический графический объект, который проявляется как перемещающийся (i) за деталью на оригинальном изображении к (ii) положению перед деталью изображения ближе к зрителю. В этом примере динамический графический объект подвергается динамическому масштабированию, вращению и перемещению, в то время как геометрия объекта также является динамической. Вначале он сталкивается с оригинальной деталью изображения и загораживается этой деталью на изображении, а затем отклоняется и загораживает оригинальную деталь изображения. [0045] В конечном итоге, на этапе 417 по фиг.4 могут выводиться позиционные величины, отражающие размещение объекта. Позиционные величины выражаются в процентах ширины экрана, процентах высоты экрана и процентах перцептивной глубины. Процентная доля перцептивной глубины может нормироваться для репрезентативного устройства визуального отображения. В частном варианте осуществления изобретения репрезентативное устройство визуального отображения характеризуется нормированным экраном шириной 1000 пикселей с разрешающей способностью по ширине 1 миллиметр на пиксель. [0046] Следует понимать, что схема 400 последовательности операций, описанная в данном описании, предназначена только для иллюстративных целей, и что специалистам в данной области в ее свете могут быть предложены различные модификации и изменения. В альтернативных реализациях этапы, отмеченные на схеме 400 последовательности процессов могут происходить в ином порядке, чем этапы, отмеченные на фиг.4, этапы могут включать дополнительные этапы и/или могут полностью пропускать некоторые этапы. Например, этапы 401 и 409 фактически могут выполняться, в значительно мере, конкурентно или в обратном порядке. Все указанные модификации и изменения предполагаются включенными в объем данного раскрытия. [0047] Фиг.5А-F иллюстрируют примеры результатов для приведенной выше упрощенной схемы 400 последовательности операций размещения 3D-объекта в соответствии с одним из вариантов осуществления изобретения. На фиг.5А показаны изображения для левого и правого глаз на уже существующем стереоскопическом изображении, которое может приниматься на этапе 401. Карты сегментации, описанные на этапе 403 и показанные на фиг.5В, накладываются на фиг.5С для того, чтобы показать диспарантность разделения между двумя изображениями. Надпись «Text Object» с простым ограничивающим пределом, единым прямоугольником, проиллюстрирована на фиг.5D, соответствующей этапу 411 в случае, если используется простая геометрия. Для сравнения на фиг.5Е показана та же надпись «Text Object» со сложной геометрией объекта, где ограничивающие пределы сжато определены для каждого символа. Для этапа 415, на котором используется как сложное размещение, так и сложная геометрия, надпись «Text Object» может подвергаться морфингу и демонстрировать атрибуты движения, как это показано на фиг.5F. [0048] Несмотря на то, что это не показано на схеме 400 последовательности процессов, размещение 3D-объекта посредством, например, комбинирующего устройства может также включать использование карты глубины в соответствии с одним из вариантов осуществления изобретения. Карты глубины могут уточнять определения глубины для деталей на уже существующем изображении, в частности, для 3D-изoбpaжeний с множеством точек наблюдения (например, для полископических изображений), поскольку карты глубины определяют 3D-форму объектов более точно, чем анализ пространственных смещений. На фиг.6А приведен пример карты 600 глубины для пары стереоскопических изображений по фиг.4А. Карта 600 глубины является монохромной, а глубина представлена посредством яркости. Более высокая яркость представляет положительные z в направлении зрителя, а менее высокая яркость представляет отрицательные z в направлении от зрителя. Карты глубин также могут включать связанные значения «доверительной вероятности», которые определяют точность измеренной глубины в каждой из частей изображения. Карта 600 глубины сама по себе может учитываться в правилах размещения объекта посредством значений ее доверительных интервалов для того, чтобы увеличить вероятность уклонения от столкновений между вставленным объектом и деталями на оригинальном изображении. [0049] Фиг.6В иллюстрирует комбинированное использование сегментационного анализа и карты 600 глубины. Как описано выше, карта 600 глубины обеспечивает улучшенные определения 3D-форм, однако, карты диспарантности сегментации более точно определяют перцептивную глубину деталей на оригинальном изображении. Поэтому для улучшения анализа оригинального 3D-изображения более преимущественным является объединение карт диспарантности сегментации и глубины. Результат заключается в том, что в границах сегментации форма определяется картой глубины. Значения доверительной вероятности эффективно и значительно увеличиваются. [0050] В другом варианте осуществления изобретения воспроизводящим устройством, или комбинирующим устройством, для регулирования существующего стереоскопического изображения с целью достижения комфортного диапазона зрительной глубины используются способы нормирования глубины. Иными словами, доступная глубина перед и за плоскостью экрана регулируется в соответствии с размером дисплея, а также в соответствии с индивидуальными предпочтениями (например, с предпочтениями создателя стереоскопического изображения или конечного пользователя воспроизводящего устройства). Несмотря на то, что комфортный диапазон зрительной глубины является индивидуальным предпочтением, ниже приведен рациональный и приблизительный набор правил: [0051] (i) Очень большой экран (например, кинотеатрЛ-Мах). Вся эксплуатируемая глубина впереди, где бесконечность находиться на плоскости экрана, и максимальная положительная глубина находится на 60% расстоянии от зрителя. [0052] (ii) Большой экран (например, кинотеатр). Перед плоскостью экрана находится больше эксплуатируемой глубины, чем за плоскостью (например, около, 2/3 глубины - перед, и 1/3 глубины - за). [0053] (iii) Малый экран (например, телевизор, проекционный домашний кинотеатр). За плоскостью экрана находится больше эксплуатируемой глубины, чем перед плоскостью (например, около, 1/3 глубины - перед, и 2/3 глубины - за). [0054] (iv) Очень маленький экран (например, дисплей мобильного телефона или портативный телевизор). Бесконечность - максимально возможно далеко за плоскостью экрана, положительная глубина перед экраном отсутствует. [0055] Предполагая, в качестве примера, иллюстрирующего приведенные выше правила, что оригинальное стереоскопическое изображение обрабатывалось с точкой бесконечности Zni=-100 и максимальной положительной глубиной Zn=-40 (что дает в действии суммарную глубину z=|zni-zni|=60), то получается следующее скорректированное положение глубины для бесконечности, Zci: [0056] (i) Очень большой экран. zci=zni+100; бесконечность - на плоскости экрана, максимальное отклонение объекта от экрана - 60% расстояния от зрителя. [0057] (ii) Большой экран. zci=zni+80; бесконечность - 20% за плоскостью экрана, максимальное отклонение объекта от экрана - 40% расстояния от зрителя. [0058] (iii) Малый экран. zci=zni+60; бесконечность - 40% за плоскостью экрана, максимальное отклонение объекта от экрана - 20% расстояния от зрителя. [0059] (iv) Очень маленький экран. zci=zni+40; бесконечность - 60% за плоскостью экрана, отклонение объекта от плоскости экрана отсутствует. [0060] Устройство, регулирующее стереоскопическое изображение, может использовать одно или несколько значений нормированной глубины в метаданных, флаг, указывающий на то, что изображение необходимо подвергнуть регулированию, и дополнительные метаданные, описывающие требуемое регулирующее смещение для ряда предварительно определенных размеров дисплеев. Для размера дисплея, не включенного в эти предварительно определенные размеры, устройство может или интерполировать промежуточное регулирующее смещение с использованием ближайших предварительно определенных размеров (например, с использованием взвешенной пропорции, усреднения, усреднения и округления или взвешивания в явном виде, задаваемого метаданными), или просто использовать значение, связанное с ближайшим предварительно определенным размером. Если используется такой способ регулирования, то должны полностью использоваться изображения для левого и правого глаз с выходом развертки за пределы полезной площади экрана. Выход развертки за пределы полезной площади экрана должен быть достаточным для того, чтобы он допускал регулирования двух точек экстремума для значений регулирующих смещений (например, наименьшего и наибольшего экранов в предполагаемых воспроизводящих устройствах). [0061] Кроме того, описанное выше регулирование существующего стереоскопического изображения может использоваться для коррекции дефектов захвата стереоскопического изображения. Например, когда съемка сходится, две плоскости изображений двух камер находятся под углом друг относительно друга и сходятся на интересующем объекте. Точка схождения, таким образом, зависит от физического расположения входных камер, но расстояние от воспроизводимого объекта до зрителя по-прежнему зависит от экрана. Сходимость может регулироваться на послесъемочном этапе путем смещения изображений для левого и правого глаз горизонтально одно относительно другого. [0062] В качестве еще одного варианта осуществления изобретения предусматривается носитель данных с записанной на нем программой, состоящей из команд. Носитель данных может представлять собой, по меньшей мере, один из следующих носителей: память с произвольным доступом (RAM), SDRAM, постоянное запоминающее устройство (ROM), программируемое постоянное запоминающее устройство (PROM), электрически программируемое постоянное запоминающее устройство (EEPROM), флеш-память, оптический диск (например, CD-ROM, CD-RW, DVD, DVD-RW, диск blu-ray, диск со сверхплотной оптической записью (UDO), компакт-диск и т.п.), магнитные носители (например, магнитная лента, гибкий диск, жесткий диск и т.п.), бумажная лента (например, перфокарта), топографическая память и молекулярная память. Программа пригодна для ее исполнения устройством визуального отображения с целью выполнения способа генерирования визуального вывода данных. Способ включает прием нормированных данных перцептивной глубины как доли расстояния от зрителя для, по меньшей мере, одного объекта. Из данных нормированной перцептивной глубины для размера (размеров) устройства визуального отображения вычисляется смещение разделения пикселей. Первое и второе изображения, по меньшей мере, одного объекта вставляются в первое и второе изображения стереоскопического изображения. Первое и второе изображения объекта смещаются на величину смещения разделения пикселей. Устройство визуального отображения обычно выводит стереоскопическое изображение наряду со вставленным объектом. [0063] Фиг.7 иллюстрирует упрощенную схему двухпроекторной 3D-системы 700 согласно одному из вариантов осуществления изобретения. Способы стереоскопического проецирования системой 700 могут включать любой из следующих способов: [0064] (i) Анаглиф (двухцветная стереограмма) - разделение изображений каналов левого и правого глаз выполняется при помощи двухцветного фильтра, как правило, красного - для одного глаза, и голубого - для второго глаза. Необходимые очки включают первый фильтр (например, красный фильтр) для одного глаза и второй фильтр (например, голубой фильтр) для второго глаза. [0065] (ii) Линейная поляризация - разделение изображений каналов левого и правого глаз выполняется при помощи проектора посредством фильтрации изображения для одного из глаз через линейный поляризатор, ориентированный вертикально, и фильтрации изображения для второго глаза через линейный поляризатор, ориентированный горизонтально. Необходимые очки включают вертикально ориентированный линейный поляризатор для одного глаза и горизонтально ориентированный поляризатор для второго глаза. [0066] (iii) Круговая поляризация - разделение изображений каналов левого и правого глаз выполняется в проекторе посредством фильтрации изображения для одного из глаз через левосторонний круговой поляризатор и фильтрации изображения для второго глаза через правосторонний круговой поляризатор. Необходимые очки включают левосторонний круговой поляризатор для одного глаза и правосторонний круговой поляризатор для второго глаза. [0067] (iv) Очки с затвором - разделение изображений каналов левого и правого глаз выполняется путем мультиплексирования изображений во времени. Необходимые очки включают очки с затвором, которые электронно закрывают линзу синхронно с частотой кадров проектора. Для обеспечения привязки очков с затвором ко времени, как правило, используется беспроводной или инфракрасный сигнал. [0068] (v) Разделение спектров - разделение изображений каналов левого и правого глаз выполняется в проекторе путем спектральной фильтрации. Каждый из фильтров для изображений для левого и правого глаз пропускает часть красного, зеленого и синего спектра, обеспечивающего полноцветное изображение. Спектр полосы частот фильтра для левого глаза комплиментарен спектру полосы частот фильтра для правого глаза. Требуемые очки включают фильтры с такими же общими характеристиками спектра, как у проектора. [0069] В системе 700 изображения каналов левого и правого глаз получаются, декодируются, извлекаются или реконструируются из данных, хранящихся на дисковом накопителе 701 (или принимаются из соответствующей сети или приема передачи), посредством сервера 703. Сходным образом, стереоскопический объект, предназначенный для вставки в изображения каналов левого и правого глаз, а также их пропорциональные позиционные величины могут храниться на дисковом накопителе 701 (или приниматься из соответствующей сети или приема передачи). Сервер 703 вычисляет смещение разделения пикселей для объекта на основе одной или нескольких пропорциональных позиционных величин, таких как принятая нормированная глубина, и вставляет объекты в изображения каналов с этим смещением. [0070] После вставки изображения каналов левого и правого глаз проецируются из проекторов 705 и 707 левого и правого каналов на экран 709 для просмотра через 3D-очки 711. Если система 700 3D-проектора использует для разделения изображений каналов левого и правого глаз линейную или круговую поляризацию, то экран 709 сохраняет поляризацию. Пригодные для использования в качестве экрана 709 экраны относятся к типу экранов, сохраняющих поляризацию, и именуются также «серебряными экранами» по причине их характерного цвета. [0071] Описанная выше система 700 описана как двухпроекторная система (один проектор - для левого глаза, второй - для правого), однако может быть использован единый проектор для цифровой кинематографии (например, цифровой проектор). В альтернативной системе проектора для цифровой кинематографии изображения каналов левого и правого глаз мультиплексируются во времени. Это означает, что, за исключением случая очков с затвором, где защитные фильтры не требуются, защитные фильтры должны изменяться для левой/правой частот мультиплексирования. Это может осуществляться при помощи или поворотного диска со светофильтрами в проекторе для цифровой кинематографии, синхронизированного с частотой мультиплексирования, или при помощи электронно переключаемого фильтра. [0072] Следует понимать, что дисковый накопитель 701, каждая соответствующая сеть (например, Интернет, WAN, LAN, WiFi, волоконная сеть, видео кабель, спутниковое вещание и т.п.), или каждая сеть из ряда соответствующих сетей, может предоставлять одинаковые данные, такие как данные пропорционального позиционирования, для нескольких воспроизводящих устройств как серийно, одновременно, так и по требованию. Размеры дисплея для различных воспроизводящих устройств могут варьироваться и в определенных вариантах осуществления изобретения, вероятно, могут варьироваться значительно. Например, сотовый телефон со встроенным дисплеем может принимать то же изображение и данные для вставки объекта, что и бытовой телевизор намного большего размера, и все же достигать таких же результатов визуального отображения путем надлежащего регулирования смещения разделения пикселей независимо от разности размеров. [0073] Изобретение может соответствующим образом включать, состоять из, или, в значительной мере, состоять из любых элементов (различных частей, или характерных признаков, изобретения) и их эквивалентов, описанных в данном описании. Кроме того, изобретение, иллюстративно раскрытое в данном описании, может использоваться на практике в отсутствие любого из элементов независимо от того, раскрыто это в данном описании или нет. В свете описанных выше идей возможны многочисленные изменения и модификации изобретения. Поэтому следует понимать, что в пределах объема прилагаемой формулы изобретения изобретение может применяться на практике иначе, чем это определенно описано в данном описании.
Реферат
Изобретение относится к области трехмерной (3D) визуализации, в частности к обработке изображения объекта для его размещения на перцептивной глубине. Техническим результатом является обеспечение вставки 3D-объектов, которые располагаются автоматически и/или независимо от устройства визуального отображения. Указанный технический результат достигается тем, что предложены способы визуализации, по меньшей мере, одного объекта на стереоскопическом изображении для устройства визуального отображения. Для объекта принимаются данные перцептивной глубины как доли расстояния от зрителя, причем данные перцептивной глубины могут быть нормированы. Для конкретного устройства визуального отображения из данных перцептивной глубины вычисляется смещение разделения пикселей. Изображения объекта для левого и правого глаз соответственно вставляются в стереоскопическое изображение со смещением разделения пикселей, при этом указанный объект включает титры, предназначенные для вставки. 4 н. и 10 з.п. ф-лы, 14 ил.
Формула
принимают данные перцептивной глубины как доли расстояния от предполагаемого зрителя, не зависящей от размеров устройства визуального отображения, для, по меньшей мере, одного объекта;
вычисляют смещение разделения пикселей на основе известной или передаваемой ширины экрана указанного устройства визуального отображения из данных перцептивной глубины;
вставляют первое изображение объекта, по меньшей мере, одного объекта в первое изображение стереоскопического изображения; и
вставляют второе изображение объекта, по меньшей мере, одного объекта во второе изображение стереоскопического изображения,
где первое изображение объекта и второе изображение объекта смещены на величину смещения разделения пикселей.
передают стереоскопическое изображение в первое воспроизводящее устройство:
передают данные перцептивной глубины как доли расстояния от предполагаемого зрителя, не зависящей от размеров первого воспроизводящего устройства, для, по меньшей мере, одного объекта в первое воспроизводящее устройство;
где первое воспроизводящее устройство вычисляет первое смещение разделения пикселей на основе известной или передаваемой ширины экрана из данных перцептивной глубины;
где первое воспроизводящее устройство вставляет соответствующие изображения объекта, по меньшей мере, одного объекта, смещенные на первое смещение разделения пикселей, в соответствующие изображения стереоскопического изображения;
передают стереоскопическое изображение во второе воспроизводящее устройство;
передают данные перцептивной глубины как доли расстояния до предполагаемого зрителя, не зависящей от размеров второго воспроизводящего устройства, во второе воспроизводящее устройство;
где второе воспроизводящее устройство вычисляет второе смещение разделения пикселей на основе известной или передаваемой ширины экрана второго воспроизводящего устройства из данных перцептивной глубины;
где второе воспроизводящее устройство вставляет соответствующие изображения объекта, по меньшей мере, одного объекта, смещенные на второе смещение разделения пикселей, в соответствующие изображения стереоскопического изображения;
где ширина экрана первого воспроизводящего устройства отличается от ширины экрана второго воспроизводящего устройства, и поэтому первое смещение разделения пикселей не равно второму смещению разделения пикселей.
(a) терминал ввода данных:
(b) терминал вывода данных; и
(c) схему обработки сигнала, связанную с терминалом ввода данных и терминалом вывода данных, где схема обработки сигнала адаптирована для:
приема данных перцептивной глубины как доли расстояния от предполагаемого зрителя, не зависящей от размеров устройства визуального отображения, для, по меньшей мере, одного объекта;
вычисления смещения разделения пикселей на основе известной или передаваемой ширины экрана указанного устройства визуального отображения, с использованием данных перцептивной глубины; и
вставки, соответственно, изображения объекта для левого глаза и изображения объекта для правого глаза, по меньшей мере, одного объекта в изображение для левого глаза и изображение для правого глаза стереоскопического изображения,
где изображение объекта для левого глаза и изображение объекта для правого глаза смещены на величину смещения разделения пикселей,
где устройство выполнено с возможностью осуществления способа по одному из пп.1-12.
