Способ и устройство отображения стереоскопического изображения, способ для создания данных 3d изображения из входных данных 2d изображения и устройство для создания данных 3d изображения из входных данных 2d изображения - RU2411690C2
Код документа: RU2411690C2
Чертежи
Описание
Изобретение относится к способу отображения стереоскопического изображения, в котором данные 2D изображения преобразуются в данные 3D изображения и в котором информация фокуса извлекается из данных 2D изображения и используется для генерации данных 3D изображения.
Изобретение также относится к устройству отображения стереоскопического изображения, содержащему вход данных 2D изображения и преобразователь для преобразования входных данных 2D изображения в данные 3D изображения, преобразователь, содержащий устройство извлечения информации фокуса из данных 2D изображения.
Изобретение также относится к способу преобразования данных отображения изображения, в котором данные 2D изображения преобразуются в данные 3D изображения, и в котором информация фокуса извлекается из данных 2D изображения и используется для генерации данных 3D изображения.
Дополнительно изобретение относится к сигналу 3D изображения.
Изобретение дополнительно относится к компьютерному программному продукту, предназначенному для загрузки посредством компьютерного устройства, содержащему инструкции для генерации данных 3D изображения на основе входных данных 2D изображения, компьютерное устройство, включающее средства обработки.
Способ отображения стереоскопического изображения и устройство вида, описанного во вводном параграфе, раскрыто в EP 1021049. В EP 1021049 3-мерное видеоизображение генерируется из 2-мерного входного видеосигнала. Известное устройство и способ используют различающую передний и задний план - схему, которая различает на основе информации фокуса, которая извлекается из 2-мерного входного видеосигнала. На выходе получают сигнал контроля параллакса на основе обнаружения границ, где резкие границы изображения помещаются на передний план 3D изображения.
Хотя известный способ и устройство предусматривают сравнительно простое устройство и способ, обнаружено, что визуализированные 3D изображения иногда являются запутывающими изображениями, где глубину перспективы, т.е. 3D эффект, трудно различить.
Целью изобретения является усовершенствование визуализации 3D изображения, основанного на входном 2D изображении.
С этой целью способ в соответствии с изобретением характеризуется тем, что на основе характеристик фокуса изображение разделяется на две или более областей, определяется, к какой области изображения принадлежит граница, разделяющая две области, и устанавливается порядок глубины между областями, следуя правилу, что область, включающая границу, находится ближе к зрителю, чем соседняя область, и областям присваивается 3D информация глубины в соответствии с установленным порядком глубины областей.
В способе предшествующего уровня техники в EP 1021049 также выполнялось обнаружение границ. Резкие границы помещались на передний план. Данная схема, тем не менее, иногда обеспечивала запутывающие результаты, поскольку изображению, которое находится в реальности на переднем плане, давался параллакс заднего плана, и, наоборот, в случае, если задний план находится в фокусе, а передний план не в фокусе. Это обуславливает запутывающие изображения, где информация параллакса предоставляет зрителю намек, что определенные части 3D изображения находятся на переднем плане, а другие части изображения находятся на заднем плане, но реальное содержание изображения представляет зрителю полностью противоположный намек, т.е. то, что является передним планом согласно сигналу параллакса, является задним планом согласно реальному содержанию.
Трехмерное ощущение в этом случае в лучшем случае запутывается и часто теряется, особенно поскольку намек глубины, данный известным способом обычно является ограниченным. Допускается, что человеческий мозг способен восстановить стереоскопическое ощущение даже из несовершенного намека глубины. Намеки глубины в способе предшествующего уровня техники и устройстве являются, однако, иногда несогласованными друг с другом, и могут даже меняться от сцены к сцене, т.е. в одной сцене намеки глубины могут быть правильными, с последующим внезапной сменой на противоречивые намеки глубины, где фигура переднего плана прячется за фоновым деревом. Ощущение глубины в таком случае теряется или по меньшей мере зрителем воспринимается очень раздражающий конфликт между намеками глубины.
Способ в соответствии с изобретением решает или по меньшей мере уменьшает эту проблему. Изображение разделяется на области на основе информации фокуса, например радиуса размытия. Пиксели или блоки изображения кластеризуются в некоторое количество областей, имеющих одинаковые характеристики фокуса. На основе информации фокуса, например среднего размытия на блок, изображение разделяется на две или более областей, где каждая область имеет усредненные характеристики фокусировки. Определяется, к какой области принадлежит граница, разделяющая две области. Это может, например, быть выполнено посредством сравнения резкости (размытия) обнаруженной грани, со средним размытием областей, граничащих с каждой стороной границы. Размытая граница принадлежит к граничащей области, имеющей высокое размытие, тогда как резкая граница - к области, имеющей слабое размытие. Упорядочивание по глубине выполняется над областями, где следуют правилу, что область, содержащая границу, находится ближе к зрителю, чем соседняя область. 3D информация присваивается областям в соответствии с упорядочиванием по глубине. Различные области изображения таким образом формируют уровни глубины. Разделение изображения на области выполняется посредством пикселей или блоков кластеризации в областях. Хотя эта кластеризация может быть выполнена на основе пиксель на пиксель, обнаружено, что более ясные результаты получаются тогда, когда до разделения изображения на области определяются характеристики фокусировки для блока пикселей и блок кластеризуется на области. Блоки являются маленькими частями изображения, имеющими nхm пикселей, обычно mхm, где n и m типично равны 2, 4, 6, или 16.
Преимуществом способа в сравнении с известным способом очевидны, например, для изображения, на котором человек сидит частично позади цветочной композиции. Человек находится в фокусе; цветочная композиция - нет. Используя известный способ, человеку, находящемуся в фокусе и поэтому имеющему резкие границы изображения, дается параллакс, так что он кажется на переднем плане, а части изображения, отображающей цветочную композицию, имеющую размытую границу, дается параллакс, соответствующий заднему плану. Это вступает в конфликт с действительным состоянием, поскольку человек находится частично за цветочной композицией, а не в другом месте. Известный способ и устройство, таким образом, сталкивает зрителя с двумя конфликтующими, фактически несовместимыми, намеками глубины. Намек глубины параллакса, помещающий человека на передний план впереди цветочной композиции, противоречит намеку глубины информации изображения, которая показывает человека сидящим позади цветочной композиции.
Способ в соответствии с изобретением не предоставляет конфликтующие намеки глубины. Изображение разделяется на области и содержит по меньшей мере две области, например область в фокусе, содержащую человека, и область не в фокусе, содержащую цветочную композицию. Границы, разделяющие области, содержащие цветочную композицию, и область, содержащую человека, формируются размытыми границами цветочной композиции. Таким образом, область изображения, содержащая цветочную композицию, помещена на передний план, в соответствии с правилом, что область, содержащая границу, разделяющую две области, находится ближе к зрителю, чем другая область. Области переднего плана вне фокуса, которые ограничены размытыми границами, помещаются вперед находящихся в фокусе областей заднего плана. Таким образом, если существует две области, находящаяся вне фокуса цветочная композиция впереди находящегося в фокусе человека, обеим областям присваивается правильный параллакс. Если существуют три области, находящаяся вне фокуса цветочная композиция заднего плана, находящийся в фокусе человек и находящийся вне фокуса задний план, предоставляется правильная 3D информация для трех областей. Подчеркнуто, что результаты способа в соответствии с изобретением обеспечивают, в банном примере, результаты, которые противоречат самой основе изобретательных принципов EP 0121049, которые диктуют, что упорядочивание выполняется помещением резких границ на передний план.
Предпочтительно 3D информация глубины присваивается в зависимости от характеристик фокусировки областей. Средние характеристики фокусировки предоставляют ключ в отношении различия в глубине между областями. Это может быть использовано для улучшения 3D эффекта.
В предпочтительном варианте осуществления количество областей равно трем или двум. Кластеризация пикселей или блоков изображения на две или три области продемонстрировала выдачу хороших результатов, при этом требуя ограниченной вычислительной мощности. Почти все изображения имеют часть, находящуюся в фокусе, и часть, находящуюся не в фокусе, иногда находящуюся на переднем плане, так что обычно достаточно двух областей. Иногда части, находящиеся не в фокусе, содержат части переднего и заднего плана, например дерево на переднем плане и лес на заднем плане и промежуточную область в фокусе, в таком случае обычно достаточно трех областей.
В предпочтительном варианте осуществления выполняется статистическое распределение характеристик фокусировки пикселей или блоков изображения, и количество областей определяется на основе статистического распределения.
Обнаружено, что характеристики фокусировки, такие как радиус размытия, обычно группируются около ограниченного количества максимумов, один из которых соответствует малому радиусу размытия, т.е. в фокусе или почти в фокусе, а другой или другие при больших радиусах размытия, соответствующих частям изображения, находящимся не в фокусе. Использование этих статистических данных предусматривает быстрое определение количества областей, на которые область может быть разделена.
Устройство отображения изображения в соответствии с изобретением содержит средства для выполнения этапов способа в соответствии с изобретением.
Изобретение также реализовано в передатчике, содержащем средства для выполнения этапов способа в соответствии с изобретением.
Эти и другие объекты изобретения будут очевидны из, и будут объяснены со ссылкой на варианты осуществления, описанные ниже.
На чертежах:
Фиг.1 иллюстрирует модель тонких линз.
Фиг.2A-2C иллюстрируют возможный способ для определения радиуса размытия.
Фиг.3 иллюстрирует отношения между радиусом размытия и фокальной плоскостью.
Фиг.4 иллюстрирует статистическое распределение радиусов размытия.
Фигуры 5A и 5B иллюстрируют способ определения областей.
Фиг.6 иллюстрирует способ принятия решения, к каким областям принадлежит граница.
Фиг.7 иллюстрирует способ в соответствии с изобретением.
Фиг.8 иллюстрирует устройство отображения в соответствии с изобретением.
Фиг.9 иллюстрирует передатчик в соответствии с изобретением.
Фигуры представлены не в масштабе. Обычно идентичные компоненты обозначены одинаковыми ссылочными номерами на фигурах.
В простой оптической системе, такой как тонкая выпуклая линза, объекты на определенном расстоянии от линз четко отображаются (объекты находятся в фокусе) на плоскости изображения, в то время как объекты на других расстояниях отображаются размыто (объекты расфокусированы) пропорционально их расстоянию от плоскости фокуса. Последнее состояние для точечного источника изображено на фиг.1.
Поведение размытия согласовано с формулой тонкой линзы:
где f представляет собой фокусное расстояние линзы, u - расстояние до объекта, v - расстояние до изображения. Из геометрических отношений на фиг.1 и формулы линзы, может быть выведена формула для расстояния u:
где u0обозначает расстояние, для которого точки находятся в фокусе. Параметр s - расстояние от плоскости изображения до линзы, а параметр k - константа, определенная характеристиками системы линз. Параметры f, s и k являются параметрами камеры, которые могут быть определены из калибровки камеры. Таким образом, оценка расстояния u до объекта содержит определение параметров камеры и оценку радиуса размытия σ. Соответственно, существует зависимость между размытостью изображения, т.е. характеристикой фокусировки, и расстоянием.
Для преобразования из 2D в 3D, диспаратность (инверсная глубина) является более существенным параметром, чем сама глубина, так как, например, параллакс для визуализированных видов линеен в диспаратности. Используя вышеупомянутое выражение, возможно найти отношение между различиями диспаратности между точками в фокусе и не в фокусе и радиусом размытия σ.
Другими словами, разница диспаратности до фокальной плоскости пропорциональна радиусу размытия. Кроме того, поскольку величина диспаратности для визуализируемых видов может обычно быть изменена для приспособления к предпочтениям пользователя и/или возможностям устройства отображения, точное определение относящейся к камере константы k/s не требуется, все что требуется - это определение радиуса размытия σ, т.е. характеристики фокуса. В последующем описании радиус размытия принимается в качестве характеристики фокуса по простой причине, что существует простое отношение между расстоянием и радиусом размытия. Тем не менее, хотя определение радиуса размытия, как характеристики фокуса, является предпочтительным, согласно простой зависимости между радиусом и расстоянием, также могут быть определены другие критерии размытости в рамках концепции изобретения.
Фиг.2A-2C схематично иллюстрируют возможный способ для определения радиуса размытия. На фиг.2A показана размытая граница с радиусом размытия σ. Горизонтальная ось обозначает положение, вертикальная ось - яркость. На фиг.2B показана функция фильтрации, которая равна второй производной фильтра Гаусса с шириной s. Свертка фиг.2A и фигуры 2B предоставляет функцию, имеющую два максимума. Расстояние dh между пиками может быть измерено достаточно адекватно и отношение между радиусом размытия a, шириной фильтра s и расстоянием между максимумами dh является следующим:
Этот примерный алгоритм надежен, и результаты, полученные для различных типов содержимого, были хорошими. Выбирая различные ширины фильтров s, для каждого пикселя для каждой ширины фильтра находится величина радиуса размытия σ. Выбор среднего или медианного значения σ для пикселя и затем определение среднего или медианного значения для σ на блоке, где больше декларированных границ, которые имеют большую высоту в части фиг.2C, заданных с большим весом, демонстрирует предоставление надежных результатов. Найдено довольно хорошее выделение в определенных величинах для промежутка между областями, находящимися в фокусе и не в фокусе.
Отношение между u и радиусом размытия σ схематично показано на фиг.3 и следует из равенства (4).
Если параметры k и s известны из калибровки, тогда может быть выполнена правильная оценка абсолютного расстояния до фокальной плоскости, поскольку радиус размытия σ известен. Поскольку это не обнаруживается, если размытый объект находится впереди фокальной плоскости или позади нее, также должны быть известны по меньшей мере два изображения для различных фокусных расстояний для правильной оценки из радиуса размытия σ. Однако ни одно из этих требований обычно не известно или доступно для произвольных данных извне данных изображения, таких как, например, видео. Хорошее выделение, тем не менее, может быть выполнено между областями изображения не в фокусе, и областями в фокусе и, если существуют еще области, между различным областями.
Поскольку формула между разницей диспаратности и радиусом размытия дает отношение абсолютной величиной разницы диспаратности и радиусом размытия, уравнение имеет два различных решения. Отсюда определение двух различных значений радиуса размытия σ не делает возможным упорядочивание по глубине, так как одинаковые значения σ могут быть из-за объекта расположенного ближе или дальше. На фиг.4 это схематично показано для двух различных значений для радиуса размытия σ (σl и σ2). В принципе существует четыре возможных различных комбинации плоскостей изображения.
Фиг.4 показывает типичное распределение радиусов размытия в пределах изображения, где горизонтальная ось обозначает процентное содержание блоков с определенным радиусом размытия. Две моды, центрированные на максимумах со значениями σ1и σ2, могут быть четко различны, соответствующие в этом примере частям изображения, расположенным в фокусе и не в фокусе. Одно такое распределение, тем не менее, не позволяет обеспечить точное упорядочивание по глубине по двум причинам. Прежде всего, как было объяснено со ссылкой на фиг.3, существует неопределенность относительно фактического относительного положения плоскостей изображения, соответствующих максимумам на фиг.3, поскольку возможно более одного решения. Во-вторых, максимумы в распределении σ являются довольно широкими. Это значит, что фактические величины размытия имеют большое численное колебание и не могут быть пригодными для получения информации упорядочивания по глубине, так как различие радиусов размытия (ширина пиков на фиг.3) в каждой моде (например, область, расположенная не в фокусе) может превышать различие радиусов размытия между модами. Поэтому использование только действительных численных значений радиусов размытия для принятия решения об упорядочивании по глубине и упорядочивание по глубине каждого блока привносит большое количество помех.
Чтобы, тем не менее, получить надежное упорядочивание по глубине способ и устройство в соответствии с изобретением выполняет два этапа.
На первом этапе пиксели или блоки изображения кластеризованы на основе их характеристик фокусировки, таким образом формируя области в пределах изображения. В рамках самого широкого объема изобретения также могут быть кластеризованы пиксели. Тем не менее, разброс величин σ для попикселельного деления даже больше, чем для блоков. Более надежные результаты получаются, когда до кластеризации характеристики фокусировки, на данных примерах, присваивается на основе блока среднее или медианное значение для радиуса размытия σ, и блоки кластеризуются в области на основе значений σ для блоков. Каждой области присваивается среднее или медианное значение радиуса размытия. Кластеризация может выполняться различными способами.
Может быть использован простой алгоритм итеративной кластеризации, который всегда разделяет изображение на два или более кластера начиная от эвристической первоначальной кластеризации. Решение, имеем ли мы один, два или более кластера, затем основывается на сходстве характеристик кластеров.
Фиг.5A и 5B иллюстрируют такой способ, где допускается, что существует две большие области, одна в фокусе, и больше или меньше посередине, окруженные областью не в фокусе. Первоначальная кластеризация состоит из присвоения блоков левом, верхнем и правом краю (показывая 1/4 изображения) "заднеплановому" кластеру C2, а другие пиксели "переднеплановому" кластеру C1 (см. фиг.5A). Этот выбор происходит из выбора блоков для оценки модели движения заднего плана. Эвристически, можно ожидать, что интересующий объект (обычно переднего плана) находится где-нибудь в центре изображения, а края изображения не содержат интересующих объектов. Для оценки модели движения заднего плана допускается, что интересующий объект в центре является передним планом. Тем не менее, это допущение не обязательно делать на стадии кластеризации. Было замечено, однако, что большую часть времени центральный кластер находится в фокусе.
Поскольку первоначальная кластеризация довольно грубая и основана на эвристике, надежный способ достижения первоначальных оценок радиуса размытия каждого кластера состоит в следующем.
Выбирается некоторое количество характерных точек (в нашем случае 28) регулярно распределенных внутри кластера. Первоначальное значение радиуса размытия σ1 соответственно σ2 кластера равно медиане радиусов размытия σ всех таких характерных точек.
Затем выполняется итеративная процедура для улучшения этого кластера.
Этап 1: Переприсвоение блоков. Выполняется обзор изображения и каждый блок B на границе кластера присваивается кластеру, от которого он имеет наименьшее отклонение от его средней оценки фокуса.
Этап 2: Обновление значений σ1и σ2. Блоки переприсваиваются кластерам C1 и C2 так, что новое средний или медианный радиус размытия σ1 и σ2 кластеров вычисляются для каждого из двух (или более если существует больше) кластеров.
Этап 3: Итерация. Выполняется новый обзор, см. этап 1.
Этот процесс сходится после небольшого количества (обычно 4) итераций.
Фиг.5B показывает результат такой итерации: Сформированы две области, область переднего плана C1 с медианным радиусом размытия σ1 и область заднего плана C2 с медианным радиусом размытия σ2.
Типично этот способ предоставляет две области, область в фокусе и области не в фокусе. Эти области не должны быть соединены, например области в фокусе могут содержать отдельные подобласти, как может область не в фокусе. Когда статистика показывает признаки трех областей, т.е. три максимума на распределении σ, можно начать с тремя областями. Первоначальная кластеризация может также быть найдена посредством определения максимумов на диаграмме σ, и просто присваивая каждый блок максимуму с наиболее подходящим σ.
Как только изображение разделено на области C1, C2, C3etc, возможно присвоить радиус размытия области σi каждой из областей. Следующий этап в способе и устройстве в соответствии с настоящим изобретением, заключается в том, что определяется взаимное расположение областей, т.е. какая область изображения находится впереди какой области. Должно быть принято решение об упорядочивании по глубине. Для того чтобы выполнить это, используется принцип, что граница принадлежит переднему объекту. Фиг.6 схематично иллюстрирует способ для нахождения различия, по данному принципу, какая граница принадлежит, какой области. Фиг.6 показывает вдоль горизонтальной оси параметр расположения, такой как координата x или y, или координату, перпендикулярную переходу между двумя областями. По вертикали показан радиус размытия. На фиг.6 схематично показан переход между областью в фокусе, с малым значением радиуса размытия σ, и областью не в фокусе с высоким значением радиуса размытия σ. Ширина W иллюстрирует схематично размытость границы. Граница не в фокусе будет иметь большую ширину W, чем граница в фокусе. Схематично это показано в верхней части фиг.6, имеющей малое W, и поэтому резкий переход, и нижнюю часть, показывающую большую ширину W и поэтому размытый переход. Поэтому в верхней части грань, разделяющая области C1 и C2, относится к области C1 с малым радиусом размытия σ. Поэтому область C1находится на переднем плане, что обозначено на фигуре посредством C1(F). Область C2 находится на заднем плане, обозначена C2(B). В нижней части ширина W велика. Граница, разделяющая области C1 и C2, принадлежит области C2 с высоким радиусом размытия σ2. Поэтому область C2находится на переднем плане, что обозначено на фигуре посредством C2(F). Область C1 находится на заднем плане, обозначена C1(B). Выбирая различные точки измерения вдоль линий, перпендикулярных линиям перехода между областями, и получая среднее или принимая решение для каждой точки измерения, к какой области граница кажется принадлежащей, и затем проводя голосование между различными измерениями, легко обнаружить, принадлежит ли граница области в фокусе, в случае чего область в фокусе располагается впереди области не в фокусе, или принадлежит области в фокусе, в случае чего область в фокусе располагается впереди области не в фокусе. Чтобы изложить это по-другому, ширина W зависит только от σ одной из областей, и не зависит, или слабо зависит, от σ другой области. Эта характеристика может быть использована для определения, к какой области относится граница, разделяющая две области.
Это один из примеров способа для установления, к какой области относится граница.
Другой способ имеется, например, для сегментации изображения, т.е. поиска границ яркости или цвета на изображении возле переходов между областями и сравнения их с границами между областями, как следует из предыдущего этапа кластеризации.
Используя сегментацию по яркости, могут быть использованы различные способы для нахождения, какая граница принадлежит к какой области. Один способ заключается в просмотре ориентации граней яркости в различных областях рядом с переходом между областями. Граница яркости, соответствующая переходу между областями, определяется исключительно посредством изображения переднего плана, и граница или границы, принадлежащие изображению переднего плана, часто сопровождают переход, т.е. они параллельны переходу. Границы яркости на заднем плане не имеют тенденцию относиться к переходу.
Еще один способ заключается в следующем: изображение сегментируется на основе фокуса, как описано выше, и находятся границы яркости рядом с переходами между областями. Посредством определения границы между областями двумя различными способами, сегментацией яркости и кластеризацией на основе радиуса размытия, может быть установлено, к какой области принадлежит граница. В идеальном случае два определения будут полностью совпадать, но не в данном случае. Было обнаружено, что кластеризация блоков имеет тенденцию в среднем расширять область, которой принадлежит граница, немного дальше границы яркости, поскольку всей границе или по меньшей мере большей части границы присвоен радиус размытия, который принадлежит объекту переднего плана. Поэтому существует небольшой сдвиг в кластеризации, которая расширяет кластеризуемую область для включения границы, принадлежащей упомянутому кластеру. Этот сдвиг не проявляется в случае определения границ, когда принимаются во внимание только различия в яркости, поскольку в сегментации яркости переход между областями вытягивается посередине границы, разделяющей области. Поэтому существует малое различие в определенном расположении границы, поскольку способ кластеризации на основе определения радиуса размытия, как описано выше, имеет тенденцию расширяться через границу кластеризированной области заднего плана для включения в область границы, принадлежащей упомянутой области, тогда как данная тенденция расширяться через границу не имеет места для границ, определенных исключительно на основе сегментации яркости. Чтобы изложить это по-другому, сегментация яркости помещает границу точно в центре перехода яркости, в то время как сегментация кластеризации преувеличивает оценку области переднего плана. Этот эффект также называется морфологическим расширением, т.е. кластеризация слегка расширяет, т.е. увеличивает в размере, форму объекта переднего плана. Эта склонность способа кластеризации прочерчивает границы объекта переднего плана внутри кластера переднего плана. Этот кажущийся негативным эффект может быть обращен в пользу посредством сравнения границы, как она определена сегментацией яркости, с той же границей, как она определена сегментацией посредством радиуса размытия. Это позволяет установить, к каким областям принадлежит граница. Определение радиуса размытия или других в частном определении характеристик фокуса может быть выполнено с использованием альтернативных алгоритмов. Также могут быть использованы альтернативные алгоритмы для кластеризации. В зависимости от используемых алгоритмов, таким образом установленный передний план будет преувеличен или преуменьшен в соответствии с границей, обнаруженной границами яркости. В обоих случаях является возможным определить, к какой области принадлежит граница посредством сравнения областей, определенных сегментацией яркости с областями установленными определением и кластеризацией характеристик фокуса.
Упорядочивание по глубине может быть выполнено просто на основе того, какая область является передним планом, а какая область является задним планом, т.е. может быть использована фиксированная разница в параллаксе для проведения различия областей переднего и заднего плана, или переднего, промежуточного диапазона и областей заднего плана, не зависимо от фактических значений σi.
Предпочтительно оценки радиусов размытия преобразуются в величину глубины или обратной глубины. При заданных упорядочивании по глубине и значениях σ мы можем взять диспаратность размытых объектов в качестве диспаратности объектов в фокусе, т.е. область с самым низким σ плюс постоянная во времени разница в радиусах размытия между передним планом и задним планом.
Где Δσ - разность в σ, K - постоянная и u0 - фокальная плоскость. Если σ очень мало, Δσ равняется σ плоскости не в фокусе. Кластеру с наименьшей величиной размытия присваивается глубина u0; всем остальным кластерам присваивается значение глубины на основе их упорядочивания по глубине по отношению к кластеру с наименьшей величиной радиуса. В случае, когда у нас есть только два кластера, кластер в фокусе и кластер не в фокусе, K-положительна, если задний план находится в фокусе, и отрицательна, если область не в фокусе является задним планом.
Для оценки радиуса размытия единственного изображения константы u0 и К не могут быть восстановлены, для этого нам потребуются множественные изображения с различными фокальными параметрами. Однако, если мы используем отображение глубины для визуализации, большую часть времени отображение глубины транслируется и масштабируется, чтобы подходить к возможностям экрана и предпочтений пользователя. Для автостереоскопического устройства отображения мы можем, например, взять u0 таким способом, что область в фокусе визуализируется в плоскости экрана, для того чтобы иметь максимально резкое изображение. Область не в фокусе может затем быть визуализирована за или впереди экрана, в зависимости от упорядочивания по глубине.
Фиг.7 иллюстрирует способ в соответствии с изобретением. Из входного 2D сигнала формируются блоки изображения на этапе 2, определяются характеристики фокуса блока, например радиус размытия σB, на этапе 3, эти блоки группируются в один или более кластеров на этапе 4. На этапе 6 определяется отношение между границей и областью. Это может быть выполнено напрямую из характеристик фокуса, см. фиг.6, или параллельно, изображение может иметь сегменты яркости и граница изображения, полученная сегментацией яркости (этап 5) сравнивается на этапе 6 с границей, определенной посредством кластеризации, где сравнение результатов приводит к определению, какая граница принадлежит, какой области, и, следовательно, какая область расположена впереди каких областей, т.е. упорядочиванию по глубине областей (этап 7). Глубина определяется из характеристик фокуса (этап 8) в соответствии с предпочтительным вариантом осуществления, которые на данных примерах являются радиусом размытия, подготавливается результирующий выходной 3D сигнал (этап 9).
Фиг.8 иллюстрирует устройство формирования изображения в соответствии с изобретением. Устройство формирования изображения для выполнения всех этапов способа, т.е. вход 1 для приема 2D сигнала, формирователь 2 для формирования блоков изображения, компьютер 3 для вычисления характеристик фокуса блоков, кластеризатор 4 для кластеризации областей изображения на основе фокуса, детектор 5 границ изображения, определитель 6 отношения граница-область, упорядочиватель 7 по глубине и присвоитель 8 информации глубины. Сверх того он содержит выход 9 для вывода 3D сигнала на 3D экран 10 устройства отображения. Такое устройство отображения может быть, например, автостереоскопическим устройством отображения.
Фиг.9 иллюстрирует передатчик в соответствии с изобретением. Разница с фиг.8 состоит в том, что экран устройства отображения не является неотъемлемой частью устройства. Такой передатчик может, например, считывать DVD с 2D сигналом и преобразовывать 2D сигнал в 3D сигнал для использования в 3D устройствах отображения, которые могут продаваться отдельно. Он также может быть устройством, которое создает DVD с 3D сигналами из DVD с 2D сигналом, 3D сигналы могут подаваться на устройство записи DVD, или, например, отправляться в другое место. Сигналы 3D изображения, содержащие информацию о разделении изображения на области и порядок глубины областей и, в предпочтительных вариантах осуществления, также характеристики фокуса различных областей также формируют варианты осуществления изобретения. В заголовке сигнала может быть дана информация, каковой заголовок определяет, какие блоки принадлежат областям, или разделительные линии между областями, порядок областей и предпочтительно также характеристики фокусировки областей, предпочтительно радиус размытия области. 3D сигнал, созданный с использованием способов предшествующего уровня техники, не содержит подобной информации. 3D сигнал в соответствии с изобретением может быть, например, создан следующим образом. Клиент обладает 3D устройством отображения, но при этом 2D цифровой камерой. Пользователь отправляет домашнее 2В видео или цифровое изображение на Интернет-сайт. Исходный 2D сигнал преобразуется в 3D сигнал, который отправляется обратно пользователю, который может отобразить видеосигнал или изображение на своем 3D устройстве отображения.
Вкратце изобретение может быть описано следующим образом.
Данные 2D изображения преобразуются в данные 3D изображения. Изображение разделяется, на основе характеристик фокусировки, на две или более области, определяется, к какой области принадлежит граница, разделяющая две области. Области упорядочиваются по глубине в соответствии с правилом, таким что область, содержащая границу, находится ближе к зрителю, чем соседняя область, и областям присваивается 3D информация глубины в соответствии с установленным порядком глубины областей. Предпочтительно каждой из областей присваивается глубина в зависимости от средней или медианной характеристики фокусировки области.
Изобретение также реализуется в любом компьютерном программном продукте для способа или устройства в соответствии с изобретением. Под компьютерным программным продуктом должна пониматься любая физическая реализация набора команд, дающих возможность процессору общего или специального применения, после ряда загружающих шагов (которые могут включать в себя шаги промежуточного преобразования, такие как перевод на промежуточные языки, и на конечный язык процессора) ввести в процессор команды для исполнения любой из отличительных функций изобретения. В частности, компьютерный программный продукт может быть реализован в качестве данных на носителе, таком как, например, диск или лента, данных, присутствующих в памяти, данных, перемещающихся по сетевому соединению, проводному или беспроводному, или программного кода на бумаге. Кроме программного кода, требуемые программой данные характеристик могут также быть осуществлены в качестве компьютерного программного продукта.
Некоторые из шагов, требуемых для работы способа, могут уже присутствовать в функциональности процессора, вместо того, чтобы быть описанными в компьютерном программном продукте, такие как шаги ввода и вывода данных.
Должно быть отмечено, что вышеупомянутые варианты осуществления скорее иллюстрируют, чем ограничивают изобретение, и что специалисты в данной области техники будут способны сконструировать многочисленные альтернативные варианты осуществления, не выходя из объема прилагаемой формулы изобретения.
В формуле изобретения, любые ссылки на позиции, размещенные в круглых скобках, не должны истолковываться как ограничивающие пункт формулы изобретения.
Слово "содержащий" не исключает присутствия иных элементов или этапов, чем перечисленные в пункте формулы изобретения. Изобретение может быть реализовано посредством аппаратных средств, содержащих несколько отдельных элементов, и посредством подходящим образом запрограммированного компьютера. В пункте формулы изобретения об устройстве, перечисляющем несколько средств, некоторые из этих средств могут быть осуществлены одним и тем же элементом аппаратных средств. Изобретение может быть осуществлено посредством любого сочетания признаков разнообразных различных предпочтительных вариантов осуществления, как описано выше. В частности, отмечено, что любой вариант осуществления, показанный или заявленный по отношению к способу кодирования или кодировщику, имеет, если иное не обозначено или не невозможно, соответствующий вариант осуществления для способа декодирования или декодировщик, и такие способы декодирования и декодировщик являются вариантами осуществления изобретения и настоящим заявлены.
Реферат
Изобретение относится к способу отображения стереоскопического изображения, в котором данные 2D изображения преобразуются в данные 3D изображения и в котором информация фокуса извлекается из данных 2D изображения и используется для генерации данных 3D изображения. Техническим результатом является усовершенствование визуализации 3D изображения, основанного на входном 2D изображении. Указанный технический результат достигается тем, что данные 2D изображения преобразуются в данные 3D изображения. Изображение разделяют, на основе характеристик фокусировки, на две или более области, определяют, к какой области принадлежит граница, разделяющая две области. Области упорядочиваются по глубине в соответствии с правилом, таким что область, содержащая границу, находится ближе к зрителю, чем соседняя область, и областям присваивают 3D информацию глубины в соответствии с установленным порядком глубины областей. Предпочтительно каждой из областей присваивают глубину в зависимости от средней или медианной характеристики фокусировки области. 4 н. и 10 з.п. ф-лы, 12 ил.
