Способ и устройство для определения карты глубины для изображения - RU2721177C2

Чертежи

Описание

Область ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ изобретениЕ

Изобретение относится к способу и устройству для определения карты глубины для изображения, и, в частности, к определению карты глубины на основании множества датчиков глубины.

Предшествующий уровень техники

Воспроизведение и обработка трехмерного изображения стали все более распространенными в последние годы. Это происходит в большой степени из-за разработки трехмерных (3D) дисплеев, которые добавляют третье измерение к варианту обзора посредством предоставления двум глазам зрителя различных видов наблюдаемой сцены. Это может быть достигнуто при наличии у пользователя очков для разделения двух видов, которые отображаются. Однако, поскольку это может считаться неудобным для пользователя, во многих сценариях предпочтительно использовать автоматические стереоскопические дисплеи, которые используют средство в дисплее (такое как ступенчатая линза или барьеры) для разделения видов и посылки их в различных направлениях, где они индивидуально могут достигать глаз пользователя. Для стерео дисплеев требуются два вида, тогда как автоматические стереоскопические дисплеи, как правило, требуют большего количества видов (как, например, девять видов).

Качество представленного трехмерного изображения зависит от качества принятых данных изображения, и, в частности, трехмерное восприятие зависит от качества принятой информации глубины.

Информация трехмерного изображения часто предоставляется посредством множества изображений, соответствующих различным направлениям взгляда для сцены. В частности, видео контент, такой как фильмы или телевизионные программы, все более генерируется для включения в себя некоторой 3D информации. Такая информация может быть захвачена, используя камеры 3D специального назначения, которые захватывают два одновременных изображения со слегка смещенных позиций камеры.

Однако во многих приложениях предоставленные изображения могут не непосредственно соответствовать желаемым направлениям, или могут требовать больше изображений. Например, для автостереоскопических дисплеев требуется больше чем два изображения и в действительности часто используются 9-26 изображений вида.

Для генерирования изображений, соответствующих различным направлениям вида, обработка смены точки обзора (вида) может использоваться. Это, как правило, выполняется посредством алгоритма смещения вида, который использует изображение для единственного направления вида вместе с ассоциированной информацией глубины. Однако для генерирования новых изображений вида без значительных артефактов предоставленная информация глубины должна быть достаточно точной.

К сожалению, во многих приложениях и сценариях использования информация глубины может не быть столь точной, как желаемо.

В то время как трехмерное отображение, основанное на обычных двумерных изображениях, может быть возможно, используя различные способы оценки глубины, они имеют тенденцию быть сложными и неточными и часто требуют ввода данных от человека. Однако, когда контент может все больше и больше захватываться, информация глубины также захватывается. Например, при записи сцены фильма или видео, глубина также записывается для генерирования объединенного выходного сигнала, отражающего как визуальное изображение так и глубину.

Такой захват глубины обычно выполняется, используя датчики глубины, cкомпонованные для оценки характеристик глубины сцены. Известны различные датчики глубины.

Часто используемый подход должен использовать пассивный датчик глубины в форме стереоскопической камеры. Такая стереоскопическая камера может просто делать запись двух изображений, соответствующих двум немного отличающимся направлениям вида. Таким образом, трехмерная сцена может быть захвачена в качестве стерео изображения, используя две камеры в немного отличающихся позициях. Конкретные значения глубины могут затем генерироваться посредством оценки отличий между соответствующими объектами изображения в этих двух изображениях.

Другой подход должен использовать активный датчик глубины. В частности, активные датчики глубины известны как включающие в себя блоки излучения инфракрасного света, которые проецируют шаблон инфракрасного света на записываемую сцену. Инфракрасная камера может затем захватывать инфракрасное изображение и обнаруживать искажения в ожидаемом шаблоне. На основании этих искажений датчик глубины может генерировать информацию глубины.

В еще одном примере активный датчик глубины может содержать блок излучения света, излучающий инфракрасный свет в различных направлениях. Время прибытия для отраженного света в различных направлениях может обнаруживаться и использоваться для получения информации глубины.

Однако, хотя такие датчики глубины могут часто улучшать качество сгенерированной информации глубины по сравнению с оценкой на основании единственного двумерного изображения, они, как правило, также имеют субоптимальную производительность. Обычно, сгенерированная информация глубины не является оптимальной во всех сценариях и, например, сгенерированная карта глубины может содержать некоторые неточные или ошибочные значения глубины. Это может снова привести к артефактам и ухудшенному качеству трехмерного изображения, когда обработка изображения или воспроизведение выполняются на основании этой информации глубины.

Дополнительно, улучшение оценок глубины может часто требовать измененных специальным образом датчиков глубины и датчиков глубины специального назначения для использования. Однако это не является гибким и увеличивает стоимость по сравнению с использованием стандартных или датчиков глубины серийного производства.

Соответственно, улучшенный подход для определения подходящей глубины был бы выгодным и, в частности, подход, обеспечивающий увеличенную гибкость, облегченную реализацию, уменьшенную сложность, улучшенный 3D опыт, улучшенное результирующее воспринятое качество изображения, улучшенную совместимость для использования стандартной функциональности и/или улучшенную генерируемую информацию глубины был бы выгодным.

СУЩНОСТЬ изобретения

Соответственно, изобретение стремится предпочтительно смягчить, облегчить или устранить один или несколько вышеупомянутых недостатков отдельно или в любой комбинации.

В соответствии с аспектом изобретения предоставляется устройство для определения карты глубины для изображения сцены, причем устройство содержит: активный датчик глубины для определения первой карты глубины для изображения, причем первая карта глубины содержит значения глубины для пикселей изображения, определенного посредством активного датчика глубины; пассивный датчик глубины для определения второй карты глубины для изображения, причем вторая карта глубины содержит значения глубины для пикселей изображения, определенного посредством пассивного датчика глубины; блок определения света для определения индикации света для сцены, причем индикация света содержит первую индикацию инфракрасного света, указывающую уровень инфракрасного света для сцены; процессор карты глубины для определения выходной карты глубины для изображения посредством комбинирования первой карты глубины и второй карты глубины, причем процессор карты глубины скомпонован для определения значения глубины для выходной карты глубины в качестве комбинации значений глубины первой карты глубины и второй карты глубины, причем комбинация зависит от первой индикации инфракрасного света; и при этом блок определения света скомпонован для определения индикации видимого света, указывающей уровень света в частотном диапазоне видимого светового спектра, и для оценки первой индикации инфракрасного света из индикации видимого света.

Этот подход может во многих вариантах осуществления позволять генерировать улучшенную карту глубины, которая при использовании для обработки изображения может обеспечивать улучшенное качество. Улучшение может в частности быть значительным, например, когда измененная карта глубины используется для смещения вида изображения и/или при представлении трехмерных изображений на автостереоскопическом дисплее.

Этот подход может во многих приложениях и сценариях предоставлять более надежные и/или точные значения глубины для генерирования. В частности, разработчики поняли, что активные и пассивные датчики глубины могут показывать дополнительную производительность и что комбинация значений глубины, сгенерированных посредством различных типов датчиков и восприятия глубины, может предоставлять улучшенные значения глубины. В частности, разработчики поняли, что использование индикации инфракрасного света, указывающего характеристику света для сцены для управления комбинированием, может обеспечить дополнительное поведение и характеристики различных типов датчиков глубины, которые должны использоваться, чтобы предоставлять улучшенные значения глубины и/или позволять генерировать значения глубины для более широкого диапазона сред сцены и приложений.

Дополнительно, этот подход может обеспечивать облегченную реализацию во многих вариантах осуществления, и может, в частности, во многих вариантах осуществления обеспечивать использование стандартных датчиков глубины или датчиков глубины серийного производства. Этот подход может, например, обеспечивать определение индикации внешнего инфракрасного света, что может достаточно точно отражать, например, внешний инфракрасный свет, а не, например, инфракрасный свет, переданный от устройства (или откуда-нибудь еще) в целях создания активного восприятия глубины. Например, этот подход может во многих вариантах осуществления обеспечивать генерирование индикации внешнего инфракрасного света, не требуя дополнительного оборудования или оборудования специального назначения. В частности, во многих вариантах осуществления это может быть достигнуто, не требуя функциональных средств измерения инфракрасного света специального назначения, в то же время позволяя использовать стандартный датчик глубин, который не предоставляет какую-либо индикацию окружающего света, которая должна использоваться.

Индикация инфракрасного света может, в частности, быть индикацией окружающего инфракрасного света. Эта индикация может указывать уровень инфракрасного света, падающего на устройство (на по меньшей мере один из датчиков), когда инфракрасный свет не испускается в целях активного определения глубины.

Индикация видимого света может указывать характеристику инфракрасного света для сцены, такую как уровень инфракрасного света. Индикация инфракрасного света может, в частности, быть индикацией окружающего инфракрасного света, указывающего характеристику окружающего инфракрасного света. Окружающеий инфракрасный свет может, в частности, соответствовать инфракрасному свету, не являющемуся результатом излучения света от излучателя света активного датчика глубины.

Во многих сценариях индикация внешнего света может быть особенно хорошим индикатором относительной производительности пассивного и активного датчика глубины. Например, она может отражать вероятное отношение сигнал к шуму и таким образом надежность для активного датчика глубины.

Во многих вариантах осуществления блок определения света может оценивать уровень окружающего инфракрасного света в ответ на измеренный уровень света, обнаруженный посредством камеры видимого света.

Во многих вариантах осуществления блок определения света может компоноваться для оценки индикации инфракрасного света из данных изображения с камеры видимого света и из продолжительности захвата камеры видимого света.

Индикация видимого света может конкретно указывать уровень света в частотном диапазоне спектра видимого света.

Карты могут быть полными или частичными картами. Например, первая и или вторая карта глубины может содержать значения глубины для только поднабора пикселей изображения. В некоторых вариантах осуществления каждая из первой и второй карты глубины может содержать значение глубины для каждого пикселя изображения. Некоторые или все значения глубины могут, например, быть совместно используемыми между множественными пикселями. Например, пиксели изображения могут быть разделены на, например, группы 4×4 или 8×8 пикселей, и одно значение глубины может быть предоставлено для каждой группы в этих картах глубины. Карта глубины может иметь одинаковые или различные разрешения. Каждая из карт глубины может иметь одинаковое или отличное разрешение от разрешения изображения.

Значения глубины, содержащиеся в картах глубины, могут быть любым подходящим представлением глубины, таким как конкретное значение координаты (z) глубины, или значение диспарантности, представляющее смещения между изображениями различных направлений вида.

Значения глубины комбинации могут, в частности, включать в себя или состоять из значений глубины, являющихся совмещенными относительно общей системы координат/для направления обычного вида. Комбинируемое значение(ия) глубины (или по меньшей мере некоторые из них) могут, в частности, быть совмещены со значением выходных данных относительно общей системы координат. В частности, выходное первое значение глубины во многих вариантах осуществления может генерироваться в ответ на (или в качестве) комбинации первого значения глубины из первой карты глубины и второго значения глубины из второй карты глубины, причем выходное значение глубины, первое значение глубины и второе значение глубины соответствуют позициям (или являются совмещенными) со ссылкой на общую систему координат/обычное направление вида. Позиции совмещенного выходного значения глубины, первого значения глубины и второго значения глубины могут в картах глубины относится к различным позициям, если карты глубины предназначены для различных направлений вида. Однако значения глубины могут иметь соответствующие позиции для обычного направления вида, и, в частности, они могут быть совмещенными в том смысле, что, если бы их позиции были переданы в общую систему координат, они соответствовали бы одним и тем же позициям. Обычная система координат может, в частности, быть системой координат/направлением вида выходной карты глубины и/или изображения.

В некоторых вариантах осуществления комбинация может быть комбинацией выбора. Таким образом, в некоторых вариантах осуществления процессор карты глубины может быть скомпонован для генерирования глубины для выходного значения карты глубины посредством выбора между (совмещенным) значением глубины первой карты глубины и (совмещенным) значением глубины второй карты глубины в ответ на/в зависимости от индикации света.

Активный датчик глубины может содержать излучатель света, излучающий инфракрасный свет, имеющий характеристику, используемую посредством активного датчика глубины для определения значений глубины для первой карты глубины. Характеристика может, в частности, быть пространственной характеристикой и активный датчик глубины может быть скомпонован для определения значения глубины для первой карты глубины на основании этой пространственной характеристики. Активный датчик глубины может быть скомпонован для определения значений глубины для первой карты глубины на основании предположения, что сцена освещается светом, имеющим предварительно определенную (обычно) пространственную характеристику. Активный датчик глубины может быть скомпонован для определения первой карты глубины в ответ на восприятие сигнала инфракрасного света. Активный датчик глубины может, в частности, определять первую карту глубины в ответ на свойство захваченного инфракрасного света в сравнении со свойством излучаемого инфракрасного света. Например, свойство может быть пространственным шаблоном или свойством времени.

Пассивный датчик скомпонован для определения значений глубины для второй карты глубины без какого-либо предположения предварительно определенной пространственной и/или предварительно определенной характеристики света, освещающего сцену. Пассивный датчик глубины может не содержать излучатель света. Пассивный датчик глубины может компоноваться для определения значения глубины для второй карты глубины только на основании окружающего света.

Индикация света может соответственно во многих вариантах осуществления указывать уровень инфракрасного света для сцены. Индикация света может быть сложной индикацией, содержащей множественные указания и, в частности, индикация света может быть сформирована посредством множества значений с каждым значением, указывающим различную характеристику света, такую как, например, уровни света в различных частотных диапазонах. В качестве конкретного примера, индикация света может содержать индикацию видимого света, указывающую степень или уровень видимого света для сцены, и индикацию инфракрасного света, указывающую степень или уровень инфракрасного света для сцены.

Комбинация может содержать определение значения глубины для выходной карты глубины в ответ на взвешенную комбинацию значений глубины первой карты глубины и второй карты глубины, вес для по меньшей мере одного из значений глубины зависит от первой индикации инфракрасного света.

Это может предоставлять улучшенную карту глубины во многих вариантах осуществления и сценариях. В частности, это может предоставлять более постепенное взвешивание глубин, сгенерированных посредством различных типов датчиков глубины, приводя к более точному значению глубины во многих вариантах осуществления.

В некоторых вариантах осуществления активный датчик глубины может содержать излучатель инфракрасного света и быть скомпонован для генерирования значений глубины для первой карты глубины в ответ на измерения инфракрасного света, и пассивный датчик глубины может содержать по меньшей мере одну камеру видимого света и скомпонован для генерирования значений глубины для второй карты глубины в ответ на измерения видимого света.

Это может обеспечивать генерирование улучшенных значений глубины во многих вариантах осуществления и/или может обеспечивать (автоматическое) генерирование информации глубины по большему диапазону применений и сценариев. В частности, этот подход может использовать дополнительное поведение и характеристики инфракрасного света на основании активных датчиков глубины и датчиков глубины, основанных на захвате изображений в частотном диапазоне видимого света.

В некоторых вариантах осуществления по меньшей мере одна камера видимого света может содержать множество камер света в различных направлениях вида. В частности, пассивный датчик глубины может включать в себя стереоскопическую камеру. В таких вариантах осуществления пассивный датчик глубины может компоноваться для определения значения глубины в ответ на оценку диспарантности между изображениями, захваченными камерами в различных направления вида.

В некоторых вариантах осуществления индикация света может дополнительно содержать индикацию видимого света, и комбинация может быть в ответ на индикацию видимого света.

Это может предоставлять улучшенные значения глубины во многих вариантах осуществления и сценариях. Частотный диапазон может, например, соответствовать полному частотному диапазону видимого света (или может включать в себя его), или может, например, быть только поднабором полного частотного диапазона видимого света.

Во многих вариантах осуществления взвешивание уровней глубины второй карты глубины увеличивается для видимого света, указывая увеличивающийся уровень света.

Индикация видимого света может указывать характеристику видимого света для сцены, такую как уровень видимого света.

Во многих сценариях индикация видимого света может быть, в частности, хорошим индикатором относительной производительности пассивного и активного датчика глубины.

В соответствии с опциональным признаком изобретения, первая индикация инфракрасного света является индикацией окружающего инфракрасного света, указывающей уровень инфракрасного света, когда инфракрасный свет не излучается устройством.

Это может предоставлять улучшенную работу и/или производительность во многих вариантах осуществления. Это может, например, позволять системе приспосабливать генерирование карты глубины для более точного отражения относительной производительности активного датчика глубины. Например, это может обеспечивать оценку и рассмотрение условий помех при выполнении активного восприятия глубины.

В соответствии с дополнительным признаком изобретения блок определения света скомпонован для генерирования индикации видимого света на основании данных от камеры видимого света.

Это может обеспечивать улучшенную производительность во многих вариантах осуществления и/или может уменьшать сложность. Это может во многих системах обеспечивать генерирование индикаций локального света, таким образом обеспечивая более эффективное и локально оптимизированное генерирование значений глубины.

В соответствии с опциональным признаком изобретения данные содержат продолжительность захвата изображения.

Это может обеспечивать улучшенную производительность во многих вариантах осуществления и/или может уменьшать сложность. Это может во многих системах обеспечивать генерирование индикаций локального света, таким образом обеспечивая более эффективное и локально оптимизированное генерирование значений глубины.

Время захвата изображения может, в частности, быть временем срабатывания затвора для камеры и может соответствовать времени интегрирования, за которое свет собирается посредством элемента записи света (например, CCD) камеры.

В соответствии с дополнительной функцией изобретения данные содержат изображение, захваченное камерой видимого света, и блок определения света скомпонован для определения индикации видимого света в ответ на значения данных изображения.

Это может обеспечивать улучшенную производительность во многих вариантах осуществления и/или может уменьшать сложность. Это может во многих системах обеспечивать генерирование индикации локального света, таким образом обеспечивая более эффективное и локально оптимизированное генерирование значений глубины. Этот подход может, например, позволять индикации видимого света отражать уровень света для каждого отдельного пикселя, таким образом обеспечивая оптимизированную комбинацию попиксельно. Этот подход может дополнительно обеспечивать генерирование улучшенной индикации инфракрасного света, поскольку она может основываться на улучшенной индикации видимого света.

В некоторых вариантах осуществления блок определения света скомпонован для определения индикации видимого света в ответ на значения данных изображения и продолжительность захвата изображения.

В некоторых вариантах осуществления индикация видимого света содержит различные значения для различных областей изображения, и блок определения света может компоноваться для генерирования индикации видимого света для первой области изображения в ответ на значения данных изображения, захваченного посредством камеры видимого света в области, соответствующей первой области. Точно так же индикация инфракрасного света может генерироваться для отдельных областей, поскольку они могут основываться на индикациях видимого света, которые отличаются между различными областями.

Это может позволять индикации света отражать локальные характеристики для изображения и карты глубины, и соответственно может обеспечивать локальную оптимизацию генерирования значений глубины. Этот подход может, например, позволять индикации видимого света отражать уровень света для каждого отдельного пикселя, таким образом обеспечивая оптимизированную комбинацию попиксельно.

В соответствии с опциональным признаком изобретения, индикация света содержит вторую индикацию инфракрасного света, определенную в ответ на измерение света в частотном диапазоне спектра инфракрасного света.

Это может предоставлять улучшенные значения глубины во многих вариантах осуществления и сценариях. Частотный диапазон может, например, соответствовать инфракрасному частотному диапазону (или может включать его в себя), или может, например, быть только поднабором инфракрасного частотного диапазона. В частности, комбинация непосредственно измеренного и оцененного уровня инфракрасного света может обеспечивать улучшенную оценку надежности и точности определенных значений глубины для первой карты глубины.

В соответствии с опциональным признаком изобретения, вторая индикация инфракрасного света указывает уровень инфракрасного света, когда сцена освещается для выполнения определения глубины посредством активного датчика глубины.

Это может предоставить улучшенные значения глубины во многих вариантах осуществления и сценариях. В частности, это может обеспечивать более точную оценку надежности активного определения глубины.

В соответствии с опциональной функцией изобретения, первая индикация инфракрасного света указывает уровень инфракрасного света, когда сцена не освещается для выполнения определения глубины посредством активного датчика глубины.

Это может предоставлять улучшенные значения глубины во многих вариантах осуществления и сценариях. В частности, комбинация уровня инфракрасного света, указывающего уровень окружающего света (когда никакой свет не излучается), и индикации света, указывающей уровень инфракрасного света, когда свет излучается в целях активного восприятия глубины, может привести к улучшенной оценке производительности активного восприятия глубины. В частности, это может обеспечивать оценку или приведение к требуемым условиям эффективного сигнала.

В соответствии с опциональной функцией изобретения, процессор карты глубины скомпонован для уменьшения взвешивания значений глубины первой карты глубины относительно значений глубины второй карты глубины для первой индикации инфракрасного света, указывающей увеличивающийся уровень инфракрасного света, и для увеличения взвешивания значений глубины первой карты глубины относительно значений глубины второй карты глубины для второй индикации инфракрасного света, указывающей увеличивающийся уровень инфракрасного света.

Это может предоставлять улучшенные значения глубины во многих вариантах осуществления и сценариях.

В соответствии с опциональном признаком изобретения индикация света содержит индивидуальные значения индикации света для различных областей изображения, и процессор карты глубины скомпонован для объединения значения глубины для каждой отдельной области в ответ на значение индикации света отдельной области.

Это может обеспечивать локальную оптимизацию генерирования значений глубины. Этот подход может, например, позволять индикации видимого света отражать уровень света для каждого отдельного пикселя, таким образом обеспечивая комбинацию, оптимизированную попиксельно.

В соответствии с опциональной функцией изобретения, процессор карты глубины скомпонован для увеличения взвешивания значений глубины второй карты глубины относительно значений глубины первой карты глубины для индикации видимого света, указывающей увеличение уровня видимого света.

Это может предоставлять более точное и/или надежное определение во многих вариантах осуществления.

В некоторых вариантах осуществления процессор карты глубины скомпонован для увеличения взвешивания значений глубины первой карты глубины относительно значений глубины второй карты глубины для индикации видимого света, указывающей увеличение уровня инфракрасного света.

Это может предоставлять более точное и/или надежное определение во многих вариантах осуществления.

В некоторых вариантах осуществления блок определения света скомпонован для оценки индикации инфракрасного света из данных изображения камеры видимого света пассивного датчика глубины. Блок определения света может компоноваться для определения индикации инфракрасного света в ответ на сравнение данных изображения первого поднабора каналов цвета изображения, захваченного посредством камеры видимого света, относительно данных изображения второго поднабора каналов цвета изображения, захваченного посредством камеры видимого света.

Это может предоставлять более точное и/или надежное определение во многих вариантах осуществления. Во многих вариантах осуществления первый поднабор может включать в себя канал красного цвета. Во многих таких вариантах осуществления второй поднабор может включать в себя все каналы не красного цвета. Например, для значений RGB первый поднабор может содержать канал R, и второй поднабор может содержать каналы цвета G и B.

Первый и второй поднаборы являются различными поднаборами, и могут, в частности, (но не обязательно) быть несвязанными поднаборами.

В некоторых вариантах осуществления камера видимого света содержит инфракрасный фильтр ослабления, скомпонованный для более высокого инфракрасного ослабления, по меньшей мере, для одного канала цвета второго поднабора относительно по меньшей мере одного канала цвета первого поднабора.

Инфракрасный фильтр ослабления может, в частности, быть инфракрасным фильтром блокирования. Это может предоставлять более точное и/или надежное определение во многих вариантах осуществления.

В соответствии с дополнительным признаком изобретения, процессор карты глубины скомпонован для определения взвешивания комбинации значений глубины первой карты глубины относительно значений глубины второй карты глубины в ответ как на индикацию видимого света, так и в ответ на индикацию инфракрасного света.

Это может предоставлять более точное и/или надежное определение во многих вариантах осуществления.

В некоторых вариантах осуществления пассивный датчик глубины содержит стерео камеру и скомпонован для определения второй карты глубины из оценки диспарантности, выполненной относительно стерео изображения, сгенерированного посредством стерео камеры, причем устройство дополнительно скомпоновано для определения индикации однородности пространства для стерео изображения и комбинирование зависит от однородности пространства.

Это может предоставлять более точное и/или надежное определение во многих вариантах осуществления.

В некоторых вариантах осуществления пассивный датчик глубины содержит по меньшей мере одну камеру видимого света с автофокусом, и комбинирование является дополнительным в ответ на автофокус камеры видимого света с автофокусом.

Это может предоставлять более точное и/или надежное определение во многих вариантах осуществления.

В соответствии с аспектом изобретения предоставляется способ определения карты глубины для изображения сцены, причем способ содержит: определение первой карты глубины для изображения, причем первая карта глубины содержит значения глубины для пикселей изображения, определенных посредством активного датчика глубины; определение второй карты глубины для изображения, причем вторая карта глубины содержит значения глубины для пикселей изображения, определенных посредством пассивного датчика глубины; определение индикации видимого света, указывающей индикацию уровня света в частотном диапазоне спектра видимого света; оценку индикации инфракрасного света из индикации видимого света; определение индикации света для сцены, причем индикация света содержит индикацию инфракрасного света, указывающую уровень инфракрасного света для сцены; определение выходной карты глубины для изображения посредством комбинирования первой карты глубины и второй карты глубины, причем определение выходной карты глубины содержит определение значения глубины для выходной карты глубины в качестве комбинации значений глубины первой карты глубины и второй карты глубины, причем комбинирование зависит от индикации света; и в котором определение индикации света содержит оценку первой индикации инфракрасного света из индикации видимого света.

Эти и другие аспекты, признаки и преимущества изобретения будут очевидны из и объяснены со ссылками на вариант(ы) осуществления, описанный ниже.

Краткое описание чертежей

Варианты осуществления изобретения описываются только посредством примера со ссылками на чертежи, на которых

ФИГ. 1 является иллюстрацией примера элементов устройства для определения карты глубины в соответствии с некоторыми вариантами осуществления изобретения; и

ФИГ. 2 является иллюстрацией примера элементов устройства для определения карты глубины в соответствии с некоторыми вариантами осуществления изобретения.

Подробное описание

ФИГ. 1 иллюстрирует пример устройства для определения карты глубины для изображения. Устройство, в частности, определяет карту глубины для сцены, которая захватывается в изображении. Захват изображения может, в частности, быть осуществлен посредством отдельной обычной камеры 101 видимого света в том же самом обычном направлении, что и датчики глубины, используемые посредством устройства. Во многих вариантах осуществления камера и датчики глубины могут быть предоставлены как позиционированные близко друг к другу в единственном корпусе. Во многих вариантах осуществления камера, захватывающая изображение, может действительно также быть камерой, которая является частью датчика глубины устройства, т.е. генерирование карты глубины может быть основанным на данных, захваченных камерой, также захватывающей изображение.

Устройство на ФИГ. 1 содержит два датчика глубины различных типов. В частности, устройство содержит как активный датчик 103 глубины, так и пассивный датчик 105 глубины.

Активный датчик 103 глубины скомпонован для определения первой карты глубины для изображения. Первая карта глубины содержит значения глубины для пикселей изображения, которые определяются посредством активного датчика 103 глубины. Активный датчик 103 глубины может таким образом определять значения глубины для карты глубины, где карты глубины отражают оцененную глубину объекта, изображаемого в изображении в заданном пикселе.

Точно так же, пассивный датчик 105 глубины скомпонован для определения второй карты глубины для изображения. Вторая карта глубины содержит значения глубины для пикселей изображения, которые определяются посредством пассивного датчика 105 глубины. Пассивный датчик 105 глубины может, таким образом, определять значения глубины для карты глубины, где карты глубины отражают оцененную глубину объекта, изображаемого в изображении в заданном пикселе.

Карты глубины могут, вероятно, быть частичными картами, т.е. значения глубины необязательно предоставляются для всех пикселей карт глубины и/или изображений. Дополнительно, разрешение карт глубины может отличаться, и дополнительно разрешение одной или двух карт глубины могут отличаться от разрешения изображения. Действительно, во многих вариантах осуществления разрешение карт глубины может быть ниже, чем разрешение изображения.

Активный датчик глубины может выполнять восприятие глубины на основании предположения конкретного освещения сцены. В частности, он может выполнять определение глубины на основании предположения сцены, освещаемой светом, имеющим характеристику (известную/принятую посредством активного датчика глубины). Определение глубины может быть основано на обнаружении или оценке изменения в этой характеристике.

Например, активный датчик 103 глубины может определять значения глубины в ответ на предположение сцены, освещаемой светом, имеющим пространственную характеристику. Глубина может быть определена посредством обнаружения пространственных характеристик света, захваченного из сцены, и сравнения с пространственными характеристиками освещающего света.

Во многих вариантах осуществления активный датчик 103 глубины содержит блок излучения света, который излучает свет, имеющий принятую/пространственную характеристику. Активный датчик 103 глубины может дополнительно содержать световой датчик для захвата света и может определять значения глубины в ответ на сравнение пространственных характеристик захваченного света относительно принятой/известной пространственной характеристики.

В частности, в системе на ФИГ. 1, активный датчик 103 глубины скомпонован для определения значения глубины в ответ на характеристики инфракрасного освещения сцены, и таким образом активный датчик 103 глубины выполняет оценку глубины на основании инфракрасного света. В частности, устройство, и часто сам активный датчик 103 глубины, могут содержать блок излучения инфракрасного света, который излучает оптическое изображение инфракрасного света таким образом, что получается например, спекл-структура или регулярная сетка точек света. Оптическое изображение инфракрасного света попадает на объекты сцены с различных расстояний, и таким образом может, например, вызывать искажение в изображении, которое может обнаруживаться инфракрасной камерой активного датчика 103 глубины и использоваться для оценки глубины для объекта.

Активные датчики глубины предназначаются для использования источника света, который освещает сцену. Этот источник света может быть как пространственно так и временно модулированным. Пример датчика, который использует структурированный источник света (пространственная модуляция), описывается в Z.Zhang, Multimedia Microsoft Kinect Sensor and Its Effect, IEEE, Vol. 19, № 2, pp. 4-10, 2012. Пример временно модулированного источника света, который использует время полета для вычисления глубины, описывается в S. Burak Gokturk, Hakan Yalcin, Cyrus Bamji, A Time-Of-Flight Depth Sensor-System Description, Issues and Solutions, IEEE Computer Vision and Pattern Recognition Workshop, 2004.

Пассивный датчик глубины скомпонован для определения глубины на основании окружающего света и таким образом не включает в себя или не предполагает какую-либо специфичную характеристику света, освещающего сцену. В частности, восприятие глубины может быть основано ни на каком другом предположении о свете, чем то, которое имеет достаточно света для обеспечения (по меньшей мере некоторым) объектам изображения быть дифференцированными в изображениях, захваченных от сцены. В частности, определение может быть выполнено без какого-либо предположения о каком-либо пространственном изменении света, освещающего сцену.

Например, во многих вариантах осуществления, пассивный датчик 105 глубины может содержать две камеры с пространственным смещением, которые захватывают изображения сцены и стремятся определить значения глубины посредством обнаружения объекта по изображениям, сопровождаемым оценкой диспарантности. Обнаружение объекта просто основывается на контенте изображения и сопоставлении объектов между этими двумя изображениями, без рассмотрения конкретной пространственной характеристики света, освещающего сцену.

Пассивные датчики глубины не предназначаются для использования отдельного источника света, но вместо этого, как правило, зависят исключительно от условий окружающего света. Известным способом является оценка диспарантности стерео, где очевидное смещение позиции между объектами в двух камерах пространственного смещения используется для вычисления глубины. Другой известный способ использует единственную камеру, но модифицированную апертуру. Этот способ называется кодированной апертурой и может также использоваться для вычисления глубины.

Некоторые активные датчики глубины могут быть основаны на оценке времени прохождения. Такие подходы, как правило, не используют конкретный шаблон освещения. Вместо этого, такие подходы времени прохождения могут часто быть основаны на источнике света, передающем специфичный импульс света (FM или другой) (и таким образом временный шаблон), и датчик, соответственно конфигурируемый, чтобы быть в состоянии преобразовывать захваченный свет в считывание глубины.

Как правило, активное восприятие глубины основывается на определении глубины, принимая пространственные и/или временные шаблон или характеристики света. Активный датчик 103 глубины может соответственно содержать источник света, генерирующий такие пространственные и/или временные шаблон или характеристики света, и может генерировать карту глубины в ответ на этот шаблон. Действительно, во многих вариантах осуществления устройство может содержать блок излучения инфракрасного света и может компоноваться для генерирования значения глубины для первой карты глубины в ответ на измерения инфракрасного света. Например, сцена может быть освещена инфракрасным светом, который создает инфракрасный шаблон. Этот шаблон отражается посредством объектов и относительные глубины объектов приводят к искажению шаблона. Активный датчик 103 глубины может определять оценки глубины для первой карты глубины в ответ на искажения в шаблоне. В качестве другого примера, может генерироваться инфракрасный сигнал, и время для отражений, которые должны быть приняты обратно на активном датчике 103 глубины, может быть оценено в различных направлениях. Оценки глубины могут затем быть определены в ответ на эти измерения времени прохождения.

В этой системе активный датчик 103 глубины и пассивный датчик 105 глубины подсоединяются к блоку комбинирования/процессору 107 карты глубины. Процессор 107 карты глубины скомпонован для генерирования выходной карты глубины для изображения посредством комбинирования первой карты глубины и второй карты глубины.

В некоторых вариантах осуществления первая и вторая карты глубины могут генерироваться для одного и того же направления вида/с ссылками на одну и ту же систему координат. Как таковые, позиции карты глубины могут сравниваться непосредственно. Таким образом, во многих вариантах осуществления различия точек вида между картами глубины могут быть небольшими (или в действительности карты глубины могут предоставлять одну и ту же точку вида), и позиции на картах глубины могут соответствовать непосредственно друг другу. Таким образом, в некоторых вариантах осуществления пиксель глубины в одной позиции в первой карте глубины и пиксель глубины в той же самой позиции на второй карте глубины могут (быть рассмотрены для) непосредственного коррелирования с одной и той же позицией/направлением в сцене. Таким образом, можно предположить, что значения глубины в одних и тех же позициях пикселей в картах глубины относятся к одному и тому же объекту, и что соответственно они могут непосредственно объединяться.

Однако во многих вариантах осуществления, сгенерированные карты глубины могут ссылаться на различные системы координат/точки вида, т.е. они могут содержать значения глубины, относящиеся к различным точкам вида. В частности, карты глубины могут быть получены из различных пространственных местоположений, и поэтому каждая имеет свою собственную систему координат камеры. В таком случае первая карта глубины и/или вторая карта глубины могут генерироваться из оригинальных карт глубины активных и пассивных датчиков посредством смещения точки вида таким образом, что первая карта глубины и вторая карта глубины предоставляются для одной и той же точки вида. Таким образом, первая карта глубины и вторая карта глубины могут генерироваться из карт глубины датчиков таким образом, что они относятся к одной и той же системе координат, и, таким образом, что значения глубины одних и тех же относительных позициях в первой и второй картах глубины непосредственно сопоставимы и относятся к одним и тем же позициям/объектам на сцене.

Это может, например, быть сделано, используя знание местоположений камеры и предварительной калибровки, используя известный шаблон глубины. Во многих вариантах осуществления регулировка позиции вида между картами глубины может быть достигнута посредством смещения точки вида, применяемого к одной карте глубины таким образом, что у нее имеется та же самая точка вида, что и у другой карты глубины. В качестве другого примера, обе карты глубины могут быть смещены, чтобы иметь ту же самую точку вида, что и камера, генерирующая изображение (которая в действительности может также соответствовать направлению точки зрения для, в частности, карты глубины, сгенерированной посредством пассивного датчика глубины).

В некоторых вариантах осуществления первая карта глубины и вторая карта глубины могут относится к различным точкам вида, например, первая карта глубины и вторая карта глубины могут быть картами глубины, сгенерированными непосредственно активным датчиком 103 глубины и пассивным датчиком 105 глубины, соответственно. В таких вариантах осуществления комбинация может компоноваться для принятия во внимание различий в точках вида. Например, при выборе значения глубины для комбинирования одного выходного значения глубины, комбинация может включать в себя горизонтальное смещение для значения глубины одной из карт глубины относительно другой карты глубины для отражения смещения точки обзора.

Ниже в описании ссылки на позиции в картах глубины могут относится к соответствующим позициям в совместно используемой системе координат. Позиции значений глубины могут, в частности, ссылаться на опорную точку вида, общую для первой карты глубины и второй карты глубины (и для изображения и/или выходной карты глубины).

В частности, соответствующие или совмещенные позиции могут ссылаться на одинаковые позиции пикселей в первой карте глубины и второй карте глубины для сценариев, где на них ссылаются посредством одной и той же точки вида/системы координат. В сценариях, где первая карта глубины и вторая карта глубины ссылаются на различные системы координат или точки вида (обзора), они могут относится к различным позициям пикселей в картах глубины, которые соответствуют одной и той же позиции в совместно используемых системе координат/точки вида.

Нижеследующее обсуждение будет для краткости и ясности фокусироваться на вариантах осуществления, где первая карта глубины и вторая карта глубины ссылаются на одну и ту же систему координат/точкувида, и где одна и та же позиция в картах глубины соответственно ссылается на одни и те же позиции/направления/линии взгляда на сцене. Однако, должно быть оценено, что это не важно для системы и что компенсация для различных систем координат могут быть приняты в других вариантах осуществления.

Процессор 107 карты глубины скомпонован для определения значения глубины в заданной позиции в выходной карте глубины посредством объединения значений глубины в соответствующих позициях, в соответственно первой и второй картах глубины, и таким образом, в частности, в одну и ту же позицию в совместно используемой системе координат. Таким образом, выходная карта глубины может генерироваться посредством комбинирования карт глубины, сгенерированных соответственно активным датчиком 103 глубины и пассивным датчиком 105 глубины. Выходная карта глубины соответственно может включать в себя значения глубины, которые имеют вклады как от активного, так и от пассивного восприятия глубины.

Комбинация может в некоторых вариантах осуществления быть комбинированием выбора низкой сложности, где, например, значение глубины для заданной позиции выходной карты глубины генерируется как в качестве значения глубины в этой позиции на первой карте глубины, так и в качестве значения глубины в этой позиции на второй карте глубины.

В других вариантах осуществления значение глубины для заданной позиции выходной карты глубины может, например, быть сгенерированным в качестве взвешенной комбинации значения глубины в этой позиции на первой карте глубины и значения глубины в этой позиции на второй карте глубины. Таким образом, значения глубины выходной карты глубины могут включать в себя вклады значений глубины как из первой карты глубины, так и из второй карты глубины.

В этой системе упомянутая комбинация зависит от индикации света, которая указывает характеристику света для сцены, и, в частности, уровень света для сцены. Уровень света может отражать величину или интенсивность света. Уровень света может быть в частотном диапазоне. Например, уровень видимого света может быть мерой величины электромагнитного излучения на датчике в частотном диапазоне видимого спектра (соответствующего частотному диапазону, который является видимым людям). Уровень видимого света может в некоторых вариантах осуществления быть мерой величины электромагнитного излучения, падающего на датчик в поддиапазоне видимого спектра. Например, уровень видимого света может отражать величину или интенсивность света в заданном цветовом диапазоне. Уровень видимого света может быть мерой величины электромагнитного излучения, падающего на датчик в частотном диапазоне инфракрасного спектра.

Индикация света, в частности, содержит первую индикацию инфракрасного света, которая указывает характеристику инфракрасного света в сцене. В частности, индикация инфракрасного света указывает уровень инфракрасного света в сцене, и, в частности, инфракрасного освещения сцены.

Таким образом, характеристика света может, в частности, быть уровнем инфракрасного света, и таким образом, индикация света может во многих вариантах осуществления содержать индикацию инфракрасного света, которая указывает уровень инфракрасного света для сцены. Индикация инфракрасного света может указывать степень инфракрасного освещения сцены (например, окружающего или источниками света специального назначения). Индикация инфракрасного света может обеспечивать индикацию количества света, который достигает устройства от сцены, и, в частности, может быть мерой или оценкой количества инфракрасного света (например, в заданном спектре частоты), который достигает одного или двух датчиков глубины.

Соответственно, устройство определения глубины согласно ФИГ. 1 содержит блок 109 определения света, который скомпонован для определения индикации света для сцены, где индикация света содержит первую индикацию инфракрасного света, которая указывает характеристику или свойство инфракрасного света для сцены, и, в частности, указывает уровень инфракрасного света для сцены. Блок 109 определения света подсоединяется к процессору 107 карты глубины, на который подают индикацию света, которая затем используется для адаптации комбинации первой и второй карт глубины.

В этой системе блок 109 определения света скомпонован для оценки первой индикации инфракрасного света из индикации видимого света, которая определяется для частотного диапазона в спектре видимого света. В частности, блок 109 определения света может измерять уровень видимого света (в подходящем частотном диапазоне в спектре видимого света) и может затем оценивать уровень инфракрасного света (в подходящем частотном диапазоне в спектре инфракрасного света) из этого видимого света. Этот оцененный уровень света может затем использоваться в качестве индикации инфракрасного света, и в действительности может использоваться непосредственно в качестве индикации света. Таким образом, в некоторых вариантах осуществления индикация света может только содержать единственный параметр, а именно, индикацию инфракрасного света.

Таким образом, в этой системе комбинация значений глубины первой карты глубины и второй карты глубины зависит от первой индикации инфракрасного света, которая определяется как оцененная на основании индикации видимого света, определенного для частотного диапазона спектра видимого света.

Первая индикация инфракрасного света может, в частности, указывать свойство, и обычно уровень, инфракрасного света сцены во время, когда никакое инфракрасное освещение не обеспечивается для определения глубины, например, в то время, когда инфракрасный шаблон не передается, и инфракрасные сигналы не генерируются в течение времени измерений прохождения. Вместо этого, первая индикация света может предоставлять индикацию уровня инфракрасного света для сцены во время, когда активный датчик глубины не активен (или вместо этого инфракрасное освещение для восприятия глубины не активно). Первая индикация инфракрасного света будет соответственно также называться индикацией окружающего света.

Индикация окружающего света может, в частности, отражать количество окружающего инфракрасного света, присутствующего в захватываемой сцене. Например, для наружной сцены пляжа или побережья в сильном солнечном свете, количество инфракрасного света обычно высоко, и это может быть отражено в индикации окружающего света. Напротив, для внутренней сцены, например, гостиной, индикация инфракрасного света может быть относительно низкой. В этих двух ситуациях инфракрасный свет, который генерируется активным датчиком при выполнении восприятия глубины и который отражается обратно на активный датчик 103 глубины от объекта переднего плана (например, человека), может быть одним и тем же. Однако в таком случае индикация окружающего света может отражать уровень окружающего инфракрасного света, а не отраженный инфракрасный свет.

Индикация окружающего света может, например, во многих сценариях рассматриваться как отражающая помехи для активной оценки глубины, которая основывается на сцене, активно освещаемой инфракрасным светом. Например, в некоторых вариантах осуществления активный датчик 103 глубины может передавать инфракрасный шаблон с оценкой глубины, определяемой в ответ на обнаруженные искажения этого шаблона, при отражении объектами на сцене. Однако, если есть высокий уровень окружающего инфракрасного света (например, из-за большого количества солнечного света), оценка глубины может быть менее точной, поскольку может быть более трудно обнаружить конкретный шаблон по яркому инфракрасному изображению. Однако, определение индикации инфракрасного света в ответ на видимый свет предоставляет оценку этого окружающего света, и это может соответственно использоваться для приспособления комбинации, чтобы отражать степень инфракрасного окружающего света.

Этот подход оценки (окружающего) инфракрасного света на основании измерений в видимом световом спектре, как было обнаружено, приводит к точной оценке во многих обычных сценариях. Дополнительно, этот подход позволяет основывать определение на данных, измерениях и/или функциональности, которая часто присутствует для других целей. Например, она может основываться на стандартном датчике света и/или на данных, выданных посредством камеры видимого света, такой как используется для пассивного определения глубины. Обычно инфракрасные пассивные датчики глубины, такие как инфракрасная камера глубины, не выдают никакой информации относительно инфракрасной среды. Действительно, обычные инфракрасные активные датчики глубины в лучшем случае предоставляют индикацию света, которая отражает уровень инфракрасного света, когда восприятие глубины выполняется, т.е. когда сцена освещается посредством активного инфракрасного сигнала. Такой инфракрасный датчик/камера не позволяют обеспечить дифференцирование между желаемым и интерферирующим светом, т.е. он не позволяет эффективно оценивать отношение сигнала к шуму для определения глубины. Во многих вариантах осуществления блок 109 определения света содержит датчик видимого света, который скомпонован для измерения уровня видимого света от сцены.

В качестве более простого примера блок 109 определения света может содержать фото датчик, который просто измеряет полный уровень света для сцены, т.е. он может просто измерять уровень падающего света на фото датчик, и это измерение может использоваться для определения индикации света. Фото датчик может компоноваться для измерения полного уровня видимого света и может таким образом выдавать хорошую индикацию, например, захвачено ли текущее изображение для сцены, отражающее яркий наружный солнечный свет, сумерки, внутреннюю затемненную комнату и т.д. Дополнительно, индикация инфракрасного света может быть определена из индикации видимого света. Например, коэффициент пропорциональности может использоваться таким образом, что инфракрасный уровень рассматривается как предварительно определенная часть определенного уровня видимого света.

В действительности во многих вариантах осуществления уровень инфракрасного света может быть определен в качестве монотонно возрастающей функции измеренного уровня видимого света. Эта функция может обычно быть предварительно определенной функцией. Например, в варианте осуществления с низкой сложностью индикация инфракрасного света может быть задана в качестве уровня инфракрасного света, оцененного в качестве предварительно определенной доли измеренного уровня видимого света.

В таком сценарии процессор 107 карты глубины может компоноваться для комбинирования первой карты глубины и второй карты глубины на основании этой индикации полного уровня инфракрасного света.

Например, когда индикация света указывает, что сцена очень яркая, значения глубины из второй карты глубины, т.е. значения глубины, сгенерированные посредством пассивного датчика 105 глубины, могут быть взвешены очень высоко, тогда как значения глубины первой карты глубины, т.е. от активного датчика 103 глубины, могут иметь малое взвешивание. Если вместо этого индикация света указывает, что сцена очень темная, значения глубины из первой карты глубины, т.е. значения глубины, сгенерированные посредством активного датчика 103 глубины, могут быть взвешены очень высоко, тогда как значения глубины из второй карты глубины, т.е. от пассивного датчика 105 глубины, имеют низкие веса. Дополнительно, в некоторых вариантах осуществления выборочное комбинирование может использоваться, при котором процессор 107 карты глубины выбирает значения глубины первой карты глубины, когда индикация света указывает на уровень света ниже заданного порога, и значения глубины второй карты глубины, когда индикация света указывает, что уровень света выше заданного порога.

Такой подход может таким образом отражать, что, когда уровень видимого света является высоким, вероятно, что пассивный датчик глубины (например, стерео камера видимого света) может работать в облегченных условиях. В то же время уровень инфракрасного света может быть очень высоким (например, он может указывать яркий солнечный свет, который вызывает яркое освещение и в видимом и в инфракрасном диапазоне). Таким образом, хотя сцена может обеспечивать высокое инфракрасное отражение и таким образом яркий шаблон отраженного инфракрасного света (или другой сигнал) от активного освещения, присутствие высокого уровня окружающего инфракрасного света может привести к тому, что обнаружение шаблона отношения сигнала к шуму является очень низким, и таким образом к относительно неточному активному определению глубины. Напротив, для низкого видимого света пассивный датчик глубины является нежелательным для хорошего результата, тогда как активный датчик глубины может работать хорошо, поскольку нет никаких помех для генерирования активного инфракрасного света из окружающего инфракрасного света.

Система может соответственно динамично комбинировать значения глубины от активного датчика 103 глубины и пассивного датчика 105 глубины на основании освещения сцены. Это может существенно улучшать сгенерированную карту глубины и может, в частности, предоставлять устройство определения глубины, которое может обеспечивать применимые карты глубины для значительно большего диапазона сред захвата.

Во многих вариантах осуществления устройство и, в частности, активный датчик 103 глубины, могут содержать блок излучения инфракрасного света и могут компоноваться для генерирования значения глубины для первой карты глубины в ответ на измерения инфракрасного света. Дополнительно, пассивный датчик 105 глубины может содержать по меньшей мере одну камеру видимого света и компоноваться для генерирования значения глубины для второй карты глубины в ответ на измерения видимого света. В частности, пассивный датчик 105 глубины может содержать стерео камеру с двумя пространственно смещенными камерами, захватывающими видимый свет для генерирования изображения.

ФИГ. 2 иллюстрирует пример такого варианта осуществления.

В этом примере пассивный датчик 105 глубины содержит блок 21 излучения инфракрасного света, который излучает инфракрасный свет и который, в частности, излучает шаблон инфракрасного света. Пассивный датчик 105 глубины дополнительно содержит инфракрасную камеру 203, которая скомпонована для захвата инфракрасного света со сцены, и которая, в частности, может записывать шаблон излучаемого света в качестве отраженного от объектов сцены.

Инфракрасная камера 203 подсоединяется к первому процессору 205 глубины, который скомпонован для генерирования значения глубины для первой карты глубины на основании изображения, принятого из инфракрасной камеры 203.

Например, первый процессор 205 глубины может компоноваться для определения значений глубины для различных частей изображения в ответ на сравнение обнаруженного шаблона инфракрасного света со знанием проецированного шаблона. Таким образом, искажения и отклонения в шаблоне могут использоваться для определения значений глубины. В качестве другого примера, камера 203 инфракрасного света может быть стере камерой, и первый процессор 205 глубины может компоноваться для определения значения глубины из оцененных различий соответствующих частей шаблона в этим двух изображениях, сгенерированных посредством камеры 203 инфракрасного света.

Пассивный датчик 105 глубины содержит стерео камеру, которая скомпонована для захвата сцены в двух одновременных изображениях с различных направлений вида. В этом примере стере камера содержит две пространственно смещенные камеры видимого света, из которых одна камера 101 также выдает изображение, для которого определяется карта глубины. Таким образом, изображение, захваченное первой камерой 101 (соответствующей камере 101 видимого света на Фиг. 1), не является только выведенным изображением, для которого карта глубины генерируется, но также используется посредством пассивного датчика 105 глубины для определения второй карты глубины. В этом примере стерео камера дополнительно содержит вторую камеру 207 видимого света, захватывающую изображение в то же время, что и первая камера 101. Эти две камеры могут быть идентичными пространственно смещенными камерами.

Изображения, захваченные двумя камерами 101, 207 видимого света, подаются на второй процессор 209 глубины, который скомпонован для генерирования значения глубины для изображения от первой камеры 101 посредством оценки диспарантности между двумя принятыми изображениями. Второй процессор 209 глубины может, в частности, стремиться определить соответствующие объекты изображения в этих двух изображениях и определять глубину для такого объекта из относительного смещения в позиции объектов изображения в этих двух изображениях, т.е. из диспарантности. Таким образом, определение глубины пассивного датчика 105 глубины не основывается на конкретных предположениях или знаниях освещения сцены.

В отличие от активного датчика 103 глубины, который выполняет определение глубины на основании активного освещения сцены, пассивный датчик 105 глубины определяет глубину на основании окружающего освещения сцены.

В некоторых вариантах осуществления блок 109 определения освещения может содержать датчик 211 света, который просто измеряет общий полный уровень света для сцены.

Во многих вариантах осуществления измеренный свет может быть мерой уровня видимого света в сцене. Таким образом, индикация света может включать в себя индикацию инфракрасного света, определенную на основании индикации видимого света, и, в частности, на основании измерения видимого света. Во многих вариантах осуществления индикация света может дополнительно включать в себя индикацию видимого света, т.е. индикация света может быть сложной индикацией света, содержащей как индикацию видимого света, так и индикацию инфракрасного света.

Индикация видимого света может быть определена для частотного диапазона спектра видимого света. Этот частотный диапазон может содержать весь спектр видимого света или может, например, быть только поддиапазоном спектра видимого света. Во многих вариантах осуществления датчик 211 света может просто быть датчиком, который имеет повышенную чувствительность к видимому свету, чем к свету за пределами видимого спектра, и соответственно может обеспечивать измерение света, которое отражает освещение видимым светом сцены, т.е. он может автоматически выдавать индикацию видимого света.

Процессор 107 карты глубины может комбинировать первую и вторую карты глубины на основании индикации света. В качестве примера, процессор 107 карты глубины может выбирать первую карту глубины, если индикация света указывает, что уровень окружающего инфракрасного света ниже заданного уровня, и может выбирать вторую карту глубины в ином случае. Во многих вариантах осуществления выборочная комбинация может быть выполнена посредством выбора одной из карт глубины в ответ на то, выше или ниже порога индикация окружающего инфракрасного света.

В других вариантах осуществления выходные значения глубины могут генерироваться взвешенной комбинацией значений для первой и второй карт глубины, где взвешивание зависит от индикации окружающего инфракрасного света. В частности, выходные значения глубины могут вычисляться, в качестве взвешенного суммирования значений глубины первой и второй карты глубины, например:

где d₁(x, y) и d₂(x, y) являются значениями глубины первой и второй карты глубины в позиции x и y соответственно, и α является индикацией видимого света, выданной в качестве нормализованного (в интервале [0; 1]) значения, указывающего количество обнаруженного видимого света (с более высокими значениями, указывающими более высокие уровни света).

Во многих системах, таких как описаны выше, взвешивание уровней глубины второй карты глубины относительно уровней глубины первой карты глубины увеличивается для индикации окружающего инфракрасного света, указывающей увеличивающийся уровень инфракрасного света. Например, можно предположить, что количество излучаемого инфракрасного света, который отражается, является относительно постоянным. Это количество окружающего инфракрасного света может соответственно непосредственно использоваться в качестве отношения сигнала к шуму для активного датчика 103 глубины. Это может быть отражено в вышеупомянутой комбинации. Чем выше уровень окружающего инфракрасного света, тем ниже отношение сигнала к помехам или шуму для захваченного инфракрасного изображения активным датчиком 103 глубины, и таким образом ниже взвешивание значений первой карты глубины.

В некоторых вариантах осуществления блок 109 обнаружения света может определять индикацию света для дополнительного включения второй индикации инфракрасного света в сцене, когда сцена освещается для активного определения глубины, и, в частности, уровня инфракрасного света в сцене, когда она освещается посредством устройства. Такая индикация будет дополнительно называться активной индикацией инфракрасного света. Таким образом, индикация света может содержать активную индикацию инфракрасного света.

Действительно, активная индикация инфракрасного света может рассматриваться как индикация инфракрасного ʺсигналаʺ (или сигнала плюс помехи) для активного определения глубины, и индикация окружающего инфракрасного света может рассматриваться как индикация помех для активного определения глубины. Скомбинированная информация, предоставленная посредством активной индикации инфракрасного света и индикации окружающего инфракрасного света, может таким образом обеспечивать очень хорошую индикацию выполнения восприятия глубины активного датчика 103 глубины (она указывает отношение сигнал к помехам). Соответственно, комбинация первой и второй карт глубины может быть в ответ на как индикацию окружающего инфракрасного света, так и в ответ на активную индикацию инфракрасного света.

Активная индикация инфракрасного света может быть определена для частотного диапазона спектра инфракрасного света, и, в частности, посредством прямого измерения инфракрасного света в спектре инфракрасного света в течение времени, когда сцена освещается, и как правило в течение времени, когда активное определение глубины фактически выполняется. Частотный диапазон может содержать весь спектр инфракрасного света, или может, например, быть только поддиапазоном спектра инфракрасного света. Во многих вариантах осуществления датчик 211 света может быть или включать в себя инфракрасный датчик, который имеет увеличенную чувствительность к инфракрасному свету, чем к свету за пределами инфракрасного спектра, и соответственно может обеспечивать измерение света, которое отражает освещение инфракрасным светом сцены, т.е. он может автоматически обеспечивать индикацию инфракрасного света.

Процессор 107 карты глубины может комбинировать первую и вторую карты глубины на основании как индикации окружающего инфракрасного света, так и активной индикации инфракрасного света. В качестве примера, процессор 107 карты глубины может выбирать первую карту глубины, если отношение между активной индикацией инфракрасного света и индикацией окружающего инфракрасного света выше заданного уровня, и, иначе, может выбирать вторую карту глубины.

В других вариантах осуществления выходное значение глубины могут генерироваться посредством взвешенной комбинации значений для первой и второй карт глубины, где взвешивание зависит как от активной индикации инфракрасного света, так и от индикации окружающего инфракрасного света. В частности, выходное значение глубины может вычисляться как взвешенное суммирование значений глубины первой и второй карт глубины, например:

где d₁(x, y) и d₂(x, y) являются значениями глубины первой и второй карты глубины в позиции x и y соответственно, и β является значением, сгенерированным на основании как активной индикации инфракрасного света так и индикации окружающего инфракрасного света (например, разность или отношение между ними), является нормализованным (в интервале [0; 1]) значением, указывающим отношение сигнал инфракрасного света к шуму.

Во многих системах, таких как описаны выше, взвешивание значений глубины первой карты глубины относительно значений глубины второй карты глубины увеличивается для индикации инфракрасного света, указывающей увеличивающийся уровень активного уровня инфракрасного света относительно уровня окружающего инфракрасного света. В то же время, взвешивание уровней глубины первой карты глубины относительно уровней глубины второй карты глубины может быть уменьшено для индикации инфракрасного света, указывающей увеличивающийся уровень индикации окружающего инфракрасного света. Такойподход может обеспечивать эффективный ответ на изменения в эффективном сигнале относительно помех для активного определения глубины. Например, процессор 107 карты глубины может компоноваться для определения разности индикации инфракрасного света, например, посредством вычитания индикации окружающего инфракрасного света из активной индикации инфракрасного света. Вес(а) для первой карты глубины, т.е. для значений глубины, определенных посредством активных датчиков 103 глубины, может затем быть определен как монотонно возрастающая функция этой индикации разности (и вес(а) для второй карты глубины как монотонно уменьшающаяся функция этой индикации разности).

Подход, в котором комбинация основывается как на активной индикации инфракрасного света так и индикации окружающего инфракрасного света, может обеспечивать, в частности, эффективную работу во многих вариантах осуществления. В частности, он может во многих применениях обеспечивать использование существующего стандартного оборудования. Действительно, самые общедоступные активные датчики глубины обеспечивают индикацию уровня инфракрасного света, когда восприятие глубины выполняется, т.е. многие существующие активные датчики глубины, такие как основанные на инфракрасном излучении камеры, могут непосредственно обеспечивать индикацию ситуации активного света. Эти данные могут непосредственно использоваться в качестве активной индикации инфракрасного света, или такая активная индикация инфракрасного света может быть определена из ни х.

Однако комбинация, основывающаяся только на такой информации, может быть неэффективной во многих сценариях. Например, при очень ярком солнечном свете уровень окружающего света обычно очень высок. Таким образом, когда сцена освещается посредством активного светочувствительного датчика, и выполняется активное восприятие глубины, полный уровень инфракрасного света является очень высоким, и это будет отражено посредством активного датчика глубины, указывающего на высокий уровень. Однако для устройства невозможно определить, является ли такой высокий уровень инфракрасного света следствием преимущественных условий отражений высокого уровня или являются указывающим на плохое состояние из-за высокого уровня световых помех. Таким образом, посредством выполнения комбинации, основываясь только на этой активной индикации инфракрасного света, риск ошибочной или, по меньшей мере, субоптимальной комбинации, приводящей к ухудшенной карте глубины, является высоким. К сожалению, никакая другая информация обычно не доступна от обычного стандартного активного датчика глубины.

Однако в описанной системе индикация окружающего инфракрасного света дополнительно генерируется, и, в частности, генерируется в течение времени, когда освещение сцены не выполняется для выполнения и активного восприятия глубины. Это позволяет системе различать различные сценарии, описанные в предыдущем параграфе, и соответственно позволяет улучшить комбинацию. Дополнительно, индикация окружающего инфракрасного света определяется на основании измерений видимого света, которые, как правило, генерируются посредством функциональности, которая уже является доступной. В частности, индикация окружающего инфракрасного света может быть определена на основании пассивного датчика 105 глубины, который, например, может быть камерой видимого света. Таким образом, улучшенная комбинация может быть достигнута, приводя к улучшенной генерируемой карте глубины. Кроме того, это может быть достигнуто благодаря стандартной функциональности, и в действительности, датчикам глубины (и активному и пассивному) серийного производства.

Во многих вариантах осуществления устройство может компоноваться для генерирования индикации света для содержания как индикации видимого света так и одной или более индикаций инфракрасного света. Например, датчик 209 света может компоноваться для измерения света в частотном диапазоне видимого светового спектра и оценки света в частотном диапазоне спектра инфракрасного света из этого видимого света, т.е. он может определять как индикацию видимого света, так и индикацию окружающего инфракрасного света. Дополнительно активный датчик 103 глубины может определять активную индикацию инфракрасного света.

Индикация света может генерироваться для содержания множества значений, где одно указывает уровень света в частотном диапазоне видимого света, другое указывает уровень света в инфракрасном частотном диапазоне, когда инфракрасное освещение восприятия глубины не выполняется, и другое значение указывает уровень света в инфракрасном частотном диапазоне, когда инфракрасное освещение восприятия глубины выполняется. Таким образом, индикация света может включать в себя как индикацию видимого света, активную индикацию инфракрасного света, так и индикацию окружающего инфракрасного света.

Таким образом, во многих вариантах осуществления индикация света может содержать как индикацию видимого света, так и индикацию инфракрасного света, где индикация видимого света имеет более высокую зависимость от свойств света в видимом частотном диапазоне, чем индикация инфракрасного света, и индикация инфракрасного света имеет более высокую зависимость от свойств света в инфракрасном частотном диапазоне, чем индикация видимого света.

В таких вариантах осуществления комбинация может дополнительно зависеть как от индикации видимого света, так и от индикации инфракрасного света. Например, оба значения могут быть сравнимы с порогами, и подход комбинирования может быть регулируемым соответственно.

Например, (предполагая, что индикации задаются в качестве единственного значения, которое имеет увеличивающееся значение для увеличивающегося уровня света), если индикация видимого света выше первого порога и индикация инфракрасного света ниже второго порога, вторая карта глубины может использоваться. Если индикация видимого света ниже первого порога, а индикация инфракрасного света выше второго порога, первая карта глубины может быть выбрана. Для других значений индикации инфракрасного света и индикации видимого света выходная карта глубины может генерироваться посредством усреднения значений глубины первой карты глубины и второй карты глубины.

В качестве другого примера, взвешенная комбинация, основанная на индикации видимого света и индикации окружающего инфракрасного света, может использоваться процессором 107 карты глубины. В качестве конкретного примера, выходные значения глубины могут быть вычислены как:

Должно быть оценено, что множество других уравнений и функций могут использоваться для выполнения взвешенных комбинаций в различных вариантах осуществления, и что множество других уравнений и функций могут использоваться для определения отдельных весов в зависимости от предпочтений и требований отдельного варианта осуществления.

Устройство может генерировать выходную карту глубины, которая является более точной во многих сценариях. В частности, устройство может быть подходящим для определения карт глубины в более широком наборе рабочих сценариев. Действительно, разработчики распознали, что генерирование улучшенной карты глубины и адаптация к сценарию исполнения могут быть достигнуты посредством комбинирования активного восприятия глубины с пассивным восприятием глубины на основании характеристик света для сцены.

Устройство на ФИГ. 2 обеспечивает гибридную систему, в которой как активное восприятие глубины с источником инфракрасного света, так и пассивная стерео камера (оценка диспарантности) комбинируются для обеспечения улучшенной работы, посредством использования характеристик способов, используемых для восприятия глубины. Эта система будет в большинстве сценариев существенно выигрывать у обычных систем, основанных как на активном восприятии глубины, так и на пассивном восприятии глубины.

Во многих вариантах осуществления, описанных выше, индикация света генерируется по меньшей мере частично на основании измерений от датчика света специального назначения. Однако, во многих вариантах осуществления система может использовать данные от одной или обеих камер для генерирования индикации света. В частности, во многих вариантах осуществления блок 109 определения света может быть подсоединен к камере 101 и компоноваться для генерирования индикации света (и, в частности, индикации окружающего инфракрасного света) в ответ на эти данные.

Как описано, первая камера 101 является камерой видимого света, которая также используется для генерирования выходного изображения, и действительно, выходное изображение также используется пассивным датчиком 105 глубины для диспарантности глубины. Однако, должно быть оценено, что камера, используемая для генерирования индикации света, не должна также использоваться для генерирования выходного изображения или использоваться в качестве части пассивного определения глубины. Тем не менее, во многих вариантах осуществления уменьшение сложности и синергетический эффект использования одной и той же камеры для множественных целей могут быть очень выгодными. Например, это может обеспечивать, что индикация света обеспечивает очень точное отражение света, захваченного в изображении, используемом для восприятия глубины, и таким образом, обеспечивать очень точную индикацию выполнения восприятия глубины, которое может быть достигнуто на основании этого изображения. Это может дополнительно обеспечивать захват полного видимого спектра, что может обеспечивать преимущественную индикацию окружающего инфракрасного света.

Первая камера 101 является в системе на ФИГ. 2 камерой видимого света, и соответственно, данные от этой камеры используются для генерирования индикации видимого света. То есть, она используется для генерирования индикации инфракрасного света.

В некоторых вариантах осуществления глобальная индикация видимого света может генерироваться, и, в частности, единственное значение, указывающее уровень видимого света, может генерироваться.

В некоторых вариантах осуществления индикация видимого света, и таким образом, индикация окружающего инфракрасного света, могут генерироваться в ответ на установку параметров/значения экспозиции, используемых посредством первой камеры 101 при захвате изображения.

В частности, в некоторых вариантах осуществления индикация видимого света может генерироваться в ответ на продолжительность захвата изображения, используемого посредством первой камеры 101 при захвате изображения. Продолжительность захвата изображения может, например, быть определенной на основании времени интегрирования для датчика изображения первой камеры, собирающей свет. Таким образом, в частности, индикация видимого света может генерироваться на основании времени затвора для камеры, и действительно может в некоторых вариантах осуществления генерироваться непосредственно в качестве времени затвора.

Точно так же, в некоторых вариантах осуществления индикация видимого света может генерироваться в ответ на апертуру, используемую посредством первой камеры 101, при захвате изображения. Апертура может, например, быть выданной на блок 109 определения света в качестве значения диафрагмы, указывающего открытие линзы.

Во многих вариантах осуществления блок 109 определения света может компоноваться для определения индикации видимого света в качестве функции и продолжительности захвата и апертуры. Например, он может содержать таблицу просмотра, которая для различных комбинаций времен затвора и апертур обеспечивает значение уровня света, которое может использоваться в качестве индикации видимого света.

Такие подходы могут, в частности, подходить для камер, использующих функциональность автоматической экспозиции. Такие подходы могут стремиться регулировать апертуру, время затвора или для генерирования изображения, имеющего заданную экспозицию, такое как, например, среднюю экспозицию для изображения. Затвор и апертура, которые выбираются, могут соответственно обеспечивать хорошую индикацию полного уровня света сцены.

В некоторых вариантах осуществления индикация видимого света может, альтернативно или дополнительно, быть определена в ответ на значения данных изображения захваченного изображения (например, выходного изображения или изображения, используемого для восприятия глубины).

В частности, индикация видимого света может быть определена в ответ на значения пикселей захваченного изображения.

В некоторых вариантах осуществления глобальная индикация видимого света может генерироваться для использования для всего изображения. Например, блок 109 определения света может компоноваться для определения среднего пиксельного значения и использования его в качестве индикации видимого света.

В некоторых вариантах осуществления данные изображения могут быть скомбинированы со значениями экспозиции, т.е. со временем захвата и/или апертурой. Например, на основании времени затвора и значения диафрагмы, блок 109 определения света может выполнять поиск по таблице преобразования для определения начальной оценки уровня света. Это значение может затем быть умножено на среднее пиксельное значение (например, нормализованное к диапазону [0; 1]) для обеспечения оценки уровня видимого света для сцены.

В других вариантах осуществления индикация видимого света может генерироваться без рассмотрения значений экспозиции. Например, среднее пиксельное значение может использоваться непосредственно в качестве индикации видимого света. Такая индикация может обеспечивать менее точную индикацию освещения сцены для различных экспозиций, но может предоставить более точную индикацию экспозиции изображения, и таким образом, может обеспечивать более точную индикацию того, как оценка глубины, основанная на этом изображении, может выполняться. Другими словами, индикация видимого света может в таком подходе приниматься во внимание и компенсировать установку параметров экспозиции таким образом, что воздействие их на захваченное изображение также отражается в индикации видимого света.

Индикация окружающего инфракрасного света может затем быть определена из индикации видимого света, и таким образом, индикация окружающего инфракрасного света может быть определена из информации, предоставленной посредством первой камеры 109. Кроме того, в этом примере индикация инфракрасного света определяется из информации, которая обычно предоставляется посредством стандартной камеры, а именно, из информации экспозиции (апертуры, скорости затвора), а также захваченных данных изображения. Таким образом, этот подход может обеспечивать использование стандартной камеры.

Действительно, конкретное преимущество этого подхода состоит в том, что он может во многих вариантах осуществления обеспечивать использование стандартных серийно выпускаемых активных и пассивных датчиков глубины, позволяя сгенерировать улучшенную выходную карту глубины.

В предыдущих примерах сгенерированной индикацией света является глобальная индикация света, т.е. она применяется ко всем областям изображения. Однако в некоторых вариантах осуществления система может компоноваться для генерирования индикаций света, которые варьируются для различных частей изображения. Значения индикации света для различных областей могут дополнительно называться локальными индикациями света или локальными значениями индикации света.

В некоторых вариантах осуществления индикация видимого света, и таким образом индикация окружающего инфракрасного света, могут соответственно содержать различные значения для различных областей изображения. Таким образом, индикация света генерируется для содержания индивидуальных значений индикации света для различных областей изображения. Эти значения локальной индикации света могут затем использоваться в каждой области для выполнения комбинации значений глубины первой карты глубины и второй карты глубины. Таким образом, процессор 107 карты глубины может комбинировать значения глубины для каждой отдельной области в ответ на значение индикации света отдельной области.

Действительно, во многих вариантах осуществления, блок 109 определения может компоноваться для генерирования отдельного значения индикации света для каждого пикселя. В некоторых вариантах осуществления каждое нормализованное пиксельное значение может даже использоваться непосредственно в качестве значения индикации видимого света, и таким образом, индикация света может быть предоставлена в качестве карты значений, имеющих то же самое разрешение, что и карты глубины и изображение. В других вариантах осуществления карта индикации света может быть генерирована с более низким разрешением, чем изображение. Значения этой карты с более низким разрешением может, например, быть генерировано, посредством усреднения пиксельных значений в блоках изображения, соответствующих желаемому разрешению. Это может, например,, в частности, подходить для вариантов осуществления, в которых первая и/или вторая карты глубины имеют более низкое разрешение, чем изображение.

Должно быть оценено, что в некоторых вариантах осуществления значения индикации локального видимого света могут быть сгенерированы на основании других или дополнительных параметров, чем просто значения данных изображения (пиксельные значения). Например, значения индикации видимого света могут вычисляться для каждого отдельного пикселя посредством умножения пиксельного значения на время затвора и значение апертуры (например, сопровождаемой последующей нормализацией).

В таких вариантах осуществления комбинация может таким образом быть адаптирована локально. Например, значение глубины для каждого пикселя может быть выбрано из карт глубины в зависимости от того, является ли индикация окружающего инфракрасного света, определенная из индикации видимого света, выше или ниже порога. Точно так же, значения глубины могут быть определены на основании взвешенной комбинации, используя веса, которые определяются для отдельной области и, в частности, для отдельного пикселя.

Например, выходные значения глубины могут генерироваться как:

В вариантах осуществления, где комбинация зависит как от индикации окружающего инфракрасного света, так и от активной индикации инфракрасного света, обе эти индикации могут иметь пространственные изменения (т.е. быть локальными значениями), или например, только одна из них может отличаться для различных областей.

Например, выходные значения глубины могут быть вычислены на основании локальных значений индикации окружающего инфракрасного света и глобальных значений активной индикации инфракрасного света, как, например, в

или может, например, быть вычислено на основании локальных значений окружающего инфракрасного света и значений активной индикации инфракрасного света, например, как в:

Локально адаптированное генерирование значений глубины может обеспечивать улучшенную работу во многих сценариях, и, в частности, может обеспечивать более точную карту глубины. Например, оно может в отличие от обычных подходов во многих сценариях обеспечивать точные значения глубины для областей как света, так и темных областей. Например, в условиях очень яркого (солнечного) окружающего света, стерео камера видимого света пассивного датчика 105 глубины может использоваться для обеспечения значений глубины для всех пикселей изображения, за исключением тех, которые находятся в зоне тени, где значения глубины получаются из выходного значения активного датчика 103 глубины.

В некоторых вариантах осуществления, таких как описаны выше, устройство может содержать датчик инфракрасного света специального назначения, который используется для определения значений для активной индикации инфракрасного света. Датчик инфракрасного света может, например, быть единственным датчиком, измеряющим общий уровень инфракрасного света, или может, например, быть камерой инфракрасного света - и может, в частности, быть камерой инфракрасного света, также используемой для определения значений глубины (например, из искажений в обнаруженном шаблоне).

Однако в системе согласно ФИГ. 1 и 2, устройство скомпоновано для генерирования индикации окружающего инфракрасного света в ответ на измерения посредством камеры видимого света. В частности, устройство скомпоновано для генерирования индикации инфракрасного света в ответ на оценку уровня инфракрасного света на основании измерений в спектре видимого света.

Например, во многих вариантах осуществления первая камера 101 может включать в себя инфракрасный фильтр ослабления, который ослабляет свет в инфракрасном диапазоне относительно света в видимом диапазоне. Это может обеспечивать улучшенные изображения во многих сценариях. Действительно, во многих вариантах осуществления первая камера 101 может содержать инфракрасный фильтр блокирования, который уменьшает уровни инфракрасного сигнала до незначительных значений по сравнению с уровнями видимого света.

Однако блок 109 определения света может компоноваться для оценки инфракрасного уровня из измерений уровней в видимом диапазоне. В некоторых вариантах осуществления блок 109 определения света может, например, оценивать уровень окружающего инфракрасного света в качестве функции уровня видимого света. Обычно, чем выше количество видимого света, тем выше количество инфракрасного света (например, солнечный день по сравнению с сумерками в облачный день). Эта оценка может, например, быть сравнена с мощностью излучаемого инфракрасного света для генерирования индикации инфракрасного света, обеспечивающей оценку отношения сигнала к шуму шаблона инфракрасного света, захваченного посредством активного датчика 103 глубины.

Блок 109 определения света может, в частности, определять индикацию инфракрасного света на основании данных изображения от первой камеры 101. Во многих вариантах осуществления данные изображения, как ранее описывалось, обеспечивают измерение света, падающего на отдельные пиксели. Соответственно, пиксельные значения могут использоваться для оценки инфракрасного света.

В некоторых вариантах осуществления блок 109 определения света может компоноваться для определения индикации инфракрасного света в ответ на сравнение выходных данных различных камер, имеющих различное ослабление инфракрасного света. Например, первая камера 101 может не включать в себя инфракрасный фильтр ослабления, тогда как вторая камера 207 видимого света может включать в себя инфракрасный фильтр блокирования.

Таким образом, вторая камера 207 видимого света может захватывать только видимый свет, тогда как первая камера 101 также захватывает инфракрасный свет (такой как, например, из шаблона инфракрасного света, испускаемого из активного датчика 103 глубины). Индикация инфракрасного света может затем вычисляться в качестве разности между значениями для этих двух камер.

Дополнительно, блок 109 определения света может продолжать рассматривать только поднабор каналов цвета, выполняя эту оценку. Например, инфракрасный свет может преобладающе затрагивать канал R, и соответственно только этот канал может быть рассмотрен. Дополнительно, в этом случае другие каналы (т.е., в частности, G и B-каналы) могут быть относительно не затронуты инфракрасным светом, и поэтому оценка глубины посредством пассивного датчика 105 глубины может основываться только на этих каналах. Таким образом, предполагая, что G и B-каналы, в основном, являются не затронутым инфракрасным светом, эти каналы могут использоваться для согласования диспарантности, тогда как красный канал R может использоваться для оценки глубины на основании инфракрасного света (например, используя инфракрасный шаблон) посредством активного датчика 103 глубины.

Действительно, в некоторых вариантах осуществления блок 109 определения света может компоноваться для определения индикации инфракрасного света из данных изображения первой камеры 101, рассматривая отдельные каналы цвета сгенерированного изображения. В частности, блок 109 определения света может компоноваться для оценки индикации инфракрасного света из данных изображения в ответ на сравнение данных изображения первого поднабора каналов цвета изображения, захваченного посредством камеры видимого света, относительно данных изображения второго поднабора каналов цвета изображения, захваченного камерой видимого света.

Один поднабор каналов цвета может содержать один или более каналов цвета, соответствующих частотам ближе к инфракрасному диапазону, чем для канала или каналов цвета в другом поднаборе каналов цвета. Такой подход может обеспечивать два значения, соответствующих измерениям в различных частотных диапазонах. Вероятно, что имеется более тесная корреляция между уровнями света в инфракрасном диапазоне и уровнями света в частотном диапазоне, самом близком к инфракрасному диапазону, чем между уровнями света в инфракрасном диапазоне и уровнями света в частотном диапазоне, следующем после инфракрасного диапазона. Кроме того, на практике чувствительность канала цвета, самого близкого к инфракрасному диапазону, как правило, также простираться в этот диапазон, например, частотный отклик красных пикселей, как правило, включает в себя, по меньшей мере, часть инфракрасного диапазона. Соответственно, сравнение уровня в первом частотном диапазоне со вторым может обеспечивать более точную оценку уровня света инфракрасного спектра.

В качестве примера, первая камера 101 может быть камерой RGB, и блок 109 определения света может генерировать индикацию инфракрасного света, рассматривая пиксельные значения для канала красного цвета по сравнению с пиксельными значениями в каналах зеленого и синего цвета (например, среднее значение может использоваться).

Может, например, быть принято, что пиксельные значения G и B являются независимыми от инфракрасного света, тогда как значение пикселя R, вероятно должно отражать объединенный уровень обоих источников только видимого света, таких как источников, испускающие как инфракрасный, так и видимый свет (и в действительности частотный отклик канала R может включать в себя, по меньшей мере, часть инфракрасного спектра). Возможный подход может затем генерировать индикацию инфракрасного света в качестве разности между значением пикселя R и средним значений пикселей G и B.

В некоторых вариантах осуществления этот подход может дополнительно быть усилен наличием фильтра инфракрасного ослабления, который имеет различные ослабления инфракрасного света, по меньшей мере, для одного цвета относительно, по меньшей мере, еще одного канала цвета.

В частности, фильтр инфракрасного ослабления может иметь более высокое инфракрасное ослабление, по меньшей мере, для одного канала цвета второго поднабора относительно, по меньшей мере, одного канала цвета первого поднабора. При наличии более низкого ослабления инфракрасного света для одного или более каналов цвета, соответствующих частотным диапазонам, близким к инфракрасному спектру, чем для одного или более каналов цвета, соответствующих частотным диапазонам, отличных от инфракрасного спектра, разделение и дифференцирование между источниками света, излучающими свет как в инфракрасном так и в (части) видимого спектра и источниками света, излучающими свет только в видимом спектре, могут быть увеличены.

В некоторых вариантах осуществления комбинация первой карты глубины и второй карты глубины может не только рассматривать индикацию света, но может также рассматривать другие факторы.

Например, в вариантах осуществления, где пассивный датчик 105 глубины содержит стереокамеру и определяет вторую глубину из оценки диспарантности, используя стерео изображение, блок 109 определения света может дополнительно компоноваться для определения индикации пространственной однородности для стерео изображения. Комбинация может затем быть выполнена в ответ на эту индикацию пространственной однородности.

Действительно, оценка диспарантности, как правило, имеет тенденцию функционировать лучше для областей, в которых имеется существенное изменение в изображении, чем для больших плоских областей. Поэтому, индикация пространственной однородности может обеспечивать хорошую индикацию относительной работы пассивного датчика 105 глубины, и поэтому улучшенная работа может быть достигнута, например, посредством взвешивания второй карты глубины отличным образом относительно первой карты глубины в зависимости от этой индикации пространственной однородности.

Например, процессор 107 карты глубины может компоноваться для увеличения взвешивания значений глубины второй карты глубины относительно значений глубины первой карты глубины для индикации пространственной однородности, указывающей уменьшенную степень пространственной однородности.

Индикация пространственной однородности может, например, быть определена в качестве локальной разности в соседстве пикселей. В частности, она может быть определена в качестве горизонтального изменения в соседстве пикселей, которые могут быть вычислены, например, в качестве величины абсолютных разностей в значениях светимости между горизонтально соседними пикселями. Она может также быть определена в качестве разности между максимальной и минимальной светимостью в соседстве пикселей.

В качестве другого примера, в некоторых вариантах осуществления пассивный датчик глубины может содержать камеру видимого света, которая содержит функциональность автофокуса, т.е. камера может быть камерой с автофокусом видимого света. В таком случае автофокус может обеспечивать индикацию фокального расстояния, которое в некоторых вариантах осуществления может использоваться для адаптации комбинации.

Например, активный датчик 103 глубины может, как правило, функционировать лучше для объектов, которые относительно ближе, чем для объектов, которые находятся на больших расстояниях (например, из-за уменьшения в отраженном инфракрасном свете). Расстояние автофокуса может обеспечивать индикацию общего расстояния до объектов и может таким образом предоставить индикацию относительной точности и надежности значений глубины, сгенерированных соответственно активным датчиком 103 глубины и пассивным датчиком 105 глубины.

Процессор 107 карты глубины может, в частности, компоноваться для увеличения взвешивания значений глубины второй карты глубины относительно значений глубины первой карты глубины для индикации фокального расстояния, указывающей увеличенное расстояние автофокуса.

Должно быть оценено, что вышеупомянутое описание для ясности описывало варианты осуществления изобретения со ссылками на различные функциональные схемы, блоки и процессоры. Однако, должно быть очевидно, что любое подходящее распределение функциональности между различными функциональными схемами, блоками или процессорами может использоваться без отрыва от сути изобретения. Например, функциональность, иллюстрированная для выполнения посредством отдельных процессоров или контроллеров, может быть выполнена посредством одного и того же процессора или контроллера. Следовательно, ссылки на конкретные функциональные блоки или схемы должны рассматриваться в качестве ссылок на подходящее средство для обеспечения описанной функциональности, а не как указывающие их строгую логическую или физическую структуру или организацию.

Изобретение может быть реализовано в любой подходящей форме, включающей в себя аппаратное обеспечение, программное обеспечение, программно-аппаратное обеспечение или любую их комбинацию. Изобретение может опционально быть реализовано, по меньшей мере, частично в качестве программного обеспечения, запущенного на одном или более процессорах и/или процессорах цифрового сигнала. Элементы и компоненты варианта осуществления изобретения могут быть физически, функционально и логически реализованы любым подходящим способом. Действительно, такая функциональность может быть реализована в единственном блоке во множестве блоков или в качестве части других функциональных блоков. Также изобретение может быть реализовано в единственном блоке или может быть физически и функционально распределено между различными блоками, схемами и процессорами.

Хотя данное изобретение было описано со ссылками на некоторые варианты осуществления, оно не предназначается для ограничения конкретной формой, сформулированной в настоящем описании. Вместо этого, объем настоящего изобретения ограничивается только прилагаемой формулой изобретения. Кроме того, хотя признак может казаться как описанный совместно с конкретными вариантами осуществления, специалисты в данной области техники поймут, что различные функции описанных вариантов осуществления могут сочетаться в соответствии с изобретением. В формуле изобретения термин «содержащий» не исключает наличие других элементов или этапов.

Кроме того, хотя перечислены отдельно, множество средств, элементов, схем или этапов способов могут быть реализованы, например, посредством единственной схемы, блока или процессора. Дополнительно, хотя отдельные признаки могут включаться в различные пункты формулы изобретения, они могут быть выгодным образом объединены, и включение в различные пункты формулы изобретения не подразумевает, что эта комбинация признаков не является целесообразной и/или преимущественной. Также включение признака в одной категории формулы изобретения не подразумевает ограничение этой категории, а вместо этого указывает, что признак одинаково применим к другим категориям формулы изобретения, в качестве соответствующего. Кроме того, порядок признаков в формуле изобретения не подразумевает конкретного порядка, в котором должны выполняться признаки, и, в частности, порядок отдельных этапов в формуле изобретения способа не подразумевает, что эти этапы должны выполняться в этом порядке. Вместо этого, этапы могут быть выполнены в любом подходящем порядке. Дополнительно ссылки на единственное число не исключают множество. Таким образом, ссылки на "a", "an" "первый", "второй" и т.д. не устраняют множества. Ссылочные символы в формуле изобретения обеспечиваются просто как примеры разъяснения и не должны быть истолкованы как ограничивающие объем формулы изобретения никаким образом.

Реферат

Изобретение относится к области вычислительной техники. Технический результат заключается в улучшении качества изображения. Устройство для определения карты глубины для изображения сцены содержит активный датчик глубины и пассивный датчик глубины для определения карты глубины для изображения. Устройство дополнительно содержит блок определения света, который определяет индикацию света, указывающую характеристику света для сцены. Индикация света может, в частности, отражать уровень видимого и/или инфракрасного света для сцены. Процессор карты глубины определяет выходную карту глубины для изображения, комбинируя первую карту глубины и вторую карту глубины. В частности, значение глубины для выходной карты глубины определяется в качестве комбинации значений глубины первой и второй карты глубины, где комбинирование зависит от индикации света. Блок определения света оценивает первую индикацию инфракрасного света из индикации видимого света, указывающей уровень света в частотном диапазоне спектра видимого света. 2 н. и 12 з.п. ф-лы, 2 ил.

Формула