Пиксел с переменным разрешением - RU2699313C2

Чертежи

Описание

Уровень техники

[0001] Камера типично содержит фотодатчик, к примеру, фотодатчик на основе CCD (прибора с зарядовой связью) или CMOS (комплементарной структуры "металл-оксид-полупроводник"), на котором свет из сцены, визуализируемой посредством камеры, фокусируется посредством оптической системы камеры в течение периода экспозиции камеры, чтобы получать изображение сцены. Фотодатчик типично содержит матрицу строк и столбцов светочувствительных пикселов, которые регистрируют свет, сфокусированный посредством оптической системы камеры на фотодатчике. Количества света, регистрируемые посредством пикселов, определяются и используются для того, чтобы предоставлять изображение сцены.

[0002] Пиксел в фотодатчике регистрирует падающий свет из области сцены, визуализируемой на пикселе посредством оптической системы, посредством накопления положительного или отрицательного электрического заряда, предоставленного посредством электронно-дырочных пар, сформированных в пикселе посредством падающего света. Заряд, предоставленный посредством электронов или дырок из электронно-дырочных пар, сформированных посредством света, зачастую упоминается в качестве "фотозаряда". Электронно-дырочные пары могут формироваться в зоне истощения фотодиода, содержащегося в пикселе, и электроны или дырки переносится в область хранения пиксела рядом с фотодиодом. Приложение напряжения, необязательно называемого "напряжением переноса", к проводящему "передающему" затвору, покрывающему область хранения, переносит электроны или дырки из фотодиода в область хранения. Фотозаряд, накопленный в областях хранения пикселов в фотодатчике, преобразуется в напряжение, и набор напряжений, предоставленных посредством пикселов, может использоваться для того, чтобы формировать изображение сцены. Набор напряжений, предоставленных посредством фотодатчика, может упоминаться в качестве "кадра" фотодатчика. Легирующая структура полупроводникового материала, содержащегося в фотодатчике, определяет то, пикселы в фотодатчике накапливают электроны или дырки, сформированные посредством падающего света. Обычно пикселы накапливают электроны, традиционно также называемые "фотоэлектронами", исходящими из электронно-дырочных пар, чтобы регистрировать падающий свет.

[0003] Период экспозиции камеры является, в общем, управляемым таким образом, что для данных условий визуализации, при которых визуализируется сцена, таких как фокусная длина оптической системы камеры и свет, доступный из сцены, пикселы в фотодатчике камеры регистрируют достаточные количества света для того, чтобы предоставлять удовлетворительное изображение сцены. Например, для регистрации посредством пикселов в фотодатчике достаточного света для того, чтобы предоставлять удовлетворительное изображение слабо освещенной сцены, камера может преимущественно управляться с возможностью получать свет из сцены в течение относительно длительного периода экспозиции. Чтобы формировать изображение ярко освещенной сцены, относительно короткий период экспозиции может быть достаточным.

[0004] Некоторые камеры специального назначения могут работать со специальными ограничениями на периоды экспозиции. Например, трехмерная дальностная камера на принципе "времени пролета (TOF)" получает дальностные изображения сцен, которые она визуализирует. Дальностные изображения предоставляют расстояния до признаков в сценах. Камера определяет расстояние до признака в визуализируемой сцене посредством определения того, сколько времени требуется свету для того, чтобы выполнять полный обход из камеры в признак и обратно в камеру. Времена полного обхода могут определяться посредством подачи импульсов света для того, чтобы освещать сцену, и определения того, сколько времени требуется свету в подаваемых световых импульсах, отражаемых посредством признаков, для того чтобы распространяться из камеры в признаки и обратно в камеру. Камера может регистрировать свет из подаваемых световых импульсов, который возвращается со сцены на камеру в течение каждого из множества различных периодов экспозиции, чтобы получать данные для определения времени полного обхода. Периоды экспозиции, возможно, должны удовлетворять относительно строгим ограничениям на свою соответствующую длительность и свое соответствующее распределение времени относительно времен подачи световых импульсов.

[0005] Длительности периодов экспозиции камеры, в общем, являются функциями от чувствительности пикселов в фотодатчике камеры к падающему свету. Фотодатчик, содержащий пикселы, характеризуемые посредством большей чувствительности к свету, в общем, сконфигурирован с возможностью получать удовлетворительные изображения сцены для сил света из сцены, которые ниже сил света, преимущественных для визуализации сцены с использованием фотодатчика, имеющего пикселы с меньшей светочувствительностью. Пиксельная чувствительность к падающему свету, в общем, увеличивается по мере того, как возрастает размер фотодиода в пикселе. Для данного периода экспозиции, пиксел, имеющий больший фотодиод, накапливает больший фотозаряд, чем пиксел, имеющий меньший фотодиод. Фотодатчик, содержащий большие фотодиоды, в силу этого может иметь возможность предоставлять удовлетворительные изображения сцены при более низких силах света, чем камера, содержащая пикселы, имеющие меньшие фотодиоды. Тем не менее, по мере того, как возрастает размер фотодиодов в фотодатчике камеры, пространственное разрешение фотодатчика и изображения, которое он формирует, снижается.

Сущность изобретения

[0006] Аспект варианта осуществления изобретения относится к предоставлению фотодатчика, в дальнейшем также называемого "многорежимным фотодатчиком", содержащего фоточувствительные пикселы, имеющие пространственное разрешение, управляемое посредством напряжения, приложенного к пикселам. В варианте осуществления, каждый "многорежимный пиксел" содержит светочувствительную область, такую как фотодиод или фотозатвор, изготовленный с использованием подходящей технологии, такой как CMOS- или CCD-технология. Каждая светочувствительная область ассоциирована с множеством областей хранения фотозаряда для накопления фотозаряда, сформированного в светочувствительной области. Каждая область хранения фотозаряда ассоциирована с собственными передающими затворами и, по меньшей мере, одной микролинзой. По меньшей мере, одна микролинза, ассоциированная с данной областью хранения, направляет свет, падающий на микролинзу, в область для светочувствительной области, причем светочувствительная область преобразует свет в электронно-дырочные пары, которые находятся ближе к данной области хранения, чем к другим областям хранения пиксела. Далее в описании, светочувствительная область пиксела для простоты представления предполагается в качестве фотодиода.

[0007] Когда практически идентичное надлежащее напряжение переноса одновременно прикладывается ко всем передающим затворам пиксела, электрические поля, сформированные в фотодиоде посредством напряжений переноса, работают с возможностью переносить фотозаряд, сформированный в фотодиоде из света, падающего на данную микролинзу, фактически только в область хранения, ассоциированную с микролинзой. Каждая область хранения накапливает фотозаряд в ответ на количество света, падающего на его ассоциированную микролинзу, практически независимо от количества света, падающего на другие микролинзы в пикселе. В силу этого пиксел работает в качестве множества меньших пикселов, необязательно равных (по числу) числу микролинз. Меньшие пикселы имеют меньшие размеры относительно собственных размеров пиксела и сопутствующее улучшенное пространственное разрешение, которое фактически определяется посредством размеров микролинзы и приложенных напряжений переноса. При работе с приложением идентичного напряжения переноса ко всем передающим затворам пиксела, можно сказать, что пиксел работает в режиме с высоким пространственным разрешением.

[0008] Когда напряжение переноса прикладывается только к одному из передающих затворов, ассоциированная область хранения принимает фотозаряд практически из всех областей фотодиода, и пиксел работает в качестве одного неразделенного пиксела, имеющего пространственное разрешение, определенное фактически посредством собственных размеров. При работе с приложением напряжения переноса только к одному передающему затвору в пикселе, можно сказать, что пиксел работает в режиме с низким пространственным разрешением. Можно сказать, что пиксел, в соответствии с вариантом осуществления изобретения работающий с напряжением переноса, приложенным более чем к одному, но менее чем ко всем передающим затворам, работает в режиме с промежуточным пространственным разрешением.

[0009] В варианте осуществления изобретения, фотодиод и микролинзы сконфигурированы с возможностью демонстрировать вращательную симметрию вокруг оси практически в центре фотодиода и перпендикулярно фотодатчику. В варианте осуществления, вращательная симметрия имеет порядок, превышающий или равный двум. Необязательно, порядок вращательной симметрии превышает или равен четырем. В варианте осуществления изобретения, многорежимный пиксел содержит две или более областей хранения. В варианте осуществления, многорежимный пиксел содержит четыре области хранения.

[0010] Аспект варианта осуществления изобретения относится к предоставлению камеры, содержащей фотодатчик и контроллер, который управляет напряжениями, приложенными к передающим затворам пикселов в фотодатчике, чтобы управлять пространственным разрешением фотодатчика и в силу этого камеры. В варианте осуществления изобретения, контроллер управляет напряжением в ответ на свет, доступный из сцены, которую визуализирует камера. Необязательно, контроллер управляет фотодатчиком и напряжениями переноса с тем, чтобы определять силу света, достигающего каждого из пикселов, и получать контрастное изображение, в дальнейшем также называемое "изображением", сцены. В варианте осуществления, камера представляет собой TOF-3D-камеру, и контроллер управляет фотодатчиком и напряжениями переноса таким образом, чтобы активировать и деактивировать камеру для периодов экспозиции, подходящих для получения дальностного изображения сцены и, необязательно, изображения сцены.

[0011] В пояснении, если не указано иное, следует понимать, что такие наречия, как "практически" и "приблизительно", модифицирующие условие или характеристику взаимосвязей признака или признаков варианта осуществления изобретения означают то, что условие или характеристика задаются в пределах допусков, которые являются приемлемыми для работы варианта осуществления для применения, для которого он предназначен. Если не указано иное, слово "или" в описании изобретения и/или в формуле изобретения считается включающим "или", а не исключающим "или", и указывает, по меньшей мере, один из или любую комбинацию элементов, с которыми он сочетается.

[0012] Данная сущность изобретения предоставлена для того, чтобы представлять в упрощенной форме выбор концепций, которые дополнительно описаны ниже в подробном описании. Эта сущность не имеет намерением ни то, чтобы идентифицировать ключевые признаки или важнейшие признаки заявленного предмета изобретения, ни то, чтобы использоваться таким образом, что она ограничивает объем заявленного предмета изобретения.

Краткое описание чертежей

[0013] Неограничивающие примеры вариантов осуществления изобретения описываются ниже со ссылкой на чертежи, прилагаемые к настоящему документу, которые перечислены после этого параграфа. Идентичные признаки, которые появляются более чем на одном чертеже, в общем, помечаются идентичной ссылкой с номером на всех чертежах, на которых они появляются. Метка, помечающая значок или другие графические признаки, представляющие данный признак варианта осуществления изобретения на чертеже, может использоваться для того, чтобы ссылаться на данный признак. Размеры компонентов и признаков, показанных на чертежах, выбираются для удобства и ясности представления и не обязательно показаны в масштабе.

[0014] Фиг. 1A схематично показывает многорежимный фотодатчик, содержащий многорежимные пикселы в соответствии с вариантом осуществления изобретения;

[0015] Фиг. 1B схематично показывает силовые линии электрического эквипотенциального поля в многорежимном пикселе, показанном на фиг. 1A, когда все передающие затворы в пикселе возбуждаются напряжением переноса в соответствии с вариантом осуществления изобретения;

[0016] Фиг. 1C-1F схематично показывают силовые линии электрического эквипотенциального поля в многорежимном пикселе, показанном на фиг. 1A, с различными передающими затворами в пикселе, возбуждаемыми напряжением переноса, в соответствии с вариантом осуществления изобретения;

[0017] Фиг. 2A схематично показывает TOF-3D-камеру, содержащую многорежимный фотодатчик, визуализирующий сцену для того, чтобы получать дальностное изображение сцены в соответствии с вариантом осуществления изобретения;

[0018] Фиг. 2B-2E показывают графики, иллюстрирующие работу и временные взаимосвязи периодов экспозиции многорежимного фотодатчика в TOF-3D-камере в ходе визуализации сцены, показанной на фиг. 2A, в соответствии с вариантом осуществления изобретения;

[0019] Фиг. 2F показывает график данных, полученных посредством TOF-3D-камеры, используемой для того, чтобы предоставлять дальностное изображение сцены, показанной на фиг. 2A, в соответствии с вариантом осуществления изобретения; и

[0020] Фиг. 3 схематично показывает смартфон, содержащий многорежимный фотодатчик в соответствии с вариантом осуществления изобретения.

Подробное описание изобретения

[0021] Фиг. 1A схематично показывает упрощенный вид сверху части многорежимного фотодатчика 20, содержащего пикселы 30, также называемые "многорежимными пикселами 30", сформированными в подходящей подложке 31 в соответствии с вариантом осуществления изобретения. Многорежимный фотодатчик 20 может представлять собой CCD- или CMOS-фотодатчик и в качестве примера предположительно представляет собой CMOS-фотодатчик, который накапливает фотоэлектроны из электронно-дырочных пар, сформированных посредством света, падающего на фотодиоды (см. ниже), содержащиеся в пикселах 30, чтобы регистрировать количества света, падающего на пикселы. Признаки пикселов 30, показанных на фиг. 1A и на чертежах, которые приведены далее, не обязательно находятся на идентичной глубине в пикселах. Чертежи показывают схематичные проекции признаков на верхнюю поверхность (при условии, что они находятся на странице чертежей) многорежимного фотодатчика 20, которые указывают относительные поперечные местоположения признаков.

[0022] Каждый многорежимный пиксел 30 необязательно содержит фотодиод 32 и четыре области 41, 42, 43 и 44 хранения фотоэлектронов. Передающий затвор 50 покрывает каждую область 41, 42, 43 и 44 хранения и необязательно небольшую область фотодиода 32. Компоненты пиксела 30 необязательно формируются на сильно N-легированной кремниевой подложке 31 (не показана), на которой формируется эпитаксиальный P-легированный слой (не показан). Фотодиод 32 может содержать зону истощения, сформированную на стыке N-легированной области, сформированной в P-легированном эпитаксиальном слое. Области 41, 42, 43 и 44 хранения могут быть частями заглубленного N-легированного канала. Передающие затворы 50, покрывающие области 41, 42, 43 и 44 хранения, формируются с использованием любого из различных подходящих проводящих материалов, таких как металл или поликристаллический кремний. Каждый пиксел 30 может содержать схему 34 считывания, сконфигурированную с возможностью предоставлять показатель величины фотозаряда, накопленного в каждой области 41, 42, 43 и 44 хранения, независимо от величины фотозаряда, накопленного в других областях хранения в пикселе 30. Несмотря на то, что фотодиод 32 указывается в качестве прямоугольного, фотодиод в многорежимном пикселе в соответствии с вариантом осуществления изобретения может иметь форму, отличную от прямоугольной. В качестве примера, фотодиод может иметь многоугольную форму, отличную от прямоугольной, либо быть круглым или быть нерегулярным.

[0023] Матрица микролинз 60 покрывает части фотодиода 32. Необязательно, матрица микролинз содержит микролинзу 60 для каждой данной области 41, 42, 43 и 44 хранения, которая направляет свет, падающий на микролинзу, в область фотодиода 32 ближе к данной области хранения, чем к другим областям хранения. На фиг. 1A, значок 62 звезды в микролинзе 60 представляет фокальную область микролинзы 60, на которую микролинза направляет свет. В варианте осуществления изобретения, как показано на фиг. 1A, матрица микролинз 60 преимущественно сконфигурирована таким образом, что матрица покрывает практически весь фотодиод 32 и, помимо этого, может покрывать зоны за пределами фотодиода 32. Необязательно, все микролинзы 60 являются круглыми, имеют идентичный диаметр и выстраиваются во вращательно-симметричной конфигурации с порядком в четыре.

[0024] В варианте осуществления изобретения, контроллер (не показан на фиг. 1A) управляет напряжениями, приложенными к подложке 31 и передающим затворам 50, чтобы активировать и деактивировать многорежимный фотодатчик 20 и направлять фотоэлектроны, сформированные в пикселах 30 в ответ на падающий свет, в выбранные области 41,..., 44 хранения пикселов. В варианте осуществления изобретения, контроллер прикладывает напряжение V_ON для того, чтобы активировать многорежимный фотодатчик 20, и напряжение V_OFF к подложке 31 для того, чтобы деактивировать многорежимный фотодатчик 20.

[0025] V_OFF является напряжением, более положительным по сравнению с напряжением переноса, приложенным посредством контроллера к передающему затвору 50, и при приложении к подложке 31, фотоэлектроны в многорежимных пикселах 30 стекают в подложку 31, не накапливаются в любой из областей 41,..., 44 хранения и отбрасываются. V_ON является напряжением, необязательно общим напряжением земли, которое является менее положительным по сравнению с напряжением V_G+ переноса, приложенным посредством контроллера к передающему затвору 50. Когда контроллер прикладывает V_ON к подложке 31 и напряжение V_G+ переноса к передающему затвору 50, ассоциированному с данной областью 41,..., 44 хранения пиксела 30, фотоэлектроны, сформированные в фотодиоде 32, не стекают в подложку 31. Напряжение V_G+ переноса формирует электрическое поле в фотодиоде 32, которое прикладывает силу к фотоэлектронам в фотодиоде, которая заставляет фотоэлектроны дрейфовать и накапливаться в области хранения, ассоциированной с передающим затвором. Посредством поддержания подложки 31 равной напряжению V_ON и избирательного приложения напряжений V_G+ переноса к затворам 50, контроллер может управлять многорежимным фотодатчиком 20 с возможностью предоставлять различные последовательности и типы периодов экспозиции для камеры, содержащей многорежимный фотодатчик, и предоставлять камеру с различными пространственными разрешениями для получения изображений сцены.

[0026] В качестве примера, фиг. 1B схематично показывает многорежимный пиксел 30, работающий в режиме с высоким пространственным разрешением, в котором контроллер одновременно возбуждает все передающие затворы 50, содержащиеся в пикселе, с идентичным V_G+. Затенение передающего затвора 50 указывает то, что передающий затвор 50 возбуждается посредством напряжения V_G+ переноса. Напряжение переноса, которое возбуждает каждый передающий затвор 50, формирует электрическое поле в фотодиоде 32, которое притягивает фотоэлектроны в область хранения из части фотодиода 32, которая находится рядом с областью хранения. Часть фотодиода 32, из которой область 41, 42, 43, 44 хранения накапливает фотоэлектроны, когда передающий затвор 50 области хранения возбуждается напряжением переноса, может упоминаться в качестве "области сбора" фотодиода. Контурные линии 70 в области сбора для области 41, 42, 43, 44 хранения представляют электрические эквипотенциальные поверхности и в дальнейшем также называются "эквипотенциальными поверхностями" или "эквипотенциальными линиями" сформированного электрического поля. Направление электрического поля в местоположении в фотодиоде 32 является перпендикулярным эквипотенциальной поверхности 70 в местоположении, и напряженность электрического поля является обратно пропорциональной расстоянию между эквипотенциалами в местоположении. Стрелки 71 "поля" на фиг. 1B схематично указывают направление электрических полей, сформированных посредством возбужденных передающих затворов 50 в различных местоположениях в фотодиоде 32.

[0027] Для конфигурации областей 41,..., 44 хранения, передающих затворов 50 и одновременного возбуждения передающих затворов 50 посредством идентичного напряжения V_G+ переноса, показанного на фиг. 1B, соответствующие области сбора для областей 41, 42, 43, 44 хранения имеют практически идентичную форму и размер, и электрическое поле в смежных областях сбора является практически зеркальным отражением друг друга. Область сбора данной области 41, 42, 43, 44 хранения содержит ту часть фотодиода 32, который находится под микролинзой 60, ассоциированной с данной областью хранения. Помимо этого, область сбора данной области хранения может содержать области фотодиода 32, которые не покрываются посредством ассоциированной микролинзы, но находятся ближе к ассоциированной микролинзе, чем к микролинзам других областей хранения. Области фотодиода 32 ближе к ассоциированной микролинзе 60 данной области 41, 42, 43, 44 хранения, включенной в область сбора данной области хранения, могут называться "периферийными областями" области сбора.

[0028] Фотоэлектроны, накопленные посредством каждой области 41, 42, 43, 44 хранения из ее ассоциированной области сбора, формируются посредством света, направленного в область сбора посредством микролинзы 60, покрывающей область сбора, и света, падающего на периферийные области для области сбора. Тем не менее, как отмечено выше и указано посредством конфигурации микролинз 60, показанных на фиг. 1A и 1B, микролинзы 60 покрывают области пиксела 30 за пределами фотодиода 32. Микролинза 60, ассоциированная с данной областью 41, 42, 43, 44 хранения, может собирать и направлять свет в область сбора для области хранения из области пиксела 30, которая может быть существенно больше области сбора. Каждая область 41, 42, 43, 44 хранения и ее ассоциированная микролинза 60, содержащиеся в пикселе 30, в силу этого могут работать в качестве независимого пиксела, меньшего пиксела 30 и имеющего размеры, фактически определенные посредством размеров ассоциированной микролинзы.

[0029] Фиг. 1C схематично показывает пиксел 30, работающий в режиме с низким пространственным разрешением, в котором контроллер прикладывает напряжение V_ON к подложке 31 и напряжение V_G+ переноса только к передающему затвору 50, ассоциированному с областью 41 хранения. Передающие затворы 50, ассоциированные с областями 42, 43, 44 хранения, могут быть плавающими или возбужденными до V_ON. Напряжение V_G+ переноса, приложенное к передающему затвору 50, ассоциированному с областью 41 хранения, формирует электрическое поле, которое работает с возможностью перемещать фотоэлектроны, предоставленные посредством электронно-дырочных пар, сформированных практически в любом месте в фотодиоде 32, в область 41 хранения. Эквипотенциальные линии 70 указывают конфигурацию сформированного электрического поля, и стрелки 71 поля схематично указывают направление электрического поля в различных местоположениях в фотодиоде 32. В режиме с низким разрешением, многорежимный пиксел 30 имеет пространственное разрешение, определенное фактически посредством собственных размеров пиксела, и сила света, падающего на пиксел, может определяться в ответ на показатель количества фотоэлектронов, накопленных в области 41 хранения, необязательно предоставленной посредством схемы 34 считывания.

[0030] Следует отметить, что при работе в режиме с низким пространственным разрешением, схематично показанном на фиг. 1C, многорежимный пиксел 30 предоставляет пространственное разрешение, хуже на коэффициент приблизительно в четыре относительно пространственного разрешения, предоставленного посредством пиксела, работающего в режиме с высоким пространственным разрешением. Тем не менее, для идентичной силы падающего света и идентичного периода экспозиции, пиксел 30, работающий в режиме с низким пространственным разрешением, накапливает приблизительно в четыре раза больше фотоэлектронов в области 41, 42, 43 или 44 хранения, используемой для того, чтобы сохранять фотоэлектроны, сформированные в фотодиоде 32 в качестве, по сравнению с пикселом при работе в режиме с высоким разрешением. Следовательно, если конкретное минимальное число фотоэлектронов, накопленных в области 41, 42, 43 или 44 хранения, характеризуется посредством преимущественной абсолютной величины дробового шума, пиксел 30 предоставляет минимальное число для силы падающего света, которая приблизительно в четыре раза меньше силы света, для которой пиксел предоставляет минимум, работающий в режиме с высоким пространственным разрешением. Как результат, многорежимный фотодатчик 20 может преимущественно работать в режиме с низким пространственным разрешением при использовании для того, чтобы визуализировать сцену в условиях низкой освещенности.

[0031] Фиг. 1D, 1E и 1F схематично показывает пиксел 30, работающий в режиме с низким пространственным разрешением, аналогичном режиму с низким пространственным разрешением, показанному на фиг. 1C, но с напряжением V_G+ переноса, приложенным к передающим затворам 50, ассоциированным, соответственно, с областями 42, 43 и 44 хранения.

[0032] [0033] В качестве числового примера, многорежимный фотодатчик 20 может содержать многорежимные пикселы 30, характеризуемые посредством шага, меньшего или равного приблизительно 15 μm (микрометров). Каждый многорежимный пиксел 30 может содержать фотодиод 32, имеющий максимальный поперечный размер, равный приблизительно 8 μm. Для пикселов 30, имеющих шаги приблизительно в 10 μm или приблизительно в 7 μm, фотодиод 32 может иметь максимальный поперечный размер приблизительно в 6 μm или 4,5 μm, соответственно. Коэффициент заполнения многорежимного пиксела в соответствии с вариантом осуществления изобретения, может быть равным или выше приблизительно 70%.

Фиг. 2A схематично показывает TOF-3D-камеру 120, содержащую многорежимный фотодатчик 20, аналогичный многорежимному фотодатчику 20, показанному на фиг. 1A-1F, работающий с возможностью получать дальностное изображение сцены 130 в соответствии с вариантом осуществления изобретения. Сцена 130 схематично показана с наличием объектов 131 и 132.

[0034] TOF-3D-камера 120, которая представлена очень схематично, содержит систему линз, представленную посредством линзы 121, которая визуализирует сцену 130 на многорежимном фотодатчике 20. Необязательно TOF-3D-камера содержит источник 126 света, такой как, например, лазер или светодиод либо матрицу лазеров и/или светодиоды, управляемые с возможностью освещать сцену 130 с импульсами необязательно IR-(инфракрасного) света. Контроллер 124 управляет пульсацией источника 126 света и визуализацией сцены 130 посредством многорежимного фотодатчика 20 со светом, отражаемым посредством признаков в сцене из световых импульсов, излучаемых посредством источника 126 света. Контроллер 124 необязательно прикладывает напряжения V_ON и V_OFF, чтобы активировать и деактивировать многорежимный фотодатчик, соответственно. Контроллер может избирательно прикладывать напряжения V_G+ переноса к передающим затворам 50, ассоциированным с различными областями 41, 42, 43 и 44 хранения фотозаряда, чтобы визуализировать сцену 130 на многорежимном фотодатчике 20 в течение различных периодов экспозиции. Различные периоды экспозиции синхронизированы относительно времен, в которые источник 126 света подает световые импульсы, чтобы освещать сцену 130 с тем, чтобы получать данные для определения расстояний до признаков в сцене 130 и получать дальностное изображение сцены.

[0035] В варианте осуществления изобретения, чтобы получать данные и в силу этого расстояния до признаков в сцене 130, контроллер 124 включает многорежимный фотодатчик 20 и управляет источником 126 света таким образом, чтобы освещать сцену 130 с последовательностью световых импульсов, схематично представленных на фиг. 2A посредством последовательности 140 прямоугольных импульсов 141. Признаки в сцене 130 отражают свет от последовательности 140 подаваемых световых импульсов обратно в TOF-3D-камеру 120 в последовательностях отраженных световых импульсов. В качестве примера, фиг. 2A схематично показывает последовательности 145 и 147 отраженных световых импульсов, содержащие, соответственно, световые импульсы 146 и 148, отражаемые посредством признаков A и B объектов 132 и 131, соответственно. Каждый отраженный световой импульс в последовательности отраженных световых импульсов, к примеру, отраженный световой импульс 146 в последовательности 145 отраженных световых импульсов или отраженный световой импульс 148 в последовательности 147 световых импульсов, имеет форму и ширину импульса, практически идентичную форме и ширине подаваемых световых импульсов 141. Период повторения отраженных импульсов в идентичной последовательности отраженных световых импульсов является практически идентичным периоду повторения подаваемых световых импульсов 141 в последовательности 140 подаваемых световых импульсов. Световые импульсы 141, 146 и 148 могут иметь ширины x импульсов необязательно приблизительно между 10-30 нс (наносекунд).

[0036] После предварительно определенной задержки после подачи каждого подаваемого светового импульса 141, контроллер 124 прикладывает конфигурацию напряжений к многорежимному фотодатчику 20, чтобы определять период экспозиции многорежимного фотодатчика 20, в течение которого многорежимный фотодатчик 20 регистрирует свет в световых импульсах, отражаемых от подаваемого светового импульса посредством признаков в сцене 130. В варианте осуществления, контроллер 124 прикладывает напряжение V_G+ переноса к передающему затвору 50, ассоциированному, по меньшей мере, с одной областью 41, 42, 43 или 44 хранения, и прикладывает напряжения V_ON и V_OFF к подложке 31 (фиг. 1A) многорежимного фотодатчика 20, чтобы определять распределение времени и длительность периода экспозиции. В течение периода экспозиции, фотоэлектроны, сформированные посредством света, падающего на пиксел 30 многорежимного фотодатчика 20, дрейфуют и накапливаются, по меньшей мере, в одной области 41, 42, 43 или 44 хранения пиксела, для которого передающий затвор 50 возбуждается посредством напряжения переноса.

[0037] Количество света, которое данный пиксел 30 регистрирует в течение периода экспозиции из отраженного светового импульса, отражаемого от подаваемого светового импульса 141 посредством признака в сцене 130, визуализируемой на данном пикселе, является практически пропорциональным свертке периода экспозиции и отраженного светового импульса. Свертка является функцией от предварительно определенной задержки между временем подачи подаваемого светового импульса 141 и периодом экспозиции, расстояния от TOF-3D-камеры 120 визуализируемого признака и форм отраженного светового импульса и периода экспозиции.

[0038] В варианте осуществления изобретения, контроллер 124 управляет многорежимным фотодатчиком 20 таким образом, чтобы регистрировать свет в отраженных световых импульсах, отражаемых посредством признаков сцены 130 в течение периодов экспозиции трех различных типов. Графики 181, 182 и 183 на фиг. 2B, фиг. 2C и фиг. 2D, соответственно, показывают схематичные представления световых импульсов, подаваемых посредством источника 126 света, и периодов экспозиции пикселов 30. Графики иллюстрируют периоды экспозиции трех типов и временные взаимосвязи между периодами экспозиции и подаваемыми световыми импульсами 141.

[0039] График 181, показанный на фиг. 2B, иллюстрирует период экспозиции первого типа, необязательно содержащий два последовательных составляющих периода экспозиции и называемый "периодом двойной экспозиции". График схематично показывает подаваемый световой импульс 141, подаваемый во время T0 вдоль линии 191 на графике, помеченной как "освещение", напряжение, приложенное посредством контроллера 124 к передающему затвору 50 области 41, 42, 43 или 44 хранения вдоль линии 192 на графике, и напряжение, приложенное к подложке 31 многорежимного фотодатчика 20 вдоль линии 193 на графике, помеченной как "подложка". Чтобы накапливать фотоэлектроны в течение составного периода экспозиции, контроллер 124 необязательно прикладывает напряжение V_G+ переноса, показанное вдоль линии 192 на графике, только к передающим затворам 50, ассоциированным с областями 41 хранения пикселов 30. Напряжение V_G+ переноса может прикладываться до подачи светового импульса 141. Вкладка 195 на фиг. 2B схематично показывает пиксел 30 и передающий затвор 50, ассоциированный с областью 41 хранения пиксела, различающейся посредством затенения, чтобы графически указывать то, что напряжение V_G+ переноса прикладывается к передающему затвору 50 только области 41 хранения фотозаряда. Линия 192 на графике также помечается как "41-V_G+", чтобы указывать то, что только передающий затвор 50 области 41 хранения возбуждается напряжением V_G+ переноса. Контроллер 124 прикладывает напряжение V_OFF к подложке 31 до подачи светового импульса 141. При условии, что V_OFF поддерживается на подложке 31, все фотоэлектроны, сформированные посредством света, падающего на фотодиод 32 пиксела 30 в многорежимном фотодатчике 20, стекают в подложку 31, и фотоэлектроны не накапливаются посредством областей хранения пикселов в многорежимном фотодатчике.

[0040] После времени T1 задержки, контроллер 124 прикладывает напряжение V_ON (линия 193 на графике) к подложке 31 многорежимного фотодатчика 20, чтобы регистрировать свет в течение первого составляющего периода экспозиции из периода двойной экспозиции и затем снова во время T4 задержки в течение второго составляющего периода экспозиции из периода двойной экспозиции. Необязательно, составляющие периоды экспозиции имеют длительность, равную длительности подаваемого светового импульса 141, и в качестве примера, T4-T1 может быть равно или больше приблизительно 6 нс и меньше или равно приблизительно 30 нс. В течение каждого из составляющих периодов экспозиции, для которых контроллер 124 прикладывает V_ON к подложке 31, фотоэлектроны, сформированные в любом месте в фотодиоде 32 пиксела 30 посредством света в световом импульсе, отражаемом от подаваемого светового импульса 141, дрейфуют и накапливаются в области 41 хранения пиксела. Количество света, которое область 41 хранения данного пиксела 30 накапливает в течение периода двойной экспозиции из светового импульса, отражаемого от подаваемого светового импульса 131 посредством признака в сцене 130, визуализируемой на данном пикселе 30, является практически пропорциональным свертке периода двойной экспозиции и отраженного светового импульса. В варианте осуществления изобретения, контроллер 124 управляет многорежимным фотодатчиком 20 с возможностью накапливать фотоэлектроны в течение периода двойной экспозиции для каждого из множества световых импульсов 141 в последовательности 140 импульсов.

[0041] График 182 на фиг. 2C схематично иллюстрирует период экспозиции второго типа из трех периодов экспозиции, в соответствии с вариантом осуществления изобретения. Для периода экспозиции второго типа, контроллер 124 прикладывает напряжение переноса, необязательно, к передающему затвору 50, ассоциированному только с областью 42 хранения. На фиг. 2C, линия 192 на графике для графика 182 помечается как "42-V_G+", и вкладка 195 показывает передающий затвор 50 области 42 хранения, затененной, чтобы указывать то, что передающий затвор 50 только области 42 хранения возбуждается напряжением V_G+ переноса. Контроллер 124 прикладывает напряжения V_ON и V_OFF к подложке 31 многорежимного фотодатчика 20 (линия 193 на графике), чтобы инициировать период экспозиции второго типа во время T2 после времени T0, в которое световой импульс 141 подается для того, чтобы освещать сцену 130. Необязательно, T2 находится после T1 на временную задержку ΔT12 и перед T4. В качестве примера, ΔT12 может быть равен или больше приблизительно 2 нс и меньше или равен приблизительно 10 нс. В течение периода экспозиции второго типа, фотоэлектроны, сформированные посредством падающего света в световом импульсе, отражаемом от подаваемого светового импульса 141 (линия 191 на графике), накапливаются в области 42 хранения. В варианте осуществления изобретения, контроллер 124 управляет многорежимным фотодатчиком 20 с возможностью накапливать фотоэлектроны в течение периода экспозиции второго типа для каждого из множества световых импульсов 141 в последовательности 140 импульсов.

[0042] График 183 на фиг. 2D схематично иллюстрирует период экспозиции третьего типа из трех периодов экспозиции, в соответствии с вариантом осуществления изобретения. Период экспозиции третьего типа необязательно является аналогичным экспозиции второго типа, но начинается во время T3, которое может находиться перед T4 и может находиться после T2 на период времени ΔT23. В качестве примера, ΔT23 может быть равен или больше приблизительно 2 нс и меньше или равен приблизительно 10 нс. Для периода экспозиции третьего типа, контроллер 124 прикладывает напряжение переноса, необязательно, только к передающему затвору 50, ассоциированному с областью 43 хранения. На фиг. 2D, линия 192 на графике для графика 183 помечается как "43-V_G+", и вкладка 195 показывает передающий затвор 50 области 43 хранения, затененной, чтобы указывать то, что только передающий затвор 50 области 43 хранения возбуждается напряжением V_G+ переноса. В течение периода экспозиции третьего типа, фотоэлектроны, сформированные посредством падающего света в световом импульсе, отражаемом от подаваемого светового импульса 141, накапливаются в области 43 хранения. В варианте осуществления изобретения, контроллер 124 управляет многорежимным фотодатчиком 20 с возможностью накапливать фотоэлектроны в течение периода экспозиции третьего типа для каждого из множества световых импульсов 141 в последовательности 140 импульсов.

[0043] В варианте осуществления изобретения, контроллер 124 управляет многорежимным фотодатчиком 20 с возможностью визуализировать сцену 130 в течение периода экспозиции, когда сцена не освещается световыми импульсами с тем, чтобы определять количество фонового света, которое достигает TOF-3D-камеры 120. Необязательно контроллер 124 управляет многорежимным фотодатчиком 20, как схематично проиллюстрировано на графике 184 на фиг. 2E, и прикладывает напряжение V_G+ переноса к передающему затвору 50 только области 44 хранения фотозаряда с тем, чтобы накапливать фотоэлектроны в области 44 хранения в течение периода экспозиции, определенного посредством напряжения V_ON.

[0044] После накопления фотоэлектронов в областях 41, 42, 43 и 44 хранения, контроллер 124 получает кадр многорежимного фотодатчика 20, чтобы получать напряжения, которые предоставляют показатели количеств фотоэлектронов, накопленных в областях 41, 42, 43 и 44 хранения каждого многорежимного пиксела 30. Контроллер 124 корректирует измеренные количества фотоэлектронов, накопленных в областях 41, 42 и 43 хранения каждого пиксела 30 для фотоэлектронов, накопленных в областях хранения вследствие фонового света в ответ на измеренное количество фотоэлектронов, накопленных в области 44 хранения пиксела. Скорректированные показатели для областей 41, 42 и 43 хранения пиксела 30 являются пропорциональными сверткам световых импульсов, отражаемых посредством признака в сцене 130, визуализируемой на пикселе, от подаваемых световых импульсов 141 в течение периода двойной экспозиции и периодов экспозиции второго и третьего типа, соответственно. Контроллер 124 использует показатели сверток для того, чтобы определять расстояние до признака от TOF-3D-камеры 120.

[0045] Например, скорректированные показатели для областей 41, 42 и 43 хранения для пиксела 30, на котором визуализируется признак A объекта 132 (фиг. 2A), предоставляют показатели сверток периодов двойной экспозиции, периодов экспозиции второго типа и периодов экспозиции третьего типа с отраженными световыми импульсами 146. Контроллер 124 может использовать показатели, чтобы определять расстояние признака A от TOF-3D-камеры 120.

[0046] В качестве примера, пусть свертки, определенные для областей 41, 42 и 43 хранения фотозаряда данного пиксела 30, визуализирующего признак в сцене 130, представлены посредством C41, C42 и C43, соответственно. Значения C41, C42 и C43 показаны на графике 185 на фиг. 2F в качестве функций расстояния признака в сантиметрах (см), показанного вдоль абсциссы графика. Ордината графика градуируется в произвольных единицах. Расстояние признака, визуализируемого на данном пикселе, может определяться из значений C41, C42 и C43, определенных для данного пиксела. График 185 показывает определенные значения, представленные посредством C41*, C42* и C43*. Из графика можно видеть, что определенные значения являются наиболее совместимыми со значением для расстояния визуализируемого признака, равного приблизительно 125 см.

[0047] В варианте осуществления изобретения, фотодатчик, аналогичный многорежимному фотодатчику 20, может содержаться в камере, которая работает с возможностью получать изображения сцены в соответствии с вариантом осуществления изобретения. В качестве примера, фиг. 3 схематично показывает смартфон 200, содержащий камеру 202, имеющую многорежимный фотодатчик 20 в соответствии с вариантом осуществления изобретения. Фиг. 3 схематично показывает камеру 202 смартфона, используемую для того, чтобы визуализировать сцену 300.

[0048] В варианте осуществления изобретения, контроллер (не показан) в смартфоне 200 управляет многорежимным фотодатчиком 20 таким образом, что он работает в режиме с высоким пространственным разрешением или в режиме с низким пространственным разрешением, в ответ на показатель силы света, собранный посредством камеры 202 смартфона из сцены 300, и пороговое значение силы света. Сила собранного света может определяться посредством любого подходящего измерителя силы света и/или приложения (не показано), содержащегося в смартфоне 200. Если сила света превышает пороговое значение силы света, контроллер может управлять многорежимным фотодатчиком 20 таким образом, что он работает в режиме с высоким пространственным разрешением, чтобы визуализировать сцену 300. Если сила собранного света меньше порогового значения силы света, контроллер может управлять многорежимным фотодатчиком 20 таким образом, что он работает в режиме с низким пространственным разрешением, чтобы визуализировать сцену 300.

[0049] Следовательно, в соответствии с вариантом осуществления изобретения, предусмотрен многорежимный фотодатчик, имеющий множество светочувствительных пикселов, сформированных на подложке, причем каждый пиксел содержит: светочувствительную область, в которой падающий свет формирует носители фотозаряда; множество областей хранения для накопления носителей фотозаряда, сформированных в светочувствительной области; передающий затвор, ассоциированный с каждой областью хранения из множества областей хранения, которые являются возбуждающимися, чтобы заставлять фотозаряд в светочувствительной области дрейфовать в область хранения; и матрицу микролинз, содержащую, по меньшей мере, одну микролинзу для каждой области хранения из множества областей хранения, которая направляет свет, падающий на, по меньшей мере, одну микролинзу, в область для светочувствительной области, которая находится ближе к области хранения, чем к другим областям хранения из множества областей хранения.

[0050] Необязательно, матрица микролинз содержит одну микролинзу для каждой области хранения. Альтернативно или дополнительно, матрица микролинз может демонстрировать вращательную симметрию. Необязательно, вращательная симметрия имеет порядок, равный числу областей хранения в их множестве. В варианте осуществления изобретения, число областей хранения в их множестве равно двум. В варианте осуществления изобретения, число областей хранения в их множестве больше или равно четырем.

[0051] В варианте осуществления изобретения, многорежимный фотодатчик содержит контроллер, который возбуждает передающий затвор, ассоциированный с областью хранения, чтобы заставлять фотозаряд, сформированный в светочувствительной области, дрейфовать в область хранения. Необязательно, контроллер возбуждает передающий затвор только одной области хранения напряжением переноса с тем, чтобы заставлять фотозаряд, сформированный практически в любом местоположении в светочувствительной области, дрейфовать в одну область хранения. Альтернативно или дополнительно, контроллер одновременно возбуждает передающий затвор, ассоциированный с каждой областью хранения, с идентичным напряжением переноса с тем, чтобы заставлять фотозаряд, сформированный в местоположениях в светочувствительной области, ближайших к области хранения, дрейфовать в область хранения.

[0052] В варианте осуществления изобретения, контроллер возбуждает подложку для того, чтобы активировать и деактивировать многорежимный фотодатчик.

[0053] В варианте осуществления изобретения, фоточувствительная область содержит фотодиод. В варианте осуществления, фоточувствительная область содержит фотозатвор.

[0054] В соответствии с вариантом осуществления изобретения, дополнительно предусмотрена трехмерная камера на принципе времени пролета (TOF), которая визуализирует сцену для того, чтобы определять расстояния до признаков в сцене, причем TOF-3D-камера содержит: источник света, который подает последовательность световых импульсов с тем, чтобы освещать сцену; многорежимный фотодатчик в соответствии с вариантом осуществления изобретения, который принимает свет, отражаемый посредством признаков от подаваемых световых импульсов; и контроллер, который активирует и деактивирует фотодатчик после каждого светового импульса с тем, чтобы накапливать фотозаряд, сформированный в фотодиодах пикселов в многорежимном фотодатчике посредством света из световых импульсов, отражаемых посредством признаков в течение периода экспозиции, выбранного из множества различных периодов экспозиции; при этом контроллер возбуждает передающие затворы различных областей хранения для того, чтобы накапливать фотозаряд, сформированный в течение различных периодов экспозиции в различных областях хранения, определяет величины накопленного фотозаряда в различных областях хранения из идентичного кадра многорежимного фотодатчика и использует величины для того, чтобы определять расстояния до признаков в сцене.

[0055] Необязательно, различные периоды экспозиции содержат периоды экспозиции, которые начинаются в различные моменты времени после времени, в которое подается световой импульс в последовательности световых импульсов. Дополнительно или альтернативно, различные периоды экспозиции могут содержать периоды экспозиции, имеющие различную длительность. Различные периоды экспозиции могут содержать периоды экспозиции, имеющие различную форму.

[0056] В варианте осуществления изобретения, число различных периодов экспозиции в их множестве больше или равно двум. Необязательно, число областей хранения в их множестве больше или равно числу различных периодов экспозиции в их множестве.

[0057] В соответствии с вариантом осуществления изобретения, дополнительно предусмотрена камера, которая визуализирует сцену для того, чтобы получать изображение сцены, причем камера содержит многорежимный фотодатчик в соответствии с вариантом осуществления изобретения, который принимает свет из сцены; измеритель силы света, который определяет силу света, достигающего камеры из сцены; и контроллер, который управляет возбуждением передающих затворов в ответ на показатель силы света от измерителя силы света. Необязательно, контроллер управляет возбуждением передающих затворов в ответ на пороговую силу света. Если измеренная сила света меньше порогового значения, контроллер может возбуждать передающий затвор только одной области хранения с напряжением переноса. Если измеренная сила света превышает пороговое значение, контроллер может одновременно возбуждать передающий затвор, ассоциированный с каждой областью хранения, с идентичным напряжением переноса.

[0058] В описании и в формуле изобретения настоящей заявки, каждый из глаголов "содержать", "включать в себя" и "иметь" и его спряжения используется для того, чтобы указывать то, что объект или объекты глагола не обязательно представляют собой полный список компонентов, элементов или частей субъекта или субъектов глагола.

[0059] Описания вариантов осуществления изобретения в настоящей заявке предоставляются в качестве примера и не имеют намерение ограничивать объем изобретения. Описанные варианты осуществления содержат различные признаки, не все из которых требуются во всех вариантах осуществления изобретения. Некоторые варианты осуществления используют только некоторые признаки или возможные комбинации признаков. Варьирования вариантов осуществления изобретения, которые описываются, и варианты осуществления изобретения, содержащие различные комбинации признаков, указанных в описанных вариантах осуществления.

Реферат

Изобретение относится к области получения изображений и касается фотодатчика. Фотодатчик имеет множество светочувствительных пикселов, сформированных на подложке. Каждый пиксел содержит светочувствительную область, в которой падающий свет формирует носители фотозаряда, множество областей хранения для накопления носителей фотозаряда, передающий затвор, ассоциированный с каждой областью хранения, и матрицу микролинз. Области хранения являются возбуждаемыми, чтобы заставлять фотозаряд в светочувствительной области дрейфовать в область хранения. Матрица микролинз содержит по меньшей мере одну микролинзу для каждой области хранения и направляет свет, падающий на микролинзу, в область светочувствительной области, которая находится ближе к области хранения, чем к другим областям хранения из множества областей хранения. Технический результат заключается в обеспечении возможности управления пространственным разрешением пикселей и улучшении качества изображения. 3 н. и 12 з.п. ф-лы, 13 ил.

Формула