Системы, способы и аппараты для создания и использования очков с адаптивной линзой на основе определения расстояния наблюдения и отслеживания взгляда в условиях низкого энергопотребления - RU2576344C2

Чертежи

Показать все 11 чертежа(ей)

Описание

[0001] Настоящая заявка заявляет о приоритете предварительной заявки на патент США №61/349830, поданной 29 мая 2010 г., полное раскрытие которой включено здесь в качестве ссылки. Это раскрытие включает каждую ссылку в прилагаемом приложении, содержащем заявку РСТ.

ОБЛАСТЬ ТЕХНИКИ

[0002] Настоящая заявка в целом относится к области оптики и электроники, а в частности к устройствам и способам контроля адаптивных линз в очках и других оптических приборах.

УРОВЕНЬ ТЕХНИКИ

[0003] Современные очки обычно используются для коррекции зрения пациентов или пользователей; при этом близорукость является наиболее распространенным и доминирующим симптомом среди пациентов. Здесь и далее термин «пациент» и «пользователь» используются взаимозаменяемо. Основная причина близорукости - неспособность собственного хрусталика (далее - «хрусталик глаза») вернуться к более низкой оптической мощности (или более тонкой форме), вероятно, из-за слишком продолжительной фокусировки на близких объектах, что может требовать более высокой оптической мощности (утолщенной формы).

[0004] Когда пациенту впервые диагностируют близорукость, как правило, в раннем возрасте, в качестве корректирующей меры часто предписывают относительно низкую оптическую мощность, например -1,5 диоптрии, что означает способность пациента четко видеть объекты на расстоянии до 1/1,5 м=0,667 м=66,7 см. Когда пациент, скажем, студент, носит очки для чтения на доске в классной комнате, он или она может видеть текст без особых усилий. Однако когда пациент пытается читать учебник или записывать заметки в тетрадь и учебник или тетрадь находится на близком расстоянии 30 см от глаз пациента, тогда в соответствии с оптическими уравнениями виртуальное изображение, формируемое очками, может находиться на расстоянии 1/(-1,5, т.е. 20,6 см вместо 30 см. Следовательно, пациент вынужден неоднократно менять фокус между чтением/записью и взглядом на доску, что может быть утомительным, а аккомодация (или изменение фокуса) при ближнем расстоянии может быть сильнее или больше по сравнению со случаем, когда пациент не носит каких-либо очков. Такая постоянная смена фокуса требует от хрусталика глаз(а) пациента функционирование в условиях еще более высокой оптической мощности, чем прежде, и после длительного периода чтения/письма хрусталик глаз(а) может утрачивать способность возвращаться даже к первоначальным диоптриям -1,5, так как во время чтения/письма пациент эффективно фокусируется на расстоянии 20,6 см вместо 66,7 см, и это может приводить к нездоровому износу глаз. Постепенно пациенту потребуются очки с более сильными диоптриями, что, в свою очередь, может приводить к тому, что хрусталик глаз(а) пациента будет работать в условиях неоправданно высокой оптической мощности. В конце концов, механические свойства хрусталика глаз(а) (которые могут отличаться у разных людей) могут ограничивать степень сжатия хрусталика(ов), тем самым стабилизируя предписанный пользователю уровень диоптрий. Однако предписанный уровень диоптрий может быть стабилизирован за счет применения более сильных диоптрий, чем предписанные первоначально.

[0005] Бифокальные, мультифокальные и прогрессивные линзы используют для чтения среди пользователей с пресбиопией (например, неспособностью фокусировать взгляд на близком расстоянии при ношении очков с нормальными диоптриями, что обычно начинает влиять на зрение в зрелом возрасте). Бифокальные, мультифокальные и прогрессивные линзы ограничены тем, что требуют пациентов смотреть вниз для использования линз с меньшими диоптриями, что часто неудобно. Кроме того, офтальмологи, похоже, считают, что эти типы линз предназначены для пациентов с пресбиопией, а не для пациентов с близорукостью.

[0006] Корпорация «ПиксельОптикс» (PixelOptics, Inc.) г. Роанок, штат Вирджиния, выпустила тип очков с использованием адаптивных линз, которые изменяют фокусное расстояние в зависимости от расстояния наблюдения, однако указанные очки предназначены исключительно для пользователей с пресбиопией и/или пожилых пациентов, в то время как настоящее изобретение предназначено для лечения близорукости у пациентов всех возрастных групп. Кроме того, настоящее изобретение отличается от адаптивной линзы «ПиксельОптикс» тем, что если пациент не испытывает проблем с использованием выписанных очков при рассмотрении объектов на близком расстоянии, фокусное расстояние адаптируется соответственно, в то время как неизвестно, способны ли очки «ПиксельОптикс» производить такую адаптацию. Кроме того, очки «ПиксельОптикс» выполняют отслеживание взгляда неопределенно, а не конкретизировано, как описано в настоящем изобретении. Патент США №7517083, переданный «ПиксельОптикс», потенциально предполагает отслеживания движения глаза или взгляда для контроля фокусного расстояния адаптивной линзы. Однако данный патент не содержит достаточно подробные сведения об отслеживании направления взгляда, а лишь упоминает об использовании светодиодов и датчиков изображения для обнаружения краев зрачков, что предполагает отслеживание взгляда по зрачку, но не содержит подробных сведений для осуществления отслеживания направления зрачка с помощью малого форм-фактора, и, помимо этого, в патенте рекомендуется использовать межзрачковые расстояния для определения расстояния наблюдения. Тем не менее, межзрачковые расстояния являются не вполне точными, когда пациент смотрит в сторону, в то время как использование подхода на основе пересечения «линии видимости» для вычисления расстояния, в целом, представляется более точным. Кроме того, концепция межзрачкового расстояния по умолчанию предполагает одно расстояние наблюдения от обоих глаз, но это верно только в том случае, когда пользователь смотрит прямо перед собой (например, допустимо вверх или вниз). Например, при взгляде в левую сторону, особенно на близкие объекты, левый глаз будет находиться ближе к объекту, чем правый глаз. Подход на основе пересечения линии видимости избегает этой проблемы.

[0007] Способ измерения дальности также обсуждается в патенте США №7517083, который в целом позволяет найти ближайший расположенный по прямой линии объект, что не является эквивалентом нахождения расстояния наблюдения. В соответствии с различными опубликованными материалами и пресс-релизами «ПиксельОптикс» недавно выпущенные этой корпорацией очки могут «знать, на что вы смотрите».

[0008] Кроме того, в патенте США №7517083 упоминается использование системы слежения для «расчета спектра фокусировки на ближайшей точке с целью коррекции потребностей аккомодационной и конвергентной фокусировки на ближайших и промежуточных объектах», что представляет собой расплывчатое описание, которое, скорее, относится исключительно к необходимости фокусировки у пользователей с пресбиопией, а не к необходимости фокусировки у пользователей с близорукостью.

[0009] Помимо этого, тип способа отслеживания взгляда, который обсуждается в патенте США №7517083, чаще всего используется для корректирования нетрадиционных нарушений зрения, например, астигматизма, вместо более распространенных нарушений, например, близорукости. На практике отслеживание движения глаза или взгляда является сложным и представляет собой концепцию, которая требует более четкого и полного описания, особенно в контексте малого форм-фактора.

[0010] Отслеживание движения глаз или взгляда само по себе является сложным вопросом, который активно изучали в течение десятилетий и который до сих пор является нетривиальной задачей для реализации. В технологиях, окружающих проблему отслеживания движения глаз или взгляда, достигнут значительный прогресс, что позволяет производителям оптики инвестировать большие суммы средств в создание и производство коммерческих устройств слежения (или устанавливаемых на голове устройств слежения за движением глаз), которые можно реализовывать за тысячи долларов. Проведенные исследования показывают, что устанавливаемые на голове устройства слежения за движением глаз относительно громоздкие и потребляют значительное количество энергии, возможно, сотни мВт (милливатт).

[0011] Одна работа 2009 г. под названием «Интеллектуальный датчик изображения со скоростью обработки 200 мкс для устройства слежения за движением глаз на основе аналоговой обработки изображения по уровню пикселей» (А 200 us Processing Time Smart Image Sensor for an Eye Tracker Using Pixel-Level Analog Image Processing) описывает смарт-датчик изображения на основе КМОП, который непосредственно осуществляет отслеживание движения глаза при максимальном потреблении 100 мВт. См. Dongsoo Kim, Gunhee Han (Dept. of Electrical Engineering, Yonsei University, Seoul, Korea), A 200 jus Processing Time Smart Image Sensor for an Eye Tracker Using Pixel-Level Analog Image Processing, 44 IEEE Journal of Solid-State Circuits 2581-90 (Sept. 2009) (Volume 44, Issue 9). В этой работе рассматривается современное состояние разработки маломощных устройств отслеживания движения глаз и показано, что попытка разработки устройств с энергопотреблением ниже мВт остается одной из основных целей проектирования. Однако авторам не удалось достичь энергопотребления ниже мВт. Проект, который обсуждается в приведенной выше работе, обеспечивает 5000 слежений в секунду. Таким образом, если число слежений сократить всего до 50 слежений в секунду, общее энергопотребление можно сократить до 1 мВт.

[0012] Одна работа 2004 г. под названием «Гасящая естественное освещение камера с использованием способа вычитания рамок» (Ambient-Light-Canceling Camera Using Subtraction of Frames) предусматривает применение двойной экспозиции при контролируемом освещении в условиях временной модуляции (включено/выключено), а затем проведение вычитаний для погашения помех естественного (фонового) освещения. См. NASA's Jet Propulsion Laboratory (Pasadena, California), Ambient-Light-Canceling Camera Using Subtraction of Frames, NASA Tech Briefs, NPO-30875 (May 2004), адрес в сети Интернет:

http://findarticles.com/p/articles/mi_qa3957/is_200405/ai_n9457885/?tag-content;coll. Вычитание может проводиться средствами программного, а не аппаратного обеспечения.

[0013] Помимо этого, в патенте США №2008/0203277 компании Zamir Recognition Systems, расположенной в г.Ноксвилл, штат Теннесси, и в г.Иерусалим, Израиль, описан подход, аналогичный вышеупомянутому подходу, представленному в вышеуказанном источнике NASA Tech Brief 2004, но на уровне аппаратного обеспечения. Два подхода изложены в вышеупомянутой публикации патента: (i) один подход - с использованием контролируемого света в условиях временной модуляции (включено/выключено), подобно описанному в вышеуказанном источнике NASA Tech Brief 2004, и (ii) другой подход с использованием частотной модуляции (аналогичной настройке радиочастот AM/FM) для обеспечения большей восприимчивости к некоторым контролируемым частотам. Подход на основе частотной модуляции может быть более сложным с точки зрения его реализации по сравнению с подходом на основе временной модуляции. Каждый пиксель в камере имеет конденсатор. Подход на основе временной модуляции может предполагать использование зарядки и разрядки конденсатора каждого пикселя в одном массиве пикселей или зарядку двух массивов пикселей, а затем проведение вычитаний.

[0014] Фигура 3, приведенная в патенте США №2008/0203277, вероятно, представляет риск статического электричества, что логически несовместимо с общей конструкцией подхода на основе зарядки и разрядки. Кроме того, для подхода на основе временной модуляции с двумя массивами пикселей предлагается проводить вычитание сигналов средствами аппаратного или программного обеспечения. Даже при проведении вычитания средствами аппаратного обеспечения патент США №2008/0203277 указывает на использование известных в этой области техники способов, например, дифференциальный операционный усилитель обычно используется как модуль вычитания в аналоговой среде, а арифметическое устройство после оцифровки обычно используется как модуль вычитания в цифровой области.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0015] Иногда пациент на ранней стадии близорукости может временно восстанавливать способность видеть объекты на далеком расстоянии, если действительно будет смотреть на удаленные объекты в течение длительного периода времени. Предположительно такой результат можно достичь за счет расслабления мышц, давая хрусталику глаза возможность самостоятельно восстановить более тонкую форму. Поэтому, если очки спроектированы таким образом, который обеспечивает максимальное расслабление мышц, сохраняя при этом остроту зрения и достаточную коррекцию зрения, пользователь потенциально сможет снизить симптомы близорукости и/или избежать в дальнейшем использование более сильных диоптрий. Такой результат может быть достигнут с помощью линзы с адаптивным фокусным расстоянием. Если известен предписанный уровень диоптрий пациента для дали, тогда при максимальном уровне релаксации глаз такие очки могут обеспечивать коррекцию исключительно в объеме, необходимом для обеспечения достаточной коррекции зрения или коррекции зрения при адекватных и удовлетворительных уровнях. Таким образом, пациент сможет использовать первоначально предписанный уровень диоптрий, не прибегая к более сильным диоптриям без необходимости. Также можно немного сократить корректирующую мощность набора линз, что даст глазу импульс к фокусировке (на дальнем расстоянии), что, возможно, обеспечит обратимость эффекта близорукости.

[0016] Описанный выше подход может быть реализован с использованием технологий адаптивных линз (например, электросмачивание, жидкокристаллическая технология, жидкостная линза с нагнетанием жидкости и т.п.) в сочетании со средствами определения «расстояния наблюдения» или точного определения того, как далеко фокусируется пациент, рассматривая объект на расстоянии. Расстояние наблюдения не обязательно представляет собой прямолинейное расстояние до ближайшего расположенного впереди объекта, поскольку пациент может смотреть в сторону, например, бросая взгляд на какой-либо объект.

[0017] Нововведение в отношении расстояния наблюдения заключается в том, что это расстояние зависит от линии видимости каждого глаза и может равняться расстоянию пересечения этих двух линий видимости, исходя из того, как глаз человека воспринимает стереоизображение.

[0018] В одном варианте воплощения вышеописанного подхода используются способы, в которых выгодно применяется отслеживание блика. Один из вариантов воплощения предусматривает способ, преимущество которого заключается в отсутствии необходимости калибровки при его использовании в сочетании со способами, известными в данной области техники. Один из вариантов воплощения предусматривает способ отслеживания блика в условиях очень низкого энергопотребления с использованием смарт-датчиков изображения КМОП путем модификации элемента датчика активных пикселей (ДАП).

[0019] В одном варианте воплощения настоящего изобретения может использоваться один массив пикселей, но два конденсатора, которые надлежащим образом размещены у источника и у затвора МОП-транзистора, который тем самым способствует обнаружению блика. Этот подход отличается от подхода на основе временной модуляции, описанного выше в патенте США №2008/0203277, и может использовать меньшее количество пикселей. Кроме того, подходы на основе временной и частотной модуляции, описанные выше в Патенте США №2008/0203277, предназначены в большей степени для общего захвата изображения, а не для обнаружения блика. В целях сравнения следует отметить, что конструкция настоящего изобретения на основе двух конденсаторов представляет собой новый способ выполнения, по сути, вычитания, но с распознаванием блика и в условиях малой мощности вместо обнаружения пикселей при любой интенсивности света в условиях высокой мощности.

[0020] В одном варианте воплощения настоящее изобретение предусматривает простой в реализации видоискатель с низким энергопотреблением (ниже мВт), который можно экономично изготовить.

[0021] В одном варианте воплощения настоящего изобретения предусмотрен новый тип очков, который уменьшает степень аккомодации, необходимой пользователям с близорукостью на всех диапазонах расстояния наблюдения, снижая тем самым нагрузку на глаза и, возможно, замедляя, стабилизируя или даже обеспечивая обратимость прогрессии близорукости. Указанные очки могут адаптировать оптическую мощность установленных на них линз так, что пользователям с близорукостью будет необходима меньшая аккомодация по сравнению с использованием очков, предписанных для восстановления полного зрения. Снижение степени аккомодации может быть меньше полной, но по-прежнему положительной по сравнению с очками, предписанными для восстановления полного зрения. Это может способствовать сохранению неявной взаимосвязи между конвергенцией и аккомодацией, которую воспринимает головной мозг, так чтобы, снимая очки, пациент мог продолжать видеть естественно, поскольку головной мозг осознает необходимость повторной фокусировки хрусталика при различных расстояниях. Кроме того, сниженная степень аккомодации может быть немного больше, чем полная аккомодация, если пользователь не видит на 100% четко и склонен фокусироваться на удаленном объекте, помогая тем самым хрусталику глаз(а) вернуться к более тонкой форме (и меньшей мощности) и, возможно, обеспечить обратимость прогрессии близорукости. Возможно, для очков потребуются данные о расстоянии просмотра, которое определяется по расстоянию наблюдения. Устройство отслеживания движения глаз или взгляда, предусмотренное настоящим изобретением, основано на отслеживании бликов глаза от инфракрасной светодиодной подсветки. Устройство отслеживания движения глаз или взгляда может быть простым в реализации, что делает его пригодным для встроенного использования (в очках) и содействует его использованию без калибровки в сочетании со способами, известными в данной области техники.

[0022] В одном варианте воплощения настоящего изобретения устройство отслеживания взгляда для использования в очках не только должно быть легкореализуемым, но также может иметь очень низкое энергопотребление. Цель конструкции - обеспечить энергопотребление на уровне ниже мВт, предпочтительно, во время активных периодов слежения. Фактическая конструкция в соответствии с настоящим изобретением может использоваться для изменения датчика активных пикселей (ДАП) в смарт-датчике изображения КМОП, потребляемая мощность может быть заметна только при включении пикселя, и пиксель может быть включен только в условиях достаточно сильного падающего света (например, блик улавливается на пикселе). Такой подход поддерживает очень низкое энергопотребление, возможно, менее 0,1 мВт во время активных периодов. Описаны два способа, один из которых предусматривает более простую реализацию, а другой - более сложную реализацию с более высокой устойчивостью к фоновой интерференции света. В отличие от предшествующих подходов, в частности, вышеописанного подхода Kim & Han, раскрываемые в настоящем изобретении системы и способы предусматривают конструкцию, которая может поддерживать энергопотребление ниже мВт даже во время активных периодов. Например, если в качестве нагрузки использовать транзистор-ограничитель тока 1 мкА и применять мощность 3В, тогда схема обнаружения блика (как элемент устройства отслеживания взгляда по блику) в конструкции настоящего изобретения может потреблять только порядка 30 мкВт во время активных периодов, если, например, ожидается 10 пикселей блика на изображении, фиксируемом камерой устройства отслеживания взгляда. Кроме того, устройство отслеживания движения глаза, рассматриваемое выше в работе 3В09 г., отслеживает только центр зрачка, в то время как настоящее изобретение отслеживает блик, который может представлять собой только один пиксель или небольшую группу пикселей, делая тем самым схему намного более простой и надежной.

[0023] В одном варианте воплощения настоящего изобретения представлены инновационные варианты воплощения очков, которые могут корректировать свою оптическую мощность на основе расстояния наблюдения с целью снижения степени аккомодации, необходимой пользователям с близорукостью, когда такие пользователи смотрят, например, на близком расстоянии. Очки позволяют пользователю максимально расслабить глаза, независимо от того, смотрит ли пользователь на удаленные или близлежащие объекты, что может способствовать замедлению и, возможно, обеспечит обратимость прогрессии близорукости. Выполняемая очками оптическая корректировка может достигаться с помощью, например, адаптивной линзы, а адаптивна линза, в свою очередь, может быть реализована несколькими путями, например путем жидкостного электросмачивания, жидкокристаллической технологии и жидкостной линзы с нагнетанием жидкости.

[0024] В одном варианте воплощения настоящего изобретения предусмотрен способ отслеживания направления взгляда для расчета расстояния наблюдения. Указанный способ может требовать только отслеживание блика, что может быть проще в реализации. Способ также может быть реализован без калибровки путем объединения этого способа или его составляющих со способами, известными в данной области техники, или путем объединения составляющих таких способов, известных в данной области техники, с автоматической калибровкой. Указанный способ также может способствовать реализации изобретения с низкой степенью сложности с помощью, например, использования одной светодиодной подсветки и двух или нескольких камер.

[0025] В одном варианте воплощения настоящего изобретения предусмотрен способ со сверхнизким энергопотреблением (например, ниже мВт или милливатта) для отслеживания блика в камерах с помощью, например, смарт-датчиков изображения на основе КМОП (комплементарного металлооксидного полупроводника), которые также могут быть оснащены датчиками активных пикселей (ДАП). Модифицированный ДАП может иметь очень низкое энергопотребление, поскольку пиксель включается (и потребляет заметную мощность) только в том случае, если он потенциально является бликовым пикселем (например, при достаточно сильной интенсивности света). Узкополосной фильтр ближнего инфракрасного диапазона может использоваться в качестве предпочтительного подхода для повышения устойчивости к помехам фонового освещения. Время экспозиции также может быть снижено по сравнению со скоростью нормального захвата изображения, что может способствовать и обнаружению только блика и низкому энергопотреблению светодиодной подсветкой. Другими словами, светодиод не обязательно должен быть «включен» все время. В одном из вариантов воплощения настоящего изобретения также может быть предусмотрен вариант вышеописанного способа, который может обеспечивать более сильную устойчивость к помехам фонового освещения с помощью двух конденсаторов в ДАП для двух экспозиций, а также модифицированное обеспечение подачи напряжения для сопряжения выходного сигнала ДАП. В одном варианте воплощения настоящего изобретения может также предусматриваться вариант вышеописанного способа, который может достичь подобной цели вышеописанного способа (например, более сильной устойчивости к фоновому освещению), однако, без использования одного из двух конденсаторов и/или модифицированной подачи напряжения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0026] Варианты воплощения настоящего изобретения проиллюстрированы на примере и не ограничиваются фигурами на прилагаемых чертежах, на которых одинаковые ссылки указывают на аналогичные элементы.

[0027] Фигура 1 демонстрирует пример аппаратного устройства, используемого в сочетании с очками, оснащенными адаптивными линзами на основе определения расстояния наблюдения и отслеживания взгляда при низком энергопотреблении в соответствии с вариантом воплощения настоящего изобретения.

[0028] Фигура 2 демонстрирует график различных режимов снижения аккомодации в соответствии с вариантом воплощения настоящего изобретения.

[0029] Фигура 3 представляет собой иллюстрацию пары углов вращения (азимут α и высота (3) при отслеживании движения глаз или взгляда в соответствии с вариантом воплощения настоящего изобретения.

[0030] Фигура 4 демонстрирует традиционный 3-транзисторный датчик активных пикселей (3Т-ДАП).

[0031] Фигура 5 демонстрирует модифицированный 3Т-ДАП с ограничителем тока в соответствии с вариантом воплощения настоящего изобретения.

[0032] Фигура 6 демонстрирует модифицированный 3Т-ДАП с общим транзистором в соответствии с вариантом воплощения настоящего изобретения.

[0033] Фигура 7 демонстрирует традиционный 4-транзисторный ДАП (4Т-ДАП).

[0034] Фигура 8 демонстрирует модифицированный 4Т-ДАП с ограничителем тока и общим транзистором в соответствии с вариантом воплощения настоящего изобретения.

[0035] Фигура 9 демонстрирует модифицированный 3Т-ДАП, в котором реализовано маломощное обнаружение блика с фотодиодом с подложкой n-типа в соответствии с вариантом воплощения настоящего изобретения.

[0036] Фигура 10 демонстрирует ДАП с двумя конденсаторами на основе разности потенциалов между двумя экспозициями в соответствии с вариантом воплощения настоящего изобретения.

[0037] Фигура 11 демонстрирует обтекаемую схему, где фотодиод полностью интегрирован с другими МОП-транзисторами в соответствии с вариантом воплощения настоящего изобретения.

[0038] Фигура 12 демонстрирует пример пары очков с адаптивными линзами и возможностью отслеживания направления взгляда в соответствии с вариантом воплощения настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ И ФИГУР

[0039] Ссылка в настоящем описании на «один вариант воплощения настоящего изобретения» или «вариант воплощения настоящего изобретения» означает, что определенная особенность, структура или характеристика, описанная в связи с вариантом воплощения настоящего изобретения, включает по меньшей мере один вариант настоящего изобретения. Появление фразы «в одном варианте воплощения настоящего изобретения» в тексте настоящего описания не обязательно указывает на один и то же вариант воплощения настоящего изобретения, равно как и отдельные или альтернативные варианты воплощения настоящего изобретения не являются взаимоисключающими. Кроме того, описаны различные функции, которые могут быть реализованы некоторыми вариантами воплощения настоящего изобретения и не могут быть реализованы другими. Аналогично, описаны различные требования, которые могут представлять собой требования для одних вариантов воплощения настоящего изобретения и не составлять такие требования для других.

[0040] Фигура 1 демонстрирует аппаратное устройство, используемое вместе с очками, оснащенными адаптивной линзой на основе определения расстояния наблюдения и маломощного устройства отслеживания взгляда в соответствии с вариантом воплощения настоящего изобретения. Хотя Фигура 1 демонстрирует различные компоненты встроенного устройства, она не предназначена для представления какой-либо конкретной архитектуры или способа взаимосвязи компонентов. Некоторые варианты воплощения настоящего изобретения могут использовать другие системы, оснащенные меньшим или большим количеством компонентов, чем продемонстрировано на Фигуре 1.

[0041] На Фигуре 1 система обработки данных 100 включает интерконнектор 102 (например, шину и логическую схему системы на сердечниках), которая соединяет микропроцессор(ы) 103 и память 108. В примере, представленном на Фигуре 1, микропроцессор 103 соединен с кэш-памятью 104.

[0042] Интерконнектор 102 соединяет микропроцессор(ы) 103 и память 108 вместе, а также соединяет их с контроллером дисплея, устройством дисплея 107, датчиком 109 и периферийными устройствами, такими как устройство ввода/вывода (1/0) 105 через контроллер(ы) ввода/вывода 106.

[0043] Датчик 109 может включать КМОП- или ПЗС-датчик изображения. Датчик 109 может дополнительно включать, например, акселерометр для определения ориентации устройства и/или выявления сотрясений устройства, или, в качестве другого примера, аудиозаписывающее оборудование для записи звука рядом с пользователем или, в качестве еще одного примера, оптические приборы для измерения, наблюдения или записи визуальных данных.

[0044] Типичные устройства ввода/вывода включают мыши, клавиатуры, модемы, сетевые интерфейсы, принтеры, сканеры, видеокамеры, сенсорные панели, микрофоны и другие устройства, которые хорошо известны в данной области техники. В некоторых вариантах воплощения настоящего изобретения, когда система обработки данных представляет собой серверную систему, некоторые устройства ввода/вывода, такие как принтер, сканер, мышь и/или клавиатуры, являются необязательными.

[0045] Интерконнектор 102 может включать один или несколько шин, соединенных друг с другом с помощью различных мостов, контроллеров и/или адаптеров. В одном варианте воплощения настоящего изобретения контроллер ввода/вывода 106 включает адаптер USB (универсальная последовательная шина) для контроля периферийных устройств USB и/или адаптер шины IEEE-1394 для контроля периферийных устройств IEEE-1394.

[0046] Память 108 может включать ПЗУ (постоянное запоминающее устройство), энергозависимую память ОЗУ (оперативное запоминающее устройство) и энергонезависимую память, например жесткий диск, флэш-память и т.д.

ТЕХНОЛОГИЯ АДАПТИВНОЙ ЛИНЗЫ

[0047] Как отмечалось выше, пациенты с близорукостью страдают от того, что при взгляде на близкие объекты хрусталику(ам) их глаз(а) необходимо приспосабливаться намного больше при ношении очков с полными диоптриями по сравнению с отсутствием очков, тем самым вынуждая хрусталик(и) глаз(а) сохранять оптическую мощность, которая значительно выше прежней. При длительном ношении очков хрусталик(и) глаз(а), вероятно, не сможет (не смогут) вернуться к своей первоначальной форме, усиливая тем самым близорукость пациента. Даже чтение без очков на близком расстоянии слишком продолжительный период, вероятно, не очень хорошая привычка глаз. При использовании очков эта проблема еще больше усугубляется.

[0048] Следовательно, предусмотрен новый тип очков, который корректирует фокусное расстояние или оптическую мощность, для снижения степени аккомодации, необходимой пациенту с близорукостью, когда он смотрит на объекты, расположенные на наиболее практичных расстояниях. Основным требованием такой адаптивной линзы для использования в очках является компактность, и это требование обычно исключает мультифокальную(ые) комбинированную(ые) линзу(ы), используемую(ые) в большинстве камер, которые обычно являются слишком большими и требуют движущихся элементов. Однако недавние достижения в области оптических технологий позволили реализовать адаптивные линзы на практике. Существуют несколько типов конструкций адаптивных линз, таких как, например, жидкостные линзы на основе технологии электросмачивания, жидкокристаллические линзы и линзы с нагнетанием жидкости. Что касается электросмачивания см. работу Liquid Lens Technology: Principle of Electrowetting based Lenses and Applications to Imaging, B. Berge, Varioptic, Proceedings of the MEMS 3В05 conference, Jan 30-Feb 3 3В05-02-05, раскрытие которой включено здесь в качестве ссылки. Что касается жидкокристаллических линз, см. патент США №7517083, раскрытие которого включено здесь в качестве ссылки. Что касается линз с нагнетанием жидкости, см. Liquid Lens Innovations: Takes Initial Form in Camera Phones, K.J.Kabza, February 9, 3В06, раскрытие которой включено здесь в качестве ссылки. При условии, что определенная технология адаптивных линз отвечает определенным требованиям для таких показателей, как форм-фактор, диапазон фокусных расстояний и энергопотребление, они будут пригодными для использования с очками, предусмотренными настоящим изобретением. Кроме того, адаптивная линза может быть объединена с фиксированной мощной линзой (например, за счет склеивания двух линз вместе) для достижения желаемого оптического диапазона и/или повышения рентабельности.

СПОСОБЫ СОКРАЩЕНИЯ АККОМОДАЦИИ

[0049] Фигура 2 демонстрирует график различных режимов снижения аккомодации в соответствии с вариантом воплощения настоящего изобретения. График 3В0 включает график 3В2 режима частичного сокращения, график 3В4 режима полного сокращения, график 3В6 режима ускоренного сокращения и график 3В8 использования обычной линзы, где ось у - оптическая мощность корректирующей линзы в диоптриях, а ось х - фактическое расстояние до объекта в метрах, представленное переменной «и».

[0050] Уровень сокращения степени необходимой аккомодации может иметь несколько режимов. В первом режиме - режиме полного сокращения, который представлен графиком 3В4 режима полного сокращения, предусмотрено полное сокращение, например, хрусталик(и) глаз(а) пациента полностью расслаблен(ы) и никогда не должен(ы) приспосабливаться, глядя на удаленные или близкие объекты. Например, если пациенту с близорукостью предписаны диоптрии -1,5, при режиме полного сокращения адаптивная(ые) линза(ы) в очках всегда может(могут) формировать виртуальное изображение интересующего объекта на расстоянии 1/1,5=0,667 м=66,7 см. Заметим, что если интересующий объект в действительности находится на расстоянии ближе 66,7 см, адаптивная(ые) линза(ы) должна(ы) менять свою форму с вогнутой на выпуклую таким образом, чтобы виртуальное расстояние до изображения по-прежнему составляло 66,7 см. Таким образом, в режиме полного сокращения хрусталик(и) глаз(а) всегда поддерживается в его тончайшей форме и при самой низкой оптической мощности (когда речь идет о назначении очков в настоящий момент при близорукости), что может помочь пациенту замедлить или предотвратить дальнейшую прогрессию близорукости. И снова, режим полного сокращения проиллюстрирован графиком 3В4 режима полного сокращения. Заметим, что для графика 3В4 режима полного сокращения, где фактическое расстояние до объекта u=66,7 см (ось х), адаптивная линза в режиме полного сокращения будет иметь оптическую мощность на уровне нуля (ось y), поскольку пользователь, которому предписаны диоптрии -1,5, может четко видеть без очков на расстоянии до 66,7 см. При дальнейшем сокращении и отрицательная оптическая мощность адаптивной линзы должна будет измениться на положительную.

[0051] Во втором режиме - режиме частичного сокращения, который представлен графиком 3В2 режима частичного сокращения, сокращение происходит в менее чем полном режиме, но степень сокращения по-прежнему положительна по сравнению с ношением очков, предписанных для полного восстановления зрения. Можно установить более низкий предел виртуального расстояния до изображения. Например, если пользователю предписаны диоптрии -1,5 и мы установим указанный нижний предел до 30 см, тогда адаптивная(ые) линза(ы) обеспечит - независимо от того, насколько близко расположен интересующий объект - формирование виртуального изображения на расстоянии 30 см или дальше. Точное соответствие между реальным расстоянием до объекта и расстоянием до виртуального изображения (которое контролирует оптическую мощность адаптивной линзы) может принимать любую форму функции, пока расстояние до виртуального изображения представляет собой невозрастающую функцию реального расстояния до объекта и начинается при |f₀|, где f₀ - фокусное расстояние адаптивной линзы при диоптриях, необходимых для полного восстановления зрения, например, инверсия предписанных при близорукости диоптрий. На практике мы также можем определить нижний предел, когда реальное расстояние до объекта составляет не меньше чем заданный практический нижний порог, например, 10 см. Кроме того, мы можем непосредственно определить оптическую силу адаптивной линзы по отношению к реальному расстоянию до объекта, и такая функция в режиме частичного сокращения, как правило, будет представлять собой невозрастающую функцию между плоской линией 1/f0 и кривой 1/f=1/u+1/f0, где u - реальное расстояние до объекта (ось x). Заметим, что хотя эта функция предпочтительно должна быть невозрастающей по отношению к реальному расстоянию до объекта, и функция виртуального расстояния до изображения должна быть неубывающей по отношению к реальному расстоянию до объекта, незначительные модификации этих функций для преодоления их невозрастающих или неубывающих свойств должны рассматриваться как обычное моделирование. График 3В2 режима частичного сокращения иллюстрирует режим частичного сокращения, где расстояние до виртуального изображения v определяется как функция и как v=I/(3В*u+1,5)-0,667. Термин «-0,667» определяет максимальное значение v, а 1,5 (диоптрии) используется для обеспечения выполнения для любого u>0 условия v<0 (поскольку виртуальное изображение находится на той же стороне, что и корректирующая линза). Тем не менее, это всего лишь наглядные примеры, и могут также использоваться другие функции.

[0052] Режим частичного сокращения также может играть важную роль в поддержании неявной взаимосвязи между конвергенцией и аккомодацией, воспринимаемой головным мозгом. Когда мы смотрим на близкий объект, мы испытываем более сильную конвергенцию, поскольку наши глаза вращаются внутрь для поддержания надлежащего стереоскопического зрения. Обычно для людей с нормальным зрением (и даже людей с близорукостью, которые носят обычные очки) хрусталики глаза затем приспосабливаются (например, меняются для обеспечения более высокой оптической мощности) для фокусировки на близких объектах. Однако в режиме полного сокращения хрусталику(ам) глаз(а) никогда не придется менять фокус. Хотя это может быть полезным в том случае, когда хрусталик(и) глаз(а) всегда находится в полностью расслабленном режиме, неявная взаимосвязь конвергенции/аккомодации при этом отсутствует. При длительном ношении очков головной мозг может терять или существенно ослабить восприятие такой неявной взаимосвязи, и когда пациент снимет очки, ему/ей может быть затруднительно четко рассматривать объекты, расположенные на различных расстояниях, даже в том случае, когда объекты находятся на расстоянии его/ее четкого зрения, поскольку на разных расстояниях глаза проявляют разную степень конвергенции, но головной мозг может не инициировать изменение фокуса. Таким образом, режим частичного сокращения решает эту потенциальную проблему. С другой стороны, пользователи с близорукостью, которые носят обычные очки, уже испытывают иную взаимосвязь конвергенции/аккомодации в отличие от состояния без очков, следовательно, может возникнуть любая монотонная взаимосвязь/отображение при условии, что существует одна такая взаимосвязь/отображение с наличием немалых (т.е. когда речь идет об участии головного мозга) диапазонов аккомодации. Это позволяет предположить наличие относительно высокой гибкости при выборе функции расстояния до виртуального изображения или оптической мощности по отношению к фактическому расстоянию до объекта, что контролирует такое отображение.

[0053] В третьем режиме - режиме ускоренного сокращения, который представлен графиком 3В6 режима ускоренного сокращения, сокращение несколько превышает полную степень, вследствие чего глаз не видит интересующий объект на 100% четко, и при этом хрусталик(и) глаз(а) может (могут) использоваться для фокусировки на далеком расстоянии для обеспечения четкого зрения. При успешном выполнении этого условия прогрессия близорукости может даже носить обратимый характер. Как можно увидеть на графике 3В6 режима ускоренного сокращения, корректирующая мощность сокращается на 0,25 диоптрии для всех расстояний. Однако также могут быть использованы другие функции.

[0054] В любом из перечисленных выше режимов могут быть добавлены эргономические характеристики для содействия выработке правильных привычек работы глаз и улучшения состояния здоровья. Например, если фактическое расстояние до объекта меньше, чем предопределенный порог, и, возможно, фокусировка на объекте превышает предопределенное количество времени, очки могут издавать звуковой сигнал, например, чтобы напомнить пользователю о том, что он/она слишком близко смотрит на объекты.

[0055] Для пользователей с дальнозоркостью, например, тех, кто может четко видеть на далеком расстоянии, но испытывает трудности фокусирования на близких объектах, могут быть использованы аналогичные режимы, но с несколькими отличиями. Например, адаптивная(ые) линза(ы) может (могут) корректировать свою оптическую мощность таким образом, чтобы всегда эффективно формировать изображение на расстоянии ближайшего четкого зрения, скажем, 50 см, если предписаны диоптрии+2. Однако такой режим будет всегда держать пользователя в условиях ближнего фокуса, даже когда он будет смотреть на удаленные объекты, что может напрягать глаза. И наоборот, адаптивная(ые) линза(ы) может (могут) обеспечить положительную мощность так, чтобы при рассмотрении объектов, расположенных ближе, чем расстояние ближайшего четкого зрения, изображение эффективно формировалось на расстоянии ближайшего четкого зрения, а при рассмотрении объектов, расположенных дальше расстояния ближайшего четкого зрения, адаптивная(ые) линза(ы) может (могут) обеспечить нулевую мощность, чтобы пациент использовал свое естественное зрение и фокус. Как и в случае близорукости, эффективное расстояние до изображения может быть статическим или может незначительно меняться относительно фактического расстояния до различных объектов, благодаря чему головной мозг сохраняет некоторую неявную взаимосвязь между конвергенцией и аккомодацией.

[0056] График использования обычной линзы 3В8 демонстрирует постоянную оптическую мощность (здесь, показано как -1,5 диоптрии), которая обеспечивается, например, обычной линзой.

РАССТОЯНИЕ НАБЛЮДЕНИЯ И ОТСЛЕЖИВАНИЕ НАПРАВЛЕНИЯ ВЗГЛЯДА

[0057] Определение фактического расстояния до объекта, например расстояния до интересующего объекта или расстояния наблюдения, не является тривиальной задачей. Расстояние не всегда представляет собой прямую линию до ближайшего расположенного впереди объекта, поскольку пользователь всегда может смотреть в сторону, например, бросая взгляд на объект. Поэтому, если использовать камеру с автофокусом (которая обычно настраивается на фокусное расстояние между двумя самыми острыми краями в пределах указанной области, такой как прямая фронтальная область) и установить ее на фронтальной части очков, она не будет работать, когда пользователь бросает взгляд на объект. В худшем случае при большом количестве объектов на различных расстояниях в пределах малого угла зрения, расстояние наблюдения может значительно меняться при незначительном изменении угла взгляда. Аналогично, та же самая проблема может возникать при использовании устройства определения дальности, которое излучает небольшой импульс света или ультразвуковую волну и контролирует время отражения для определения расстояния наблюдения.

[0058] Глаз человека может воспринимать пространство стереоскопическим образом. Глаза обладают высокой остротой зрения в области ямки сетчатки, и для четкого восприятия деталей объекта, как правило, оба глаза могут вращаться так, чтобы объект формировал изображение в области ямки. В то же время во избежание диплопии при фокусировке на интересующем объекте повороты глаз должны быть очень точным, чтобы оба изображения объекта в ямке сетчатки перекрывались почти полностью в стереоскопическом зрении. Таким образом, расстояние наблюдения можно определять по линиям видимости обоих глаз. Эти две линии могут пересекаться на интересующем объекте в связи с этим наблюдаемым требованием стереоскопического зрения. Точка пересечения представляет собой 3D-координаты интересующего объекта (или, точнее, части объекта, на которой фокусируется пользователь). На практике и ошибки измерений, и неидеальное стереоскопическое выравнивание глаза могут привести к тому, что две обнаруженные линии видимости не будут пересекаться. Чтобы устранить эти ошибки, могут использоваться некоторые формы приближенного представления. Например, вместо моделирования в форме абстрактных тонких линий, обе линии видимости могут быть продлены до луча или с малым радиусом, или с малым телесным углом (который охватывает большую площадь по мере продвижения в направлении дальнего расстояния), и центр полученной пересекающейся области (например, его геометрический центр тяжести) будет считаться 3D-координатами объекта. Также могут быть использованы другие методы приближенного представления.

[0059] После определения 3D-координат интересующего объекта при условии, что 3D-система координат откалибрована по центрам обоих глазных яблок, можно легко определить расстояние наблюдения для каждого глаза.

[0060] Процесс определения линии видимости называется отслеживанием взгляда, которое связано с отслеживанием движения глаз. Эти два термина иногда взаимозаменяемы с той разницей, что отслеживание движения глаз обычно предусматривает определение наличия глаз(а) в изображении камеры и функции отслеживания движения глаз, например, по зрачку или радужной оболочке глаза для определения центра зрачка. В то время как отслеживание взгляда обычно предусматривает определение линии видимости или в 2D-, или в 3D-системе координат, однако при отслеживании взгляда часто используются результаты отслеживания движения глаз для определения линии видимости. Кроме того, поскольку область ямки (в которой сконцентрировано максимальное зрительное внимание) несколько отличается от точки пересечения оптической оси и сетчатки, существует даже разница между линией видимости и линией взгляда, где первая связана с центром ямки или зрительной осью, а вторая связана с оптической осью. На практике мы можем непосредственно измерить только линию взгляда и разность углов между оптической и зрительной осями, если известно, то может тогда использоваться для получения линии видимости в простой геометрической форме. Это значение может быть измерено или для каждого пациента, или, в случае более простой реализации изобретения, - на основе среднего значения для населения. Более подробную информацию об отслеживании взгляда можно найти, например, в публикации In the Eve of the Beholder: A Survey of Models for Eves and Gaze, Dan Witzner Hansen and Qiang Ji, IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol.32, No. 3. pp.478-500. Mar 3В10, раскрытие которой включено здесь в качестве ссылки.

[0061] Отслеживание движения глаз и взгляда представляет собой важную тему исследований, проводимых на протяжении нескольких десятилетий, и отслеживание движения глаз и взгляда по-прежнему не является тривиальной задачей вследствие крайне изменчивых условий фонового освещения, разниц(ы) между глазами, движения головы и отражений от очков как помех, которые приведены здесь в качестве нескольких переменных или препятствий.

[0062] Интересно, что многие из этих препятствий можно избежать или значительно сократить, если встроить устройство отслеживания взгляда в пару очков. Например, отражения от очков больше не будут представлять проблему, поскольку устройство отслеживания взгляда можно разместить на внутренней стороне очков. Контролируемое освещение, как правило, в форме ближней инфракрасной светодиодной подсветки в целом используется для отслеживания движения глаз/направления взгляда в помещении, но не эффективно при наружном отслеживании движения глаз/направления взгляда, т.к. помехи фонового освещения внешней среды являются слишком сильными. Встроенные в очки светодиод(ы) могут быть размещены намного ближе к глазам, что обеспечит более высокий показатель БИЯ (соотношение сигнала к шуму) в отношении фонового освещения и/или обеспечения более низкого энергопотребления (тот же самый эффект освещения при меньшем энергопотреблении на более близком расстоянии). Это преимущество используется во многих устройствах слежения движения глаз/взгляда, которые монтируют на голову. Кроме того, вместо использования общего проходящего ИК-фильтра, который проходит большую часть ИК освещения при захвате изображения, узкополосной фильтр с ближним инфракрасным диапазоном может использоваться для блокировки большинства помех фонового освещения, и если этот узкополосный формат предназначен для обеспечения соответствия с таким же узким пучком света, который производит светодиод с ближним инфракрасным диапазоном, он может усиливать светодиодный сигнал для обеспечения большего соотношения сигнала к шуму порядка 50:1 (по сравнению с отсутствием ИК-фильтра) или приблизительно 8:1 (по сравнению с общим ИК-фильтром) для обеспечения реалистичных реализаций настоящего изобретения. В разделе, описывающем модифицированный смарт-датчик изображения на основе КМОП, предлагаемый в настоящем изобретении, будет приведена более подробная информация о данной методике. Заметим, что обычно используется ближний инфракрасный свет, поскольку он невидим для глаза и его воздействие не вызывает сокращение зрачка, и он может захватываться большинством ПЗС (приборами с зарядовой связью) и КМОП-датчиками изображения, так как в большинстве из них используются кремниевые фотодатчики, которые являются относительно недорогими в производстве и могут быть чувствительными к инфракрасному свету с длиной волны примерно до приблизительно 1100 нм, хотя после 1000 нм чувствительность быстро падает до нуля. Другая длина инфракрасных волн может также использоваться для слежения движения глаз/взгляда при условии наличия технологии датчика изображения, которая эффективно обеспечивает захват волн такой длины.

ОТСЛЕЖИВАНИЕ ВЗГЛЯДА ТОЛЬКО 110 БЛИКУ

[0063] Для обеспечения отслеживания взгляда в очках устройство отслеживания взгляда должно быть простым в реализации и обладать низкой вычислительной сложностью и малой мощностью, что будет способствовать реализации изобретения в малом размере. Следовательно, блики глаза могут быть использованы для отслеживания взгляда. Глаз при активном освещении (которое может быть инфракрасным или видимым светом) точечного источника света будет генерировать несколько отражений, при этом первое отражение появляется на внешней поверхности роговицы, и соответствующее сформированное изображение точки называют первым изображением Пуркинье, которое часто называют бликом. Другие отражения порождают второе, третье и четвертое изображения Пуркинье, но первое изображение Пуркинье является самым ярким и, следовательно, наиболее подходящим изображением в контексте отслеживания движения глаз/взгляда при недорогой реализации настоящего изобретения с низкой вычислительной сложностью.

[0064] В то время как большинство алгоритмов отслеживания взгляда, кажется, сосредоточены на объединении бликов глаза и отслеживания зрачка для оценки направления взгляда, в способе, предусмотренном настоящим изобретением, используют блики глаза. Поскольку блик представляет собой точечное изображение, его легче обнаружить с помощью датчиков изображения, поскольку он в целом соответствует одному пикселю датчика изображения или небольшой группе пикселей. В последующих разделах настоящего изобретения будет описано, каким образом обнаруживать пиксели, соответствующие блику, с помощью маломощной конструкции. Низкое энергопотребление имеет значение, поскольку камеры, которые отслеживают движение глаз и направление взгляда, должны быть элементом очков, а для интеграции дополнительных батарей и/или источника питания очки могут предусматривать очень малое пространство, если конструкционная задача предполагает наиболее возможное сохранение компактности очков. Другой целью является минимизация рассеивания тепла в очках, так как пациенты носят очки на голове, а комфорт и безопасность являются основными факторами, которые необходимо учитывать.

[0065] При вращении глаз для распознания различных объектов каждый глаз вращается вокруг центра глазного яблока и блик представляет собой виртуальное изображение, формируемое роговицей, а роговица, как правило, смоделирована в форме сферической поверхности. Если использовать центр глазного яблока как начало координат в 3D-системе координат (при этом каждый глаз имеет свою собственную 3D-систему, но их можно легко преобразовать в другую систему, измерив заблаговременно номинальное межзрачковое расстояние), и если известно 3D расположение светодиода как (x_L, y_L, z_L), кривизна (т.е. радиус) роговицы как r_с и расстояние от начала координат до сферического центра роговицы как d_с, тогда с учетом вращательных углов глаза по азимуту (горизонтальному углу) α и высоте (углу возвышения) βα мы можем предсказать β-координату блика. Необходимо выполнить следующие шаги: во-первых, мы получаем 3D координату центра роговицы (x_с, y_с, r_с) на основе полярной геометрии как х_с=d_с соs(α)cos(β),y_c=d_c sin(α)cos(β), z_с=d_с sin(β); затем мы формируем прямую 3D-линию между светодиодами (x_L, y_L, z_L) и центром роговицы (x_с, y_с, z_с); если мы обозначим d_L=η r_с как расстояние между светодиодом и сферической поверхностью роговицы в соотношении r_с и обозначим d_g как расстояние между виртуальным изображением блика и сферической поверхностью роговицы вдоль 3D-линии, тогда в соответствии с уравнениями оптики для сферических зеркал виртуальное изображение блика должно удовлетворять уравнению d_g=η r_с / (2 η+1). Поскольку d_L можно легко вычислить как евклидово расстояние между (x_с, y_с, r_с) и (x_с, y_с, z_с) и (x_L, y_L, r_L) (обозначено как d_cL) минус r_с, тогда также легко можно получить d_g, и поскольку блик должен падать на 3D-линию, учитывая d_g, ее 3D-координату можно также получить с помощью простой 3D-геометрии.

[0066] Фигура 3 представляет собой иллюстрацию пары углов вращения (азимут α и высота β) при отслеживании движения глаз или взгляда в соответствии с вариантом воплощения настоящего изобретения. График 300 иллюстрирует 3D-взаимосвязь между центром глазного яблока (началом координат), центром роговицы без вращения и с вращением, светодиодом и бликом. Заметим, что расстояние между началом координат и центром роговицы d_с всегда является константной для одного и того же пользователя при условии отсутствия значительного физического изменения глаза. Точка под текстом «блик» может представлять собой виртуальное изображение блика. Представленные выше оптические уравнения также относятся к графику 300.

[0067] И наоборот, если известны все остальные параметры, в т.ч. 3D-координаты блика и необходимо вычислить два угла вращения, мы можем добиться этого результата, построив 3D-линию от светодиода к блику, при этом сферический центр роговицы должен находиться на этой линии (обладая, таким образом, 1 степенью свободы). Обозначим 3D-координату центра как (x_с, y_с, r_с), в то же время она должна располагаться на сферической поверхности с центром в начале координат и радиусом d_с при уравнении x_с², y_с², z_с²=d_c². Предположим, что t обозначает расстояние от светодиода к глазу вдоль указанной 3D-линии, поскольку (x_с, y_с, Z_с) также попадает на эту линию, можно сделать вывод о том, что все точки на линии, включая (x_с, y_с, z_с), можно выразить параметром t в линейной форме с одной степенью. Следовательно, уравнение x_с²+y_с²+z_с²=d_c² становится квадратным уравнением t, которое можно легко решить. Заметим, что только 1 из 2-х корней квадратного уравнения является действительным, так как линия, обозначенная t, может пересекаться лишь со сферической поверхностью в направлении к передней, а не к задней части глаза. Используя действительный корень t, можно затем получить x_с, y_с, Z_с. Затем можно легко получить пару углов вращения (азимут α и высоту β) в соответствии с определением полярной геометрии.

[0068] 3D-координаты блика можно также получить, если использовать 2 камеры, 3D-координаты и фокусные расстояния которых известны в соответствии с методикой, подобной стереоскопическому зрению.

[0069] Вышеприведенный способ предполагает, что известно много параметров, связанных с глазами, в связи с которыми необходима калибровка. Бескалибровочный способ отслеживания направления взгляда описан в работе A Calibration-Free Gaze Trackinfi Technique, Sheng-Wen Shih et al., International Conference on Pattern Recognition, pp.3В1-3В4. 3В00, раскрытие которой включено здесь в качестве ссылки. Этот способ может быть использован для получения некоторых из этих параметров с помощью 2-х светодиодов и 2-х камер, предполагая, что относительные 3D-координаты точки(ек) между светодиодами и камерами известны (это условие относительно легко удовлетворить, так как они, скорее всего, будут постоянно установлены на очках, что позволит провести простую предварительную калибровку в процессе производства). Бескалибровочный способ может позволить выводить 3D-координату центра роговицы относительно камер, и при этом также определять 3D-координату блика. Хотя указанный способ не позволяет выводить d_c и r_с напрямую, если пользователя попросить выполнить вращение глаз под различными парами углов, очевидно, что след 3D-координат центра роговицы будет повторять сферическую поверхность с радиусом d_c и центром в центре глаза. Следовательно, собрав достаточно образцов 3D-координат центра роговицы, можно определить регрессию на сферической поверхности, и, следовательно, d_c и 3D-координаты центра глаза можно вывести относительно камер, после чего можно легко конвертировать все 3D-координаты, используя центр глаза как начало координат подобно тому, как описано в предыдущих пунктах и на Фигуре 3. Для выведения r_с недостаточно понимать, что d_L=η r_с=sqrt((x_c-xL)²+(y_с-y_L)²+(z_c-z_L)²)- r_c=d_cL- r_c, где (x_L, y_L, z_L) - это 3D-координата светодиода, значение которой известно, что предполагает, что d_cL также известен. Таким образом, η может быть выражено как d_cL/r_c-1 (функция r_c), a d_g=η r_с / (2 η+1)=r_c-d_cg, где d_cg - расстояние между центром роговицы и бликом, и что также известно. Можно затем включить в выражение η через r_с и решить уравнение d_g=η r_с /(2 η+1)=r_c-d_cg по неизвестной переменной r_с. Точнее, уравнение, которое необходимо решить, упрощается следующей формулой (d_cL+d_cg)* r_c-2 d_cL* d_cg=0 или просто как r_c=2 d_cL*d_cg/(d_cL+d_cg). Многочисленные измерения могут проводиться для расчета r_с, например, путем усреднения с целью обеспечения более точного расчета r_с. Поскольку значения d_c и r_спредставляют собой индивидуальные для пользователя и неизменные параметры, их необходимо определить только один раз для каждого пользователя. Таким образом, в сочетании с только что описанной процедурой, бескалибровочный способ также позволяет восстанавливать относительное 3D-позиции между светодиодами и центром глазного яблока. Следовательно, можно использовать алгоритм, описанный Sheng-Wen Shih et al. в работе A Calibration-Free Gaze Tracking Technique, в сочетании с только что описанной процедурой для проведения автоматической калибровки очков во время первого использования, а впоследствии можно использовать только указанный алгоритм для повторного определения 3D-координат центра роговицы относительно камер и, соответственно, для компенсации эффекта проскальзывания очков, используя при этом более низкую частоту, чем частота отслеживания с целью сохранения мощности светодиода и вычислительной мощности во время повторной калибровки. Затем после компенсации проскальзывания необходим только 1 светодиод и 2 камеры для формирования 3D-координат блика. Кроме того, устройство отслеживания может переключиться на другой светодиод (продолжая одновременно использовать 1 светодиод), если ожидается, что другой светодиод обеспечит более четкий блик. Такая ситуация может возникать из-за того, что иногда глаз поворачивается настолько сильно, что блик фактически не формируется от определенного направления освещения, следовательно, использование 2-х светодиодов и разумное переключение между ними, скорее всего, обеспечит лучшие результаты. Хотя алгоритм, описанный Sheng-Wen Shih et al. в работе А Calibration-Free Gaze Tracking Technique, уже реализует отслеживание направления взгляда без необходимости калибровки, он требует анализа изображения зрачка глаза для отслеживания взгляда, и указанный анализ может оказаться слишком сложным для схем, встраиваемых на очках. Таким образом, используя алгоритм, описанный Sheng-Wen Shih et al. наряду с описанной выше процедурой для автоматической калибровки параметров глаза, после чего применяют только алгоритм, описанный Sheng-Wen Shih et al., для компенсации проскальзывания, значительно упрощается отслеживание взгляда, пошаговый процесс которого описан выше в настоящем изобретении. Альтернативно, параметры глаза, в частности d_c и r_с, могут быть измерены для пользователя в момент определения степени близорукости. Заметим, что 2 светодиода предназначены для каждого глаза. Для обоих глаз могут понадобиться до 4-х светодиодов, хотя можно использовать 1 общий светодиод и даже 1 камеру, установив общий светодиод и камеру ближе к центру между двумя глазами, потенциально снижая, таким образом, их общее количество до 3-х светодиодов и 3-х камер на одного пользователя.

[0070] Фигура 12 иллюстрирует пару очков с адаптивными линзами и устройством отслеживания взгляда, 2-мя светодиодами и 2-мя камерами для каждого глаза. Батарея, а также вычислительное устройство, которое вычисляет расстояние наблюдения по информации о блике, могут быть размещены в эстетически приемлемой позиции, например в середине очков, как показано на Фигуре 12. Светодиоды, камеры, батарея и вычислительное устройство может быть подключено физическими проводами, которые повторяют контур очков. Альтернативно, батарея и/или вычислительное устройство могут быть размещены по краям оправы очков или на дужке(ах) очков. Позиции светодиодов и камеры носят исключительно иллюстративный характер и могут существовать иные позиции, которые обеспечат более высокие результаты отслеживания взгляда. Камеры на Фигуре 12 должны использовать модифицированные смарт-ДАП на основе КМОП для маломощного обнаружения блика, которые будут подробно описаны в следующих разделах.

[0071] На самом деле, конфигурация с 1-м светодиодом и 2-мя камерами в некоторой степени - слишком определенная система. После автоматической калибровки устройства отслеживания взгляда с помощью приведенного в Приложении алгоритма или после предварительной калибровки, для каждой уникальной пары углов вращения устанавливается уникальная 3D-координата блика, которая будет отображаться на уникальной 2D-координате на плоскости датчика изображения камеры. Таким образом, существует взаимно-однозначное соответствие между парой углов вращения и 2Э-координатой блика в камере, и, следовательно, зная 2D-координату блика камеры, его можно отобразить снова в 3D-координате и определить пару углов вращения, получив, таким образом, информацию об отслеживании взгляда. Единственное, что для этого необходимо, - 1 светодиод и 1 камера после автоматической калибровки или предварительной калибровки. К сожалению, обратное отображение (из 2D в 3D или пары углов вращения) может быть крайне сложным и, по всей видимости, не имеет уравнений замкнутой формы; следовательно, эту задачу придется решать приблизительно, используя определенную форму итерационной интерполяции, например, с помощью приближения Ньютона, или предварительно вычислив отображение по углам вращения к 2D-координатам блика с достаточно высокой плотностью выборки таким образом, чтобы каждый пиксель в массиве датчиков изображения камеры, которые могут иметь блик, имел по меньшей мере одну соответствующую ему пару углов вращения. Тогда обратное отображение можно построить путем вычисления пары средних углов вращения в каждом таком пикселе.

[0072] Приближенные решения могут повысить вычислительную сложность для каждого слежения, в то время как предварительные вычисления могут быть интенсивными с вычислительной точки зрения, но не проводятся при каждой повторной калибровке. Если задача заключается в экономии стоимости аппаратного обеспечения, можно использовать предварительную калибровку, предварительное вычисление обратного отображения, а также 1 светодиод с 1-й камерой, но указанная конфигурация не может компенсировать проскальзывание очков. При использовании автоматической калибровки в любом случае могут быть необходимы 2 светодиода и 2 камеры, и использование 1-й камеры представляется менее целесообразным и предполагает повторное предварительное вычисление обратного отображения во время проскальзывания, если 2 камеры обеспечат решение низкой сложности, а также обеспечат возможность легкой повторной калибровки при проскальзывании.

[0073] Таким образом, предпочтительный вариант воплощения устройства отслеживания взгляда предусматривает использование 2-х светодиодов и 2-х камер для автоматической калибровки во время первого использования, а затем переход на 1 светодиод и 2 камеры для отслеживания взгляда по блику, где активный светодиод может заменяться, исходя из того, какой светодиод, скорее всего, будет создавать более заметное изображение блика, и где повторная калибровка может быть выполнена при частоте, ниже частоты отслеживания для компенсации проскальзывания. Альтернативно, если ожидается незначительное проскальзывание, второстепенный вариант воплощения настоящего изобретения содержит 1 светодиод и 1 камеру с предварительной калибровкой и предварительными вычислениями обратного отображения между 2D-координатой блика и парой углов вращения.

[0074] После выведения значений пар углов вращения для каждого глаза известны данные об обеих линиях взгляда. Тогда для преобразования линий взгляда в линии видимости может использоваться угол между визуальной и оптической осями, как предварительно откалиброванный, так и определенный на основе средних показателей среди населения. Тогда точка пересечения линий видимости представляет собой 3В-координаты интересующего объекта, и для каждого глаза можно легко вывести расстояние просмотра, которое затем можно использовать для управления оптической мощностью адаптивной(ых) линз(ы) в соответствии с одним из трех вышеупомянутых режимов сокращения аккомодации.

[0075] Если при мигании глаза веко полностью не закрыто и блик по-прежнему виден для камеры (или виден для обеих камер в предпочтительном варианте воплощения настоящего изобретения), представленные выше способы могут по-прежнему распознавать блик и получать информацию об отслеживании взгляда. Если веко закрывается достаточно, блик станет невидимым и устройство отслеживания взгляда не сможет получить информацию об отслеживании. Однако если глаз или закрыт, или достаточно закрыт, что означает, что он не видит ничего полезного, информация о взгляде по существу не имеет значения. В таких случаях устройство отслеживания взгляда может использовать последнюю известную информацию об отслеживании взгляда, и фактически всякий раз, когда устройство отслеживания взгляда не может получить информацию об отслеживании по какой-либо причине (например, блик не обнаружен), вместо этого оно может использовать последнюю соответствующую информацию. Схема обнаружения блика, которая будет описана ниже в настоящем раскрытии, может сообщать устройству отслеживания взгляда о том, что блик не был обнаружен во время захвата изображения.

МАЛОМОЩНОЕ ОТСЛЕЖИВАНИЕ БЛИКА ДЛЯ СМАРТ-ДАТЧИКОВ ИЗОБРАЖЕНИЯ НА ОСНОВЕ КМОП

[0076] Устройство отслеживания взгляда, пригодное для использования в очках, должно быть не только легко реализуемым и обеспечивающим низкую вычислительную сложность, но и должно обладать низким энергопотреблением, т.к. на оправе очков слишком мало места для размещения батарей. Учитывая, что адаптивная(ые) линза(ы) может (могут) потреблять заметную долю емкости батареи, крайне желательно, чтобы устройство отслеживания взгляда характеризовалось очень низким энергопотреблением, например в диапазоне меньше мВт.

[0077] В основном устройстве отслеживания взгляда существуют 4 компонента энергопотребления: (i) светодиодное освещение, (ii) захват изображения, (iii) обнаружение движения глаз и (iv) вычисление направления взгляда. Вычисление направления взгляда в вышеупомянутом предпочтительном варианте воплощения настоящего изобретения с 2-мя светодиодами и 2-мя камерами предусматривает очень мало вычислений и в основном требует получения 3D-координат блика от 2-х камер, решения квадратного уравнения, а затем выведения пары углов вращения, линий видимости и линий взгляда, а также расстояние наблюдения для каждого глаза. Скорее всего, его себестоимость будет ниже 100 циклов вычислений с плавающей точкой на одну операцию слежения. Следовательно, ожидается, что вычисление направления взгляда будет характеризоваться очень низким энергопотреблением. Соответственно, первые три фактора являются более важными и описаны ниже.

[0078] Светодиоды с ближним инфракрасным диапазоном, как правило, потребляют несколько десятков мВт и излучают (например, в фотонах ближнего инфракрасного диапазона) долю потребленной ими мощности. Эта доля может составлять, например, 1/3, и указанное количество будет использоваться в качестве примера для иллюстрации энергопотребления. Для примера использования этой доли, см. таблицу данных MOLD LED Lamp L880 Séries: Infrared LED Lamp.Marubeni America Corporation, которая включена здесь путем ссылки. В предпочтительной конфигурации с 2-мя светодиодами и 2-мя камерами мы можем использовать 1 светодиод и 2 камеры после автоматической калибровки, что обеспечит экономию примерно половины мощности светодиода.

[0079] Оба датчика изображения ПЗС и КМОП чувствительны к свету ближнего инфракрасного диапазона. Однако, поскольку КМОП-датчики, как правило, характеризуются более низким энергопотреблением, а также поддерживают произвольный доступ, КМОП-датчики являются предпочтительным выбором датчиков изображения для настоящего раскрытия. Кроме того, КМОП обеспечивает сочетание захвата изображения и интеллектуальной обработки сигнала, поскольку фотодатчики и элементы обработки сигнала КМОП можно изготавливать в ходе одного и того же физического процесса. Это называют смарт-датчиком изображения на основе КМОП, который представляет собой быстро развивающееся направление. В следующих разделах описывается элемент - модифицированный датчик активных пикселей (ДАП) в смарт-датчике изображения на основе КМОП, который может обеспечить обнаружение блика при очень малой мощности.

МОДИФИЦИРОВАННЫЙ ДАП С рМОП-ТРАНЗИСТОРОМ ИСТОКОВОГО ПОВТОРИТЕЛЯ

[0080] Во-первых, следует отметить, что при традиционном отслеживании движения глаз/взгляда захватывается все изображение глаза, как правило, в оттенках серого или в форме цветного изображения, а затем анализируется. В нашем способе отслеживания взгляда только на основе блика, необходимо только обнаружить блик, который, как правило, гораздо ярче, чем другие особенности глаза. Это означает, что мы можем уменьшить время экспозиции при захвате изображения таким образом, чтобы блик по-прежнему проявлялся ярко, в то время как другие функции проявлялись в основном в виде темных или близких к темным пикселей. Такое сокращение времени экспозиции может сэкономить мощность светодиодов, т.к. не придется тратить дополнительное время на экспозицию, чтобы захватить особенности глаза, которые мы не планируем использовать в нашем способе.

[0081] Во-вторых, большая часть потребляемой мощности в схеме КМОП-датчика изображения связана с активным током, поступающим через мониторинговый транзистор, где ток частично контролируется напряжением фотодатчика (как правило, фотодиода), и указанное напряжение меняется в зависимости от количества падающего света.

[0082] Фигура 4 демонстрирует традиционный 3-транзисторный датчик активных пикселей (3Т-ДАП). ДАП 400 известен в данной области техники и включает транзистор 402 функции сброса, фотодиод 403, транзистор 404 истокового повторителя, напряжение 405 фотодиода, транзистор 406 функции выбора, напряжение 407 сети питания, сигнал 408 выбора и выходное напряжение 409. Основной строительный элемент КМОП-датчика изображения - это датчик активных пикселей (ДАП), где фотодатчик имеет обратное смещение (как проиллюстрировано на фотодиоде 403, который показан в свете рядом трех стрелок) и обычно заряжен на уровне начального положительного напряжения (например, Vdd, что соответствует напряжению 407 сети питания); затем освещенность снижает это напряжение, после чего это пониженное напряжение используется для контроля затвора транзистора 404 истокового повторителя, а затем тока, поступающего через транзистор 404 истокового повторителя. Напряжение 405 фотодиода (V_PD) инициализируется к разнице Vdd-Vth во время сброса. Здесь Vth - это пороговое напряжение транзистора (например, МОП-транзистора), и в этом случае транзистора 402 функции сброса.

[0083] Напомним из курса аналоговой электроники, что в nМОП-транзисторе (наиболее часто используемом типе) ток поступает от стока к источнику только тогда, когда напряжение от затвора к источнику V_GS превышает его Vth или пороговое напряжение. И, наоборот, в pМОП-транзисторе ток проходит тот же самый путь (но в направлении от источника к стоку) только в том случае, если V_GS ниже его Vth (которое имеет отрицательное значение). Для упрощения можем предположить, что Vth практически одинаковое во всех МОП-транзисторах в одном КМОП-датчике (для pМОП-транзисторов Vth будет отрицательным, но можно предположить, что его абсолютное значение примерно одинаковое), так как их могут производить аналогичным образом. Однако также можно комбинировать МОП-транзисторы с различными значениями Vth для достижения некоторой новой функциональности конструкции. На Фигуре 4 Msel или транзистор 406 функции выбора может представлять собой МОП-транзистор, который проводит ток при выборе соответствующего ДАП для чтения через сигнал 408 выбора (показан как SEL на Фигуре 4). Использование обратного смещения и последующее снижение напряжения называют режимом накопления, который является наиболее распространенным режимом для фотодиодов, как описано, например, на страницах 29-35 в работе Smart CMOS Image Sensors and Applications, Jun Ohta, ISBN 0-8493-3681-3 CRC Press. 3В08, которая включена здесь в качестве ссылки.

[0084] Поскольку напряжение фотодатчика V_PD или напряжение 405 фотодиода снижается, а не увеличивается при освещенности, это означает, что Msf или транзистор 404 истокового повторителя будет включен и будет потреблять ток в том случае, когда пиксель будет темным, но по мере трансформации пикселя в белый цвет потребление тока будет снижаться и в конечном итоге подача тока прекращается. Это означает, что более темное изображение, как правило, потребляет больше тока, чем более светлое изображение для такой конструкции ДАП (показана на Фигуре 4), которую обычно используют в известной области техники. Однако для обнаружения блика интерес представляют только бликовые пиксели, например белые пиксели, и в одном захваченном изображении их количество будет очень низким. Если сократить время экспозиции светодиодного освещения для сохранения энергопотребления светодиода, традиционная конструкция ДАП, показанная на Фигуре 4, будет в действительности потреблять больше энергии, так как большинство пикселей будут черными, что нежелательно. Следовательно, желательно использовать ДАП с меньшим энергопотреблением в условиях, когда большинство пикселей черные.

[0085] Фигура 5 демонстрирует модифицированный 3Т-ДАП с ограничителем тока в соответствии с вариантом воплощения настоящего изобретения. ДАП 500 включает транзистор 502 функции сброса, фотодиод 503, транзистор 504 истокового последователя, напряжение 505 фотодиода, транзистор 506 функции выбора, напряжение 507 сети питания, сигнал 508 выбора, выходное напряжение 509 и транзистор-ограничитель тока 510. ДАП 500 представляет собой маломощную конструкцию для обнаружения только блика в условиях, когда большинство пикселей черные, и в большей степени подходит для распознания блика. Компоненты 502-509 аналогичны компонентам 402-409 на Фигуре 4 с некоторыми незначительными модификациями. В одном варианте воплощения настоящего изобретения транзистор 404 истокового последователя (которым может быть nМОП-транзистор) может быть заменен pМОП-транзистором для транзистора 504 истокового последователя, обеспечивая тем самым реверс позиций стока и источника для транзистора 504 истокового последователя. Теперь, когда пиксель не представляет собой блик, он будет черным или близким к черному, при этом напряжение фотодатчика будет высоким, близким к Vdd; поскольку в рМОП-транзисторе его источник соединен с Vdd (напряжение 507 сети питания), а пока напряжение на затворе (т.е. напряжение фотодатчика) является высоким и приближается к Vdd, pМОП-транзистор будет оставаться выключенным.

[0086] Можно калибровать устройство отслеживания взгляда (например, время экспозиции), поскольку при большинстве условий блик, вызванный светодиодной подсветкой, приведет к изменению напряжения фотодатчика более чем на Vth, пороговое напряжение рМОП-транзистора, а небликовые пиксели не смогут снизить свое напряжение до Vth или более. Следовательно, рМОП-транзисторы всех небликовых пикселей будут выключены и по сути не будут потреблять ток. pМОП-транзисторы бликовых пикселей будут включены и будут потреблять определенный ток, но общее число таких пикселей будет очень низким. Если в pМОП-транзистор добавить ограничитель тока, такой как, например, высокоомный резистор или транзистор-ограничитель тока 510, можно контролировать количество потребляемой электроэнергии. В одном варианте воплощения настоящего изобретения ограничителем тока может быть высокоомный резистор, скажем, на несколько мегаом. В одном варианте воплощения настоящего изобретения ограничителем тока может быть транзистор-ограничитель тока 510, который может быть более удобным для крупномасштабной интеграции. В одном варианте воплощения настоящего изобретения транзистором-ограничителем тока 510 может быть DeMOП-транзистор (МОП-транзистор с обедненными нагрузками) с небольшим током насыщения сток-исток OB (I_DSS), скажем, 1 мкА. При чтении 1 линии (строки) изображения (горизонтали), если мы ожидаем ≤10 бликовых пикселей, и при Vdd=3В, I_DSS=1 мкА, пиковая мощность всех ДАП в этой линии может составить ≤3*10*1 мкВт=30 мкВт.

[0087] В фактической реализации, поскольку nМОП-транзистор (например, транзистор 502 функции сброса) обычно используется для сброса фотодиода 503 до полного обратного смещения, и сигнал сброса на его затворе обычно использует то же самое напряжение 507 сети питания, например Vdd, и эта клемма истока nМОП-транзистора соединена с фотодиодом 503 и поскольку МОП-транзисторы требуют, чтобы напряжение затвор-исток (V_GS) было выше Vth для включения МОП-транзистора, фотодиод 503 может быть заряжен до уровня Vdd-Vth в конструкции, продемонстрированной на Фигуре 5. Это хорошо известная проблема или поведение конструкции КМОП-ДАП. Следовательно, в нашем модифицированном ДАП V_GS Msf или транзистора 504 истокового последователя будет начинаться на уровне (Vdd-Vth)-Vdd= -Vth, вместо 0. Это означает, что Msf или транзистор 504 истокового последователя будет включаться в присутствии очень слабого света и не будет требовать значительно больше света. Для решения этой задачи можно использовать или pМОП-транзистор в конструкции 502 для обеспечения сброса к полному Vdd или можно использовать дополнительные nМОП-транзистор для сброса истокового напряжения Msf или транзистора 504 истокового повторителя, как показано на Фигуре 6. Этот дополнительный транзистор может быть общим для всех пикселей, следовательно, предусматривает незначительные накладные расходы.

[0088] На Фигуре 6 продемонстрирован модифицированный 3Т-ДАП с общим транзистором в соответствии с вариантом воплощения настоящего изобретения. ДАП 600 включает транзистор 602 функции сброса, фотодиод 603, транзистор 604 истокового повторителя, напряжение 605 фотодиода, транзистор 606 функции выбора, напряжение 607 сети питания, сигнал 608 выбора, выходное напряжение 609, транзистор-ограничитель тока 610 и общий транзистор 612. Компоненты 602-610 в ДАП 600 аналогичны компонентам 502-510 ДАП 500. Общий транзистор 612 сбрасывает истоковое напряжение транзистора 604 истокового последователя до Vdd-Vth, что соответствует начальному напряжению фотодиода Vpd 605 после сброса, в качестве способа решения проблемного случая, когда транзистор 604 истокового последователя включается в присутствии малейшего источника света (и необходимо гораздо больше света). Общий транзистор 612 также может распределяться между несколькими пикселями для сохранения транзисторов и занимаемого транзисторами пространства, и, следовательно, характеризуется незначительными накладными расходами.

[0089] Массив КМОП-датчиков изображения облегчает произвольный доступ, и они также могут обеспечивать обнаружение всего ряда пикселей, подобно другим 3В-схемам. Таким образом, можно разместить вышеупомянутый резистор или DeМОП-транзистор (ограничителя тока, представленный в виде транзистора-ограничителя тока 510, 610 на Фигурах 5 и 6) в каждой колонке и одновременно обеспечить доступ ко всем элементам ДАП в строке. Все захваченное изображение будет обработано после перечисления всех строк в массиве датчиков. Выходное напряжение pМОП-транзистора подходит для дискретного входа КМОП. Следовательно, традиционная логическая конструкция может быть использована для выполнения любой желаемой логической обработки. Например, выходные данные МОП-транзистора могут быть отправлены на ряд защелок или регистров для хранения своих значений. Тогда, pМОП-транзистор можно отсоединить с другим контрольным транзистором (например, Msel 508, 608, который используется в любом случае) для снижения энергопотребления. Затем можно использовать схему приоритетного кодера (которая обсуждается, например, в работе Priority Encoders, , которая включена здесь в качестве ссылки) для выбора одного из бликовых пикселей (значения напряжения и логические значения которых будут отличаться от значений небликовых пикселей) и вывода номера его столбца. Затем этот пиксель может быть очищен от цепи приоритетного кодера, можно выбрать следующий бликовый пиксель в той же строке и отобразить соответствующий номер столбца, до тех пор пока все бликовые пиксели в том ряде не будут отображены. Вышеописанный процесс основан на КМОП-логике и, как ожидается, будет характеризоваться очень низким энергопотреблением.

[0090] Возможно, блик может соответствовать небольшой группе пикселей вместо одного пикселя в массиве КМОП-датчиков изображения. Это можно обнаружить за счет группировки бликовых пикселей по их 2D-координатам и относительной близости в массиве датчиков, которую можно предпочтительно реализовывать в программном обеспечении, поскольку ожидается, что количество таких пикселей будет небольшим.

[0091] Альтернативно, вместо цепи приоритетного кодера может быть использована цепь, основанная на принципе «победитель получает все» (WTA) (обсуждается, например, в работе А 3В0 us Processing Time Smart Image Sensor for an Eye Tracker Using Pixel-Level Analog Image Processing, Dongsoo Kim and Gunhee Han, IEEE Journal of Solid-State Circuits. Vol.44, No. 9, pp.2581-2590. Sep 3В09, которая включена здесь в качестве ссылки) для обнаружения или выходного напряжения, или тока pМОП-транзистора, а также выхода-победителя» (имеющего самое высокое напряжение или ток и соответствующий самому яркому пикселю), а затем выбора следующего «победителя» и т.д. Такой подход обладает преимуществом выбора бликовых пикселей на основе их яркости (в отличие от некоторых принципов логики, основанных на произвольном разрыве связей, в приоритетных кодерах), по одному за раз. Однако схемы WTA, как правило, работают медленнее, чем схемы на основе КМОП-логики, что может представлять проблему для варианта способа обнаружения блика, который будет описан ниже.

[0092] Msf на основе pМОП-транзистора или транзистор 604 истокового последователя (а также 504) также может использоваться для других типов ДАП, таких как 4Т-ДАП (4-транзисторный датчик активных пикселей) (например, 804 на Фигуре 8) при условии, что фотодатчик сбрасывается в режиме обратного смещения и использует режим накопления. Традиционный 4Т-ДАП и его адаптация для маломощного обнаружения блика проиллюстрированы на Фигурах 7 и 8 соответственно. Заметим, что заряд от фотодиода на Фигурах 7 и 8 передается на конденсатор с плавающей диффузионной областью (FD) после высокого сигнала TG, конструкция, которая используется для снижения шума дискретизации в КМОП-датчиках изображения (подробнее см. с.39-42 в работе Smart CMOS Image Sensors and Applications, Jun Ohta, ISBN 0-8493-3681-3, CRC Press, 3В08, которая включена здесь в качестве ссылки).

[0093] Фигура 7 демонстрирует традиционный 4-транзисторный ДАП (4Т-ДАП). ДАП 700 известен в данной области техники и включает транзистор 702 функции сброса, фотодиод 703, транзистор 704 истокового повторителя, транзистор 706 функции выбора, напряжение 707 сети питания, сигнал 708 выбора, выходное напряжение 709, транзистор 711 передающего затвора, напряжение 713 плавающей диффузной области и конденсатор 714 плавающей диффузной области. Элементы 702-704, 706-709 аналогичны соответствующим эталонным символам на Фигурах 4-6, поэтому повторное описание опускается. В случае высокого сигнала TG, поступающего в транзистор 711 передающего затвора, тогда заряд от фотодиода 703 передается в конденсатор 714 плавающей диффузной области. Такой подход направлен на сокращение шума дискретизации в КМОП-датчике изображения.

[0094] Фигура 8 демонстрирует модифицированный 4Т-ДАП с ограничителем тока и общим транзистором в соответствии с вариантом воплощения настоящего изобретения. ДАП 800 включает транзистор 802 функции сброса, фотодиод 803, транзистор 804 истокового повторителя, транзистор 806 функции выбора, напряжение 807 сети питания, сигнал 808 выбора, выходное напряжение 809, транзистор-ограничитель тока 810, транзистор 811 передающего затвора, общий транзистор 812, напряжение 813 плавающей диффузной области и конденсатор 814 плавающей диффузной области. Компоненты 802-804, 806-814 аналогичны компонентам, указанным на предыдущих Фигурах, однако следует отметить, что транзистором 804 истокового последователя может быть pМОП-транзистор и что общий транзистор 812 может быть разделен между несколькими пикселями для сохранения занимаемого транзистором пространства, аналогично общему транзистору 612, представленному на Фигуре 6. Кроме того, аналогично Фигуре 7, в случае высокого сигнала TG, поступающего в транзистор 811 передающего затвора, тогда заряд от фотодиода 803 передается в конденсатор 814 плавающей диффузной области. Такой подход также направлен на сокращение шума дискретизации в ДАП 800.

[0095] Следует отметить, что для рМОП-транзистора может потребоваться N-подложка - противоположность Р-подложки, которая используется в большинстве конструкций фотодатчиков на основе фотодиодов. Соответственно, это может повысить сложность производства. Однако замена фотодиода на N-подложку (и ее обратное смещение с заменой клеммы «земля» и Vdd, поскольку обратное смещение необходимо для работы в режиме накопления) не позволяет избежать такой сложности производства, поскольку окажется, что nМОП-транзистор истокового последователя теперь понадобиться для обеспечения того же самого энергосберегающего поведения. Таким образом, МОП-транзистор с подложкой, противоположной подложке фотодатчика, необходим для обеспечения маломощного обнаружения блика. Эквивалентная схема для фотодиода с N-подложкой Msf nМОП-транзистора могут требовать замены клеммы «земля» и Vdd и также реверса фотодиода. Сокращенный пример 3Т-ДАП с фотодиодом с N-подложкой и Msf nМОП-транзистора проиллюстрирован на Фигуре 9.

[0096] Фигура 9 демонстрирует модифицированный 3Т-ДАП, в котором реализовано маломощное распознавание блика с помощью фотодиода с N-подложкой в соответствии с вариантом осуществления настоящего изобретения. ДАП 900 включает транзистор 902 функции сброса, фотодиод 903, транзистор 904 истокового повторителя, напряжение 905 фотодиода, транзистор 906 функции выбора, напряжение 907 сети питания, сигнал 908 выбора и выходное напряжение 909. Компоненты 902-909 аналогичны подобным условным обозначениям, приведенным в предыдущих Фигурах, за исключением того, что фотодиод с N-подложкой используется для фотодиода 903, который ориентирован в другом направлении, чем фотодиоды, представленные на предыдущих Фигурах. ДАП 900 может также иметь сигнал сброса 0V во время сброса, который подается в транзистор 902 функции сброса, а значение -Vdd (отрицательное) - на напряжение 907 сети питания. Отметим еще раз, что фотодиод 903 представляет собой фотодиод с N-подложкой и имеет перевернутую ориентацию относительно фотодиодов, представленных на предыдущих Фигурах. Кроме того, клеммы «сток» и «исток» транзистора 902 функции сброса и транзистора 904 истокового последователя также перевернуты по сравнению с предыдущими Фигурами. Использование nМОП-транзистора и фотодиода с N-подложкой может также обеспечить маломощное обнаружение блика.

ЭФФЕКТ УЗКОПОЛОСНОГО ФИЛЬТРА С БЛИЖНИМ ИНФРАКРАСНЫМ ДИАПАЗОНОМ ПРИ БЛОКИРОВАНИИ ПОМЕХ ФОНОВОГО ОСВЕЩЕНИЯ

[0097] Этот раздел настоящего изобретения также иллюстрирует, насколько сильным будет ожидаемый фототок с помощью типичного фотодиода, и, следовательно, каким ожидается падение напряжения за определенное время экспозиции. Кремниевый фотодиод обычно обладает чувствительностью около 0,1 А/Вт при длине волны ближнего инфракрасного диапазона около 880 нм, которая представляет собой длину волны, обычно используемую для отслеживания движения глаз/взгляда. Если использовать 1 светодиод на глаз с потребляемой мощностью 2 мВт и ее 1/3 трансформируется в инфракрасное излучение, то освещенность может составить 0,667 мВт на глаз. Предположим, что роговица занимает около 10% освещенной области и при условии относительно равномерного освещения, роговица получает 10% от 0,667 мВт излучения. Теперь, также предположим, что каждая камера занимает около 1/1000 полного телесного угла полушария 2п отраженного освещения, и, предполагая, что кожа и глаз может отражать 50% ИК света (что, вероятно, завышено), объектив камеры теперь получает не более 0,5*0,667 мВт*1/1000=333 нВт от общего отраженного освещения. При массиве пикселей 100×100 каждый пиксель получает не более 333 нВт/10000=33,3пВт. При 0,1 А/Вт каждый фотодиод будет генерировать 0,1*33,3=3.33 пА фототока. По меньшей мере, в соответствии со стр.29-31 работы Smart CMOS Image Sensors and Applications, например, при таком токе, как правило, фотодиоду напряжения необходимо около 100 мс для снижения с Vdd 3В до значения, близкого к 0В, при этом такое снижение приблизительно носит линейный характер в отношении времени экспозиции и фототока (см. стр.29-31 работы Smart CMOS Image Sensors and Applications, например, где представлен более точный анализ).

[0098] Теперь, в качестве сравнения для бликового пикселя, предположив, что весь блик вписывается в один пиксель, а также предположив, что отражательная способность роговицы составляет 2,4% (см., например, работу Video-based evetracking methods and algorithms in head-mounted displays, Hong Hua and Prasanna Krishnaswamy. 15 May 3В06 / Vol.14, No. 10 / OPTICS EXPRESS, которая включена здесь в качестве ссылки) к ближнему инфракрасному свету, бликовый пиксель получит 0,024*0,1*0,667 мВт*1/1000=1,6 нВт. Таким образом, фотодиод на бликовом пикселе будет генерировать 0,1*1,6=160 пА фототока. Это дает SNR, по меньшей мере, на уровне 160:3,33=48:1 между бликовым и небликовым пикселем при условии отсутствия помех фонового освещения. Это объясняется тем, что значительное количество света блика фокусируется в одном пикселе. Такое усиление в связи с концентрацией блика можно оценить, приняв во внимание, что массив пикселей 100x100 имеет 10000 элементов, следовательно, коэффициент усиления вследствие такой концентрации составляет примерно 0,024*0,1*10000=24. Заметим, что хотя можно использовать массив пикселей 1000×1000 и добиться еще более высокого коэффициента усиления, это приведет к увеличению стоимости, и поскольку светодиод не обязательно является идеальным источником точечного света, а изображение виртуального блика роговицы не является строго одной точкой (даже идеальное сферическое зеркало не обеспечивает одну точку изображения, а скорее изображение с небольшим хвостом), блик может распространяться на небольшое скопление пикселей и может быть менее удобным в обработке, чем один бликовый пиксель. Заметим, что в соответствии с рекомендациями Охта (стр.29-31 Smart CMOS Image Sensors and Applications), при токе 160 пА, как правило, необходимо около 100 мс/48=2 мс для снижения напряжения с Vdd 3В почти до 0В. На практике фактически ненужно обеспечивать падение напряжения на 3В, т.к. падение напряжения, которое несколько превысит падение Vth, является достаточным. Если Vth=0,7В, тогда для примера можно определить 1,25*Vth=0,875 В в качестве желаемого падения, и для достижения этого значения может потребоваться всего около 0,875 В/3В*2 мс=0,58 мс времени экспозиции.

[0099] Теперь необходимо проанализировать эффект помех фонового освещения. Начнем с максимально сильных помех, прямого солнечного света, например, когда солнце светит прямо в глаз. Из технологий солнечного фотоэлектричества известно, что прямой солнечный свет характеризуется концентрацией энергии на уровни приблизительно 1 кВт/м² и с яркостью около 100000 люкс. Для сравнения пасмурное и комнатное освещение характеризуется около 1000 люкс. Следует отметить, что люкс выражается в видимом свете, поэтому инфракрасный свет приближается к нулю люкс, хотя и вносит свой вклад в концентрацию энергии. Предположим, что область глаз отражает около 10% прямых солнечных лучей, и область глаза составляет около 4 см × 4 см=16 см², и мощность отраженного освещения по всему спектру солнечного света составляет 0,1*16*10^-4 м₂*1кВт/м²=160 мВт. Если единственным используемым фильтром является общий фильтр, пропускающий ИК-излучение, и при условии, что 1/4 отраженного солнечного света может и проходить, и активировать кремниевые фотодиоды (заметим, что длина волны фотона должна быть меньше 1100 нм для активации кремния), а объектив камеры охватывает 1/1000 от полного стереоугла 2π, камера получит в общей сложности 1/4* 160 мВт* 1/1000=40 мкВт. Предположив, что отражения разбросаны и распространены относительно равномерно среди пикселей 100×100, тогда каждый пиксель получит 40 мкВт/10000=4 нВт при чувствительности 0,1 А/Вт и будет генерировать 0,4 нА или 400 пА фототока в качестве помех. Это в 2,5 раза выше фототока, генерируемого вышеупомянутым светодиодом. Так как солнце аналогично удаленному точечному источнику света, отражения от роговицы образуют вызванный солнцем блик, и этот блик будет намного сильнее, поскольку свет концентрируется в пикселе. Заметим, что если вместо этого помехи фонового освещения составляют 1000 люкс (например, комнатное освещение), предположив, что спектральное распределение энергии аналогично прямым солнечным лучам, тогда они будут генерировать только 400 пА/100=4 пА, только 1/40 выше, чем вышеупомянутый вызванной светодиодом фототок. Однако если фоновое освещение представляет собой точечный источник, как, например, лампочку, блик может по-прежнему формироваться, и такой блик может по-прежнему вызвать достаточные помехи для светодиодной подсветки.

[00100] Теперь, в случае использования узкополосного (УП) фильтра с ближним инфракрасным диапазоном (БИК), который точно соответствует выходному диапазону, производимому светодиодом, эффект помех фонового освещения можно значительно снизить. Например, одна таблица данных (Standard-Line Near Infra-red Bandpass Filter Listing, Product 880.0 IF 40. http://www.cheshireoptical.com/NIRfilters.htm, который включен здесь в качестве ссылки) показывает, что один из фильтров обладает половинной шириной 40 нм с центром в точке 880 нм при 65% передаче в диапазоне и от 1000 до 10000-кратного коэффициента сокращения за пределами диапазона. Аналогично, другая таблица данных (MOLD LED Lamp L880 Séries: Infrared LED Lamp) показывает, что определенный светодиод БИК имеет половинную ширину 40 нм также с центром в точке 880 нм. Для простоты, предположим, что спектр солнечного света относительно равномерен на расстоянии от 300 нм до 1100 нм с общей пропускной способностью 800 нм, и поскольку свет, выходящий за пределы диапазона, почти полностью отклоняется фильтром, тогда только 40 нм/800 нм=0,05 фонового освещения будет находиться в пределах этой узкой полосы, и примерно только 0,05*0,65=3,25% будет проходить через этот фильтр. Теперь, для прямого солнечного света 100000 люкс камера будет получать только 0,0325*160 мВт* 1/1000=5,2 мкВт, а для рассеянных отражений каждый пиксель получит 5,2 мкВт /10000=0,52 нВт, что, в свою очередь, генерирует фототок 52 пА в качестве помехи. Хотя этим нельзя пренебречь, он теперь значительно ниже, чем 160 пА, которые генерирует светодиод. Для большей точности следует отметить, что благодаря 65% УП фильтру с БИК-диапазоном светодиодная иллюминация будет, вероятно (предположив, что большая часть светодиодной иллюминации находится внутри диапазона 40 нм), порождать 0,65*160 пА=104 пА вместо 160 пА. Вопросы бликов, вызванных солнечным светом, которые по-прежнему представляет проблему, будут рассмотрены в следующем разделе. Для комнатного освещения при 1000 люкс, даже если источник (скажем, лампочка) индуцирует блик, который может быть приблизительно в 100 раз сильнее, чем рассеянные отражения, источник также может быть в 100 раз слабее солнечного света. Таким образом, вполне вероятно, что такой блик не включится на pМОП-транзисторе и не вызовет заметных помех.

[00101] При работе с вызванными солнцем бликами можно провести две экспозиции подряд таким образом, чтобы они захватывали почти идентичные функции глаз. В обеих экспозициях мы калибруем время экспозиции для того, чтобы оно было таким же самым, как в условиях отсутствия помех фонового освещения, например, необходимо обеспечить падение напряжения несколько выше, чем Vth pМОП-транзистора, если присутствует только светодиодная подсветка. Во время первой экспозиции можно отключить светодиод и проверить его на наличие каких-либо бликов. Если блики присутствуют, их считают ложными бликами и фиксируют координаты их пикселей. Во время второй экспозиции включают светодиод и также записывают обнаруженные блики. Затем позиции пикселей ложных бликов, полученные в результате первой экспозиции, сравнивают с бликами, полученными в результате второй экспозиции, возможно, с небольшим поисковым окном в 2D-области в тех случаях, когда блик немного сместил свою позицию. Любой блик, полученный в ходе второй экспозиции, который хорошо соответствует (с точки зрения близости расположения) любому ложному блику, удаляется из протокола. Оставшийся(иеся) блик(и), скорее всего, представляют собой реальные блики, вызванные светодиодом. В одном варианте воплощения настоящего изобретения светодиод может быть выключен во время второй экспозиции и включен во время первой экспозиции; ложные блики записывают во время второй экспозиции и сравнивают с первой экспозицией, по сути, с тем же самым результатом, хотя такая конфигурация является несколько менее упорядоченной и немного менее эффективной. Следует помнить о том, что если ложный блик перекрывает реальный блик, тогда реальный блик также будет удален. Таким образом, существует незначительная вероятность того, что реальный блик не обнаруживается во время удаления ложного блика. Однако такую ситуацию можно исправить, выбрав из 2-х светодиодов в вышеупомянутом варианте воплощения настоящего изобретения светодиод, который с меньшей вероятностью будет перекрывать ложные блики, исходя из предыстории о реальных бликах, ложных бликах и прогнозируемых позициях реальных бликов от обоих светодиодов. Конечно, можно использовать и выбирать из более чем 2-х светодиодов, но для снижения стоимости 2 светодиода могут стать хорошим компромиссом с точки зрения стоимости и производительности.

[00102] Конечно, более высокая мощность светодиода также может содействовать SNR. Если мощность светодиода в 10 раз превышает вышеприведенный пример, тогда необходимо обеспечить только 1/10 часть времени экспозиции, и помехи фонового освещения составят 1/10 мощности. Однако следует отметить, что мощность светодиода должна находиться в пределах, установленных санитарными нормами, во избежание какого-либо поражения глаз. Преимущество использования более высокой мощности светодиода (и, следовательно, менее продолжительной экспозиции) заключается в том, что на каждую экспозицию в меньшей степени влияют быстрые движения глаз, а двойные экспозиции в большей степени коррелируют друг с другом по сравнению с конфигурациями, которые предусматривают меньшую мощность светодиода и более продолжительные конфигурации экспозиции.

[00103] В приведенном выше описании, мы включаем и выключаем светодиодную подсветку в условиях временной модуляции, предположив при этом, что фоновое освещение в основном является постоянным в течение двух экспозиций. Такое предположение в целом верно для солнечного света, ламп накаливания, свечей и т.д. Но много устройств, например телевизоры, ЭЛТ- и ЖКТ-мониторы, имеют известную частоту обновления, поэтому их дисплей также загорается в условиях временной модуляции. Во избежание изменений фоновой подсветки в течение двух экспозиций можно время от времени выключать светодиодную подсветку для обеих экспозиций и проверить соответствие ложных бликов между двумя экспозициями. Если они не соответствуют, вполне вероятно, что фоновое освещение подвергается временной модуляции, и можно предпринять соответствующие действия. Например, для устройства отслеживания взгляда можно выбрать другой сдвиг по времени (но, возможно, с сохранением той же самой частоты слежения) для двух экспозиций, в ходе которых подсветка более стабильна. Возможно, в устройстве отслеживания взгляда необходимо периодически проверять согласованность и регулировать сдвиг времени. В устройстве отслеживания взгляда могут использоваться алгоритмы оценки характеристик временной модуляции, что позволит более предпочтительно компенсировать эффект фонового освещения.

МОДИФИЦИРОВАННЫЙ ДАП С 2 КОНДЕНСАТОРАМИ ДЛЯ ИЗМЕРЕНИЯ РАЗНОСТИ НАПРЯЖЕНИЙ МЕЖДУ ДВУМЯ ЭКСПОЗИЦИЯМИ

[00104] В вышеприведенном описании мы уже используем временную модуляцию (включено/выключено) для светодиодной подсветки с целью дифференциации ложных бликов и фактических бликов; затем можно провести две экспозиции и сравнить разность напряжений, полученную между двумя экспозициями. Фактически это уже было предложено статьей Jet Propulsion Laboratory (см., например, работу Ambient-Light-Canceling Caméra Using Subtraction of Frames, NASA Tech Briefs, May 3В04, которая включена здесь в качестве ссылки), где получают два изображения, а затем средствами программного обеспечения проводят вычитания между соответствующими пикселями на двух изображениях. Компания Zamir Récognition Systems (см., например, опубликованную патентную заявку США №3В0803В3277, которая включена здесь в качестве ссылки) предложила другую конструкцию, которая в большей степени основана на аппаратном обеспечении, где используется или частотно-модулированный сигнал и частотный фильтр, или сигнал с временной модуляцией (включено/выключено), а конденсатор заряжается и разряжается в двух экспозициях соответственно. Подход компании Zamir также предполагает использование 2-х массивов пикселей, где каждый пиксель имеет 1 конденсатор, и вычитание напряжения двух конденсаторов с использованием расчетного модуля.

[00105] Фигура 10 демонстрирует ДАП с двумя конденсаторами на основе разности напряжений между двумя экспозициями в соответствии с вариантом воплощения настоящего изобретения. ДАП 1000 включает транзистор 1002, фотодиод 1003, транзистор 1004 истокового повторителя, напряжение 1005 фотодиода, транзистор 1006 функции выбора, напряжение 1007 сети питания, сигнал 1008 выбора, выходное напряжение 1009, общий транзистор-ограничитель тока 1010, первый зарядовый транзистор 1015, первый конденсатор 1016, второй зарядовый транзистор 1017 и второй конденсатор 1018. Предлагаемый способ настоящего изобретения также может использовать освещение с временной модуляцией и вычитание, и вместо использования 2-х массивов пикселей, где каждый пиксель имеет 1 конденсатор в соответствии с подходом компании Zamir, указанный способ использует 2 конденсатора в 1 пикселе и требует только 1 массив пикселей. Это можно увидеть в ДАП 1000. Во время первой экспозиции светодиод выключен и первый конденсатор 1016 заряжается фотодиодом 1003 (точнее, первый конденсатор 1016 разряжается, потому что изначально напряжение соответствует Vdd-Vth, и напряжение падает, как только фотодиод 1003 подвергается экспозиции света). Во время второй экспозиции светодиод включен, а второй конденсатор 1018 заряжается фотодиодом 1003. Анод первого конденсатора 1016 подсоединен к затвору транзистора 1004 Msf истокового последователя (в одном варианте воплощения настоящего изобретения nМОП-транзистор используется для транзистора 1004 истокового последователя), а анод второго конденсатора 1018 подсоединен к источнику транзистора 1004 истокового последователя или непрямо, как показано на Фигуре 10, или прямо путем перемещения транзистора 1006 функции выбора под второй конденсатор 1018 с тем же самым эффектом. При такой конфигурации, если фоновое освещение стабильно в течение двух экспозиций и при условии отсутствия чрезмерной экспозиции в обоих циклах, напряжение первого конденсатора 1016 превысит напряжение второго конденсатора 1018, так как фотодиод 1003 получает больше падающего света из-за светодиодной подсветки во время второй экспозиции. Время выдержки может быть установлено на тот же самый уровень, что и при отсутствии помех фонового освещения. Таким образом, разность напряжений будет несколько выше Vth, и этого будет достаточно для включения транзистора 1004 истокового повторителя и обеспечения прохождения тока через него. Для пикселей, которые не являются реальными бликами, в том числе для ложных бликов и при условии отсутствия чрезмерной экспозиции, напряжение первого и второго конденсаторов 1016 и 1018 будет почти одинаковым, и разность напряжений будет приближаться к 0В и будет невозможно включить транзистор 1004 истокового последователя даже для ложных бликов. На Фигуре 10 используются два сигнала для контроля того, когда проводить зарядку/разрядку каждого конденсатора. Сигнал «CHARGE_1» посылается в первый зарядный транзистор 1015 для контроля первого конденсатора 1016, а сигнал «CHARGE_2» посылается во второй зарядный транзистор 1017 для контроля второго конденсатора 1018. Оба режима «CHARGE_1 » и «CHARGE2» могут быть включены или находиться на высоком уровне во время вышеописанных соответствующих режимов сброса и экспозиции, соответственно.

[00106] В одном варианте воплощения настоящего изобретения транзисторы, продемонстрированные для ДАП 400, 500, 600, 700, 800, 900 и 1000, могут представлять собой МОП-транзисторы. В одном варианте воплощения настоящего изобретения транзисторы, продемонстрированные для ДАП 400, 500, 600, 700, 800, 900 и 1000, могут представлять собой биполярные плоскостные транзисторы. В одном варианте воплощения настоящего изобретения транзисторы, продемонстрированные для ДАП 400, 500, 600, 700, 800, 900 и 1000, могут быть больше или меньше продемонстрированных транзисторов.

[00107] Заметим, что обычно МОП-транзисторы представляют собой устройство с 3 клеммами, в котором подложка (монолитная) замкнута на клемму «источник», который создает неявный диод и обеспечивает общую чувствительность МОП-транзистора к току всякий раз, когда истоковое напряжение превышает стоковое напряжение в случае nМОП-транзисторов. Эта проблема может возникать на Фигуре 10, например, когда конденсатор 1 обладает более высоким напряжением, чем фотодиод, что, соответственно, приводит к утечке заряда в фотодиод. Смена клемм стока и истока не решают эту проблему, поскольку в фотодиоде может произойти утечка заряда в конденсатор 1.

[00108] В фактической реализации настоящего изобретения эту проблему можно избежать, обеспечив МОП-транзисторы для контроля заряда в форме устройства с 4-мя клеммами, где подложки транзистора не замкнуты на клеммах «источник». Это достигается с помощью часто используемой модернизированной схемы, где фотодиод полностью интегрирован с другими МОП-транзисторами, как показано на Фигуре 11.

[00109] Фигура 11 демонстрирует модернизированную схему, где фотодиод полностью интегрирован с другими МОП-транзисторами в соответствии с вариантом воплощения настоящего изобретения. Схема 1100 включает транзистор 1102 функции сброса, первый зарядовый транзистор 1115, второй зарядовый транзистор 1117, напряжение VC1 113В (которое измеряет напряжение конденсатора С1, получаемого из первой плавучей диффузионной области), первую плавучую диффузионную область, а также первую область кармана n-типа 1121, напряжение VC2 1122 (которое измеряет напряжение конденсатора С2, получаемого из второй плавучей диффузионной области), вторую плавучую диффузионную область 1123, фотодиод кармана n-типа 1124, вторую область кармана n-типа 1125 и p-подложку ИЗО. Схема 1100 представляет собой схему физической реализации фотодиода 1003, продемонстрированного на Фигуре 10, например, во избежание утечки заряда. Заметим, что второй конденсатор 1018 представлен в 3D. Фигура 11 имеет некоторое сходство с 4Т-ДАП, который имеет конденсатор с плавающей диффузионной областью: для сравнения можно сослаться на стр.40-41 и Фигуру 2.23 работы Smart CMOS Image Sensors and Applications. Предпочтительно следует провести калибровку в процессе производства и спроектировать профиль электрических потенциалов чипа КМОП-датчика изображений таким образом, чтобы заряд фотодиода 1003 полностью проходил в желаемый конденсатор с плавающей диффузионной областью для упрощения калибровки времени экспозиции. В противном случае, заряды будут каким-то образом объединяться между фотодиодом 1003 и конденсатором(ами) с плавающей диффузионной областью, что в целом усложняет калибровку времени экспозиции.

[00110] Ссылаясь на Фигуру 10, следует отметить, что вышеприведенный способ имеет некоторые элементы конструкции динамической цепи в той части, в которой после включения Msf (или транзистора 1004 истокового последователя) и начала поступления тока через него второй конденсатор 1018 постепенно заряжается с точки зрения напряжения, и как только напряжение достигнет уровня напряжения первого конденсатора 1016, транзистор 1004 истокового последователя выключается и поступление тока прекращается так, будто полученный пиксель не является бликом, однако такая ситуация возникает только в том случае, если ток поступает в течение достаточно длительного периода. Поэтому очень важно быстро провести выборку выходного напряжения или тока до того, как слишком большой заряд изменился на выходе. Например, если второй конденсатор 1018 имеет емкость 1пФ и если использовать ограничитель тока 1 мкА, тогда для (восходящего) изменения напряжения на 1В понадобится только 1 мкс. Цепь, основанная на принципе «победитель получает все» (WTA) (как видно, например, в работе А 3В0 us Processing Time Smart Image Sensor for an Eve Tracker Using Pixel-Level Analog Image Processing), позволяет выбирать вход-«победитель» (из всего ряда) исключительно на основе входной величины (например, напряжения в зависимости от яркости блика), но характеризуется более длительной задержкой (как правило, в сотни нс) по сравнению с КМОП-логикой (обычно менее десятков нс), поэтому схема WTA, скорее всего, изменит напряжение конденсатора 2 бликовых пикселей. Кроме того, WTA не имеет памяти, и для вывода всех бликовых пикселей в строке необходимо провести несколько итераций, каждая из которых требует изменения второго конденсатора 1018 в каждом пикселе. Таким образом, схема WTA, вероятно, не пригодна для предлагаемого 2-конденсаторного ДАП, продемонстрированного на Фигуре 10 в виде ДАП 1000. Для сравнения при использовании КМОП-логики можно использовать ряд защелок или регистров для сохранения двоичного значения выходного напряжения ДАП на уровне десятков нс, и после этого все элементы ДАП могут быть включены и с целью экономии электропотребления и с целью предотвращения дальнейшего изменении напряжения второго конденсатора 1018. Также могут использоваться цепи приоритетного кодера для вывода всех бликовых пикселей в текущей строке, по одному за раз, и все это можно реализовать без включения транзистора 1004 истокового повторителя или без повторного изменения напряжения на втором конденсаторе 1018.

[00111] Также можно использовать рМОП-транзистор для 2-конденсаторного ДАП, где фотодиод имеет Р-подложку. Анод второго конденсатора 1018 (ожидается, что он будет обладать более низким напряжением для блика) может быть подсоединен к затвору рМОП-транзистора и если анод первого конденсатора 1016 может быть подсоединен к источнику рМОП-транзистора, сток (непрямо) необходимо подключить к клемме «земля». Тогда, если напряжение на втором конденсаторе 1018 ниже напряжения первого конденсатора 1016 более чем на Vth, пиксель включится, первый конденсатор 1016 начнет сброс до тех пор, пока опустится до напряжения второго конденсатора 1018 и остановится. Та же самая проблема динамической цепи существует в ДАП на основе pМОП-транзистора, и по вышеуказанным причинам для выбора бликовых пикселей в текущем ряду предпочтительно использовать цепь с защелками/регистрами на основе КМОП-логики и приоритетным кодером, а не цепь WTA. Для краткости опускается описание точной схемы цепи 2-конденсаторного ДАП с pМОП-транзистором. Аналогично, если в фотодиоде используется N-подложка вместо P-подложки, цепь также можно соответствующим образом скорректировать для включения Msf только тогда, когда напряжение второго конденсатора 1018 существенно отличается от напряжения первого конденсатора 1016.

[00112] Уникальность предлагаемого способа заключается в том, что он сочетает в себе вычитание со свойством переключения МОП-транзистора. Однако указанный подход может привнести дополнительную сложность при проектировании и производстве, следовательно, его следует использовать только тогда, когда другие способы не работают надлежащим образом, например, если ложные блики часто перекрывают реальные блики. На практике чем проще конструкция pМОП-транзистора с удалением ложного блика, скорее всего, тем лучше этот вариант с точки зрения сложности, практичности и стоимости. Во всех случаях узкополосный фильтр с ближним инфракрасным диапазоном может использоваться для пассивного блокирования большей части помех фонового освещения.

[00113] При использовании 2-конденсаторного ДАП можно провести выборку его выходного напряжения Vo (1009) на уровне стока Msf или транзистора 1004 истокового повторителя. Если пиксель не является бликовым, Vo будет примерно равно Vdd. Если пиксель бликовый, Vo будет приблизительно равно VC2 (например, напряжение VC2 1122), напряжению на втором конденсаторе 1018, и это значение не будет равно 0В. Это создает проблему для интерфейса КМОП-логики, которая обычно предполагает 0 и Vdd. Фактически, если использовать среднее напряжение, вполне вероятно, что оба типа МОП-транзисторов (напомним, что КМОП состоит из рМОП-транзисторов и nМОП транзисторов) будут включены, что нарушает предположение о включении только одного типа. Это может привести к нарушению функционирования КМОП-логики обоих МОП-транзисторов и потреблению большой мощности.

[00114] Решение этой проблемы интерфейса заключается в использовании другого напряжения сети питания для КМОП-логики. Во время сброса, при условии использования мягкого режима сброса, VC2 будет инициализирован к значению Vdd -Vth. После 2-й экспозиции даже без помех фонового освещения VC2 упадет, по меньшей мере, несколько больше Vth, скажем, 1,25*Vth. Тогда VC2 упадет не более чем на Vdd -Vth - 1.25*Vth=Vdd-2,25*Vth. Поэтому, если мы установим напряжение на клемме «земля» в системе КМОП-логики до уровня Vdd-2,25*Vth (вместо 0 В), а его напряжение в режиме полной мощности на Vdd, КМОП-логика будет правильно взаимодействовать с выходом ДАП.

[00115] Отметим, что во всех перечисленных выше анализах для простоты мы предполагали то же значение Vth для всех типов МОП-транзисторов в цепи. На практике они не должны быть одинаковыми. Понимая выводы вышеприведенных анализов, специалист данной области техники сможет проанализировать случаи, когда значения Vth различаются.

[00116] Настоящее изобретение представляет собой новый тип очков для пользователей с близорукостью с целью расслабления и снижения нагрузки на глаза, замедления, прекращения и/или даже обеспечения обратимости прогрессии близорукости. В настоящем раскрытии представлено маломощное устройство отслеживания взгляда, в котором также реализовано отслеживание движения глаза/взгляда в целом. Может быть обеспечена низкая стоимость, решение для отслеживания движения глаза/взгляда с низким энергопотреблением в виде очков. Некоторые из причин того, почему отслеживание движения глаза/взгляда можно считать нетривиальной задачей, включают движения головы, помехи фонового освещения и отражения от очков, каждую из которых можно значительно минимизировать в предлагаемом устройстве отслеживания взгляда. Отражения линзы больше не представляются проблемой, так как устройство отслеживания встроено в очки. Отслеживание движения глаза/взгляда само по себе имеет множество применений в области мониторинга поведения пользователей, например отслеживание точки фокуса при просмотре телевизора или, например, рекламы на билборде и т.д.

[00117] В приведенной выше спецификации и следующих прилагаемых документах изобретение было описано со ссылкой на конкретные примерные варианты его воплощения. Очевидно, что в них могут быть созданы различные модификации без отклонения от обширной сущности и объема, как изложено в последующей формуле изобретения. Описание и чертежи, соответственно, следует рассматривать в иллюстративном, а не в ограничительном смысле.

[00118] В этом описании для его упрощения различные функции и операции могут быть описаны как выполняемые программным кодом или с его помощью. Тем не менее, специалистам данной области техники будет понятно, что под такими выражениями подразумевают функции вследствие выполнения кода/команд процессора, например микропроцессора. В качестве альтернативы или в комбинации функции и операции могут быть реализованы с использованием специальной целевой схемы с или без команд программного обеспечения, например, используя специализированную интегральную микросхему (ASIC) или программируемую пользователем вентильную машину (FPGA). Варианты воплощения настоящего изобретения могут быть реализованы с использованием проводных схем без команд программного обеспечения или в комбинации с командами программного обеспечения. Таким образом, эти методы не ограничены ни каким-либо конкретным сочетанием схемы аппаратного и программного обеспечения, ни каким-либо конкретным источником команд, выполняемых системой обработки данных.

[00119] Хотя некоторые варианты воплощения настоящего изобретения могут быть реализованы в полностью функционирующих компьютерах и компьютерных системах, различные варианты воплощения настоящего изобретения можно распространять как вычислительное устройство в различных формах и можно использовать вне зависимости от определенного типа машины или машиночитаемых носителей, фактически используемых для распределения.

[0013В] По меньшей мере, некоторые раскрываемые аспекты могут быть воплощены, по меньшей мере, частично, средствами программного обеспечения. Это означает, что методы могут быть выполнены в компьютерной системе или другой системе обработки данных в ответ на запрос ее процессора, например микропроцессора, выполняя последовательности команд, содержащихся в памяти, например ПЗУ, энергозависимой памяти ОЗУ, энергонезависимой памяти, кэш-памяти или на удаленном устройстве хранения данных.

[00121] Процедуры, которые выполняются для осуществления вариантов воплощения настоящего изобретения, могут быть реализованы в рамках операционной системы или определенного приложения, компонента, программы, объекта, модуля или последовательности команд, которые называются «компьютерными программами». Компьютерные программы, как правило, включают один или несколько наборов команд в разное время в различных устройствах памяти и хранения данных в компьютере, которые при чтении и выполнении одним или несколькими процессорами в компьютере обеспечивают осуществление компьютером операций, необходимых для выполнения элементов, предусматривающих различные аспекты.

[00122] В целом, машиночитаемый носитель включает любой механизм, обеспечивающий информацию (например, ее хранение и/или передачу) в форме, доступной для машины (например, компьютера, сетевого устройства, персонального цифрового помощника, производственного инструмента, любого устройства с набором из одного или нескольких процессоров и т.д.).

[00123] Машиночитаемый носитель также может быть использован для хранения программного обеспечения и данных, которые при их выполнении системой обработки данных заставляют систему проводить различные способы. Реализуемое программное обеспечение и данные могут храниться в различных местах, включая, например, ПЗУ, энергозависимую память ОЗУ, энергонезависимую память и/или кэш-память. Части этого программного обеспечения и/или данных могут быть сохранены в любом из этих устройств хранения данных. Кроме того, данные и команды можно получить из централизованных серверов или пиринговых сетей. Различные части данных и команд можно получить из различных централизованных серверов и/или пиринговых сетей в разное время и в разные сеансы связи или в одном и том же сеансе связи. Данные и команды можно получить во всей полноте до исполнения приложений. Кроме того, часть данных и инструкций можно получать динамически, своевременно, когда они необходимы для выполнения. Таким образом, не требуется, чтобы данные и инструкции находились на машиночитаемом носителе во всей полноте в конкретный момент времени.

[00124] Энергозависимая память ОЗУ, как правило, реализована в виде динамической оперативной памяти ОЗУ (ДОЗУ), которая требует постоянного обеспечения питания для обновления и сохранения данных в памяти. Энергонезависимая память, как правило, представляет собой жесткий магнитный диск, магнитный оптический привод, оптический привод (например, DVD ОЗУ) или другой тип системы памяти, которая сохраняет данные даже после отключения системы питания. Энергонезависимая память также может представлять собой память случайного доступа. Энергонезависимая память может представлять собой локальное устройство, соединенное непосредственно с остальными компонентами системы обработки данных. Также может использоваться отдаленная от системы энергонезависимая память, например сетевое устройство хранения, соединенное с системой обработки данных через сетевой интерфейс, например модем или интерфейс Ethernet.

[00125] Примеры машиночитаемых носителей включают, но не ограничиваются, записываемыми и не записываемыми типами носителей, например устройствами энергозависимой и энергонезависимой памяти, постоянным запоминающим устройством (ПЗУ), оперативным запоминающим устройством (ОЗУ), флэш-памятью, дискетами и другими съемными дисками, магнитными дисками, оптическими носителями (например, компакт-диск с постоянным запоминающим устройством (CD ПЗУ), цифровыми универсальными дисками (DVD), и т.д.), среди иных устройств.

[00126] Машиночитаемые носители могут хранить команды. В целом, материальный машиночитаемый носитель включает любой механизм, обеспечивающий информацию (например, ее хранение и/или передачу) в форме, доступной для машины (например, компьютер, сетевое устройство, персональный цифровой помощник, производственный инструмент, любое устройство с набором из одного или нескольких процессоров, и т.д.).

[00127] В различных вариантах воплощения настоящего изобретения проводная схема может использоваться в сочетании с командами программного обеспечения для реализации представленных методов. Таким образом, способы не ограничиваются ни какой-либо определенной комбинацией схем аппаратного и программного обеспечения, ни каким-либо конкретным источником команд, выполняемых системой обработки данных.

[00128] Хотя некоторые из чертежей иллюстрирует ряд операций в определенном порядке, операции, которые не зависят от последовательности их выполнения, могут быть упорядочены в другой последовательности, а другие операции могут быть объединены или разбиты. Хотя некоторое изменение последовательности или иная группировка прямо указаны, другие варианты будут очевидны специалистам данной области техники и не представляют собой исчерпывающий перечень альтернатив. Кроме того, следует признать, что этапы могут быть реализованы на уровне аппаратного обеспечения, программно-аппаратного обеспечения, программного обеспечения или любой их комбинации.

[00129] Настоящее раскрытие включает способы и аппараты, которые осуществляют эти способы, включая системы обработки данных, выполняющие эти способы, и машиночитаемые носители, содержащие команды, которые при их выполнении в системах обработки данных заставляют системы выполнять указанные способы.

[00130] Хотя способы и системы были описаны с точки зрения того, что в настоящее время считается наиболее практичными и предпочтительными вариантами воплощения настоящего изобретения, следует понимать, что настоящее изобретение не обязательно ограничивается описанными вариантами. Оно охватывает различные модификации и аналогичные механизмы, которые включены в соответствии с сущностью и объемом формулы изобретения, объем которых следует рассматривать в самом широком толковании для того, чтобы охватывать все указанные модификации и аналогичные структуры. Настоящее изобретение включает любые варианты, указанные в нижеприведенной формуле изобретения.

[00131] Следует также понимать, что могут вноситься различные изменения без отступления от сущности изобретения. Такие изменения также неявно включены в описание. Они по-прежнему входят в объем настоящего изобретения. Следует понимать, что это раскрытие предназначено для получения патента на многие аспекты настоящего изобретения как самостоятельно, так и как системы в целом, а также как способа, так и режимов устройства.

[00132] Кроме того, каждый из различных элементов настоящего изобретения и формула изобретения также могут быть реализованы различными способами. Следует понимать, что такое раскрытие охватывает каждую такую вариацию, будь то вариация воплощения варианта осуществления любого аппарата, способа или процесса или даже просто вариация любого их элемента.

[00133] В частности, следует понимать, что раскрытие относится к элементам изобретения, слова о каждом элементе могут быть выражены эквивалентными терминами описания аппарата или терминами описания способа даже в том случае, когда без изменений остались только функция или результат.

[00134] Следует считать, что такие эквивалентные более широкие или даже более общие термины включены в описание каждого элемента или действия. Такие термины могут быть специально заменены при желании для более широкого охвата того, на что претендует настоящее изобретение.

[00135] Следует понимать, что все действия могут быть выражены как средство осуществления этого действия или как элемент, который вызывает это действие.

[00136] Кроме того, следует понимать, что каждый раскрываемый физический элемент включает раскрытие действия, которое облегчает такой физический элемент.

[00137] В связи с этим следует понимать, что по практическим соображениям и во избежание добавления потенциально множества притязаний заявитель представил формулу изобретения только с начальными зависимостями.

[00138] В той степени, в которой вносятся несущественные замены, в той степени, в которой заявитель фактически не подготавливает какую-либо претензию для включения буквально любого конкретного варианта воплощения настоящего изобретения, и, если не предусмотрено иное, следует понимать, что заявитель никоим образом не намерен и фактически не отказался от указанной доли обследованного материала, так как заявитель просто не в состоянии предвидеть все возможные ситуации; обоснованно ожидается, что специалист данной области техники не может подготовить притязание, которое будет буквально охватывать такие альтернативные варианты.

[00139] Кроме того, переходная фраза «содержащий» используется для сохранения «раскрытых» формул настоящего изобретения в соответствии с их традиционной интерпретацией. Таким образом, если контекст не требует иного, следует понимать, что термин «содержать» или его вариации, такие как «содержит» или «содержащий», подразумевают включение указанного элемента или действия или группы элементов или действий, но не исключение любого другого элемента или действия или группы элементов или действий. Такие термины должны толковаться в их наиболее широкой форме таким образом, чтобы обеспечить заявителю максимально широкий охват, который юридически допустим в соответствии с нижеприведенной формулой изобретения.

[00140] В вышеприведенной спецификации изобретение было описано со ссылкой на его конкретные примерные варианты. Очевидно, что в них могут вносить различные модификации без отклонения от обширной сущности и объема формулы изобретения. Описание и чертежи, соответственно, следует рассматривать в иллюстративном, а не в ограничительном смысле.

Реферат

Способ отслеживания блика глаза с низким энергопотреблением в электрооптическом аппарате, использующем датчик изображения с датчиками активных пикселей, включает определение с использованием процессора того, подвергаются ли пиксели датчика изображения воздействию света с превышением сконфигурированного порогового значения; сообщение об указанных сравненных пикселях датчика изображения с помощью цепи датчика изображения; включение МОП-транзистора с пороговым напряжением Vth, который включается только в том случае, если соответствующий пиксель подвергается воздействию света с превышением порогового значения; и использование цепи с защелками или регистрами для хранения результата включения/выключения или состояния пикселя. Технический результат - обеспечение низкого энергопотребления. 11 з.п. ф-лы, 12 ил.

Формула