Компактный наголовный дисплей с отслеживанием движения глаз - RU2623708C2
Код документа: RU2623708C2
Чертежи
Описание
Родственные заявки
В настоящей заявке заявляется конвенционный приоритет по временной заявке US №61/632441, поданной 24 января 2012 г., по временной заявке US №61/687607, поданной 25 апреля 2012 г., и по временной заявке US №61/699493, поданной 11 сентября 2012 г., и полное содержание указанных заявок вводится здесь ссылкой.
Лицензионные права правительства
Настоящее изобретение было сделано при правительственной поддержке по договору №IIS 1115489, заключенному с Национальным научным фондом. Правительство имеет определенные права на настоящее изобретение.
Область техники
Настоящее изобретение относится в целом к средствам отображения (дисплеям) с отслеживанием движения глаз, устанавливаемым на голове пользователя, и более конкретно (но не исключительно) к таким дисплеям, в которых одно и то же оптическое устройство используется для отслеживания движения глаз и для просмотра изображений пользователем, причем одна часть оптического устройства используется для отслеживания движения глаз, и другая часть оптического устройства используется для просмотра изображений.
Уровень техники
Наголовные дисплеи (HMD - от англ. Head-Mounted Display) применяются в самых разных областях науки и техники. Примеры таких применений включают пилотажные тренажеры, средства визуализации научной информации, медицинское оборудование, инженерное проектирование, технические средства образования и воспитания, носимые вычислительные системы и развлекательные системы. В области дополненной реальности наголовные дисплеи обеспечивают слияние виртуальных объектов с реальной физической средой, например, они могут обеспечивать врачу возможность просмотра трехмерных изображений анатомических структур или изображений компьютерной томографии пациента, наложенных на части его тела, такие как, например, брюшная полость. В носимых вычислительных системах носимые дисплеи обеспечивают отображение информации более высокого качества и на экранах большего размера по сравнению с другими популярными мобильными системами, такими как смартфоны и планшеты. В обозримом будущем такие мобильные дисплеи могут появиться в форме элегантных солнечных очков и могут составлять неотъемлемую часть ежедневной активности многих людей по быстрому просмотру информации и установлению связи с другими людьми.
Параллельно с такими наголовными дисплеями были разработаны различные технологии отслеживания движения глаз, которые применяются в различных областях, таких как исследования зрительного восприятия, интерфейсы компьютер-машина, дистанционное управление и видеосвязь. Полезность отслеживания движения глаз для многорежимных интерфейсов человек-компьютер и эффективность уплотнения информации хорошо известны, и в этих областях проводится много исследовательских работ. Например, были предложены дисплеи с изменяющимся разрешением в зоне, на которую направлен взгляд пользователя, и различные алгоритмы обработки изображений для эффективного использования полосы передачи данных, для повышения скорости вывода трехмерных изображений с использованием способов управления уровнем детализации и для обеспечения систем отображения информации с высоким разрешением в поле зрения пользователя.
Концепция создания наголовного дисплея с встроенной функцией отслеживания движения глаз (ET-HMD - от англ. Integrated Eyetracked HMD), исследовалась на разных уровнях. Такой дисплей может обеспечивать возможность отображения монокулярных или стереоскопических виртуальных изображений, как это осуществляется в классических наголовных дисплеях, с одновременным отслеживанием движения глаз пользователя. Полностью интегрированный дисплей ET-HMD имеет ряд достоинств, которые обеспечивают его использование не только в научных исследования, но также и в самых разных других применениях. Например, многие исследования относились к тому, как пользователи воспринимают и организуют пространственную информацию, взаимодействуют с такой информацией и осуществляют навигацию в виртуальном трехмерном пространстве. Возможность отслеживания движения глаз превращает наголовные дисплеи в очень ценный инструмент для исследователей для количественной оценки взаимодействия пользователей с трехмерной средой и анализа эффективности различных технологий визуализации трехмерного пространства для решения самых разных задач, включая воспитание, образование и задачи расширенного восприятия. С технологической точки зрения возможность отслеживания движения глаз, интегрированная в наголовные дисплеи, может использоваться для увеличения размеров изображения и улучшения точности восприятия глубины в стереоскопических дисплеях. Возможность отслеживания движения глаз может помочь в поисках решений, обеспечивающих повышение разрешения в зоне, на которую направлен взгляд пользователя, и уменьшение расхождения между аккомодацией и сведением лучей за счет использования технологии отображения с переменной фокальной плоскостью. С точки зрения применения такие дисплеи обеспечивают уникальные возможности для создания новых интерактивных интерфейсов для людей с проприоцептивными дефектами, когда вместо рук или ног в качестве средства взаимодействия или связи может использоваться направление взгляда.
Несмотря на существенный прогресс и коммерческий успех технологий HMD и средств отслеживания движения глаз объединение этих двух технологий встречает определенные сложности в создании компактной, портативной, точной и надежной системы. Были предприняты первые попытки разработки интегрированных систем ET-HMD, в которых старались оптимизировать эти две технологии в рамках одной системы, однако существующие технические решения не позволили получить действительно легкую, портативную и надежную систему, которая может быть вписана в форм-фактор очков. Для многих насущных применений легкость и компактность являются критическими факторами. Например, для поддержки связи для пациентов с боковым амиотрофическим склерозом (болезнь Шарко) интегрированная система должна быть легкой, так чтобы ее могли носить эти пациенты, мускулы которых очень слабы, и они очень ограничены в своих движениях.
За последние десятилетия для улучшения характеристик HMD в их конструкциях использовались самые разные оптические средства. Эти средства включали известные катадиоптрические устройства, новые элементы, такие как несферические поверхности, голографические и дифракционные оптические компоненты; кроме того, исследовались возможности применения новых принципов конструкций, таких как использование проекционной оптики для замены окуляров или системы увеличительных линз, в традиционной конструкции HMD и наклонных, децентрированных поверхностей или даже поверхностей произвольной формы. Некоторые из таких оптических средств позволяют создать компактный и легкий HMD с широким полем зрения, который может быть реализован в форме очков, то есть, в этом случае дисплеи находятся в непосредственной близости от глаз. Внедрение средств отслеживания движения глаз в такие дисплеи представляет собой очень сложную техническую задачу, и при этом существенно увеличивается вес и объем устройства, и оно, соответственно, усложняется.
Средства отслеживания движения глаз в HMD начали внедрять с момента появления дисплеев-вставок высокого разрешения компании CAE Corporation. Эти первые работы не относились к мобильным компактным системам ET-HMD.
В первых стационарных конструкциях для перемещения вставки высокого разрешения, использовались механические приводные устройства. Компания ISCAN Corporation проводила работы по интеграции устройства ISCAN, обеспечивающего отслеживание движения глаз, в дисплей V8-HMD компании Virtual Research Corporation для отработки программы, определяющей зону дисплея, соответствующую центральной ямке сетчатки глаза. Этот способ интеграции имеющихся на рынке HMD и устройств отслеживания движения глаз известен как интеграция функциональных возможностей, в которой два отдельных инструмента объединяют на более поздней стадии использования. Достоинством такого подхода является простота решения и, соответственно, малые затраты на разработку, однако в этом случае не обеспечивается оптимизация на нижнем уровне и трудно обеспечить компактность, точность и надежность.
В отличие от интеграции функциональных возможностей системный подход, в котором система воспринимается и оптимизируется как единый инструмент, имеет ряд достоинств и преимуществ для создания полностью интегрированного устройства ET-HMD. Существенные выгоды системного подхода включают возможность исследования ограничений и требований к конструкции как для дисплея, так и для устройства отслеживания движения глаз, нахождения новых решений и оптимизации конструкции для обеспечения компактной и надежной системы. Были осуществлены первые попытки исследования возможности полной интеграции с оптимизацией на нижнем уровне. В этих первых работах исследователи Hua и Rolland совместно прорабатывали возможность создания конструкции с полной интеграцией, в результате чего были разработаны способы и алгоритмы надежного отслеживания движения глаз для системы ET-HMD и сконструирована система ET-HMD с полупрозрачной оптикой на основе концепции проекционных наголовных дисплеев. На фиг. 1 приведена схема оптической системы ET-HMD, на которой эта система показана в упрощенном виде с идеальными линзами для более четкой иллюстрации самой концепции и соотношения составляющих частей. (Curatu, С, Hong Hua и J.P. Rolland, "Проекционный наголовный дисплей с возможностью отслеживания движения глаз", Proceedings of the SPIE International Society for Optical Engineering, Vol. 5875, г. Сан-Диего, США, август 2005. Curatu, С, J.P. Rolland и Hong Hua, "Линза двойного назначения для проекционного наголовного дисплея с отслеживанием движения глаз", Proceedings of International Optical Design Conference, г.Ванкувер, Канада, июнь
2006.). В конструкции обеспечивалась полная интеграция, и осуществлялось объединение бóльшей части оптических путей, используемых для подсистемы дисплея и для подсистемы отслеживания движения глаз. Одна и та же проекционная оптика использовалась для обеспечения как функции отображения, так и функции отслеживания движения глаз. Однако основным недостатком этой конструкции был слишком большой вес и объем, хотя эти характеристики и были существенно улучшены по сравнению с другими интегрированными системами ET-HMD.
Основными проблемами при создании действительно портативной, легкой и компактной системы ET-HMD являются следующие: (1) создание оптической системы, которая позволит осуществить устройство HMD в привлекательной элегантной форме солнечных очков, которая является постоянным ориентиром для разработчиков технологии и устройств для конечных пользователей; и (2) создание оптической системы, которая позволит внедрить функцию отслеживания движения глаз без существенного увеличения веса и объема системы.
Раскрытие изобретения
В настоящем изобретении предлагается система ET-HMD, в которой используется способ отслеживания движения глаз на базе видеонаблюдения, причем система, как правило, содержит три отдельные оптические пути: оптический путь освещения, оптический путь изображения глаза и оптический путь виртуального дисплея. По оптическому пути освещения осуществляется освещение глаза светодиодами, работающими в ближней ИК-области спектра (NIR LED - от англ. Near-Infrared Light-Emitting Diodes), для обеспечения элементов затемненного или высветленного изображения зрачка глаза и/или изображений Пуркинье. По оптическому пути изображения глаза его изображение принимается вместе с указанными элементами, необходимыми для отслеживания движения глаза. По оптическому пути дисплея изображение на миниатюрном дисплее отображается через окуляр в форме виртуального изображения для просмотра пользователем. Одна из инноваций настоящего изобретения заключается в оптической схеме, которая уникальным образом может обеспечивать объединение трех вышеуказанных оптических путей в одном основном оптическом устройстве, которое может быть окуляром, проекционной линзой или другой оптической конструкцией.
Например, в одном из вариантов осуществления изобретения в предлагаемой оптической схеме, которая уникальным образом объединяет подсистему получения изображения глаза для отслеживания его движения с подсистемой дисплея, обеспечивающей просмотр информации, могут использоваться оптические элементы произвольной формы. Термины "оптическое устройство дисплея" и "оптическое устройство для получения изображения глаза", как они используются в настоящем изобретении, могут относиться к одному и тому же оптическому устройству, которое может указываться как "основное оптическое устройство". Основное оптическое устройство может также дополнительно обеспечивать функцию освещения глаза. Таким образом, одно из достоинств настоящего изобретения заключается в том, что в нем преодолевается ограничение, накладываемое известными подходами, в которых использовались независимые оптические системы для оптического пути дисплея HMD и оптического пути изображения глаза, и в которых большей частью использовались осесимметричные оптические поверхности. Однако оптическая схема интеграции функции отслеживания движения глаз в дисплей HMD, предлагаемая в настоящем изобретении, не ограничивается использованием оптических элементов произвольной формы. Основное оптическое устройство системы ET-HMD по настоящему изобретению может быть применено в известных конструкциях дисплеев HMD.
В одном из вариантов конфигурация оптической системы по настоящему изобретению может обеспечивать наголовный дисплей с отслеживанием движения глаз, содержащий микродисплей для формирования изображения, которое будет просматривать пользователь, причем с микродисплеем связан оптический путь дисплея и выходной зрачок. На микродисплее может находиться первая плоскость, и вторая плоскость может находиться на выходном зрачке. В системе используется датчик изображения (глаза), который может быть сконфигурирован для приема из второй плоскости оптического излучения, отраженного от глаза пользователя, причем с датчиком изображения может быть связан оптический путь датчика. Кроме того, наголовный дисплей с отслеживанием движения глаз может содержать оптическое устройство дисплея, находящееся в оптической связи с микродисплеем по оптическому пути дисплея и с датчиком изображения глаза по оптическому пути датчика. Оптическое устройство дисплея может иметь выбранную поверхность, находящуюся ближе всего к микродисплею и к датчику изображения глаза, и оптическое устройство дисплея может быть расположено относительно микродисплея и датчика изображения глаза таким образом, что оптические пути дисплея и датчика изображения глаза попадают на разные части выбранной поверхности. Оптические пути дисплея и датчика изображения глаза могут частично перекрываться на выбранной поверхности. Оптические пути дисплея и датчика изображения глаза могут иметь соответствующие оптические оси, проходящие через оптическое устройство дисплея и датчик изображения глаза, соответственно, причем эти оптические оси могут быть коаксиальными или наклоненными относительно друг друга. Наголовный дисплей с отслеживанием движения глаз может содержать в первой плоскости диафрагму, которая имеет по меньшей мере одно отверстие, расположенное на оптическом пути датчика. Аналогично, наголовный дисплей с отслеживанием движения глаз может содержать диафрагму, которая имеет по меньшей мере одно отверстие, расположенное на оптическом пути датчика между датчиком и выбранной поверхностью. В любой из указанных конфигураций диафрагма может иметь отверстие очень малого диаметра (точечное отверстие). В одном из вариантов оптическое устройство дисплея может содержать оптический элемент произвольной формы, оптический осесимметричный элемент и/или оптическую призму произвольной формы. Оптическое устройство дисплея может содержать несферическую поверхность.
Наголовный дисплей с отслеживанием движения глаз может содержать источник освещения для обеспечения оптического излучения для освещения второй плоскости для осуществления освещения глаза пользователя. Оптическое устройство дисплея может быть сконфигурировано для коллимирования оптического излучения из источника освещения. Источник освещения может быть расположен в первой плоскости или в другом месте, так что он будет смещен в сторону от оптической оси оптического устройства дисплея.
Краткое описание чертежей
Вышеприведенное существо изобретения и нижеприведенное подробное описание частных вариантов осуществления настоящего изобретения можно будет лучше понять при рассмотрении вместе с прилагаемыми чертежами, на которых показано:
на фиг. 1 - схематический вид известной системы наголовного дисплея с отслеживанием движения глаз (ET-HMD), в которой используется осесимметричные оптические компоненты;
на фиг. 2А, 2Б - схематические изображения для двух разных схем ИК-освещения; на фиг. 2А показано изображение глаза со светлым зрачком и четырьмя яркими точками, возникающими в результате работы коаксиальной схемы освещения, в которой четыре ИК-светодиода, работающие в ближней ИК-области спектра, установлены примерно коаксиально с оптической осью оптической подсистемы, обеспечивающей изображение глаза; и на фиг. 2Б показано изображение глаза с черным зрачком и четырьмя яркими точками, возникающими в результате работы схемы освещения, в которой четыре ИК-светодиода, работающие в ближней ИК-области спектра, установлены со смещением от оптической оси оптической системы, обеспечивающей изображение глаза;
на фиг. 3А - схема оптической системы по настоящему изобретению, показанной как монокулярный оптический модуль;
на фиг. 3Б - схема системы по настоящему изобретению, на которой показаны блоки освещения и блоки формирования изображения глаза, расположенные вокруг микропанели дисплея;
на фиг. 4 - блок-схема системы, построенной с использованием технологии призм произвольной формы в соответствии с настоящим изобретением и показанной как монокулярный оптический модуль;
на фиг. 5А-5Г - схематические виды конструкции HMD с просветными оптическими элементами по настоящему изобретению, причем на фиг. 5А показаны оптические пути освещения и получения изображений глаз, на фиг. 5Б показан оптический путь виртуального дисплея, на фиг. 5В показана призма произвольной формы, которая используется совместно функциями освещения глаза, получения изображения глаза и виртуального дисплея, и на фиг. 5Г показана вспомогательная линза произвольной формы, прикрепленная к призме произвольной формы, которая обеспечивает возможность просмотр на просвет.
на фиг. 6 - оптическая схема и схема прохождения лучей оптимизированной системы ET-HMD по настоящему изобретению с использованием конструкции, содержащей призму произвольной формы с двойным отражением фиг. 5Г;
на фиг. 7 - схематический вид трехмерной модели оптической системы ET-HMD по настоящему изобретению;
на фиг. 8 - схематический вид модели опытного образца бинокулярного ET-HMD по настоящему изобретению в соответствии с оптическими конструкциями фиг. 6 и 7;
на фиг. 9А-9Г - графики полихроматической модуляционно-передаточной функции 20 выбранных полей в поле зрения (ПЗ) для оптического пути виртуального дисплея HMD с центрированным зрачком диаметром 4 мм для конструкции фиг. 6;
на фиг. 10 - вид сетки искажений в поле зрения виртуального дисплея HMD для конструкции фиг. 6;
на фиг. 11 - графики полихроматической модуляционно-передаточной функции выбранных полей в поле зрения для оптического пути изображения глаза для конструкции фиг. 6;
на фиг. 12 - вид сетки искажений в поле зрения для оптического пути изображения глаза для конструкции фиг. 6;
на фиг. 13А-13Г - графики полихроматической модуляционно-передаточной функции 20 выбранных полей в центральном поле зрения размерами 30×22 градусов для оптического пути сквозного просмотра HMD с центрированным зрачком диаметром 4 мм для конструкции фиг. 6;
на фиг. 14 - вид сетки искажений в поле зрения для оптического пути сквозного просмотра HMD для конструкции фиг. 6;
на фиг. 15А, 15Б - схема конструкции в соответствии с оптической схемой фиг. 3 по настоящему изобретению;
на фиг. 16 - схематическое изображение практической реализации оптической схемы фиг. 3 по настоящему изобретению на основе осесимметричных оптических элементов.
Осуществление изобретения
Одинаковые элементы на разных фигурах указаны одинаковыми номерами. На фиг. 3А представлена иллюстративная схема 300 системы по настоящему изобретению, которая обеспечивает возможность создания компактного устройства ET-HMD. На этой иллюстративной схеме 300 одно и то же основное оптическое устройство 310 может обеспечивать функции получения изображения глаза, просмотра изображения на дисплее и/или освещения глаза. Это упрощение является результатом использования уникальных сопряженных плоскостей на оптическом пути 305 освещения глаза, оптическом пути 307 изображения глаза и оптическом пути 309 изображения на дисплее. Кроме того, для оптического пути 305 освещения глаза, оптического пути 307 изображения глаза и оптического пути 309 изображения на дисплее могут использоваться разные части апертуры основного оптического устройства 310. Например, на выбранную поверхность основного оптического устройства 310, расположенную ближе всего к микродисплею, два или более оптических путей из пути 305 освещения глаза, пути 307 изображения глаза и пути 309 изображения на дисплее (например, путь 307 изображения глаза и путь 309 изображения на дисплее) могут попадать на разные соответствующие части выбранной поверхности, хотя и допускается их частичное перекрытие.
На оптическом пути 309 изображения на дисплее основное оптическое устройство 310, которое в этом случае работает как оптическое устройство дисплея, формирует виртуальное изображение микродисплея 320, просматриваемое глазом 10. Микродисплей 320 может быть устройством любого типа, содержащим матрицу излучающих или подсвечиваемых пикселей, которая является источником изображения, включая (без ограничения) устройство, содержащее жидкие кристаллы на кремнии, жидкокристалличесую панель, дисплей на органических светодиодах, устройство, содержащее сегнетоэлектрические жидкие кристаллы на кремнии, микрозеркальную матрицу или микропроекционное устройство, выполненное на вышеупомянутых или других типах микродисплеев, и между микродисплеем 320 и основным оптическим устройством 310 при необходимости могут быть расположены дополнительные оптические компоненты. Увеличенное виртуальное изображение, которое может находиться на определенном расстоянии от глаза 10 или в бесконечности, соответствует сопряженной фокальной плоскости микродисплея 320. Зрачок 12 глаза может быть совмещен с выходным зрачком 312 оптического пути 309 изображения на дисплее. Главные лучи, проходящие от дисплея через центр зрачка 12 (показаны сплошными линиями на фиг. 3А), определяют высоту поля зрения на микродисплее 320, и, соответственно, они разделены на поверхности микродисплея. На оптическом пути 305 освещения возле микродисплея 320 может быть расположен один или несколько ИК-светодиодов, работающих в ближней ИК-области спектра (NIR LED - от англ. Near-Infrared Light-Emitting Diodes), для освещения глаза через дисплей и/или основное оптическое устройство 310 (см. фиг. 3Б). Дисплей и/или основное оптическое устройство 310 может коллимировать свет светодиодов для формирования равномерно освещенной области с помощью нескольких виртуальных светодиодных источников, сформированных дисплеем и/или основным оптическим устройством 310. Такая схема освещения со смещением от оптической оси может обеспечивать темный зрачок и светящиеся точки источников NIR LED 330, отражающихся от передней поверхности роговицы.
На оптическом пути 307 изображения глаза обеспечивается получение изображения его зрачка 12. По периметру микродисплея 320 может быть установлена диафрагма 340. Учитывая вышеуказанную связь поля зрачка микродисплея 320 и зрачка 12 глаза, главные лучи полей разных объектов на оптическом пути изображения на дисплее становятся боковыми лучами на оси оптического пути 307 изображения глаза, и, соответственно, все лучи, проходящие через одну и ту же точку на зрачке 12 глаза, будут отображаться в одной и той же точке датчика 360 получения изображения глаза в инфракрасных лучах (ИК-датчика). Однако эти лучи будут пересекаться с поверхностью микродисплея в разных местах. Поэтому на оптическом пути 307 изображения глаза используется соответствующая диафрагма 340, проходящая вокруг микродисплея 320 таким образом, чтобы она не влияла на оптический путь 309 изображения на дисплее и в то же время собирала лучи, проходящие от глаза по оптическому пути 307 изображения глаза. Как показано на фиг. 3Б, диафрагма 340 может быть выполнена в форме отверстий 350 очень малого диаметра (точечное отверстие), или же это может быть выделенная зона, окружающая микродисплей 320. С каждым таким отверстием 350 может быть связан отдельный датчик 360 получения изображения глаза.
Одно из преимуществ оптической схемы 300, обеспечивающей объединение двух или трех функций, является возможность ее применения практически ко всем типам оптических систем, подходящих для дисплея HMD. Например, был осуществлен вариант конфигурации с обычным окуляром с использованием осесимметричных оптических элементов, как описано ниже со ссылками на фиг. 16.
Что касается конкретной реализации функции отслеживания движения глаз, то существующие технологии, которые могут использоваться для этой цели, могут быть разбиты на три категории: электроокулография, измерения с помощью склеральной катушки и различные способы отслеживания движения глаз с помощью видеоустройств. Из вышеуказанных способов видеонаблюдение, обеспечивающее обнаружение и отслеживание некоторых особенностей в полученных изображениях глаз, может быть наименее инвазивным и наиболее удобным инструментом для отслеживания движения глаз.
При использовании для освещения излучения в ближней ИК-области спектра изображения 201, 202 глаза обычно имеют два типа признаков, которые легко могут быть идентифицированы и измерены (см. фиг. 2А, 2Б). Один признак известен как первое изображение Пуркинье, или светящаяся точка 6, которая представляет собой отражение точечного источника света, которое формируется передней поверхностью роговицы (фиг. 2Б) Второй признак - это зрачок 12 глаза. На фиг. 2А, 2Б иллюстрируются примеры изображений 201, 202 глаза при использовании для освещения ИК-излучения. В зависимости от конфигурации источников ИК-излучения, например светодиодов NIR LED 330, аксиальная схема, при которой источники расположены примерно коаксиально с оптической осью оптических элементов, обеспечивающих получение изображения глаза, обеспечивает светлый зрачок 2 (фиг. 2А), а при смещении источников от оптической оси оптических элементов, обеспечивающих изображение глаза, обеспечивается затемненный зрачок 4 с яркими точками 6 (фиг. 2Б). Зрачок и отражения источников света могут использоваться для отслеживания движения глаз.
Наиболее подходящим способом видеонаблюдения для отслеживания движения глаз в системе ET-HMD является способ отслеживания отражений от роговицы в зоне зрачка, при котором движения глаза определяются по векторной разности между центром зрачка и центром светящейся точки. В этом способе для освещения глаза 10 может использоваться один или светодиодов, излучающих в ближней ИК-области спектра, например, светодиоды NIR LED 330, и затем изображение освещенного глаза 10 может быть получено сенсором 360, таким как прибор с зарядовой связью (ПСЗ), работающий в ИК-диапазоне. Зрачок 12 глаза, первое изображение Пуркинье (или светящаяся точка) и/или радужная оболочка 11 могут отслеживаться совместно или по отдельности. Каждый свето диод NIR LED 330 может формировать светящуюся точку 6 или первое изображение Пуркинье. Зрачок 12 и первые изображения Пуркинье перемещаются в соответствии с вращением глаза и дифференциально относительно друг друга. Дифференциальный вектор между этими двумя изображениями может использоваться для определения точки фиксации взгляда глаза 10. Этот способ может в некоторой степени допускать смещение шлема в системе HMD, которое вызывает изменение ориентации сенсора 360 получения изображения глаза относительно глаза 10 и может усложнять картину движений глаза.
Другим существенным аспектом настоящего изобретения является возможность использования технологии оптических элементов произвольной формы в основном оптическом устройстве 310 для обеспечения очень компактной и легкой системы ET-HMD с возможностью работы на просвет. На фиг. 4 приведена блок-схема 400 компактной конструкции дисплея HMD с функцией отслеживания движения глаз по настоящему изобретению, в которой используется технология оптических элементов с произвольной формой. В одном из вариантов в основном оптическом устройстве 310 может использоваться клиновидная призма 410 произвольной формы или световодная призма произвольной формы, которые обеспечивают многократное отражение лучей внутри многогранной структуры призмы и помогают уменьшить общий объем и вес оптики дисплея, по сравнению с конструкциями, в которых используются осесимметричные элементы. Применение технологии оптических элементов произвольной формы обеспечивает возможность интеграции функций оптики HMD и отслеживания движения глаз в компактной конструкции. Для снижения веса и стоимости призма 410 произвольной формы может быть изготовлена из литьевой пластмассы.
В таком решении призма 410 произвольной формы может обеспечивать выполнение двух или более разных оптических функций. Во-первых, призма 410 произвольной формы может служить в качестве основного элемента оптического пути 407 изображения глаза, на котором улавливаются изображения 401 глаз, освещенных ИК-излучением, и на их основе осуществляется отслеживание движения глаз. В отличие от традиционной системы получения изображения, в которой обычно используется осесимметричные оптические поверхности в конструкции линз, и в которой, как правило, необходимо, чтобы линзы получения изображения были коллинеарны с датчиком 460 и с объектами, изображения которых необходимо получать, в призме 410 произвольной формы используются многократные отражения лучей внутри одного элемента, так что датчик изображения 460 может быть помещен с одной стороны призмы 410 произвольной формы. Во-вторых, эта же призма 410 произвольной формы может служить в качестве оптического элемента для просмотра изображений на микродисплее 420 по оптическому пути 409. В-третьих, призма 410 может служить в качестве основного элемента на оптическом пути 305 освещения, на котором коллимируется свет от одного или нескольких светодиодов NIR LED 430. В альтернативном варианте эти светодиоды могут освещать зону глаза напрямую без прохождения света через призму 410 (или основное оптическое устройство 310). В любом случае светодиоды NIR LED 430 могут равномерно и неинвазивно освещать зону глаза и формировать критические признаки (например, светящиеся точки 6 и затемненный зрачок 4), изображения которых получают для отслеживания движения глаз. Наконец, если для применений, в которых требуется непосредственный просмотр реальной окружающей среды, должна использоваться просветная оптическая система ET-HMD, призма 410 может быть склеена с корректирующей линзой 415 произвольной формы. Такая линза 415 может скорректировать отклонение угла наблюдения и нежелательные искажения, вносимые призмой 410, и будет обеспечивать возможность работы системы 400 в просветном режиме, который характеризуется малыми затемнениями в периферийных зонах и минимальными искажениями изображения 411 реальной среды. В целом, уникальная оптическая схема, предлагаемая в настоящем изобретении, может обеспечивать объединение оптического пути 407 изображения глаза и оптического пути 409 изображения виртуального дисплея, а также дополнительно оптического пути 405 освещения глаза в одной призме 410 произвольной формы, и в этом случае функции отображения и отслеживания движения глаз могут быть обеспечены с использованием минимума компонентов, в результате чего снижается стоимость дисплея.
Пример 1
В первом варианте конфигурации 500 системы по настоящему изобретению используется клиновидная призма 510 произвольной формы с двумя отражениями (фиг. 5А-5Г). В этом варианте призма 510 произвольной формы может обеспечивать выполнение трех основных функций: 1) коллимирование света освещения, излучаемого одним или несколькими светодиодами NIR LED 530 для равномерного и неинвазивного освещения зоны глаза, изображение которого должно быть получено; 2) обеспечение основного элемента оптической схемы, которая улавливает изображение глаза, освещаемого ИК-излучением, для отслеживания движения глаза; и 3) обеспечение основного элемента оптической схемы окуляра системы HMD для просмотра изображений на микродисплее 520. Эти три отдельные оптические пути могут обеспечиваться одной призмой 510 произвольной формы для осуществления отслеживания движения глаза и просмотра изображений. Дополнительно эта же призма 510, склеенная с корректирующей линзой произвольной формы, обеспечивает возможность сквозного просмотра просветной системы HMD. В альтернативном варианте призма 510 может не обеспечивать функцию освещения глаза.
Клиновидная призма 510 произвольной формы может иметь три оптические поверхности, по меньшей мере одна из которых может быть несферической поверхностью, симметричной или несимметричной относительно оси вращения. Инновация настоящего изобретения относится к оптической схеме, которая обеспечивает объединение двух или трех отдельных оптических путей (то есть, двух или трех путей из оптического пути 505 освещения глаза, оптического пути 507 изображения глаза и оптического пути 509 просмотра изображения на дисплее) в одной призме 510 произвольной формы. На фиг. 5А приведен оптическая схема освещения глаза и получения его изображения, которая содержит призму 510 произвольной формы. На оптическом пути 505 освещения глаза луч, исходящий из светодиода NIR LED 530, сначала преломляется поверхностью 3, затем последовательно отражается от поверхностей 1' и 2, проходит через поверхность 1 и достигает глаза 10. Отражение от поверхности 1' может удовлетворять условию полного внутреннего отражения (TIR - от англ. Total Internal Reflection). Свет, излучаемый светодиодами LED 530, может коллимироваться призмой 510, в результате чего обеспечивается равномерное освещение глаза 10. Затем изображение глаза 10, освещенного ИК-излучением, может быть получено ИК-датчиком 560. На оптическом пути 507 изображения глаза световые лучи, рассеянные глазом 10, могут преломляться поверхностью 1, затем последовательно отражаются поверхностями 2 и Г, после чего проходят через поверхность 3 и попадают в датчик 560. Между поверхностью 3 призмы 510 и датчиком 560 могут быть введены дополнительные линзы 562 для улучшения оптических характеристик оптического пути изображения глаза. Возле или внутри линз 562 может быть установлена диафрагма 550 с малым отверстием для ограничения потока света, падающего на датчик 560.
На фиг. 5Б приведена схема оптического пути 509 в оптике дисплея HMD, в которой используется призма 510 произвольной формы для увеличения изображения на микродисплее 520, в результате чего формируется виртуальное изображение на расстоянии комфортного просмотра. Луч, излучаемый какой-либо точкой микродисплея 520, может сначала преломляться поверхностью 3 призмы 510 произвольной формы, после чего последовательно отражается поверхностями 1' и 2, проходит через поверхность 1 и достигает выходного зрачка 512 системы 500. Отражение от поверхности 1 может удовлетворять условию полного внутреннего отражения. Вместо нескольких элементов используется одна призма, в которой происходит сложение частей оптического пути. Между поверхностью 3 призмы 510 и микродисплеем 520 могут быть введены дополнительные линзы для улучшения оптических характеристик оптического пути 509 дисплея.
На фиг. 5В приведена схема интегрированной системы 500, в которой оптические средства освещения, получения изображения глаза и просмотра изображения на дисплее включают одну и ту же призму 510, и при этом светодиоды 530 освещения и диафрагма 550 с отверстием очень малого диаметра расположены по краю 540 микродисплея 520 для обеспечения получения высококачественного изображения глаза. На фиг. 5 В представлен пример возможного расположения диафрагмы и светодиодов. Следует отметить, что диафрагма 550 и светодиоды 530 могут быть расположены в других точках по периферии микродисплея 520. Кроме того, диафрагма 550 и светодиоды 530 могут находиться в одной плоскости с микродисплеем 520, или же они могут быть в разных плоскостях. Для улучшения характеристик системы на оптическом пути 505 освещения, и/или на оптическом пути 507 изображения глаза, и/или на оптическом пути 509 изображения на дисплее могут использоваться дополнительные линзы. Кроме того, на поверхности, расположенной ближе всего к микродисплею 520 (поверхность 3), лучи, проходящие по оптическому пути 505 освещения, по оптическому пути 507 изображения глаза и по оптическому пути 509 изображения на дисплее, могут попадать на разные части поверхности 3 (допускается частичное перекрытие этих частей).
Для обеспечения возможности просветного просмотра поверхность 2 призмы 510 может быть полупрозрачным зеркалом, для чего на нее наносят соответствующее покрытие. В этом случае лучи от микродисплея 520 могут отражаться поверхностью 2, в то время как лучи от окружающей среды будут проходить через эту поверхность. На фиг. 5Г схематически показана вспомогательная линза 515 произвольной формы, имеющая две поверхности 4 и 5 произвольной формы, которая склеена с призмой 510 для коррекции отклонения линии визирования и искажений, вносимых призмой 510 произвольной формы на оптическом пути 511 изображения реальной среды. Поверхность 4 вспомогательной линзы 515 обычно имеет такие же характеристики, что и поверхность 2 призмы 510, а поверхность 5 вспомогательной линзы оптимизирована для коррекции отклонения линии визирования и искажений. Использование вспомогательной линзы 515 не приводит к существенному увеличению общих размеров или веса системы. Вышеописанная система 500 обеспечивает создание легкого, компактного и надежного устройства HMD с отслеживанием движения глаз, причем такое устройство более удобно в использовании по сравнению с любыми известными устройствами HMD, и достоинства предложенной системы иллюстрируются ниже результатами, полученными методом компьютерного анализа.
На фиг. 6 приведена двухмерная оптическая схема оптимизированной системы на основе клиновидной призмы 510 произвольной формы с двумя отражениями, показанной на фиг. 5. В этом варианте может использоваться линза 562 для улучшения характеристик оптического пути 507 изображения глаза. Диафрагма 550 может быть установлена рядом с поверхностью 3 призмы 510. Светодиоды NIR-LED 530 могут быть расположены вокруг микродисплея 520. На фиг. 7 схематически иллюстрируется трехмерная модель 700 оптической системы, схема которой приведена на фиг. 5Г, и на фиг. 8 схематически иллюстрируется трехмерная модель трехмерная модель прототипа 800 бинокулярного устройства ET-HMD на основе оптической схемы, приведенной на фиг. 6 и 7. Параметры системы указаны в Таблице 1.
Варианты оптических параметров призмы 510 произвольной формы приведены в Таблицах 2-4 для поверхностей 1, 2 и 3, соответственно. Из указанных трех оптических поверхностей 510 поверхность 1 является анаморфной несферической поверхностью. Стрела прогиба такой поверхности определяется по формуле:
где z - стрела прогиба поверхности произвольной формы, измеренная по оси z местной системы координат x, y, z; cх и cy - вершинные кривизны по осям x и y, соответственно; Kx и Ky - конические константы по осям x и y, соответственно; AR, BR, CR и DR - осесимметричные части 4-го, 6-го, 8-го и 10-го порядков отклонения от конусности; АР, BP, CP и DP - неосесимметричные компоненты 4-го, 6-го, 8-го и 10-го порядков отклонения от конусности.
Поверхность 2 призмы 510 может быть XY-полиномиальной поверхностью, которая определяется уравнением:
где z - стрела прогиба поверхности произвольной формы, измеренная по оси z местной системы координат х, у, z; с - вершинная кривизна; k - коническая константа; и Cj - коэффициент для xmyn.
Поверхность 3 может быть несферической поверхностью с осесимметричным киноформным диффракционным оптическим элементом, и стрела прогиба для этой несферической поверхности определяется по формуле:
где z - стрела прогиба поверхности, измеренная по оси z местной системы координат x, у, z; с - вершинная кривизна; к -коническая константа; A-J - коэффициенты изгиба поверхности 4-го, 6-го, 8-го, 10-го, 12-го, 14-го, 16-го, 18-го и 20-го порядков, соответственно.
Вариант оптических параметров поверхности 5 корректирующей линзы 515 произвольной формы приведен в Таблице 5. Поверхность 4 линзы 515 имеет такие же параметры, как и поверхность 2 призмы 510, а поверхность 5 линзы 515 представляет собой полиномиальную поверхность в координатах XY, определяемую уравнением, указанным для поверхности 2.
На стороне дисплея один из вариантов призмы 510 обеспечивает поле зрения, размеры которого составляют: по диагонали - 46°, по горизонтали - 40°, и по вертикали - 22°. Призма поддерживает микродисплей 520 с размером пикселей примерно 8 мкм и размером по диагонали 0,9 дюйма или меньше. В изготовленном опытном образце системы использовался микродисплей 0,86 дюйма с соотношением сторон 16:9 и разрешением 1920x1200.
В опытном образце обеспечивалась высокая контрастность изображения и высокое разрешение. На фиг. 9А-9Г представлены графики полихроматической модуляционно-передаточной функции (MTF - от англ. Modulation Transfer Function) 20 выбранных полей в поле зрения на оптическом пути дисплея HMD с центрированным зрачком диаметром 4 мм. Графики MTF показывают среднюю контрастность 0,2 для граничного разрешения 50 пар линий на мм (эквивалентно разрешению пикселя размером 10 мкм) и среднюю контрастность более 0,3 для граничного разрешения 35 пар линий на мм (эквивалентно разрешению пикселя размером 15 мкм). На фиг. 10 приведена также сетка искажений на оптическом пути виртуального дисплея (ППФ - призма произвольной формы).
На стороне освещения и изображения глаза один или несколько светодиодов NIR LED 530 установлены вокруг источника изображения для обеспечения равномерно освещенной зоны глаза через призму 510 произвольной формы. Призма 510 может обеспечивать равномерное освещение зоны глаза размерами примерно 30 мм×20 мм в горизонтальном и вертикальном направлениях, соответственно. Эта освещенная зона глаза принимается ИК-датчиком 560 высокого разрешения. Отображаемая зона достаточна для обеспечения возможности отслеживания движения глаза. Разрешаемый размер пикселя на оптическом пути изображения глаза равен примерно 10 мкм. На фиг. 11 приведены графики модуляционно-передаточной функции для оптического пути изображения глаза. Графики MTF показывают среднюю контрастность 0,1 для граничного разрешения 50 пар линий на мм (эквивалентно разрешению пикселя размером 10 мкм) и среднюю контрастность более 0,25 для граничного разрешения 30 пар линий на мм (эквивалентно разрешению пикселя размером 16 мкм). На фиг. 12 приведена также сетка искажений для оптического пути изображения глаза.
На стороне просветного просмотра окружающей среды системы 500 призма 510 вместе с приклеенной к ней корректирующей линзой 515 обеспечивает поле зрения размерами примерно 100° по диагонали, или 80° по горизонтали и 50° по вертикали. Поле зрения, просматриваемое на просвет, имеет существенно бóльшие размеры, чем поле зрения виртуального дисплея, для улучшения ориентирования пользователя в обстановке. Диапазон возможного бокового смещения глаза в системе просветного типа оптимизируется таким образом, чтобы он был больше, чем в системе виртуального дисплея, для дополнительного упрощения использования системы и удобства просмотра. В этом варианте конструкции обеспечивалась высокая контрастность изображения и высокое разрешение. На фиг. 13А-13Г представлены графики полихроматической модуляционно-передаточной функции (MTF) 20 выбранных полей в центральной зоне размерами 30×22° поля зрения на оптическом пути просмотра на просвет окружающей среды с центрированным зрачком диаметром 4 мм. Графики MTF показывают характеристики, близкие характеристикам дифракционно-ограниченной оптики. На фиг. 13А-13Г 0,5 период/мин соответствует 1 минуте углового пространственного разрешения, что соответствует разрешающей способности зрения 20/20, а 1 период/мин соответствует 0,5 минуте углового пространственного разрешения, и разрешающая способность зрения в этом случае - 20/15. Средняя величина MTF по всем выбранным полям превышает 0,5 для предельного разрешения 0,5 период/мин (эквивалентно 1 минуте углового разрешения), и средняя величина контрастности превышает 0,4 для предельного разрешения 1 период/мин (эквивалентно 0,5 минуте углового разрешения). Средняя величина MTF по всему полю зрения на просвет, равному 80×50 градусов, превышает 0,35 для предельной частоты порядка 0,5 период/мин. На фиг. 14 также приведена сетка искажений для оптического пути для просмотра изображения на просвет по всему полю зрения. Искажения в центральной части 40×22 градусов не превышают 2%, и искажения по всему полю зрения не превышают 8%. Пример 2
На фиг. 15А, 15Б приведены схематические иллюстрации конструкции системы по второй конфигурации в соответствии с настоящим изобретением, в которой диафрагма 1540 системы 1500 получения изображения может окружать микродисплей 1520. Плоскость микродисплея разделена на три зоны: на зону 1527, прозрачную для ИК-излучения, которая обеспечивает возможность приема лучей ИК-датчиком 1560 и может действовать в качестве диафрагмы 1540 для получения изображения глаза на ИК-датчике 1560; активную зону микродисплея 1520 (непрозрачная), которая соответствует активной зоне дисплея и через которую не проходят лучи на ИК-датчик 1560; и непрозрачную рамку 1523 между зоной, прозрачной для ИК-излучения, и зоной дисплея, соответствующую физической рамке микродисплея, которая также препятствует попаданию лучей на ИК-датчик 1560. В системе 1500 получения изображения глаза соответствующие оптические оси призмы 1510, микродисплея 1520 и ИК-датчика 1560 могут быть коаксиальными. В этом случае ИК-датчик 1560 может быть установлен за микродисплеем 1520 для получения изображения зрачка глаза. Расстояние от ИК-датчика 1560 до призмы 1510 зависит расположения изображения зрачка глаза, получаемого через призму 1510 произвольной формы, которое в конечном счете зависит от схемы оптического пути дисплея. Например, если призма 1510 произвольной формы выполнена таким образом, что она будет телецентрической или близкой к телецентрической в пространстве изображения, то главные лучи будут практически параллельны друг другу и перпендикулярны поверхности микродисплея 1520, прежде чем они с ней пересекутся. Это означает, что изображение зрачка глаза через призму 1510 будет находиться в бесконечности или на очень далеком расстоянии. В этом случае может понадобиться установить одну или несколько линз 1562 между ИК-датчиком 1560 и призмой 1510 для уменьшения общей длины оптического пути изображения глаза и получения изображения хорошего качества (фиг. 15А).
С другой стороны, если призма 1510 произвольной формы не будет телецентрической (то есть, главные лучи будут сходиться в точке, которая находится на небольшом расстоянии от призмы 1510), изображение зрачка глаза будет формироваться призмой 1510 на близком расстоянии, и ИК-датчик 1560 может быть установлен непосредственно за призмой 1510, без необходимости использования дополнительных линз 1562. На практике необходимость использования телецентрической или почти телецентрической призмы 1510 возникает при разработке оптического пути дисплея, поскольку в этом случае виртуальное изображение будет более однородным по всему полю зрения. Это условие может быть обязательным, когда микродисплей 1520 излучает или отражает свет в узком диапазоне углов (например, микродисплеи типа жидких кристаллов на кремнии). Когда микродисплей 1520 излучает в широком диапазоне углов (например, микродисплеи на органических светодиодах), условие телецентричности может быть менее строгим.
Светодиоды, работающие в ближней ИК-области спектра, могут быть размещены вокруг диафрагмы 1540 по схеме, аналогичной схеме, показанной на фиг. 3Б, или же в альтернативном варианте ИК-светодиоды 1530 могут быть установлены по краю призмы 1510 для непосредственного освещения глаза 10, как показано на фиг. 15А. Более того, схема расположения ИК-светодиодов 1530 по краю призмы 1510 для непосредственного освещения глаза 10 без участия призмы 1510 может быть реализована и в любых других конфигурациях по настоящему изобретению, включая, например, конфигурации, показанные на фиг. 5А- 6 или фиг. 16.
Пример 3
На фиг. 16 иллюстрируется один из вариантов конструкции 1600 оптической схемы, показанной на фиг. 3, в которой в основном оптическом устройстве 310 используются осесимметричные оптические компоненты. Вместо компактной призмы 510 произвольной формы в качестве основного оптического устройства 310 используется четырехэлементное оптическое устройство 1610, обеспечивающее просмотр изображения на дисплее, получение изображения глаза и освещение глаза. Микродисплей 1620 может быть расположен в фокальной плоскости оптического устройства 1610. Возле края источника 1620 изображения может быть расположен один источник 1630 света (такой как ИК-светодиод). Возле края источника 1620 изображения может быть расположена диафрагма 1640 с точечным отверстием и линза 1662 микроизображения, обеспечивающие формирование изображения глаза на датчике 1660. Вокруг источника 1620 изображения могут быть расположены дополнительные источники 1630 света и подсистемы получения изображения глаза (линзы 1662 и датчики 1660), как это может быть необходимо для различных применений. В конструкции 1600 соответствующие оптические оси оптического устройства 1610 и микродисплея 1620 могут быть коаксиальными, в то время как соответствующие оси датчика 1660 получения изображения глаза, источника 1630 света и микродисплея 1620 могут быть наклонены и/или децентрированы относительно друг друга. Как и в конфигурациях оптических элементов с произвольной формой на поверхности, находящейся ближе всего к микродисплею 1620 (поверхность 8), оптический путь освещения, оптический путь изображения глаза и оптический путь изображения на дисплее проходят через разные части этой поверхности 8, хотя допустимо частичное перекрытие этих частей, например, как показано на фиг. 16 для оптических путей получения изображения глаза и изображения на дисплее.
Оптическое устройство 1610 может обеспечивать поле зрения, имеющее 40° по диагонали, расстояние до глаза, равное 20 мм, и размер зрачка 10 мм, а также может поддерживать источник 1620 изображения, имеющий размер 0,8 дюйма по диагонали или меньше. Вокруг микродисплея 1620 может быть расположено несколько ИК-светодиодов 1630 (может быть использован всего один светодиод) для обеспечения равномерного освещения зоны глаза через оптические элементы просмотра изображения на дисплее. Оптическое устройство 1610 может обеспечивать равномерное освещение в зоне глаза размерами примерно 15×15 мм. Эта освещенная зона глаза может восприниматься ИК-датчиком 1630 высокого разрешения. Отображаемая зона достаточна для обеспечения возможности отслеживания движения глаза.
Пример оптических характеристик конструкции 1600 приведен в Таблицах 6-9.
Поверхности 11 и 12 могут быть несферическими поверхностями со стрелой прогиба несферической поверхности, определяемой по формуле:
где z - стрела прогиба поверхности, измеренная по оси z местной системы координат х, у, z; с - вершинная кривизна; к -коническая константа; A-J -коэффициенты изгиба поверхности 4-го, 6-го, 8-го, 10-го, 12-го, 14-го, 16-го, 18-го и 20-го порядков, соответственно.
Эти и другие достоинства настоящего изобретения будут очевидны специалистам в данной области техники после ознакомления с вышеприведенным описанием. Соответственно, специалистами будет понятно, что в вышеописанные варианты осуществления изобретения могут быть внесены различные изменения или модификации без выхода за пределы сущности изобретения. Поэтому следует понимать, что настоящее изобретение не ограничивается его частными вариантами, раскрытыми в настоящем описании, а включает все изменения и модификации, которые могут быть осуществлены в пределах его сущности и объема, определяемого нижеприведенной формулой.
Реферат
Наголовный дисплей с отслеживанием движения глаз содержит микродисплей для формирования изображения для просматривания пользователем, имеющий связанные с ним оптический путь дисплея и выходной зрачок, датчик изображения для отслеживания движения глаза. Причём оптическое устройство дисплея имеет поверхность, расположенную ближе всего к микродисплею и к датчику изображения, и оптическое устройство дисплея расположено относительно микродисплея и датчика изображения таким образом, что оптические пути дисплея и датчика изображения попадают на соответствующие разные части поверхности, расположенной ближе всего к микродисплею. При этом оптический путь дисплея и оптический путь датчика, каждый, имеют соответствующие оптические оси, проходящие через оптическое устройство дисплея и датчик изображения, соответственно, причем эти оптические оси наклонены относительно друг друга во второй плоскости. Технический результат заключается в обеспечении создания наголовного дисплея с функцией отслеживания глаз без существенного увеличения веса и объёма. 27 з.п. ф-лы, 28 ил., 9 табл.
