Автостереоскопический дисплей расширенной реальности - RU2651611C2

Чертежи

Описание

УРОВЕНЬ ТЕХНИКИ

[01] Вычислительные, развлекательные и/или мобильные устройства различных видов, такие как планшеты и мобильные телефоны, могут быть реализованы с прозрачным или полупрозрачным дисплеем, через который пользователь устройства может видеть окружающую среду. Кроме того, расширенной реальностью обеспечивается возможность пользователю смотреть через прозрачный или полупрозрачный дисплей устройства, чтобы обозревать окружающую среду и также видеть изображения виртуальных объектов, которые образуются для отображения с появлением в качестве части среды. Расширенная реальность может включать в себя входную информацию любого вида, такую как входная аудиоинформация и входная осязательная информация, а также виртуальные изображения, графические материалы и видеоинформацию, которые улучшают или расширяют среду, которую пользователь ощущает. Как во всякой новой технологии, имеются проблемы и конструктивные ограничения, связанные с расширенной реальностью, особенно с отображением виртуальных объектов и изображений на мобильном устройстве таким образом, чтобы они казались реалистичными в реальной среде.

[02] Стереоскопическое зрение представляет собой восприятие глубины при рассматривании среды человеком с нормальным бинокулярным зрением. Обычно каждым глазом человек видит несколько отличающееся изображение среды, поскольку углы объектов в среде для левого и правого глаз человека являются различными, и эти различия обеспечивают ключевую информацию для получения восприятия глубины. Это можно назвать параллаксом, который является разностью углов кажущегося положения объекта, наблюдаемого по двум различным визирным линиям, таким как от левого глаза и от правого глаза человека, при наблюдении объекта в среде. Для объекта в дальнем поле обычно имеется нулевой параллакс между дисплейным устройством и объектом в дальнем поле, если смотреть левым и правым глазами. Однако, когда объекты находятся ближе, имеется параллакс между левым и правым глазами.

[03] Световодные дисплеи можно использовать для прозрачных дисплейных устройств расширенной реальности, таких как укрепляемые на голове дисплейные (УГД, HMD) очки или другие носимые дисплейные устройства, которые имеют дисплейные панели вблизи глаз в качестве линз для отображения виртуального изображения в среде расширенной реальности. В укрепляемом на голове дисплейном устройстве отдельные дисплейные панели для левого и правого глаз можно независимо регулировать, чтобы создавать точные стереоскопические ощущения при наблюдении виртуального объекта в ближнем поле. Однако стереоскопическая коррекция неприменима к мобильному карманному устройству с одним встроенным световодным дисплеем без использования очков, таких как жидкокристаллические очки с затвором или поляризационные очки. Применение очков для скорректированного бинокулярного зрения в случае мобильного карманного устройства с дисплеем расширенной реальности не обеспечивает реальных ощущений пользователю.

КРАТКОЕ ИЗЛОЖЕНИЕ

[04] В этом кратком изложении изобретения представляются признаки и концепции автостереоскопического дисплея расширенной реальности, который дополнительно описывается ниже в разделе «Подробное описание» и/или показывается на чертежах. Это краткое изложение изобретения не следует ни рассматривать как описание существенных признаков заявленного предмета изобретения, ни использовать для определения или ограничения объема заявленного предмета изобретения.

[05] Описывается автостереоскопический дисплей расширенной реальности. Согласно вариантам осуществления дисплейное устройство реализовано со структурой формирования изображения, которая включает в себя световод для сквозного наблюдения среды. Световод также пропускает свет виртуального изображения, которое образуется как объект вблизи дисплея для того, чтобы казаться как на расстоянии в среде. Структура формирования изображения включает в себя переключаемые дифракционные элементы, которые встроены в световод и сконфигурированы в зоны изображений. Переключаемые дифракционные элементы являются переключаемыми для независимого активизирования зон изображений, производимого для коррекции до точного стереоскопического вида виртуального изображения, которое появляется на расстоянии в среде.

[06] Согласно вариантам осуществления вычислительное устройство, такое как мобильный телефон или планшет, реализовано с автостереоскопическим дисплеем расширенной реальности, и вычислительное устройство включает в себя контроллер формирования изображения для независимого управлением активизированием переключаемых дифракционных элементов в зонах изображений дисплейного устройства. Переключаемые дифракционные элементы, которые встроены в световод дисплейного устройства, могут быть реализованы как переключаемые брэгговские решетки, которые могут быть включены для проецирования виртуального изображения для отображения. Например, представление виртуального изображения может быть отображено в первой зоне изображения для пользователя, просматривающего правым глазом, и другое представление виртуального изображения может быть отображено во второй зоне изображения для пользователя, просматривающего левым глазом. Кроме того, вычислительное устройство включает в себя схему возбуждения элементов для избирательного активизирования переключаемых дифракционных элементов в зонах изображений дисплейного устройства на основании входных данных контроллера формирования изображения.

[07] Согласно вариантам осуществления переключаемые дифракционные элементы могут быть сконфигурированы в наборы уложенных друг на друга элементов, которые встроены в дисплейное устройство. Каждый переключаемый дифракционный элемент в наборе уложенных друг на друга элементов дифрагирует свет виртуального изображения в различные поля зрения, а различные поля зрения объединяются в последовательное поле зрения, которое охватывает активизированную зону изображения. Кроме того, вычислительное устройство включает в себя фотокамеру для захвата цифровых изображений левого и правого глаз пользователя вычислительного устройства, а система отслеживания глаз отслеживает положения зрачков левого и правого глаз на основании цифровых изображений. Кроме того, система отслеживания глаз может определять расстояние от левого и правого глаз до дисплейного устройства и определять углы зрения левого и правого глаз относительно центра дисплейного устройства. Контроллер формирования изображения реализован для управления активизированием переключаемых дифракционных элементов в зоне изображения на основании положений зрачков левого и правого глаз, расстояния от левого и правого глаз до дисплейного устройства и углов зрения левого и правого глаз относительно центра дисплейного устройства.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[08] Варианты осуществления автостереоскопического дисплея расширенной реальности будут описаны с обращением к нижеследующим фигурам. Повсюду одинаковые позиции будут использоваться для обозначения аналогичных признаков и компонентов на фигурах, на которых:

фиг. 1 - вид приведенного для примера вычислительного устройства, в котором реализован автостереоскопический дисплей расширенной реальности согласно одному или нескольким вариантам осуществления;

фиг. 2 - вид приведенной для примера структуры формирования изображения автостереоскопического дисплея расширенной реальности согласно одному или нескольким вариантам осуществления;

фиг. 3 - вид приведенного для примера вычислительного устройства, в котором реализованы варианты осуществления автостереоскопического дисплея расширенной реальности;

фиг. 4 - приведенный для примера вид автостереоскопического дисплея расширенной реальности согласно одному или нескольким вариантам осуществления;

фиг. 5 - приведенные для иллюстрации способ (способы) реализации автостереоскопического дисплея расширенной реальности согласно одному или нескольким вариантам осуществления; и

фиг. 6 - иллюстрация различных компонентов типового устройства, в котором может быть реализован автостереоскопический дисплей расширенной реальности согласно вариантам осуществления.

ПОДРОБНОЕ ОПИСАНИЕ

[09] Описываются варианты осуществления автостереоскопического дисплея расширенной реальности. Дисплейное устройство может быть реализовано при использовании прозрачного световода, который включает в себя встроенные переключаемые дифракционные элементы, такие как переключаемые брэгговские решетки (ПБР). Дисплейное устройство может быть реализовано в мобильном телефоне, планшете или вычислительном устройстве другого вида и обеспечивает истинное автостереоскопическое визуальное представление виртуального изображения, которое образуется как объект вблизи дисплея, появляющийся на расстоянии в среде расширенной реальности. Точный стереоскопический вид виртуального изображения, предназначенного для стереоскопического восприятия без необходимости в дополнительных очках, создается для левого и правого глаз пользователя устройства. Виртуальные изображения, которые проецируются на левый и правый глаза пользователя, являются разными, поскольку отображаются в независимо регулируемых зонах изображения дисплейного устройства. Отдельные изображения для левого и правого глаз образуются на одном дисплее карманного устройства.

[10] Хотя варианты осуществления описываются в основном применительно к карманным мобильным устройствам, варианты осуществления автостереоскопического дисплея расширенной реальности можно использовать для дисплеев более крупного формата, таких как дисплеи для проецирования на лобовое стекло транспортного средства или даже более крупные архитектурные дисплеи, а также для непрозрачных дисплеев любого размера и/или конфигурации, предназначенных для точного стереоскопического наблюдения виртуального изображения, которое отображается для рассмотрения.

[11] Хотя признаки и концепции автостереоскопического дисплея расширенной реальности могут быть реализованы в любом количестве различных устройств, систем, сред и/или конфигураций, варианты осуществления автостереоскопического дисплея расширенной реальности описываются в контексте нижеследующих примеров устройств, систем и способов.

[12] На фиг. 1 показан пример 100 вычислительного устройства 102, в котором реализуются варианты осуществления автостереоскопического дисплея расширенной реальности, называемого дисплейным устройством 104. Примером вычислительного устройства может быть любое одно проводное или беспроводное устройство или сочетание таких устройств, например мобильный телефон, планшет, вычислительное, связное, развлекательное, игровое, мультимедийное воспроизводящее устройство и/или устройство другого вида. Как будет дополнительно описано с обращением к примерам устройств, показанным на фиг. 3 и 6, любое из устройств можно реализовать при использовании различных компонентов, таких как система обработки и память, передняя и задняя встроенные цифровые фотокамеры 106 для захвата цифровых изображения, и любого количества различных компонентов или сочетания их.

[13] В этом примере пользователь воспринимает дисплейное устройство 104 прозрачным или полупрозрачным, когда рассматривает среду 108 через дисплейное устройство из удаленной точки 110 просмотра. Виртуальное изображение 112 может быть образовано вычислительным устройством 102 как объект - вблизи дисплея, который отображается дисплейным устройством 104 таким образом, что появляется на расстоянии в среде для создания дополненного вида реальности. Например, виртуальное изображение винной бутылки и бокала может быть образовано таким, как если бы они были помещены на винной бочке, которая физически является частью среды.

[14] В случае объектов вблизи дисплея, таких как виртуальное изображение 112, которое проецируется для появления в качестве части среды 108, углы 116 зрения для левого и правого глаз 114 пользователя вычислительного устройства 102 будут различными. Как описывалось выше, параллакс представляет собой разность углов кажущегося положения виртуального изображения, наблюдаемого по двум различным линиям зрения, таким как исходящие из левого глаза и правого глаза человека при наблюдении виртуального изображения в среде. Однако стереоскопическое восприятие глубины не поддается определению пользователем, поскольку виртуальное изображение фактически представляет собой объект - вблизи дисплея, который отображается на дисплейном устройстве 104, которое находится ближе к левому и правому глазам 114 пользователя, чем в случае, как если бы виртуальное изображение было фактически физической частью среды на месте 118 проекции.

[15] Как описано со ссылкой на фиг. 2, дисплейное устройство 104 можно реализовать со структурой формирования изображения для дисплея расширенной реальности, который является автостереоскопическим, а виртуальное изображение 112 можно сгенерировать для точного стереоскопического вида виртуального изображения к левому и правому глазам 114 пользователя для стереоскопического восприятия без необходимости в дополнительных очках. В дополнение к этому вычислительное устройство 102 включает в себя встроенные цифровые фотокамеры 106, которые могут использоваться для захвата цифровых изображений среды 108 и левого и правого глаз 114. Цифровые изображения среды могут использоваться для определения точного относительного положения виртуальных изображений и других объектов в среде вблизи дисплея. Цифровые изображения левого и правого глаз пользователя могут использоваться для прослеживания положений глаз для сопоставления с местом отображения объектов вблизи дисплея, таких как виртуальное изображение 112.

[16] На фиг. 2 показан пример структуры 200 формирования изображения, которую можно использовать для реализации автостереоскопического дисплея расширенной реальности, такого как дисплейное устройство 104, описанное с обращением к фиг. 1, согласно вариантам осуществления, описываемым в этой заявке. Приведенная в качестве примера структура 200 формирования изображения реализована с использованием прозрачного отражающего световода 202, который включает в себя переключаемые дифракционные элементы 204, такие, какие могут быть реализованы при использовании переключаемых брэгговских решеток (ПБР). Переключаемые брэгговские решетки производятся SBG Labs и описываются как имеющие субмиллисекундные скорости переключения, обеспечивающие высокую дифракционную эффективность при активизировании, а также оптическую прозрачность при деактивизировании. В переключаемых брэгговских решетках используются голографические жидкие кристаллы с диспергированным полимером, и в выключенном состоянии показатель преломления жидкого кристалла приблизительно соответствует показателю преломления окружающего полимера световода, так что переключаемая брэгговская решетка является по существу прозрачной для света дисплея. Когда переключаемая брэгговская решетка находится во включенном состоянии, жидкий кристалл имеет показатель преломления, отличающийся от показателя преломления полимера световода, и свет виртуального изображения дифрагирует с отображением на дисплейном устройстве.

[17] Прозрачный отражающий световод 202 представляет собой дисплейную оптику, используемую для внутреннего отражения видимого света 206 виртуального изображения 112, которое образуется блоком формирования изображения вычислительного устройства 102 и проецируется для наблюдения пользователем (как описывалось с обращением к фиг. 1). Кроме того, световод пропускает свет из окружающей среды для наблюдения пользователем. Как показано позицией 208, если дисплейное устройство 104 шире, чем межзрачковое расстояние (МЗР) 210 между зрачками левого глаза 212 и правого глаза 214, то поле 216 зрения от α до Θ° в зоне 218 изображения для левого глаза является таким же, как поле 220 зрения от α до Θ° в зоне 222 изображения для правого глаза. Это обычно называют бинокулярным перекрытием и оно возрастает при уменьшении размера изображения и расстояния наблюдения (то есть при более близком нахождении дисплея к пользователю). Кроме того, ходом луча показан перпендикулярный биссектор 224 между левым и правым глазами и перпендикулярным биссектором определяется левая область изображения, наблюдаемая левым глазом 212, которая включает в себя зону 218 изображения, и определяется правая область изображения, наблюдаемая правым глазом 214, которая включает в себя зону 222 изображения.

[18] Переключаемый дифракционный элемент 204 (например, переключаемая брэгговская решетка), который встроен в световод 202, может включаться приложением потенциала между слоями элемента и выключаться снятием потенциала. Структура 200 формирования изображения может включать в себя схему 226 возбуждения элементов (показанную только частично), которая выполнена управляемой для избирательного активизирования переключаемых дифракционных элементов 204. Схема 226 возбуждения элементов может использоваться для управления индивидуальными переключаемыми дифракционными элементами и/или группами переключаемых дифракционных элементов в качестве зон изображения дисплейного устройства 104. Проводящие слои структуры 200 формирования изображения могут быть разделены на секции, которые избирательно активизируются для управления переключаемыми дифракционными элементами в зонах изображения, таких как зона 218 изображения для левого глаза и зона 222 изображения для правого глаза.

[19] Согласно вариантам осуществления переключаемые дифракционные элементы 204, которые встроены в световод 202 структуры 200 формирования изображения, могут быть объединены в наборы уложенных друг на друга элементов 228, показанные для примера 230 в виде многочисленных перекрывающихся переключаемых брэгговских решеток. Как также показано позицией 232, каждый из переключаемых дифракционных элементов 204 из набора уложенных друг на друга элементов 228 дифрагирует свет виртуального изображения в отдельное поле зрения. Различные поля зрения, проецируемые каждым из переключаемых дифракционных элементов из набора уложенных друг на друга элементов, можно объединять в общее последовательное поле зрения, которое охватывает активизированную зону изображения дисплейного устройства 104. В реализациях, которые включают в себя переключаемые брэгговские решетки в качестве переключаемых дифракционных элементов 204 структуры 200 формирования изображения, каждая переключаемая брэгговская решетка проецирует в небольшое поле зрения, синхронизированное с дисплейным устройством, и последовательное поле зрение образуется при последовательном включении каждой переключаемой брэгговской решетки (например, в наборах уложенных друг на друга элементов). Переключаемые дифракционные элементы 204 переключаются быстрее, чем человек может замечать переключение, и поля зрения воспринимаются как одно сплошное изображение, а не как отдельные изображения.

[20] На фиг. 3 показан пример вычислительного устройства 102, которое будет пояснено и описано с обращением к фигурам 1 и 2. Вычислительное устройство включает в себя автостереоскопический дисплей расширенной реальности (например, дисплейное устройство 104), который реализован со структурой 200 формирования изображения, описанной с обращением к фиг. 2. Дисплейное устройство 104 может быть распределено в зоны 300 изображений на основании конфигурации переключаемых дифракционных элементов 204, которые встроены в световод 202 структуры формирования изображения. Зоны изображений дисплейного устройства являются независимо управляемыми, эффективными для коррекции до точного стереоскопического вида виртуального изображения 112, которое, как показано на фиг. 1, появляется на расстоянии в среде 108. Структура формирования изображения дисплейного устройства может быть управляемой для отображения представления виртуального изображения в первой зоне изображения пользователю, смотрящему правым глазом, и отображения другого представления виртуального изображения во второй зоне изображения пользователю, смотрящему левым глазом.

[21] Вычислительное устройство 102 включает в себя систему 302 формирования изображения, которая образует виртуальное изображение 112 для отображения на дисплейном устройстве 104 в качестве объекта вблизи дисплея, который появляется на расстоянии в среде 108, которую можно наблюдать через дисплейное устройство. Систему 302 формирования изображения можно реализовать при использовании оптики, линз, дисплейных микропанелей и/или отражающих элементов любого вида для отображения и проецирования света 206 виртуального изображения 112 в прозрачный и отражающий световод 202 структуры 200 формирования изображения дисплейного устройства.

[22] Кроме того, вычислительное устройство 102 включает в себя цифровые фотокамеры 106 для захвата цифровых изображений левого и правого глаз пользователя устройства. Как показано и описано с обращением к фиг. 1, вычислительное устройство 102 может включать в себя переднюю и заднюю встроенные цифровые фотокамеры 106, которые могут использоваться для захвата цифровых изображений (например, видео- и/или неподвижных изображений) среды 108 и цифровых изображений левого и правого глаз 114 пользователя устройства.

[23] Вычислительное устройство 102 реализует систему 304 отслеживания положений зрачков левого и правого глаз 114 пользователя на основании цифровых изображений. Система отслеживания глаз также реализована для определения расстояния от левого и правого глаз до дисплейного устройства 104 и определения углов зрения левого и правого глаз относительно центра дисплейного устройства. Система отслеживания глаз может определять положение левого и правого глаз относительно дисплейного устройства, чтобы определять, находятся ли левый и правый глаза в различных плоскостях просмотра относительно дисплейного устройства, и затем включать и/или выключать зоны изображений на основании относительного положения глаз. Пример переключения зоны изображения описывается в дальнейшем с обращением к фиг. 4.

[24] Вычислительное устройство 102 может также включать в себя различные датчики 306, которые обеспечивают дополнительные опорные данные (например, в дополнение к цифровым изображениям, захватываемым цифровыми фотокамерами) для обеспечения возможности регистрации дисплейного устройства 104 вместе с реальными объектами в среде. Датчики могут включать в себя компоненты инерциального отслеживания и/или компоненты системы определения местоположения, такие как приемник GPS (глобальной системы местоопределения) и магнитные датчики (например, компас). Кроме того, различные датчики могут включать в себя любой один датчик или в сочетании с датчиком температуры, а также инерциальные датчики и/или датчики пространственного положения, включая гироскопические датчики на основе микроэлектромеханических систем (MEMS) и датчики ускорения, для определения положения, ориентации и ускорения вычислительного устройства. В дополнение к этому датчики могут включать в себя микрофон для регистрации аудиоданных из окружающей среды, а также устройство вывода звукового сопровождения как части восприятия расширенной реальности.

[25] Вычислительное устройство 102 имеет контроллер 308 формирования изображения, который можно реализовать как программное приложение и поддерживать в вычислительном устройстве 102 в виде выполняемых команд, которые сохраняются на машиночитаемых носителях данных, таких как любое подходящее запоминающее устройство или память для хранения данных. В дополнение к этому в реализациях вариантов осуществления автостереоскопического дисплея расширенной реальности контроллер формирования изображения может выполняться вместе с системой обработки вычислительного устройства. Кроме того, вычислительное устройство может быть реализовано с использованием различных компонентов, таких как система обработки и память, а также любого количества и сочетаний других компонентов, которые описываются в дальнейшем с обращением к примеру устройства, показанного на фиг. 6.

[26] Кроме того, контроллер 308 формирования изображения управляет схемой 226 возбуждения элементов, которая избирательно активизирует переключаемые дифракционные элементы 204 в соответствующих зонах 300 изображений дисплейного устройства 104 на основании входных сигналов контроллера формирования изображения. Зоны изображений могут включаться и выключаться при чередующихся кадрах на основании положений и перемещений левого и правого глаз, определяемых системой 304 отслеживания глаз. В реализациях активизирование переключаемых дифракционных элементов в соответствующих зонах изображений дисплейного устройства регулируется (например, включается и выключается) на основании положений зрачков левого и правого глаз, расстояния от левого и правого глаз до дисплейного устройства и углов зрения левого и правого глаз относительно центра дисплейного устройства.

[27] Контроллер 308 формирования изображения реализован для динамического определения зон 300 изображений дисплейного устройства 104 для левого и правого глаз, когда система 304 отслеживания глаз определяет положения и перемещения левого и правого глаз относительно дисплейного устройства. Зоны изображений активно переключаются так, что они не проецируются одновременно, а чередование зон изображений, которые проецируются к левому и правому глазам, включает в себя соответствующие выравнивания векторов для обеспечения размещения объекта вблизи дисплея (например, виртуального изображения 112) относительно корректных углов наблюдения объекта в среде.

[28] Контроллер 308 формирования изображения может определять траекторию луча, перпендикулярного биссектора 224 (также называемому положением циклопического глаза) между левым и правым глазами пользователя, для каждого проецируемого поля зрения из переключаемых дифракционных элементов 204 в структуре 200 формирования изображения, такой, как показанная и описанная с обращением к фиг. 2. Поскольку дисплейное устройство 104 является уложенными друг на друга «плитками» в виде переключаемых дифракционных элементов, каждая плитка представляет новое поле зрения, и зоны изображений для левого и правого глаз определяются вычислением биссектора 224 траектории луча для каждой плитки относительно текущего положения биссектора глаз. Например, если переключаемые дифракционные элементы 204 имеют 10-градусное поле зрения, биссектор траектории луча между -5° и +5° для каждого переключаемого дифракционного элемента равен 0°, и он представлен линией от места нахождения циклопического глаза между левым и правым глазами к зоне изображения дисплейного устройства. Для этого определенного поля зрения каждого переключаемого дифракционного элемента сегменты зоны изображения слева могут переключаться для левого глаза и сегменты зоны изображения справа могут переключаться для правого глаза.

[29] Аналогично этому, зоны 300 изображений для левого и правого глаз могут определяться на основании других полей зрения переключаемых дифракционных элементов. Например, сегменты левой и правой зон изображений от -15 до -5° центрированы относительно биссектора траектории луча при -10°, который представлен линией от места нахождения циклопического глаза между левым и правым глазами к зоне изображения дисплейного устройства. Сегменты зон изображений могут сдвигаться влево и/или вправо в зависимости от биссектора траектории луча от места нахождения циклопического глаза. Эти сегменты зон изображений могут сдвигаться в стороны в зависимости от положений и перемещений левого и правого глаз, определяемых системой 304 отслеживания глаз. В реализациях размер сегмента зоны изображения может изменяться в зависимости от расстояния наблюдения. В случае удаленного расстояния наблюдения существует большая вероятность, что проецируемый свет из структуры формирования изображения дисплейного устройства будет переходить от правого глаза к левому глазу и особенно при быстром перемещении глаз пользователя. Кроме того, при обнаружении быстрого перемещения левого и правого глаз сегменты зон изображений могут становиться шире для снижения возможности потери поля зрения.

[30] На фиг. 4 показан пример реализации 400 автостереоскопического дисплея расширенной реальности, такого как дисплейное устройство 104, которое было описано с обращением к фигурам 1-3. В этом примере дисплейное устройство 104 имеет пять распределенных зон 401-405 изображений, которые активно управляются соответствующими потенциалами V1-V5 схемы 226 возбуждения элементов, описанной с обращением к фиг. 2. Когда система 304 отслеживания глаз вычислительного устройства 102 определяет, что глаза пользователя наведены на место 406, переключаемые дифракционные элементы 204 зон 401, 402 и 404 изображений включаются, а зоны 403 и 405 изображений выключаются. Зоны 401 и 402 изображений включаются для левого глаза вследствие близкого положения его к обеим зонам изображений. Соответственно, только освещается только около шестидесяти процентов (60%) дисплейного устройства, при этом экономится приблизительно сорок процентов (40%) энергии, которая в противном случае использовалась бы для освещения всего дисплея.

[31] Аналогично этому, когда система 304 отслеживания глаз определяет, что глаза пользователя наведены на место 408, переключаемые дифракционные элементы 204 зон 402, 404 и 405 изображений включаются, а зоны 401 и 403 изображений выключаются. Зоны 404 и 405 изображений включаются для правого глаза вследствие близкого положения его к обеим зонам изображений. Соответственно, когда система 304 отслеживания глаз определяет, что глаза пользователя наведены на место 410, переключаемые дифракционные элементы 204 зон 402, 403 и 405 изображений включаются, а зоны 401 и 404 изображений выключаются. Зоны 402 и 403 изображений включаются для левого глаза вследствие близкого положения его к обеим зонам изображений.

[32] Примерный способ 500 согласно одному или нескольким вариантам осуществления автостереоскопического дисплея расширенной реальности будет описан с обращением к фиг. 5. В большинстве случаев любое из услуг, компонентов, модулей, способов и действий, описанных в этой заявке, может быть реализовано при использовании программного обеспечения, микропрограммных средств, технического обеспечения (например, схем с фиксированными логическими схемами), обработки вручную или любого сочетания их. Примеры способов можно описать в общем контексте выполняемых команд, сохраняемых на машиночитаемых носителях данных, и эти способы можно выполнять в локальных и/или удаленных компьютерных системах обработки, а реализации могут включать в себя программные приложения, программы, функции и т.п.

[33] На фиг. 5 показан пример способа (способов) 500 относительно автостереоскопического дисплея расширенной реальности. Не предполагается, что порядок, в котором способ описывается, будет рассматриваться как ограничение, и любое количество действий или сочетаний действий способа могут быть объединены в любом порядке для реализации способа или варианта способа.

[34] На этапе 502 виртуальное изображение образуют для отображения на дисплейном устройстве. Например, система 302 формирования изображения, реализуемая в вычислительном устройстве 102 (фиг. 3), образует виртуальное изображение 112 для дисплея, такого как автостереоскопический дисплей расширенной реальности (например, дисплейное устройство 104, фиг. 1), реализуемый в вычислительном устройстве 102. Виртуальное изображение образуют как объект вблизи дисплея, который появляется на расстоянии в среде 108, которая для отражения расширенной реальности сделана видимой через дисплейное устройство.

[35] На этапе 504 положение зрачков левого и правого глаз пользователя отслеживают на основании цифровых изображений, в которых захватывается положение глаз пользователя. Например, цифровая фотокамера 106, встроенная в вычислительное устройство 102, захватывает цифровые изображения левого и правого глаз 114 пользователя вычислительного устройства, а система 304 отслеживания глаз отслеживает положение зрачков левого и правого глаз на основании цифровых изображений.

[36] На этапе 506 определяют расстояние от левого и правого глаз до дисплейного устройства. Например, система 304 отслеживания глаз в вычислительном устройстве 102 определяет расстояние от левого и правого глаз 114 пользователя вычислительного устройства до дисплейного устройства 104 на основании цифровых изображений, захватываемых цифровой фотокамерой 106. На этапе 508 определяют углы зрения левого и правого глаз относительно центра дисплейного устройства. Например, система 304 отслеживания глаз в вычислительном устройстве 102 также определяет углы 116 зрения левого и правого глаз 114 пользователя относительно центра дисплейного устройства 104 на основании цифровых изображений, захватываемых цифровой камерой.

[37] На этапе 510 управляют активизированием переключаемых дифракционных элементов, расположенных в зонах изображений дисплейного устройства. Например, контроллер 308 формирования изображения в вычислительном устройстве 102 управляет активизированием переключаемых дифракционных элементов 204, которые расположены в зонах 300 изображений дисплейного устройства 104. Зоны изображений дисплейного устройства являются независимо управляемыми, эффективными для коррекции до точного стереоскопического вида виртуального изображения 112, которое появляется на расстоянии в среде 108. Переключаемые дифракционные элементы в зонах изображений дисплейного устройства избирательно активизируют на основании входных сигналов контроллера формирования изображения, получаемых с контроллера 308 формирования изображения, чтобы проецировать виртуальное изображения для отображения. Кроме того, активизированием переключаемых дифракционных элементов в зоне изображения управляют на основании положений зрачков левого и правого глаз 114 (определенных на этапе 504), расстояний от левого и правого глаз до дисплейного устройства (определенных на этапе 506) и углов 116 зрения левого и правого глаз относительно центра дисплейного устройства (определенных на этапе 508).

[38] На этапе 512 образуют последовательное поле зрения, которое охватывает активизированную зону изображения. Например, контроллер 308 формирования изображения в вычислительном устройстве 102 управляет схемой 226 возбуждения элементов для избирательного активизирования переключаемых дифракционных элементов 204 в наборах уложенных друг на друга элементов 228, в которых каждый переключаемый дифракционный элемент в наборе уложенных друг на друга элементов дифрагирует свет виртуального изображения 112 в отдельное поле зрения (показанное позициями 230 и 232 на фиг. 2). Различные поля зрения, проецируемые каждым из переключаемых дифракционных элементов в наборах уложенных друг на друга элементов, объединяют для образования последовательного поля зрения, которое охватывает активизированную зону изображения дисплейного устройства.

[39] На этапе 514 виртуальное изображение отображают как объект - вблизи дисплея, который появляется на расстоянии в среде, видимой через дисплейное устройство. Например, на автостереоскопическом дисплее расширенной реальности (например, дисплейном устройстве 104), реализуемом в вычислительном устройстве 102, отображают виртуальное изображение 112 на протяжении последовательного поля зрения как объект - вблизи дисплея, который появляется на расстоянии в среде 108, видимой через дисплейное устройство. Представление виртуального изображения 112 можно отображать в зоне 222 изображения правого глаза для пользователя, смотрящего правым глазом 214, и другое представление виртуального изображения можно отображать в зоне 218 изображения левого глаза для пользователя, смотрящего левым глазом 212.

[40] На фиг. 6 показаны различные компоненты приведенного для примера устройства 600, которое может быть реализовано как любое из устройств, описанных с обращением к предшествующим фиг. 1-5, таких как вычислительное устройство 102, в котором реализован автостереоскопический дисплей 104 расширенной реальности. Согласно вариантам осуществления устройство 600 может быть реализовано как клиентское устройство, мобильный телефон, планшет, вычислительное, коммуникационное, развлекательное, игровое, мультимедийное воспроизводящее устройство любого вида и/или устройство другого вида.

[41] Устройство 600 включает в себя связные устройства 602, которые обеспечивают проводную и/или беспроводную передачу данных 604 устройства, таких как данные виртуального изображения, видеоданные и данные изображений и другой медиа-контент, сохраняемых в устройстве. Данные устройства могут включать в себя аудиоданные, видеоданные и/или данные изображений любого вида. Кроме того, коммуникационные устройства 602 могут включать в себя приемопередатчики для сотовой телефонной связи и/или для обмена сетевыми данными.

[42] Кроме того, устройство 600 включает в себя интерфейсы 606 ввода-вывода (В/В), такие как сетевые интерфейсы данных, которые обеспечивают соединительные и/или коммуникационные линии между устройством, сетями данных и другими устройствами. Интерфейсы ввода-вывода могут использоваться для связи устройства с компонентами, периферийными устройствами и/или вспомогательными устройствами любого вида, такими как цифровые фотокамеры 608, которые могут быть встроены в устройство 600. Кроме того, интерфейсы ввода-вывода включают в себя входные порты данных, через которые могут приниматься данные, медиа-контент и/или входные данные любого вида, такие как входные данные пользователя для устройства, а также аудиоданные, видеоданные и/или данные изображений любого вида, принимаемые из любого информационного ресурса и/или источника данных.

[43] Интерфейсы 606 ввода-вывода также поддерживают ввод данных естественного пользовательского интерфейса (ЕПИ) в устройство 600, например, по любой технологии сопряжения, которая дает пользователю возможность взаимодействия с устройством «естественным» способом, свободным от искусственных ограничений, накладываемых устройствами ввода, такими как мыши, клавиатуры, пульты дистанционного управления и т.п. Примеры ввода данных естественного пользовательского интерфейса могут быть основаны на распознавании речи, распознавании касания и сенсорного пера, распознавании жестов на экране и распознавании жестикуляции вблизи устройства, головы, глаза и распознавании и отслеживании среды, на технологиях расширенной реальности и виртуальной реальности и акустической технологии, видеотехнологии, технологии касания, жестов любого другого вида и/или искусственном интеллекте, который может определять намерения пользователя.

[44] Устройство 600 включает в себя систему 610 обработки, которая может быть реализована по меньшей мере частично в виде аппаратного обеспечения, такого как микропроцессоры, контроллеры любого вида и т.п., которое обрабатывает исполняемые команды. Система обработки может включать в себя компоненты в виде интегральной схемы, программируемого логического устройства, логического устройства, образованного с использованием одного или нескольких полупроводников, и другие реализации на основе кремния и/или может включать в себя аппаратное обеспечение, такое как процессор и запоминающая система, реализованное как система на кристалле (СНК). В качестве варианта или в дополнение устройство может быть реализовано при использовании любого одного или сочетания из программного обеспечения, аппаратного обеспечения, микропрограммных средств или схем с фиксированными логическими функциями, которые могут быть реализованы вместе со схемами обработки и управления. Устройство 600 может также включать в себя системную шину любого вида или другую систему передачи данных и команд, которая связывает различные компоненты в устройстве. Системная шина может включать в себя любую одну шинную структуру или сочетание шин с различными структурами и архитектурами, а также линии управления и данных.

[45] Кроме того, устройство 600 включает в себя машиночитаемые носители 612 данных, такие как устройства хранения данных, к которым может обращаться вычислительное устройство и которые обеспечивают постоянное хранение данных и исполняемых команд (например, программных приложений, программ, функций и т.п.). Примеры машиночитаемых носителей данных включают в себя энергонезависимое запоминающее устройство и энергозависимое запоминающее устройство, постоянные или съемные устройства хранения данных и любое подходящее запоминающее устройство или электронную систему хранения данных, в которых сохраняются данные с доступом для вычислительного устройства. Машиночитаемые носители данных могут включать в себя различные реализации оперативного запоминающего устройства (ОЗУ), постоянного запоминающего устройства (ПЗУ), флэш-памяти и носителей данных других видов в различных конфигурациях запоминающих устройств.

[46] Обычно машиночитаемые носители данных представляют собой носители и/или устройства, которые обеспечивают постоянное и/или невременное хранение данных в противоположность простой передаче сигналов, несущим волнам или сигналам в чистом виде. К машиночитаемым носителям сигналов можно отнести несущий сигналы носитель, который передает команды, например, по сети. Носители сигналов могут содержать машиночитаемые команды в виде данных в модулированных информационных сигналах, таких как несущие волны или другое средство переноса.

[47] Машиночитаемые носители 612 данных обеспечивают сохранение данных 604 устройства, данных 614 захваченных изображений с цифровой фотокамеры 608 и различных приложений 616 для устройства, таких как операционная система, которая сохраняется как программное приложение машиночитаемыми носителями данных и выполняется системой 610 обработки. В этом примере приложения для устройства также включают в себя контроллер 618 формирования изображения, который реализует варианты осуществления автостереоскопического дисплея расширенной реальности, например, в случае, когда приведенное для примера устройство 600 реализуется как вычислительное устройство 102. Пример контроллеров 618 формирования изображения включают в себя контроллер 308 формирования изображения, реализованный в вычислительном устройстве 102, описанном с обращением к фиг. 3. Кроме того, устройство 600 может включать в себя систему 620 определения местоположения, такую как приемник GPS или аналогичные компоненты системы определения местоположения, которая может использоваться для определения глобального или навигационного местоположения устройства.

[48] Кроме того, устройство 600 включает в себя аудио- и/или видеосистему 622, которая образует аудиоданные для аудиоустройства 624 и/или образует данные изображения для дисплейного устройства 626. Согласно вариантам осуществления дисплейное устройство 626 может быть реализовано как автостереоскопический дисплей расширенной реальности. Аудиоустройство и/или дисплейное устройство включает в себя любые устройства, которые обрабатывают, отображают и/или иным образом воспроизводят аудиоданные, видеоданные, отображаемые данные и/или данные изображения, такого как виртуальное изображение, которое воспроизводится для просмотра. В реализациях аудиоустройство и/или дисплейное устройство являются встроенными компонентами приведенного для примера устройства 600. В качестве варранта аудиоустройство и/или дисплейное устройство являются внешними периферийными компонентами приведенного для примера устройства.

[49] Хотя варианты осуществления автостереоскопического дисплея расширенной реальности были описаны языком, специфичным для отличительных признаков и/или способов, прилагаемая формула изобретения необязательно ограничена описанными конкретными отличительными признаками или способами. Точнее, конкретные отличительные признаки и способы раскрыты в качестве примера реализации автостереоскопического дисплея расширенной реальности.

Реферат

Структура формирования изображения для авто-стереоскопического дисплея расширенной реальности содержит световод, выполненный с возможностью сквозного наблюдения среды и передачи света виртуального изображения, которое сгенерировано как объект вблизи дисплея, появляющийся на расстоянии в упомянутой среде, и переключаемые дифракционные элементы, встроенные в световод, сконфигурированные в зонах изображений и переключаемые для независимого активизирования зон изображений для коррекции до точного стереоскопического вида виртуального изображения, которое появляется на расстоянии в среде. Переключаемые дифракционные элементы выполнены с возможностью активизирования на основании расстояния глаз пользователя от структуры формирования изображения и углов зрения правого и левого глаз относительно центра структуры формирования изображения. Технический результат – обеспечение точного стереоскопического вида виртуального изображения, предназначенного для стереоскопического восприятия без необходимости в дополнительных очках. 2 н. и 7 з.п. ф-лы, 6 ил.

Формула