Система отображения трехмерной виртуальной и дополненной реальности - RU2628164C2

Чертежи

Показать все 13 чертежа(ей)

Описание

ДАННЫЕ ПО РОДСТВЕННОЙ ЗАЯВКЕ

Настоящая заявка испрашивает приоритет согласно 35 U.S.С.§ 119 по предварительной заявке США, порядковый номер 61/563403, поданной 23 ноября, 2011. Вышеупомянутая заявка этим включается по ссылке в настоящую заявку в ее полноте.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к системам формирования изображений и визуализации виртуальной реальности и дополненной реальности.

УРОВЕНЬ ТЕХНИКИ

Чтобы для 3D дисплея производить истинное ощущение глубины и более конкретно - смоделированное ощущение глубины поверхности, является желательным для каждой точки в поле зрения дисплея генерировать реакцию аккомодации, соответствующую ее виртуальной глубине. Если реакция аккомодации для точки дисплея не соответствует виртуальной глубине этой точки, как определяется посредством бинокулярных признаков глубины конвергенции и стереоскопичности, человеческий глаз может испытывать конфликт аккомодации, что дает результатом неустойчивое формирование изображения, вредное напряжение для глаз, головные боли, и при отсутствии информации аккомодации почти полное отсутствие глубины поверхности. Как показано на фиг. 1, сценарий (8) дополненной реальности изображается с видами для пользователя фактических объектов внутри реальности пользователя, как, например, элементов ландшафта, включающих в себя реальный объект (1120) помоста в окружении парка, а также видами виртуальных объектов, добавленных в вид, чтобы производить вид "дополненной" реальности; здесь статуя (1110) робота показана виртуально стоящей на объекте (1120) помоста, и персонаж (2) пчелы показан летящим в воздушном пространстве рядом с головой пользователя. Предпочтительно система дополненной реальности обеспечена возможностью 3-D, в этом случае она обеспечивает пользователя восприятием, что статуя (1110) стоит на помосте (1120), и что персонаж (2) пчелы летит близко к голове пользователя. Это восприятие может быть в значительной степени усилено посредством использования визуальных признаков аккомодации для глаза и мозга пользователя в том, что виртуальные объекты (2, 1110) имеют разные глубины фокуса, и что глубина фокуса или фокусные радиусы для статуи (1110) робота является приблизительно такой же, как глубина фокуса для помоста (1120). Стандартные стереоскопические системы отображения 3-D моделирования, как, например, изображено на фиг. 2, обычно имеют два дисплея (74, 76), один для каждого глаза, на фиксированном радиальном фокусном расстоянии (10). Как указывалось выше, в этой стандартной технологии отсутствует много ценных признаков, используемых человеческим глазом и мозгом, чтобы обнаруживать и интерпретировать глубину в трех измерениях, включая сюда признак аккомодации, который связан с повторным позиционированием глазом хрусталика внутри комплекса глаза, чтобы достигать разной глубины фокуса с помощью глаза. Имеется необходимость в системе отображения, обеспечивающей точную аккомодацию, которая учитывает аспекты аккомодации комплекса обработки изображений человеческим глазом/мозгом.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Один вариант осуществления направлен на систему визуализации трехмерного изображения, содержащую избирательно прозрачное проекционное устройство для проецирования изображения в направлении к глазу наблюдателя из положения проекционного устройства в пространстве относительно глаза наблюдателя, при этом проекционное устройство выполнено с возможностью обеспечения, по существу, прозрачного состояния, когда никакое изображение не проецируется; устройство маски преграждения, соединенное с проекционным устройством и сконфигурированное с возможностью избирательно блокировать свет, идущий в направлении к глазу из одного или более положений напротив проекционного устройства от глаза наблюдателя, в преграждающем шаблоне, соотнесенном с изображением, проецируемым посредством проекционного устройства; и устройство формирования дифракционного шаблона зонной пластинки, помещенное между глазом наблюдателя и проекционным устройством и сконфигурированное с возможностью обеспечивать, чтобы свет от проекционного устройства проходил через дифракционный шаблон, имеющий выбираемую геометрию, по мере того, как он перемещается к глазу, и входил в глаз с моделированным фокусным расстоянием от глаза, по меньшей мере, частично на основе выбираемой геометрии дифракционного шаблона. Система дополнительно может содержать контроллер, работоспособным образом соединенный с проекционным устройством, устройством маски преграждения и устройством формирования дифракционного шаблона зонной пластинки и сконфигурированный с возможностью координировать проецирование изображения и связанного преграждающего шаблона, также как помещение дифракционного шаблона в выбираемой геометрии. Контроллер может содержать микропроцессор. Проекционное устройство может содержать, по существу, плоский прозрачный цифровой дисплей, по существу, занимающий плоскость дисплея. Плоскость дисплея может быть ориентирована, по существу, перпендикулярно от визуальной оси глаза наблюдателя. По существу, плоский прозрачный цифровой дисплей может содержать жидкокристаллический дисплей. По существу, плоский прозрачный цифровой дисплей может содержать дисплей на органических светоизлучающих диодах. Проекционное устройство может быть сконфигурировано с возможностью проецировать изображение в направлении к глазу в коллимированной форме, так что глубина фокуса для глаза наблюдателя является бесконечной глубиной фокуса. Проекционное устройство может содержать высокоскоростной минипроектор, соединенный с устройством расширителя выходного зрачка с направляемой подложкой задержкой, сконфигурированным с возможностью расширять размер изображения до доставки в глаз наблюдателя. Минипроектор может быть смонтирован, по существу, перпендикулярно визуальной оси глаза наблюдателя, и при этом устройство расширителя выходного зрачка с направляемой подложкой задержкой сконфигурировано с возможностью принимать изображение от минипроектора и доставлять его в устройство формирования дифракционного шаблона зонной пластинки и в глаз наблюдателя в расширенном размере с ориентацией, по существу, выровненной с визуальной осью глаза. Устройство формирования дифракционного шаблона зонной пластинки и проекционное устройство могут содержать, по меньшей мере, одну общую структуру. Устройство формирования дифракционного шаблона зонной пластинки может быть интегрировано в волновод, так что проекционное устройство содержит высокоскоростной минипроектор, соединенный с волноводом, и сконфигурировано с возможностью пропускать изображение через дифракционный шаблон до того, как изображение выйдет из волновода по пути к глазу наблюдателя. Минипроектор может быть смонтирован, по существу, перпендикулярно визуальной оси глаза наблюдателя, и волновод может быть сконфигурирован с возможностью принимать изображение от минипроектора и доставлять его в глаз наблюдателя в расширенном размере с ориентацией, по существу, выровненной с визуальной осью глаза. Устройство маски преграждения может содержать дисплей, сконфигурированный с возможностью либо преграждать, либо пропускать свет на каждой из множества частей дисплея, в зависимости от соответствующей команды, чтобы преграждать или пропускать свет на каждой части. Устройство маски преграждения может содержать один или более жидкокристаллических дисплеев. Устройство формирования дифракционного шаблона зонной пластинки может содержать высокочастотный двоичный дисплей, сконфигурированный с возможностью либо преграждать, либо пропускать свет на каждой из множества частей дисплея, в зависимости от соответствующей команды, чтобы преграждать или пропускать свет на каждой части. Устройство формирования дифракционного шаблона зонной пластинки может иметь частоту обновления между приблизительно 500 Гц и приблизительно 2,000 Гц. Устройство формирования дифракционного шаблона зонной пластинки может иметь частоту обновления приблизительно 720 Гц. Контроллер может быть сконфигурирован с возможностью управлять проекционным устройством и устройством маски преграждения при между приблизительно 30 и приблизительно 60 кадрами в секунду, и управлять устройством формирования дифракционного шаблона зонной пластинки, чтобы цифровым образом отображать вплоть до приблизительно 12 разных дифракционных шаблонов для каждого кадра проекционного устройства и устройства маски преграждения. Проекционное устройство, устройство маски преграждения и устройство формирования дифракционного шаблона зонной пластинки совместно могут содержать модуль формирования изображений для одного глаза наблюдателя, и система дополнительно может содержать второй модуль формирования изображений для другого глаза наблюдателя.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 изображает иллюстрацию сценария дополненной реальности с некоторыми объектами виртуальной реальности и некоторыми объектами реально существующей реальности, видимыми для человека.

Фиг. 2 иллюстрирует стандартную стереоскопическую систему для моделирования формирования трехмерных изображений для пользователя.

Фиг. 3A и 3B иллюстрируют аспекты конфигурации дисплея, обеспечивающего точную аккомодацию.

Фиг. 4A-4C иллюстрируют отношения между радиусом кривизны и фокусным радиусом.

Фиг. 5-6C иллюстрируют аспекты дифракционных решеток, как применяются к конкретным конфигурациям.

Фиг. 7A-7C иллюстрируют три разные фокусные механизмы.

Фиг. 7D иллюстрирует зонную пластинку Френеля.

Фиг. 8A-8C иллюстрируют различные аспекты результатом фокусирования дифракционной системы.

Фиг. 9 иллюстрирует один вариант осуществления волновода со встроенной дифракционной решеткой.

Фиг. 10 иллюстрирует один вариант осуществления волновода со встроенной дифракционной решеткой, предназначенной, чтобы обеспечивать один режим для выхода и другие режимы для обеспечения улавливания в волноводе.

Фиг. 11A-11B иллюстрируют аспекты варианта осуществления модуля формирования дифракционных изображений.

Фиг. 12A-12B иллюстрируют аспекты варианта осуществления модуля формирования дифракционных изображений.

Фиг. 13A-13B иллюстрируют аспекты варианта осуществления модуля формирования дифракционных изображений.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Как показано на фиг. 3A и 3B, изображены различные аспекты системы AAD. Как показано на фиг. 3A, простая иллюстрация показывает, что вместо двух стандартных дисплеев, как в стереоскопии (фиг. 2), могут использоваться два сложных изображения, одно для каждого глаза, с разными радиальными фокусными глубинами (12) для разных аспектов (14) каждого изображения, чтобы обеспечивать каждый глаз восприятием слоев трехмерной глубины внутри воспринимаемого изображения.

Как показано на фиг. 3B, мы определили, что обычный человеческий глаз способен интерпретировать приблизительно 12 слоев (слои L1-L12 на фиг. 3B - элемент 16 чертежа) глубины на основе радиального расстояния. Предел (78) ближней зоны приблизительно 0,25 метра является приблизительно самой близкой глубиной фокуса; предел (80) дальней зоны приблизительно 3 метра означает, что любой элемент дальше, чем приблизительно 3 метра от человеческого глаза получает бесконечный фокус. Слои фокуса становятся более и более тонкими по мере того, как они становятся ближе к глазу; другими словами, глаз способен воспринимать различия в фокусном расстоянии, которые являются достаточно маленькими относительно близко к глазу, и этот эффект исчезает по мере того, как объекты становятся более удаленными от глаза, как показано на фиг. 3B. Элемент 82 иллюстрирует, что в бесконечном местоположении объекта глубина фокуса/значение диоптрического промежутка равняется приблизительно 1/3 диоптрии. Один другой способ описания значения фиг. 3B: имеется приблизительно двенадцать фокальных плоскостей между глазом пользователя и бесконечностью. Эти фокальные плоскости и данные внутри изображенных отношений могут использоваться, чтобы размещать виртуальные элементы внутри сценария дополненной реальности для просмотра пользователем, так как человеческий глаз постоянно поворачивается вокруг, чтобы использовать фокальные плоскости, чтобы воспринимать глубину.

Как показано на фиг. 4A-4C, если K(R) является динамическим параметром для кривизны, равным 1/R, где R является фокусным радиусом элемента по отношению к поверхности, то с увеличением радиуса (R3, к R2, вплоть до R1) мы имеем уменьшение K(R). Световое поле, производимое точкой, имеет сферическую кривизну, которая является функцией того, как далеко точка находится от глаза пользователя. Это отношение также может использоваться для систем AAD.

Как показано на фиг. 3, показана стандартная дифракционная решетка (22) со светом, проходящим через промежутки (18) решетки под углом (тета - 20), который связан с порядком дифракции (n), пространственной частотой и коэффициентом K, который равняется 1/d, посредством следующего уравнения:

d*sin(тета)=n* "длина волны" (или альтернативно после подстановки коэффициента K, sin (тета)=n* "длина волны" *K. Фиг. 6A-6C иллюстрируют, что с уменьшением промежутков (18, 28, 30) в дифракционном шаблоне (22, 24, 26) угол (20, 32, 34) становится больше.

Как показано на фиг. 5, изображены три разных механизма фокусирования - рефракция через линзу (36), отражение со сферическим зеркалом (38), и дифракция с зонной пластинкой (40) Френеля также показана на фиг. 7D (40).

Как показано на фиг. 8A, показана упрощенная версия дифракции, чтобы проиллюстрировать, что режим N=-1 может соответствовать виртуальному изображению; режим N=+1 может соответствовать реальному изображению, и режим N=0 может соответствовать сфокусированному на бесконечности изображению. Эти изображения могут быть запутывающими для человеческого глаза и мозга, и особенно проблематичными, если все сфокусированы на оси, как показано на фиг. 8B. Как показано на фиг. 8C, конфигурация фокуса вне оси может использоваться, чтобы обеспечивать возможность для блокировки режимов/изображений, которые являются нежелательными. Например, коллимированное (r = бесконечности) изображение может формироваться посредством режима N=0; расходящееся виртуальное изображение может формироваться посредством режима N=-1; и сходящееся изображение может формироваться посредством режима N=+1. Различие в пространственном местоположении этих режимов/изображений и их траекторий обеспечивает возможность для отфильтровывания или разделения, чтобы предотвращать вышеупомянутые проблемы, связанные с формированием дифракционных изображений, как, например, накладывание, появление ореола и эффекты восприятия "многократного экспонирования".

Как показано на фиг. 8, показан волновод, имеющий встроенную дифракционную решетку; такие волноводы являются доступными, например, от поставщиков, таких как BAE Systems PLC из Лондона, U.K., и могут использоваться, чтобы вводить изображение с левой стороны на фиг. 9, как показано, пропускать изображение через встроенную дифракционную решетку (44), и пропускать результирующее изображение наружу под некоторым углом (на фиг. 9, например, через сторону волновода). Таким образом, с таким элементом может достигаться двойное использование перенаправления и дифракции. В самом деле, технологии фокуса вне оси, такие как технологии, описанные со ссылкой на фиг. 8C, могут комбинироваться с элементами дифракционного волновода, как, например, с элементами, показанными на фиг. 9, чтобы давать в результате конфигурацию, такую как конфигурация, показанная на фиг. 10, при этом осуществляются не только перенаправление и дифракция, но также фильтрация, так как в изображенном варианте осуществления геометрия дифрагирующего волновода является такой, что режим N=-1 (скажем, виртуальное изображение) пропускается наружу из волновода и в глаз пользователя, и другие два режима (N=0 и N=+1) улавливаются внутри волновода посредством отражения.

Как показано на фиг. 11A - 13C, вышеупомянутые концепции приводятся в действие с различными конфигурациями дисплея дополненной реальности.

Как показано на фиг. 11A, система AAD содержит модуль (46, 48) формирования изображений перед каждым глазом (4, 6), через которые пользователь видит мир. Фиг. 11B иллюстрирует более большой вид модуля (46) с его ассоциированным (соединенным посредством изображенных проводников электронного управления; проводники также могут быть беспроводными) контроллером (66), который может быть микропроцессором, микроконтроллером, программируемой пользователем вентильной матрицей (FPGA), специализированной интегральной схемой (ASIC) или подобным. Контроллер предпочтительно соединен с источником питания, а также устройством обмена информацией, таким как беспроводной адаптер сети Интернет или Bluetooth, чтобы обеспечивать возможность для обмена информацией между внешним миром и контроллером (66). Система может быть сконфигурирована с возможностью работать на частоте обновления изображений, такой как частота между 30 и 60 кадров в секунду. Контроллер может быть сконфигурирован с возможностью управлять цифровым дисплеем (52) высокого разрешения с высокой частотой обновления, таким как дисплей на основе ферроэлектрических жидких кристаллов, голубой фазы или изогнутого ядра, чтобы отображать различные геометрии зонной пластинки быстро в последовательности, соответствующие каждому из 12 или около этого слоям глубины. Например, в одном варианте осуществления, где требуется полная производительность 60 кадров в секунду, управление дисплеем (52) зонной пластинки может осуществляться в 12 раз быстрее этого, или 720 Гц, чтобы иметь возможность обеспечивать смоделированную аккомодацию для каждого из 12 слоев глубины, как показано на фиг. 3B. Дисплей (54) преграждающей маски сконфигурирован с возможностью отображать затемненное изображение, геометрически соответствующее изображению, отображаемому перед ним на прозрачном слое (56) проектора, затемненным, чтобы не допускать, чтобы свет с другой стороны дисплея преграждающей маски проходил через или интерферировал с дисплеем требуемого виртуального или дополненного изображения в слое (56) проектора. Таким образом, в конфигурации дополненной реальности, как показано, свет от реального заднего плана проходит через незакрытые маской части маски преграждения (54), через прозрачные (т.е. не обеспечивающие часть изображения) части прозрачного слоя (56) проектора, и в слой (52) зонной пластинки для обработки аккомодации; изображения, проецируемые на проецирующем слое (56), получают блокировку маской от света заднего плана на слое (54) преграждения и проецируются вперед в слой (52) зонной пластинки для обработки аккомодации. Их комбинация, или ассоциированное восприятие дополненной реальности для пользователя, является очень близкой к "истинному 3-D".

Фиг. 12A - 12B изображают другой вариант осуществления, в котором модуль (58) формирования изображений содержит минипроектор высокого разрешения, ориентированный под углом, приблизительно перпендикулярным визуальной оси глаза; волновод, содержащий устройство (70) расширителя выходного зрачка с направляемой подложкой задержкой, увеличивает и перенаправляет изображение от маленького минипроектора и в слой (52) зонной пластинки; преграждающий слой (54) обеспечивает аналогичные функции наложения маски, чтобы защищать восприятие проецируемых изображений от света заднего плана.

Фиг. 13A - 13B изображают другой вариант осуществления, элементы 52 и 70 скомбинированы так, что зонная пластинка и проецирующий слой, по существу, содержатся внутри одного и того же интегрированного модуля (72), который вводит маленькое изображение из минипроектора (68), перенаправляет и увеличивает его, а также дифрагирует его для прохода к глазу; преграждающий слой (54) обеспечивает аналогичные функции наложения маски, чтобы защищать восприятие проецируемых изображений от света заднего плана.

Здесь описаны различные иллюстративные варианты осуществления изобретения. Ссылка делается на эти примеры в неограничивающем смысле. Они обеспечиваются, чтобы проиллюстрировать более широко применимые аспекты изобретения. Различные изменения могут делаться в описанном изобретении и эквиваленты, могут подставляться без отхода от истинной сущности и объема изобретения. В дополнение, многие модификации могут делаться, чтобы адаптировать конкретную ситуацию, материал, состав вещества, процесс, действие (действия) или этап (этапы) процесса для цели (целей), сущности или объема настоящего изобретения. Дополнительно, как должно быть принято во внимание специалистами в данной области техники, каждое из индивидуальных изменений, здесь описанных и проиллюстрированных, имеет обособленные компоненты и признаки, которые могут легко отделяться от или комбинироваться с признаками любых других нескольких вариантов осуществления без отхода от объема или сущности настоящих изобретений. Предполагается, что все такие модификации находятся в пределах объема формулы изобретения, связанной с этим раскрытием.

Изобретение включает в себя способы, которые могут выполняться с использованием конкретных устройств. Способы могут содержать действие обеспечения такого подходящего устройства. Такое обеспечение может выполняться конечным пользователем. Другими словами, действие "обеспечения" просто требует от конечного пользователя получать, осуществлять доступ, приближаться к, располагать, устанавливать, активировать, включать или иным образом действовать, чтобы обеспечивать требуемое устройство в конкретном способе. Способы, здесь изложенные, могут выполняться в любом порядке изложенных событий, который является логически возможным, также как в изложенном порядке событий.

Иллюстративные аспекты изобретения вместе с деталями относительно выбора материалов и производства были изложены выше. Что касается других деталей настоящего изобретения, они могут приниматься во внимание в соединении с вышеуказанными патентами и публикациями, также как, в общем, известными или принимаемыми во внимание специалистами в данной области техники. То же может быть истинным по отношению к основывающимся на способе аспектам изобретения в терминах дополнительных действий, как широко или логически применяется.

В дополнение, хотя изобретение было описано со ссылкой на несколько примеров, необязательно включающих в себя различные признаки, изобретение не должно ограничиваться тем, что описано или показано как рассматриваемое по отношению к каждому изменению изобретения. Различные изменения могут делаться в описанном изобретении и эквиваленты (изложенные ли здесь или не включенные сюда ради некоторой краткости) могут подставляться без отхода от истинной сущности и объема изобретения. В дополнение, там, где обеспечивается диапазон значений, следует понимать, что каждое промежуточное значение между верхним и нижним пределом этого диапазона и любое другое сформулированное или промежуточное значение в этом сформулированном диапазоне входит в объем изобретения.

Также, предполагается, что любой необязательный признак описанных новых вариантов может излагаться и заявляться независимо или в комбинации с любым одним или более из признаков, здесь описанных. Ссылка на одиночный элемент включает в себя возможность, что имеется множество таких же присутствующих элементов. Более конкретно, как используется здесь и в формуле изобретения, связанной с этим, формы единственного числа, в том числе "упомянутый" и "один", включают в себя формы множественного числа, если конкретно не указывается иное. Другими словами, использование форм единственного числа обеспечивает "по меньшей мере, один" из конкретного элемента в описании выше, также как в формуле изобретения, связанной с этим раскрытием. Дополнительно следует отметить, что такие пункты формулы изобретения могут быть составлены, чтобы исключать любой необязательный элемент. Как таковое, предполагается, что это утверждение служит в качестве априорной основы для использования такой исключающей терминологии, как "единственно", "только" и подобной в соединении с перечислением элементов формулы изобретения, или использованием "отрицательного" ограничения.

Без использования такой исключающей терминологии признак "содержащий" в формуле изобретения, связанной с этим раскрытием, должен обеспечивать возможность для включения любого дополнительного элемента - независимо от того, перечисляется ли заданное количество элементов в формуле изобретения, или добавление признака может рассматриваться как преобразование свойства элемента, изложенного в формуле изобретения. За исключением того, что конкретно определено здесь, всем техническим и научным терминам, используемым здесь, должно даваться настолько широкое, обычно понимаемое значение, насколько возможно при поддержании действенности формулы изобретения.

Широта настоящего изобретения не должна ограничиваться представленными примерами и/или приведенным описанием, но, скорее, только объемом языка формулы изобретения, связанного с этим раскрытием.

Реферат

Изобретение относится к области формирования изображений и визуализации виртуальной реальности. Техническим результатом является обеспечение точной аккомодации, которая учитывает аспекты аккомодации комплекса обработки изображений человеческим глазом. Система содержит: избирательно прозрачное проекционное устройство для проецирования изображения в направлении к глазу наблюдателя из положения проекционного устройства в пространстве относительно глаза наблюдателя; устройство маски преграждения, соединенное с проекционным устройством и сконфигурированное избирательно блокировать свет, идущий в направлении к глазу из одного или более положений напротив проекционного устройства от глаза наблюдателя, в преграждающем шаблоне; и устройство формирования дифракционного шаблона зонной пластинки, помещенное между глазом наблюдателя и проекционным устройством и сконфигурированное обеспечивать, чтобы свет от проекционного устройства проходил через дифракционный шаблон, имеющий выбираемую геометрию, по мере того, как он перемещается к глазу, и входил в глаз с моделированным фокусным расстоянием от глаза, на основе выбираемой геометрии дифракционного шаблона. 19 з.п. ф-лы, 26 ил.

Формула