Система устройства просмотра смешанной реальности и способ для него - RU2754991C2

Чертежи

Описание

Перекрестная ссылка на родственную заявку

[0001] Эта заявка испрашивает приоритет и преимущества предварительной патентной заявки США № 62/467,817, озаглавленной "SYSTEMS AND METHODS FOR DIGITAL OVERLAY IN AN AMUSEMENT PARK ENVIRONMENT", поданной 6 марта 2017, которая включена в данный документ по ссылке во всей своей полноте.

Уровень техники

[0002] Объект изобретения, описываемый в данном документе, относится к аттракционам парка развлечений, а более конкретно, к предоставлению ощущений дополненной и виртуальной реальности в аттракционах парка развлечений.

[0003] Парки развлечений или тематические парки могут включать в себя различные развлекательные аттракционы в предоставлении удовольствия гостям (например, семьям и/или людям всех возрастов) парков развлечений. Традиционно, аттракционы могут включать в себя тематические развлечения, которые могут быть устроены с помощью оборудования, обстановки, компоновок зданий, реквизита, декораций и т.д. В зависимости от сложности тематических развлечений это может оказаться очень трудным и затратным по времени для установки и замены тематического окружения. Кроме того, может быть очень трудным устанавливать тематическое окружение, которое является развлечением для всех гостей. Фактически, одна и та же тематическая обстановка может быть привлекательной для некоторых гостей, но не для других. Следовательно, теперь признано, что желательно включать аттракционы, где можно изменять темы аттракционов, или включать или удалять некоторые тематические отличительные признаки в таких аттракционах гибким и эффективным образом относительно традиционных технологий. Также теперь признано, что желательно улучшать иммерсивное восприятие (восприятие с эффектом присутствия) гостей для таких аттракционов и обеспечивать более персонализированное или сугубо индивидуальное восприятие для гостей.

Краткое описание изобретения

[0004] Некоторые варианты осуществления, сопоставимые в рамках с настоящим изобретением, резюмируются ниже. Эти варианты осуществления не предназначаются, чтобы ограничивать рамки изобретения, а, скорее, эти варианты осуществления предназначаются, только чтобы предоставлять краткое описание возможных форм настоящих вариантов осуществления. В действительности, настоящие варианты осуществления могут охватывать множество форм, которые могут быть аналогичны или отличаться от вариантов осуществления, изложенных ниже.

[0005] В одном варианте осуществления система просмотра смешанной реальности включает в себя устройство просмотра, сконфигурированное, чтобы быть прикрепленным к устойчивой платформе и задействуемым пользователем для просмотра темы через устройство просмотра. Устройство просмотра включает в себя устройство отображения, пользовательский интерфейс, содержащий элемент управления масштабом, и, по меньшей мере, один датчик, по меньшей мере, один датчик содержит, по меньшей мере, одну камеру. Система просмотра смешанной реальности также включает в себя систему формирования компьютерной графики, соединенную с возможностью обмена данными с устройством просмотра. Система формирования компьютерной графики конфигурируется, чтобы формировать потоковое мультимедиа окружающей обстановки реального мира на основе данных изображения, захваченных посредством, по меньшей мере, одной камеры устройства обзора, формировать графические изображения дополненной реальности, графические изображения виртуальной реальности, или и то, и другое, наложенные на потоковое мультимедиа окружающей обстановки реального мира, и передавать потоковое мультимедиа окружающей обстановки реального мира вместе с наложенными графическими изображениями дополненной реальности, графическими изображениями виртуальной реальности, или и тем, и другим, для отображения на устройстве отображения устройства просмотра.

[0006] В другом варианте осуществления устройство просмотра с фиксированной позицией включает в себя дисплей, сконфигурированный, чтобы отображать потоковое мультимедиа пользователю, при этом отображаемое потоковое мультимедиа содержит окружение смешанной реальности (MR), включающее в себя графические изображения дополненной реальности (AR), графические изображения виртуальной реальности (VR) или и то, и другое. Устройство просмотра с фиксированной позицией включает в себя камеру, сконфигурированную, чтобы захватывать данные изображения окружения реального мира, окружающего устройство просмотра с фиксированной позицией. Устройство просмотра с фиксированной позицией также включает в себя, по меньшей мере, один датчик, сконфигурированный, чтобы собирать информацию, связанную с формированием потокового мультимедиа.

[0007] В другом варианте осуществления способ включает в себя прием и анализ данных реального времени через систему формирования компьютерной графики, при этом прием данных реального времени содержит прием, через систему формирования компьютерной графики, данных, по меньшей мере, от одного датчика и пользовательского интерфейса устройства просмотра с фиксированной позицией. Способ включает в себя формирование, посредством системы формирования компьютерной графики, игровых эффектов на основе принимаемых в реальном времени данных, при этом игровые эффекты содержат графические изображения дополненной реальности (AR), графические изображения виртуальной реальности (VR) или и то, и другое. Способ включает в себя наложение, посредством системы формирования компьютерной графики, сформированных игровых эффектов на визуализацию окружения реального мира, чтобы создавать визуализацию смешанной реальности. Способ также включает в себя передачу, через систему формирования компьютерной графики, визуализации смешанной реальности устройству просмотра с фиксированной позицией и отображение, через систему формирования компьютерной графики, визуализации смешанной реальности на дисплее устройства просмотра с фиксированной позицией.

Краткое описание чертежей

[0008] Эти и другие признаки, аспекты и преимущества настоящего раскрытия сущности должны становиться более понятными после прочтения нижеприведенного подробного описания со ссылками на прилагаемые чертежи, при этом аналогичные номера ссылок представляют аналогичные части на всех чертежах, на которых:

[0009] Фиг. 1 иллюстрирует вариант осуществления парка развлечений, имеющего тематические аттракционы, улучшенные посредством системы дополненной реальности и/или виртуальной реальности (AR/VR), включающей в себя одно или более AR/VR-устройств просмотра с фиксированной позицией, в соответствии с настоящими вариантами осуществления;

[0010] Фиг. 2 - это вид в перспективе варианта осуществления AR/VR-устройства просмотра с фиксированной позицией на фиг. 1 в соответствии с настоящими вариантами осуществления;

[0011] Фиг. 3 - это блок-схема варианта осуществления AR/VR-системы на фиг. 1, в соответствии с настоящими вариантами осуществления;

[0012] Фиг. 4 - это схема, иллюстрирующая примерные переходы между AR и VR-окружениями, воспроизводимыми посредством AR/VR-системы на фиг. 1, в соответствии с настоящими вариантами осуществления;

[0013] Фиг. 5 - это схема, иллюстрирующая пример AR/VR-окружений, воспроизводимых посредством AR/VR-системы на фиг. 1 для множества AR/VR-устройств просмотра с фиксированной позицией, в соответствии с настоящими вариантами осуществления; и

[0014] Фиг. 6 - это блок-схема последовательности операций, иллюстрирующая процесс для создания AR/VR-ощущения с помощью AR/VR-системы на фиг. 1, в соответствии с настоящими вариантами осуществления.

Подробное описание изобретения

[0015] Один или более конкретных вариантов осуществления настоящего изобретения будут описаны ниже. Стремясь предоставить краткое описание этих вариантов осуществления, все признаки фактической реализации могут не быть описаны в спецификации. Должно быть понятно, что в разработке любой такой фактической реализации, как в каком-либо проектировании или опытно-конструкторской работе, многочисленные характерные для реализации решения должны быть выполнены, чтобы добиваться конкретных целей разработчиков, таких как согласование со связанными с системой и связанными с бизнесом ограничениями, которые могут изменяться от одной реализации к другой. Кроме того, должно быть понятно, что такая опытно-конструкторская разработка может быть сложной и занимающей время, но, тем не менее, будет установившаяся практика выполнения проекта, изготовления и производства для обычного специалиста в области техники, имеющего преимущество этого открытия.

[0016] Настоящие варианты осуществления относятся к системам и способам предоставления ощущения дополненной реальности (AR), ощущения виртуальной реальности (VR), ощущения смешанной реальности (например, сочетания AR и VR) или их сочетания, как части аттракциона в парке развлечений или тематическом парке. В частности, AR и/или VR (AR/VR)-система может включать в себя одно или более устройств просмотра, чтобы обеспечивать AR/VR-ощущения гостям парка развлечений. Например, гости могут просматривать ландшафт через устройство просмотра, и устройство просмотра может обеспечивать AR-ощущение, VR-ощущение или сочетание обоих ощущений. В одном варианте осуществления устройство просмотра может быть неподвижно установленным устройством просмотра (например, устройством просмотра, аналогичным биноклю, видоискателю или телескопу, прикрепленному к устойчивой платформе или земле). Таким образом, устройство просмотра может считаться AR/VR-устройством просмотра с фиксированной позицией. AR/VR-устройство с фиксированной позицией может включать в себя, по меньшей мере, одну камеру, которая может быть использована для захвата данных изображения в реальном времени (например, картинок и/или видеоизображения, захватываемого во время живого использования и передаваемого практически в реальном времени) для окружения реального мира (например, аспектов физического парка развлечений). AR/VR-устройство с фиксированной позицией может включать в себя дисплей. Например, AR/VR-устройство просмотра с фиксированной позицией может включать в себя, по меньшей мере, два дисплея, соответственно соответствующих каждому глазу пользователя, использующего AR/VR-устройство просмотра с фиксированной позицией. AR/VR-устройство просмотра с фиксированной позицией может быть предназначено, чтобы поворачиваться и наклоняться так, что пользователь имеет возможность изменять угол обзора, осматривать сцену и т.д.

[0017] AR/VR-система может включать в себя систему формирования компьютерной графики, которая принимает данные изображений в реальном времени (например, картинки и/или видеоизображения, захватываемые во время живого использования и передаваемые практически в реальном времени) из AR/VR с фиксированной позицией, и может воспроизводить видеопоток окружения реального мира вместе с различными AR, VR или объединенными AR и VR (AR/VR) графическими изображениями на дисплее AR/VR-устройства просмотра с фиксированной позицией. В одном варианте осуществления AR/VR-устройство просмотра с фиксированной позицией может быть функционирующим, чтобы увеличивать или уменьшать масштаб некоторых областей в AR/VR-окружениях и переходить между AR и VR-окружениями. В частности, пользователь может увеличивать масштаб области (например, элемента, объекта) в AR-окружении, и когда пользователь продолжает увеличивать масштаб, видеопоток переходит к VR-окружению. В одном варианте осуществления, AR/VR-устройство просмотра с фиксированной позицией может быть задействовано пользователем через пользовательский интерфейс (например, одну или более нажимных кнопок, джойстиков) AR/VR-устройства просмотра с фиксированной позицией, чтобы входить в контакт или взаимодействовать с элементами или объектами в AR/VR-окружениях (например, захват, выбор, нацеливание и/или перемещение объектов). Дополнительно, некоторые варианты осуществления AR/VR-системы могут предоставлять аналогичные ощущения для множества пользователей, например, с помощью последовательности соединенных в сеть AR/VR-устройств просмотра с фиксированной позицией.

[0018] В то время как настоящие варианты осуществления могут быть реализованы во множестве установок, примерный парк 10 развлечений, имеющий отличительные признаки настоящего изобретения, изображается на фиг. 1. Как иллюстрировано, парк 10 развлечений включает в себя тематический аттракцион 12. Тематический аттракцион 12 может включать в себя физические структуры 14, включающие в себя неподвижное оборудование, компоновки зданий, реквизит, декорации и т.д., соответствующие теме. В иллюстрированном примере тематический аттракцион 12 декорируется как животноводческая постройка/скотный двор. Тематический аттракцион 12 может включать в себя AR/VR-систему 15, включающую в себя одно или более AR/VR-устройств 16 просмотра с фиксированной позицией, чтобы создавать более иммерсивные, персонализированные и/или интерактивные ощущения для гостей парка 10 развлечений. В частности, гости или пользователи могут осматривать тематический аттракцион 12 через AR/VR-устройства 16 просмотра с фиксированной позицией для улучшенных ощущений просмотра. AR/VR-устройство 16 просмотра с фиксированной позицией может быть прикреплено к устойчивой платформе или земле 18, и пользователь 20 может подходить к AR/VR-устройству 16 просмотра с фиксированной позицией и осматривать тематический аттракцион 12 с помощью AR/VR-устройства 16 просмотра с фиксированной позицией.

[0019] AR/VR-устройство 16 просмотра с фиксированной позицией может иметь функции, которые может иметь типичный бинокль или видоискатель. Например, AR/VR-устройство 16 просмотра с фиксированной позицией может поворачиваться или наклоняться пользователем 20, чтобы просматривать различные области тематического аттракциона 12. Например, AR/VR-устройство 16 просмотра с фиксированной позицией может иметь эффекты изменения масштаба, так что пользователь 20 может увеличивать или уменьшать масштаб областей тематического аттракциона 12. Кроме того, AR/VR-устройство 16 просмотра с фиксированной позицией может обеспечивать AR-ощущение, VR-ощущение или сочетание обоих ощущений. В частности, AR/VR-устройство 16 просмотра с фиксированной позицией может воспроизводить AR/VR-окружение 22 на дисплее 24, и AR/VR-окружение 22 может включать в себя AR/VR-графические изображения 26. В иллюстрированном примере гость, смотрящий на тематический аттракцион 12, без помощи AR/VR-устройства 16 просмотра с фиксированной позицией, может видеть только здание 28 скотного двора. Однако, пользователь 20, использующий AR/VR-устройство 16 просмотра с фиксированной позицией, может видеть здание 28 скотного двора, также как AR/VR-графические изображения 26, такие как две лошади 30 перед зданием 28 скотного двора.

[0020] Вид в перспективе варианта осуществления AR/VR-устройства 16 просмотра с фиксированной позицией показан на фиг. 2. Как показано, AR/VR-устройство 16 просмотра с фиксированной позицией может быть прикреплено к устойчивой платформе или земле 18. AR/VR-устройство 16 просмотра с фиксированной позицией может включать в себя фрагмент 40 устройства просмотра, который включает в себя дисплей 24, и фрагмент 42 крепления, который прикрепляет AR/VR-устройство 16 просмотра с фиксированной позицией к устойчивой платформе или земле 18. Пользователь 20 может стоять в области 44 просмотра, чтобы смотреть на дисплей 24 AR/VR-устройства 16 просмотра с фиксированной позицией. Дисплей 24 может включать в себя один или более одного дисплея (например, два дисплея 46, соответственно соответствующих каждому глазу пользователя 20). Дисплеи 46 могут иметь любые подходящие формы, такие как круг, квадрат, прямоугольник, овал и т.д. Дисплеи 46 могут иметь характеристический размер 48. В некоторых вариантах осуществления дисплей 24 может быть сконфигурирован таким способом, что гости рядом с пользователем 20 могут также видеть, что представляется пользователю 20. Например, характеристический размер 48 дисплеев 46 является достаточно большим, так что гости позади и/или рядом с пользователем 20 могут видеть, что показывается на дисплеях 46.

[0021] AR/VR-устройство 16 просмотра с фиксированной позицией имеет угол обзора 49. В одном варианте осуществления пользователь 20 может изменять угол обзора 49, поворачивая или наклоняя фрагмент 40 устройства просмотра в направлениях 50 поворота (например, практически параллельных устойчивой платформе или земле 18), в направлениях 52 поворота (например, практически параллельных направлениям 50 поворота) или их сочетании. В одном варианте осуществления пользователь 20 может также изменять угол обзора 49, поднимая или опуская фрагмент 40 устройства просмотра в направлениях 54 (например, направлениях, перпендикулярных к устойчивой платформе или земле 18). Как может быть понятно, AR/VR-устройство 16 просмотра с фиксированной позицией может включать в себя другие компоненты аппаратных средств и/или программного обеспечения, как будет обсуждено на фиг. 3.

[0022] Фиг. 3 - это блок-схема различных компонентов AR/VR-системы 15. В иллюстрированном варианте осуществления AR/VR-система 15 включает в себя одно или более AR/VR-устройств 16 просмотра с фиксированной позицией, соединенных с возможностью обмена данными и функционально с системой 60 формирования компьютерной графики (например, в парке 10 развлечений) через сеть 62 связи. Сеть 62 связи может включать в себя беспроводные локальные вычислительные сети, беспроводные глобальные вычислительные сети, связь малого радиуса действия и/или проводную сеть через Ethernet-кабели, волоконно-оптические кабели и т.д. Одно или более AR/VR-устройств 16 просмотра с фиксированной позицией могут передавать сигналы или данные к и принимать сигналы или данные от системы 60 формирования компьютерной графики, чтобы создавать AR/VR-окружение 22 (например, AR/VR-графику 26 и/или звуковые эффекты, представляемые через одно или более AR/VR-устройств 16 просмотра с фиксированной позицией). Система 60 формирования компьютерной графики может быть соединена с возможностью обмена данными с сервером 64 данных через сеть 62 связи. Сервер 64 данных может быть удаленным или локальным сервером данных, который может хранить и/или обрабатывать пользовательскую информацию пользователей 20. Пользовательская информация может включать в себя любую подходящую информацию, предоставленную или авторизованную пользователями 20, такую как информация об оплате, информация о членстве, персональная информация (например, возраст, рост, специальные нужды и т.д.), игровая информация (например, информация о видеоигре, ассоциированной с тематическим аттракционом 12, информация о конкретном персонаже, с которым пользователь 20 ассоциируется в видеоигре, информация об истории игры для пользователя 20), и т.д.

[0023] Как иллюстрировано на фиг. 3, AR/VR-устройство 16 обзора с фиксированной позицией может включать в себя датчики 66, пользовательский интерфейс 68, устройства 70 представления и кодировщик 72 данных, соединенный с возможностью обмена данными с датчиками 66 и пользовательским интерфейсом 68. Кодировщик 72 данных может принимать и/или обрабатывать (например, кодировать) данные или сигналы, предоставляемые посредством датчиков 66 и пользовательского интерфейса 68. Например, кодировщик 72 может быть реализован как один или более процессоров, которые могут следовать конкретным алгоритмам, чтобы собирать потоковые данные, предоставляемые посредством датчиков 66 и пользовательского интерфейса 68, и формировать кодированные данные. Кодировщик 72 может быть соединен с возможностью обмена данными с системой 60 формирования компьютерной графики, например, через сеть 62 связи, чтобы передавать в потоковом режиме кодированные данные (соответствующие данным и сигналам от датчиков 66 и пользовательского интерфейса 68) системе 60 формирования компьютерной графики. Кодировщик 72 может передавать в потоковом режиме кодированные данные системе 60 формирования компьютерной графики практически в реальном времени и/или по приеме инструкций от системы 60 формирования компьютерной графики.

[0024] Датчики 66 могут включать в себя одну или более камер 74, один или более датчиков 76 ориентации и позиции (например, акселерометры, магнетометры, гироскопы, приемники системы глобального позиционирования (GPS), один или более блоков инерциальных измерителей (IMU) с множеством степеней свободы (MDOF), и т.д.), один или более датчиков 78 света, один или более датчиков 80 присутствия (например, датчиков движения, ультразвуковых датчиков, датчиков отражательной способности, датчиков прерывания луча и т.д.) и одну или более антенн 82.

[0025] Одна или более камер 74 могут захватывать изображения реального мира (например, изображения и/или видеоданные реального времени для окружения реального мира, такого как тематический аттракцион 12) во время живого использования для пользователя 20. Одна или более камер 74 могут передавать захваченные изображения реального мира практически в реальном времени. В одном варианте осуществления AR/VR-устройство 16 просмотра с фиксированной позицией может включать в себя, по меньшей мере, две камеры 74, которые могут соответственно соответствовать соответствующим точкам обзора (например, обзорам правого и левого глаза) пользователя 20. В одном варианте осуществления одна или более камер 74 могут быть камерами высокого разрешения и/или высокоскоростными камерами. Например, одна или более камер 74 могут быть цифровыми высокоскоростными камерами с 4K-разрешением (например, с частотой кадра, превышающей приблизительно шестьдесят кадров в секунду, и горизонтальным разрешением порядка 4000 пикселов). Поскольку одна или более камер 74 (например, одна или более камер 74 размещаются на AR/VR-устройстве 16 просмотра с фиксированной позицией) имеют способности высокой скорости и высокого разрешения, захваченные изображения реального мира могут иметь высокое разрешение и высокую трехмерную (3D) глубину, что может помогать в формировании AR/VR-графики с высокими уровнями реализма. Один или более датчиков 76 ориентации и позиции могут захватывать данные, указывающие угол обзора 49 AR/VR-устройства 16 обзора с фиксированной позицией. Один или более датчиков 78 света могут быть любыми подходящими датчиками света для обнаружения уровня окружающего освещения (например, насколько ярким/темным оно является).

[0026] Один или более датчиков 80 присутствия могут захватывать данные, указывающие присутствие объекта (например, объекта реального мира, человека), который может блокировать или приходить в угол обзора 49 AR/VR-устройства 16 просмотра с фиксированной позицией. Один или более датчиков 80 присутствия могут захватывать данные, указывающие присутствие пользователя 20. В одном варианте осуществления AR/VR-устройство 16 просмотра с фиксированной позицией может быть активировано (например, через процессор 90) и деактивировано на основе данных, захваченных посредством одного или более датчиков 80 присутствия. Например, AR/VR-устройство 16 обзора с фиксированной позицией может быть деактивировано в режим сна или ожидания, если AR/VR-устройство 16 просмотра с фиксированной позицией не находится в использовании (например, присутствие пользователя 20 не обнаруживается), и AR/VR-устройство 16 просмотра с фиксированной позицией может быть активировано из режима сна или ожидания в ответ на обнаружение присутствия пользователя 20. В одном варианте осуществления один или более датчиков 80 присутствия могут быть расположены на стороне гостя (гостей рядом с пользователем 20) и соединены с возможностью обмена данными (например, через проводное или беспроводное соединение) с AR/VR-устройством 16 просмотра с фиксированной позицией. Одна или более антенн 82 могут быть антеннами 82 радиочастотной идентификации (RFID), используемыми для идентификации пользователя 20.

[0027] Пользовательский интерфейс 68 (например, элемент управления игрой) может включать в себя любые подходящие устройства ввода (например, нажимные кнопки, джойстики, вертушки, вращаемые кнопки), чтобы предоставлять возможность пользователю 20 предоставлять инструкции, относящиеся к работе AR/VR-устройства 16 просмотра с фиксированной позицией. Например, пользовательский интерфейс 68 может включать в себя элемент 84 управления масштабом (например, вертушку, вращаемую кнопку), сконфигурированный, чтобы предоставлять возможность пользователю 20 увеличивать и уменьшать масштаб деталей (например, деталей реального мира, AR/VR-графики 26), показанных на дисплее 24. Пользовательский интерфейс 68 может также включать в себя нажимные кнопки 86, которые могут быть сконфигурированы, чтобы предоставлять возможность применения различных действий и/или эффектов в AR/VR-окружении 22. Например, нажимные кнопки 86 могут предоставлять возможность пользователю 20 управлять персонажем или объектом AR/VR-графики 26 для перемещения в различных направлениях (например, вверх, вниз, влево, вправо) в AR/VR-окружении 22. Например, нажимные кнопки 86 могут предоставлять возможность пользователю 20 выполнять выборы или брать/отпускать объекты AR/VR-графических изображений 26 в AR/VR-окружении 22. В некоторых вариантах осуществления данные, захваченные посредством одного или более датчиков 76 ориентации и позиции и/или использования пользовательского интерфейса 68, могут быть использованы для анализа, на какие особенности аттракциона (например, объекты реального мира, AR/VR-графика 26) пользователь 20 тратит большую часть времени для просмотра и/или взаимодействия.

[0028] Устройства 70 представления могут быть соединены с возможностью обмена данными и функционально с системой 60 формирования компьютерной графики, через сеть 62 связи, чтобы принимать сигналы или данные, соответствующие представляемому контенту, и отображать представляемый контент (например, AR/VR-графические изображения или видеопотоки, AR/VR-графические изображения 26), чтобы создавать AR/VR-окружение 22. Устройства 70 представления могут включать в себя дисплей 24 и звуковой преобразователь 88 (например, динамик). Как изложено выше, дисплей 24 может включать в себя один или более дисплеев 46, например, два дисплея 46, соответственно соответствующих каждому глазу пользователя 20, использующего AR/VR-устройство 16 просмотра с фиксированной позицией. Дисплей 24 может также быть сконфигурирован так, что гости рядом с пользователем 20 могут также видеть, что показывается пользователю 20 на дисплее 24. В одном варианте осуществления дисплей 24 может быть дисплеем с 4K-разрешением (например, горизонтальным разрешением порядка 4000 пикселов). Звуковой преобразователь 88 может включать в себя любые подходящие устройства, такие как один или более динамиков, чтобы представлять звуковые эффекты.

[0029] Чтобы поддерживать создание AR/VR-окружения 22, система 60 формирования компьютерной графики может включать в себя схему обработки, такую как процессор 90 и память 92. Процессор 90 может быть функционально соединен с памятью 92, чтобы исполнять инструкции для выполнения описываемых в настоящее время технических способов формирования захваченных изображений реального мира, объединенных с AR/VR-графикой 26, чтобы улучшать AR/VR-ощущение пользователя 20. Эти инструкции могут быть закодированы в программах или коде, сохраненном на материальном невременном компьютерно-читаемом носителе, таком как память 92 и/или другое запоминающее устройство. Процессор 90 может быть процессором общего назначения, устройством с системой на кристалле (SoC), специализированной интегральной схемой (ASIC) или некоторой другой аналогичной конфигурацией процессора.

[0030] Система 60 формирования компьютерной графики может включать в себя любые подходящие аппаратные средства, программное обеспечение (например, игровой движок), и алгоритмы, предоставляющие возможность подходящей AR/VR-платформы. Например, система 60 формирования компьютерной графики может хранить в памяти 92 или осуществлять доступ на сервере 64 данных к модели (например, трехмерной модели с пространственной информацией, файлу системы автоматизированного проектирования (CAD)) тематического аттракциона 12 и позиции AR/VR-устройства 16 просмотра с фиксированной позицией. В частности, модель может включать в себя позиционную информацию AR/VR-устройства 16 просмотра с фиксированной позицией относительно окружающей обстановки реального мира (например, тематического аттракциона 12). Модель используется, вместе с другими входными данными от кодировщика 72 данных (например, закодированными данными от датчиков 66 и пользовательского интерфейса 68 AR/VR-устройства 16 просмотра с фиксированной позицией), чтобы предоставлять сигналы устройствам 70 представления. В частности, система 60 формирования компьютерной графики динамически обновляется, когда пользователь 20 задействует AR/VR-устройство 16 просмотра с фиксированной позицией (например, изменяет угол обзора 49, увеличивает и уменьшает масштаб, включает нажимные кнопки 86), чтобы формировать и воспроизводить AR/VR-графические изображения 26, наложенные на захваченные изображения реального мира, чтобы создавать AR/VR-окружение 22.

[0031] Как может быть понятно, поскольку тематический аттракцион 12 и позиция AR/VR-устройства 16 просмотра с фиксированной позицией моделируются, и модель (например, трехмерная модель с пространственной информацией, файлом системы автоматизированного проектирования (CAD)) сохраняется в или является доступной для системы 60 формирования компьютерной графики, системе 60 формирования компьютерной графике может быть необходимо лишь определять угол обзора 49 для AR/VR-устройства 16 просмотра с фиксированной позицией, чтобы определять, куда пользователь 20 смотрит, и определять подходящее наложение AR/VR-графических изображений и захваченных изображений реального мира. Соответственно, система 60 формирования компьютерной графики может более эффективно (например, с помощью меньшей вычислительной мощности) объединять AR/VR-графические изображения 26 и захваченные изображения реального мира, чтобы формировать AR/VR-окружение 22. В частности, система 60 формирования компьютерной графики может эффективно формировать и накладывать AR/VR-графику 26 на захваченные изображения реального мира, так что AR/VR-графика 26 и изображения реального мира соответствуют высоким уровням реализма, чтобы предоставлять возможность AR/VR-графическим изображениям 26 вести себя так, как они вели бы себя в обычных условиях. Например, если AR/VR-графические изображения 26 должны быть полностью или частично загорожены какими-либо объектами реального мира (например, физической структурой 14, гостями, зданиями, объектами в реальном мире) согласно углу обзора 49 AR/VR-устройства 16 обзора с фиксированной позицией, система 60 формирования компьютерной графики может формировать полностью или частично прозрачные AR/VR-графические изображения 26. Например, система 60 формирования компьютерной графики может формировать AR/VR-графические изображения 26 для наложения на объект реального мира, так что объект реального мира больше не выглядит присутствующим или удаленным (например, объект реального мира полностью или частично загораживается AR/VR-графическими изображениями 26).

[0032] Кроме того, поскольку AR/VR-графические изображения 26 формируются и накладываются на захваченные изображения реального мира практически в реальном времени, когда изображения реального мира захватываются, реализм AR/VR-графических изображений 26 может быть улучшен. Например, когда пользователь 20 увеличивает масштаб через элемент 84 управления масштабом в AR/VR-окружении 22, система 60 формирования компьютерной графики формирует или обновляет AR/VR-графические изображения 26 на основе оптически увеличенных изображений, захваченных посредством одной или более камер 74 практически в реальном времени, так что AR/VR-графические изображения 26 выглядят более реалистичными (по сравнению с AR/VR-графическими изображениями 26, сформированными на основе цифровым образом увеличенных изображений реального мира). В некоторых вариантах осуществления AR/VR-графические изображения 26 могут также быть сформированы, чтобы побуждать пользователя 20 выбирать некоторые опции игры (например, выбор персонажа, выбор членов команды, выбор инструментов/приспособлений, соответствующих игре в AR/VR-окружении 22) или предоставлять пользователю 20 игровые подсказки (например, подсказки, где разведывать, какие элементы собирать и т.д.). Система 60 формирования компьютерной графики может также формировать и воспроизводить звуковые эффекты через звуковой преобразователь 88, чтобы улучшать ощущение пользователя в AR/VR-окружении 22.

[0033] В одном варианте осуществления система 60 формирования компьютерной графики может формировать AR/VR-окружение 22 на основе информации, относящейся к пользователю 20 (например, переданной через одну или более антенн 82 и/или сохраненной на сервере 64 данных). Например, система 60 формирования компьютерной графики может отображать некоторых персонажей, инструменты/приспособления и/или игровые сценарии в AR/VR-окружении 22 согласно игровой истории пользователя, состоянию игры, статусу членства и т.д. В одном варианте осуществления система 60 формирования компьютерной графики может формировать и воспроизводить AR/VR-графические изображения 26 на основе пользовательского ввода (например, на основе сигналов от элемента 84 управления масштабом и/или нажимных кнопок 86). Например, система 60 формирования компьютерной графики может отображать увеличенные или уменьшенные изображения в AR/VR-окружении 22 согласно степени эффекта масштабирования, примененного пользователем 20 через элемент 84 масштабирования. В одном примере система 60 формирования компьютерной графики может отображать AR/VR-графические изображения 26, чтобы отражать игровые действия, применяемые пользователем 20 через нажимные кнопки 86. Например, AR/VR-графические изображения 26 могут показывать объект, движущийся или захватываемый в ответ на нажимные кнопки 86, применяемые пользователем 20, соответствующие функции движения или захвата. Как может быть понятно, элемент 84 масштабирования и нажимные кнопки 86 могут функционировать как элемент управления игрой или джойстик.

[0034] Чтобы улучшать реализм сформированного окружения, в некоторых вариантах осуществления, система 60 формирования компьютерной графики может формировать AR/VR-графические изображения 26 на основе физического окружения реального мира (например, информации об освещении, обнаруженной посредством одного или более датчиков 78 света, информации, обнаруженной посредством одного или более датчиков 80 присутствия). Например, на основе данных, собранных посредством одного или более датчиков 78 света, система 60 формирования компьютерной графики может определять, что физическое окружение реального мира является темным (например, ночью). В ответ с этим определением система 60 формирования компьютерной графики может уменьшать яркость сформированных AR/VR-графических изображений 26, так что AR/VR-окружение 22 представляется пользователю 20 с подходящей яркостью. Например, на основе данных, собранных посредством одного или более датчиков 78 света, система 60 формирования компьютерной графики может определять, что физическое окружение реального мира является слишком темным. В ответ на это определение система 60 формирования компьютерной графики может увеличивать яркость захватываемых изображений реального мира перед объединением с AR/VR-графическими изображениями 26, так что AR/VR-окружение 22 представляется пользователю 20 с подходящей яркостью. Например, система 60 формирования компьютерной графики может обрабатывать закодированные данные от одного или боле датчиков 80 присутствия и определять, что угол обзора 49 AR/VR-устройства 16 просмотра с фиксированной позицией может быть заблокирован или ограничен (например, заблокирован объектом реального мира, человеком). В ответ на определение, что угол обзора 49 может быть заблокирован или ограничен, система 60 формирования компьютерной графики может временно прекращать использование захваченных изображений реального мира от одной или более камер 74 для формирования AR/VR-графических изображений 26, и вместо этого ранее полученные изображения реального мира от одной или более камер 74 могут быть использованы.

[0035] В некоторых вариантах осуществления, чтобы улучшать реализм сформированного окружения, система 60 формирования компьютерной графики может формировать AR-графические изображения (например, AR/VR-графические изображения 26), включающие в себя цифровые тени реального времени. Система 60 формирования компьютерной графики может формировать цифровые тени реального времени для цифровых объектов и AR-объектов на основе соответствующего угла обзора 49 относительно объектов реального мира и информации об освещении реального мира (например, информации об освещении, обнаруженной посредством одного или более датчиков 78 света, информации, обнаруженной посредством одного или более датчиков 80 присутствия, времени дня и/или дня года, указанного посредством внутренних часов календаря системы 60 формирования компьютерной графики). Например, цифровые тени для здания 28 скотного двора и двух лошадей 30 могут быть сформированы с подходящими формами и яркостью, которые определяются на основе углов падения для источников света реального мира, таких как Солнце и элементы освещения реального мира, и на основе того, блокируется ли свет объектами реального мира или людьми, относительно перспективного угла обзора 49.

[0036] Кроме того, система 60 формирования компьютерной графики может быть соединена с возможностью обмена данными и функционально с одним или более удаленными устройствами 65 просмотра через сеть 62 связи. Одно или более удаленных устройств 65 просмотра могут включать в себя любые подходящие дисплеи (например, компьютеры, видео и/или аудио дисплеи, компьютеры), расположенные внутри или удаленно от парка 10 развлечений. Одно или более удаленных устройств 65 просмотра могут также быть мобильными устройствами (например, мобильными телефонами, смартфонами и планшетами), имеющими прикладной переносимый профиль или APP. Система 60 формирования компьютерной графики может передавать в потоковом режиме сформированные AR/VR-графические изображения 26 и/или звуковые эффекты одному или более удаленным устройствам 65 просмотра, так что пользователи, просматривающие одно или более удаленных устройств 65 просмотра, могут видеть те же AR/VR-графические изображения 26 и/или слышать те же звуковые эффекты, что и пользователь 20 AR/VR-устройства 16 просмотра с фиксированной позицией.

[0037] Кроме того, система 60 формирования компьютерной графики может переключаться между AR-окружением и VR-окружением в AR/VR-окружении 22 на основе задействования пользователем элемента 84 управления масштабом. Фиг. 4 - это схема, иллюстрирующая примерный переход между AR и VR-окружениями, в соответствии с аспектом настоящего изобретения. В иллюстрированном варианте осуществления пользователь 20, просматривающий тематический аттракцион 12 через дисплей 24, может видеть AR/VR-графические изображения 26, включающие в себя только AR-графические изображения 23. Пользователь 20 моет задействовать AR/VR-устройство 16 просмотра с фиксированной позицией (например, через элемент 84 управления масштабом), чтобы увеличивать масштаб одного из AR-элементов 25 (например, лошади), чтобы просматривать детали AR-особенности 25, как указано на этапе 100. Пользователь 20 может увеличивать масштаб дополнительно, как указано на этапах 102 и 104, чтобы просматривать более увеличенные виды AR-элемента 25 более детально. Как может быть понятно, пользователь 20 может задействовать элемент 84 управления масштабом в обратном направлении, чтобы отдаляться от AR-элемента 25. В другом варианте осуществления пользователь 20 может задействовать AR/VR-устройство 16 просмотра с фиксированной позицией (например, через элемент 84 управления масштабом), чтобы увеличивать другой из AR-элементов 27 (например, дверь здания скотного двора), чтобы просматривать увеличенные детали AR-элемента 27, как указано на этапе 106. Пользователь 20 может увеличивать масштаб дополнительно, как указано на этапе 108, чтобы просматривать дополнительно увеличенный вид AR-элемента 27. Когда пользователь 20 продолжает увеличивать масштаб, как указано на этапе 110 (например, изменять масштаб сверх предварительно определенного порогового значения увеличения), система 60 формирования компьютерной графики может формировать VR-графические изображения 29, так что пользовательское восприятие переходит от AR-восприятия к VR-восприятию. Например, на этапе 110, пользовательское восприятие переходит в VR-окружение, и пользователь 20 может наслаждаться VR-графическими изображениями 29, как если бы пользователь 20 был внутри здания скотного двора, окруженным животными скотного двора. Как может быть понятно, пользователь 20 может задействовать элемент 84 управления масштабом в обратном направлении для перехода от VR-восприятия обратно к AR-восприятию, чтобы уменьшать масштаб AR-элемента 27 или уменьшать масштаб каких-либо VR-элементов.

[0038] В одном варианте осуществления система 60 формирования компьютерной графики может быть соединена с возможностью обмена данными и функционально с множеством AR/VR-устройств 16 просмотра с фиксированной позицией, чтобы предоставлять возможность множеству пользователей 20 участвовать в одной и той же игре и/или просматривать действия, применяемые другими пользователями 20. Фиг. 5 - это схема, иллюстрирующая пример такой связности/взаимодействия между множеством AR/VR-устройств 16 просмотра с фиксированной позиции в AR/VR-окружении 22, в соответствии с аспектом настоящего изобретения. В иллюстрированном примере система 60 формирования компьютерной графики соединяется с возможностью обмена данными и функционально с первым AR/VR-устройством 120 просмотра с фиксированной позицией, задействуемым первым пользователем 122, и вторым AR/VR-устройством 124 просмотра с фиксированной позицией, задействуемым вторым пользователем 126. Оба из первого и второго пользователей 122 и 126 могут видеть одинаковые AR/VR-элементы 128, показанные на соответствующих дисплеях 24, но с различных перспектив. Кроме того, оба из первого и второго пользователей 122 и 126 могут видеть действия 129 (например, действия в AR/VR-окружении 22), применяемые одним из первого и второго пользователей 122 и 126, на соответствующих дисплеях 24. В иллюстрированном примере первый пользователь 122 задействует первое AR/VR-устройство 120 просмотра с фиксированной позицией, чтобы выполнять действия 129, такие как наполнение водяного бака 130 для снабжения водой животных 132 скотного двора, как показано в области 134. Например, первый пользователь 122 может регулировать соответствующий угол обзора 49, чтобы наводиться на водный бак 130, использовать элемент 84 управления масштабом, чтобы увеличивать или уменьшать масштаб водяного бака 130, и нажимать одну из нажимных кнопок 86, чтобы начинать заполнение водяного бака 130. Соответственно, второй пользователь 126, с соответствующего дисплея 24, может видеть действие 129 (например, наполнение водяного бака 130), применяемое первым пользователем 122. В одном варианте осуществления система 60 формирования компьютерной графики может определять, что второй пользователь 126 также просматривает область 134 (например, соответствующий угол обзора 49 второго AR/VR-устройства 124 просмотра с фиксированной позицией перекрывает фрагмент области 134), и в ответ на определение система 60 формирования компьютерной графики может отображать одинаковые AR/VR-элементы 128, включающие в себя результаты действий 129, на соответствующих дисплеях 24 первого и второго AR/VR-устройств 120 и 124 просмотра с фиксированной позицией. В другом варианте осуществления система 60 формирования компьютерной графики может определять, что второй пользователь 126 участвует в той же игре, что и первый пользователь 122 (например, второй пользователь 126 может предоставлять указание с помощью пользовательского интерфейса 68, чтобы давать согласие на присоединение к игре с первым пользователем 122) и в ответ на это определение система 60 формирования компьютерной графики может отображать одинаковые AR/VR-элементы 128, включающие в себя результаты действий 129, на соответствующих дисплеях 24 первого и второго AR/VR-устройств 120 и 124 отображения с фиксированной позицией.

[0039] Фи. 6 - это блок-схема последовательности операций процесса, иллюстрирующая вариант осуществления способа 140 создания AR-восприятия, VR-восприятия и/или другого вычислительно-опосредованного восприятия с помощью AR/VR-системы 15. Способ 140 может быть образцом инициированного кода или инструкций, сохраненных на невременном компьютерно-читаемом носителе (например, памяти 92) и исполняемых, например, посредством процессора 90 системы 60 формирования компьютерной графики. Сформированным AR-ощущением, VR-ощущением и/или другим реализованным с помощью компьютера ощущением могут наслаждаться один или более пользователей 20 и/или других гостей, использующих одно или более AR/VR-устройств 16 просмотра с фиксированной позицией и/или одно или более удаленных устройств 65 просмотра. Способ 140 может начинаться с того, что процессор 90 принимает и анализирует (блок 142) данные в реальном времени от датчиков 66 и пользовательского интерфейса 68 каждого из одного или более устройств 16 обзора с фиксированной позицией. Данные реального времени могут включать в себя картинки и/или видеоизображение, захваченные посредством одной или более камер 74, информацию об ориентации и/или позиции и/или угол обзора 49, обнаруженный посредством одного или более датчиков 76 ориентации и позиции, информацию об освещении, обнаруженную посредством одного или боле датчиков 78 света, информацию, указывающую присутствие объектов или пользователя рядом с устройством 16 просмотра с фиксированной позицией, обнаруженную посредством одного или более датчиков 80 присутствия, информацию, указывающую личность пользователя, принятую посредством одной или более антенн 82, и т.д. Данные реального времени могут также включать в себя входные данные (например, инструкционные и/или операционные входные данные), предоставленные пользователем 20 с помощью пользовательского интерфейса 68 через элемент 84 управления масштабом и/или нажимные кнопки 86.

[0040] Способ 140 может затем продолжаться тем, что процессор 90 формирует (блок 144) игровые эффекты. В одном варианте осуществления игровые эффекты могут включать в себя данные AR/VR-изображения и звуковые данные, сформированные на основе принятых и проанализированных данных реального времени. Например, игровые эффекты включают в себя отдельные данные AR/VR-изображения, относящиеся к игровому персонажу, ассоциированному с пользователем 20. Например, игровые эффекты включают в себя некоторые AR/VR-элементы, зависящие от угла обзора 49 AR/VR-устройства 16 обзора, отрегулированного пользователем 20 (например, в зависимости от внимания/интереса просмотра пользователя 20). Например, игровые эффекты могут включать в себя переходы между AR и VR-окружениями в зависимости от эффектов масштабирования, применяемых пользователем 20 (например, увеличение масштаба сверх некоторого порогового значения для перехода от AR-окружения к VR-окружению). В качестве дополнительно примера, игровые эффекты могут включать в себя скоординированные данные AR/VR-изображения для множества AR/VR-устройств 16 просмотра с фиксированной позицией, так что множество пользователей 20 могут совместно использовать одно и то же игровое ощущение. Игровые эффекты могут также включать в себя звуковые данные, соответствующие данным AR/VR-изображения.

[0041] Способ 140 может затем продолжаться тем, что процессор 90 перекрывает (блок 146) или накладывает сформированные игровые эффекты на сформированную визуализацию окружения реального мира. Процессор 90 может формировать поток видеоданных для изображений реального мира (например, физической структуры 14, здания 28 скотного двора, показанного на фиг. 1), и перекрывать или накладывать AR/VR-графические изображения 26 (например, две лошади 30, показанные на фиг. 1) на изображения реального мира с помощью одного или более технических способов объединения видеоизображения и/или оптического объединения. В качестве примера, процессор 90 системы 60 формирования графики может воспроизводить AR/VR-графические изображения 26 согласовано с действием пользователя 20 AR/VR-устройства 16 просмотра с фиксированной позицией, чтобы взглянуть на некоторые отличительные элементы (например, на основе угла обзора 49) или после прохождения предварительно определенного времени. Система 60 формирования графики может выполнять один или более алгоритмов геометрического или фотометрического распознавания по данным видеоизображений или изображений, захваченным через одну или более камер 74, чтобы определять угол обзора 49, и когда вводить AR/VR-графические изображения 26. Система 60 формирования графики может определять, когда вводить AR/VR-графические изображения 26, на основе входных данных, предоставленных пользователем 20 через пользовательский интерфейс 68.

[0042] Способ 140 может затем заканчиваться тем, что процессор 90 передает (блок 148) игровые эффекты (например, наложенные AR/VR-графические изображения 26 вместе с данными окружения реального мира и/или звуковыми эффектами) и отображает (блок 150) на дисплеях 24 соответствующих одного или более AR/VR-устройств 16 просмотра с фиксированной позицией и/или на одном или более удаленных устройствах 65 просмотра.

[0043] В то время как только некоторые отличительные признаки настоящих вариантов осуществления были иллюстрированы и описаны в данном документе, множество модификаций и изменений придут на ум специалистам в области техники. Следовательно, следует понимать, что прилагаемая формула изобретения предназначается, чтобы охватывать все такие модификации и изменения как подпадающие под истинный смысл настоящего изобретения.

Дополнительно, следует понимать, что некоторые элементы описанных вариантов осуществления могут быть объединены или поменяны местами друг с другом.

Реферат

Изобретение относится к области вычислительной техники для формирования смешанной реальности. Технический результат заключается в повышении точности отображения на дисплее устройства просмотра с фиксированной позицией объектов смешанной реальности. Технический результат достигается за счет формирования потокового мультимедиа, включающего в себя графические изображения дополненной реальности, наложенные на визуализацию окружения реального мира, в ответ на определение того, что элемент управления масштабом пользовательского интерфейса масштабирован до первого увеличения; и формирования дополнительного потокового мультимедиа, включающего в себя графические изображения виртуальной реальности, которые заменяют визуализацию окружения реального мира, в ответ на определение того, что элемент управления масштабом пользовательского интерфейса масштабирован до второго увеличения, которое отличается от первого увеличения; передачи, посредством системы формирования компьютерной графики, игровых эффектов, включающих в себя потоковое мультимедиа или упомянутое дополнительное потоковое мультимедиа на устройство просмотра с фиксированной позицией; и отображения, посредством системы формирования компьютерной графики, потокового мультимедиа или упомянутого дополнительного потокового мультимедиа на дисплее устройства просмотра с фиксированной позицией. 3 н. и 17 з.п. ф-лы, 6 ил.

Формула