Система отображения изображения, способ управления системой отображения изображения, система трансляции изображения и закрепляемое на голове устройство отображения - RU2693684C1

Чертежи

Показать все 8 чертежа(ей)

Описание

Область техники

[0001] Настоящее изобретение относится к системе отображения изображения, способу управления системой отображения изображения, системе трансляции изображения и закрепляемому на голове устройству отображения.

Уровень техники

[0002] Традиционно, закрепляемое на голове устройство отображения (head-mounted display, HMD) известно в качестве устройства, которое может встраивать видеоинформацию виртуального мира в видеоинформацию реального мира в реальном времени (например, см. патентный документ 1). Однако несмотря на то, что закрепляемое на голове устройство отображения согласно патентному документу 1 может отображать видеоинформацию виртуального мира, закрепляемое на голове устройство отображения согласно патентному документу 1 не может изменять данную видеоинформацию в соответствии с движением (в частности, движением руки или ноги) пользователя, носящего закрепляемое на голове устройство отображения, или т.п. Таким образом, трудно улучшить ощущение погружения (ощущение присутствия) указанного пользователя.

Уровень техники

Патентный документ

[0003] Патентный документ 1: JP 2015-226110А

Раскрытие сущности изобретения

Проблемы, решаемые посредством изобретения

[0004] Задача согласно настоящему изобретению заключается в обеспечении системы отображения изображения и способа управления системой отображения изображения, которая может управлять видеоинформацией, отображаемой на закрепляемом на голове устройстве отображения, согласно положению и движению пользователя, носящего устройство.

Средство для решения проблем

[0005] Вышеупомянутая задача решается посредством следующих настоящих изобретений.

[0006] (1) Система отображения изображения, содержащая: закрепляемое на голове устройство отображения, имеющее компонент захвата для захвата реального мира и компонент отображения изображения для отображения видеоинформации, полученной посредством объединения видеоинформации реального мира, захваченной компонентом захвата, с видеоинформацией виртуального мира; компонент обнаружения информации о движении для обнаружения движения тела пользователя, носящего закрепляемое на голове устройство отображения, в качестве информации о движении; и компонент обнаружения информации о положении для обнаружения информации о положении указанного пользователя, при этом система отображения изображения выполнена с возможностью управления видеоинформацией виртуального мира на основе информации о движении и информации о положении.

[0007] (2) Система отображения изображения согласно вышеуказанному варианту (1), в которой компонент обнаружения информации о положении выполнен с возможностью получения информации о положении указанного пользователя посредством выполнения распознавания изображения ориентира, размещенного в пространстве, с использованием компонента захвата.

[0008] (3) Система отображения изображения согласно вышеуказанному варианту (1) или (2), в которой компонент обнаружения информации о положении выполнен с возможностью получения трехмерной информации о положении указанного пользователя.

[0009] (4) Система отображения изображения согласно любому из вышеуказанных вариантов (1) - (3), в которой компонент обнаружения информации о движении имеет датчик движения, носимый указанным пользователем.

[0010] (5) Система отображения изображения согласно вышеуказанному варианту (4), в которой датчик движения выполнен с возможностью ношения на руке указанного пользователя.

[0011] (6) Система отображения изображения согласно любому из вышеуказанных вариантов (1) и (5), в которой закрепляемое на голове устройство отображения имеет мобильный терминал, включающий в себя компонент захвата и компонент отображения изображения, и оправу, которая выполнена с возможностью ношения на голове указанного пользователя и к которой прикреплен с возможностью открепления мобильный терминал.

[0012] (7) Система отображения изображения согласно любому из вышеуказанных вариантов (1) - (6), также содержащая: устройство захвата для захвата области, в которой находится указанный пользователь, и устройство отображения изображения для отображения изображения, полученного посредством объединения видеоинформации реального мира, захваченной устройством захвата, с видеоинформацией, полученной посредством просмотра видеоинформации виртуального мира, отображаемой на закрепляемом на голове устройстве отображения, из точки просмотра устройства захвата.

[0013] (8) Способ управления системой отображения изображения, содержащей: закрепляемое на голове устройство отображения, имеющее компонент захвата для захвата реального мира и компонент отображения изображения для отображения видеоинформации, полученной посредством объединения видеоинформации реального мира, захваченной компонентом захвата, с видеоинформацией виртуального мира, компонент обнаружения информации о движении для обнаружения движения тела пользователя, носящего закрепляемое на голове устройство отображения, в качестве информации о движении и компонент обнаружения информации о положении для обнаружения информации о положении указанного пользователя, при этом способ включает этапы, на которых: управляют видеоинформацией виртуального мира на основе информации о движении и информации о положении.

[0014] (9) Способ управления системой отображения изображения согласно вышеуказанному варианту (8), при этом система отображения изображения также имеет: устройство захвата для захвата области, в которой находится указанный пользователь, и устройство отображения изображения для отображения видеоинформации, при этом система отображения изображения предоставляет возможность устройству отображения изображения отображать изображение, полученное посредством объединения видеоинформации реального мира, захваченной устройством захвата, с видеоинформацией, полученной посредством просмотра видеоинформации виртуального мира, отображаемой на закрепляемом на голове устройстве отображения, из точки просмотра устройства захвата.

[0015] (10) Система трансляции изображения, содержащая: закрепляемое на голове устройство отображения, имеющее компонент захвата для захвата реального мира и компонент отображения изображения для отображения видеоинформации, полученной посредством объединения видеоинформации реального мира, захваченной компонентом захвата, с видеоинформацией виртуального мира; компонент обнаружения информации о движении для обнаружения движения тела пользователя, носящего закрепляемое на голове устройство отображения, в качестве информации о движении; компонент обнаружения информации о положении для обнаружения информации о положении указанного пользователя; и устройство захвата для захвата области, в которой находится указанный пользователь, при этом система трансляции изображения выполнена с возможностью управления видеоинформацией виртуального мира на основе информации о движении и информации о положении, и выполнена с возможностью трансляции информации об изображении, полученной посредством объединения видеоинформации реального мира, захваченной устройством захвата, с видеоинформацией, полученной посредством просмотра видеоинформации виртуального мира, отображаемой на закрепляемом на голове устройстве отображения, из точки просмотра устройства захвата.

[0016] (11) Закрепляемое на голове устройство отображения, содержащее: мобильный терминал, включающий в себя компонент отображения изображения; и оправу для удерживания с возможностью открепления мобильного терминала, при этом оправа имеет: удерживающий участок для удерживания с возможностью открепления мобильного терминала в положении перед глазами пользователя, в положении, в котором компонент отображения изображения направлен в сторону глаз указанного пользователя в состоянии ношения, при котором закрепляемое на голове устройство отображения надето на указанного пользователя, и оконные участки, через которые указанный пользователь может видеть реальный мир, при этом оконные участки соответственно выполнены по меньшей мере со стороны ног казанного пользователя в пространстве, расположенном между его глазами и мобильным терминалом, прикрепленным к удерживающему участку, и на боковой стороне по отношению к носящему в пространстве в состоянии ношения.

Результаты изобретения

[0017] Согласно настоящему изобретению, поскольку видеоинформацией виртуального мира, отображаемой на закрепляемом на голове устройстве отображения, можно управлять согласно положению и движению пользователя, то возможно улучшить удобство. Дополнительно, также возможно транслировать виртуальное видео, которое пользователь наблюдает в качестве видео, просматриваемого на третьей стороне, и таким образом третья сторона может также наблюдать виртуальное видео совместно. Кроме того, также возможно предоставить закрепляемое на голове устройство отображения, которое может обеспечить более высокую безопасность.

Краткое описание чертежей

[0018] [Фиг. 1] На Фиг. 1 показана схема размещения, изображающая первый вариант осуществления игровой системы, в которой применяются система отображения изображения и способ управления системой отображения изображения согласно настоящему изобретению.

[Фиг. 2] На Фиг. 2 показан вид, на котором изображен один пример зоны просмотра дополненной реальности (AR), отображаемой на закрепляемом на голове устройстве отображения.

[Фиг. 3] На Фиг. 3 показан вид, на котором изображен другой пример зоны просмотра дополненной реальности (AR), отображаемой на закрепляемом на голове устройстве отображения.

[Фиг. 4] На Фиг. 4 показан вид, на котором изображены измененные примеры размещения ориентира.

[Фиг. 5] На Фиг. 5 показан вид в перспективе, на котором изображено закрепляемое на голове устройство отображения.

[Фиг. 6] На Фиг. 6 показан вид, на котором изображен один пример изображения, отображаемого на экране мобильного терминала закрепляемого на голове устройства отображения.

[Фиг. 7] На Фиг. 7 показана блок-схема игровой системы, изображенной на фиг.1.

[Фиг. 8] На Фиг. 8 показана схема размещения, изображающая второй вариант осуществления игровой системы, в которой применяются система отображения изображения и способ управления системой отображения изображения согласно настоящему изобретению.

[Фиг. 9] На Фиг. 9 показана блок-схема игровой системы, изображенной на фиг.8.

Осуществление изобретения

[0019] В дальнейшем подробное описание для системы отображения изображения и способа управления системой отображения изображения согласно настоящему изобретению будет приведено на основе предпочтительных вариантов осуществления, изображенных на сопроводительных чертежах.

[0020]<Первый вариант осуществления>

Сначала будет приведено описание системы отображения изображения и способа управления системой отображения изображения согласно первому варианту осуществления настоящего изобретения.

[0021]<Первый вариант осуществления>

На Фиг. 1 показана схема размещения, изображающая первый вариант осуществления игровой системы, в которой применяются система отображения изображения и способ управления системой отображения изображения согласно настоящему изобретению. На каждой из Фиг. 2 и 3 показан вид, изображающий один пример зоны просмотра дополненной реальности (AR), отображаемой на закрепляемом на голове устройстве отображения. На Фиг. 4 показан вид, на котором изображены измененные примеры размещения ориентира. На Фиг. 5 показан вид в перспективе, на котором изображено закрепляемое на голове устройство отображения. На Фиг. 6 показан вид, на котором изображен один пример изображения, отображаемого на экране мобильного терминала закрепляемого на голове устройства отображения. На Фиг. 7 показана блок-схема игровой системы, изображенной на фиг.1. В этом отношении в иллюстративных целях графическое представление для реального мира на каждой из Фиг. 2, 3 и 6 опущено.

[0022] Как показано на фиг. 1, игровая система 100, в которой применяются система отображения изображения и способ управления системой отображения изображения согласно настоящему изобретению, главным образом, имеет ориентир 200, размещенный в зоне F, закрепляемое на голове устройство 300 отображения и датчик 400 движения (компонент обнаружения информации о движении), которые надеты на игрока (пользователя) Р, камеру (устройство захвата) 500 для захвата игрока Р, дисплей (устройство отображения изображения) 600 для отображения видео, захватываемого камерой 500, и сервер 700.

[0023] В игровой системе 100, как описано выше, видео, полученное посредством объединения видеоинформации реального мира с видеоинформацией виртуального мира, отображается на закрепляемом на голове устройстве 300 отображения, и видеоинформация виртуального мира изменяется согласно положению (информации о положении) и движению (информации о движении) игрока Р. А именно, игровая система 100 выполнена с возможностью управления видеоинформацией виртуального мира на основе положения и движения игрока Р. Таким образом, согласно игровой системе 100, возможно предоставить игроку Р реагирующую на тело дополненную реальность (Augmented Reality, AR).

[0024] Далее будет приведено описание одного примера игры, выполняемой посредством использования игровой системы 100. Данная игра является игрой по типу сражения для сражения с монстром М. Как показано в зоне просмотра дополненной реальности (изображении, просматриваемом игроком Р), изображенной на фиг. 2, монстр М (видеоинформация виртуального мира), созданный в компьютерной графике, появляется перед глазами игрока Р, на которого надето закрепляемое на голове устройство 300 отображения (а именно, монстр М появляется в видеоинформации реального мира, просматриваемой игроком Р). Игрок Р может двигать своим собственным телом для задействования команд (инструкций), соответствующих его/ее движению. Затем, игрок Р может использовать команды для сражения с монстром М, и игрок Р может выиграть сражение с монстром М, когда очки жизни монстра уменьшаются до нуля. Дополнительно, как показано в зоне просмотра дополненной реальности (AR), изображенной на Фиг. 3, изображения битвы игрока Р и монстра М, изображения очков жизни игрока Р и монстра М и им подобные визуализируются посредством компьютерной графики в течение сражения. Это позволяет обеспечивать ощущение присутствия в сражении с монстром М. В этом отношении, команды не ограничены приведенными подробностями. В зависимости от игрового содержимого примеры команд включают в себя команду для атаки (атака с использованием специальных навыков, атака с использованием магии и т.п.), команду для защиты (защита, уклонение, магия заживления и т.п.) и команду для изменения оружия.

[0025] Дополнительно, сражение между игроком Р и монстром М визуализируются в качестве видео, просматриваемого из точки просмотра камеры 500 посредством использования камеры 500, и данное созданное видео отображается на дисплее 600, как показано на фиг. 1. Таким образом, люди (аудитория), кроме игрока Р, могут также смотреть сражение между игроком Р и монстром М. Это позволяет улучшить ощущение близости между игроком Р и аудиторией. В этом отношении, видео, отображаемое на дисплее 600, может быть транслировано в удаленные местоположения через Интернет.

[0026] В дальнейшем, последовательно описана каждая составляющая, содержащаяся в игровой системе 100. [Сервер]

Сервер 700 является игровым движком для игровой системы 100 и имеет функцию выполнения игрового содержимого игровой системы 100. Кроме того, сервер 700 соединен с закрепляемым на голове устройством 300 отображения и камерой 500, и таким образом информация может быть передана и принята между ними. В этом отношении, несмотря на то, что способ соединения с сервером 700 может быть проводным соединением или беспроводным соединением, закрепляемое на голове устройство 300 отображения и камера 500 соединены с сервером 700 через Wi-Fi (зарегистрированный товарный знак) в данном варианте осуществления.

[0027] В этом отношении, несмотря на то, что сервер 700 является так называемым «физическим сервером», расположенным около зоны F в данном варианте осуществления, сервер 700 может быть так называемым «виртуальным сервером», представленным сервером в облаке (сервер в сети).

[0028] [Ориентир]

Ориентир 200 расположен на краю зоны F, как показано на фиг. 1, и выполнен на одной по существу на вертикальной плоскости (например, поверхности стены помещения, перегородке, размещенной в помещении и т.п.). Данный ориентир 200 имеет предварительно определенную текстуру. Посредством выполнения распознавания изображения данной текстуры с помощью камеры 312, выполненной в закрепляемом на голове устройстве 300 отображения, возможно получить трехмерную информацию о положении (информацию о положении и ориентации) закрепляемого на голове устройства 300 отображения (игрока Р).

[0029] В этом отношении, текстура, размещение и т.п. ориентира 200 не ограничены приведенными подробностями, пока распознавание изображения ориентира 200 может выполняться посредством использования камеры 312 закрепляемого на голове устройства 300 отображения. Текстура, размещение и т.п. ориентира 200 могут быть соответственно выбраны в зависимости от предназначенного использования. Например, как показано на фиг.4, ориентир 200 может быть размещен на поверхности пола или размещен так, чтобы пересекать две или более поверхностей (поверхность стены, поверхность пола и поверхность потолка), имеющих различные ориентации. Дополнительно, ориентир 200 может быть трехмерным ориентиром, использующим твердые объекты, такие как структура и орнамент. Кроме того, например в случае игры в данную игру в помещении непосредственно форма помещения (в частности, различимый участок, такой как структура, содержащая колонну и окно и компоненты интерьера, содержащие окрашивание и освещение, над которыми может быть легко выполнено распознавание изображения) может быть использована в качестве ориентира 200. В данном случае, форма помещения сканируется заранее, и эти данные сканирования могут использоваться в качестве ориентира. Таким образом, данный случай имеет преимущество в том, что отсутствует необходимость в специальном изготовлении ориентира.

[0030] [Датчик движения]

Датчик 400 движения выполнен с возможностью ношения на руке игрока Р для обнаружения движения руки. Датчик 410 ускорения для обнаружения ускорения и датчик 420 угловой скорости для обнаружения угловой скорости встроены в датчик 400 движения, описанный выше. Сигналы обнаружения (информация о движении) от датчика 410 ускорения и датчика 420 угловой скорости передаются в закрепляемое на голове устройство 300 отображения. Несмотря на то, что способ соединения между датчиком 400 движения и закрепляемым на голове устройством 300 отображения может быть проводным способом или беспроводным способом, датчик 400 движения соединен с закрепляемым на голове устройством 300 отображения через Bluetooth (зарегистрированный товарный знак) в данном варианте осуществления.

[0031] В этом отношении, конфигурация датчика 400 движения не ограничена приведенными подробностями, пока она может обнаруживать движение руки. Например, датчик 400 движения может также иметь датчик напряжения мышцы, который может обнаруживать напряжение мышцы, и использовать данный датчик напряжения мышцы для обнаружения того, плотно ли сжата кисть игрока Р, или обнаружения движения пальцев (например, камень, ножницы и бумага) и движения запястья (сгибание и вытягивание запястья, вращение запястья). Если движение пальцев может быть обнаружено, как описано выше, то возможно подготовить большее количество различных команд в отличие от вышеупомянутых команд, и таким образом возможно осуществлять сражение более точным образом. Дополнительно, несмотря на то, что датчик 400 движения надет на руку в данном варианте осуществления, часть для ношения датчика 400 движения не ограничена рукой. Например, часть для ношения может быть ногой, телом, головой и т.п. Кроме того, например, датчики 400 движения могут быть соответственно надеты на обе руки и ноги для каждого обнаружения движения рук и ног. Дополнительно, датчик 400 движения может не носиться на теле игрока Р. Например датчик 400 движения может быть встроен в инструмент (например, инструмент типа меча и инструмент типа лука в качестве имитации оружия), который держит игрок Р, приспособлением, прикрепленным к игроку Р, или чем-либо им подобным.

[0032] Дополнительно, несмотря на то, что датчик движения используется в качестве компонента обнаружения информации о движении в данном варианте осуществления, компонент обнаружения информации о движении не ограничен датчиком движения, пока он может обнаруживать движение игрока Р. Например компонент обнаружения информации о движении может иметь конфигурацию для обнаружения движения игрока Р с распознаванием изображения с использованием камеры. Дополнительно, он может иметь конфигурацию, в которой инфракрасный датчик глубины используется в качестве компонента обнаружения информации о движении, и информация о расстоянии от этого инфракрасного датчика глубины используется для распознавания игрока Р с целью обнаружения движения тела игрока Р.

[0033] [Закрепляемое на голове устройство отображения] Как показано на фиг. 5, закрепляемое на голове устройство 300 отображения имеет мобильный терминал 310 и оправу 320, к которой может быть прикреплен с возможностью открепления мобильный терминал 310.

[0034] Мобильный терминал 310 имеет экран (компонент отображения изображения) 311, выполненный на одной своей поверхности (передней поверхности), и камеру 312 (компонент 312 захвата), выполненную на другой своей поверхности (задней поверхности), для захвата реального мира со стороны напротив экрана 311. Несмотря на то, что мобильный терминал 310, как описано выше, не ограничен приведенными подробностями, в качестве мобильного терминала 310 могут использоваться, например смартфон, планшетный терминал и т.п. Дополнительно, смартфон или т.п., принадлежащее игроку Р, может использоваться в качестве мобильного терминала 310. Таким образом, возможно улучшить удобство закрепляемого на голове устройства 300 отображения.

[0035] С другой стороны, оправа 320 имеет основной корпус 330 оправы и ремешок 340 для фиксации основного корпуса 330 оправы на голове игрока Р. Дополнительно, основной корпус 330 оправы имеет коробчатую форму, покрывающую глаза игрока Р. В состоянии, при котором закрепляемое на голове устройство 300 отображения надето на голову, основной корпус 330 оправы имеет передний участок 331, расположенный перед глазами игрока Р, верхний участок 332, расположенный на верхней стороне, нижний участок 333, расположенный на нижней стороне (со стороны ног игрока Р по отношению к пространству S, расположенному между мобильным терминалом 310 и глазами игрока Р), боковые участки 334, 335, расположенные на боковых сторонах (левая и правая стороны от игрока Р по отношению к пространству S) и участок 336 с линзами, расположенный между глазами и передним участком 331 (в пространстве S). Дополнительно, ударопоглощающий участок 337, изготовленный из губки или чего-либо ей подобного, выполнен на участке основного корпуса 330 оправы, соприкасающимся с головой.

[0036] Дополнительно, участок 350 с щелью (удерживающий участок), к которому мобильный терминал 310 прикрепляется, и запирающий механизм 360 для фиксации мобильного терминала 310 в участке 350 с щелью выполнены на переднем участке 331.

[0037] Участок 350 с щелью может держать с возможностью открепления мобильный терминал 310. Участок 350 с щелью, как описано выше, имеет щелевое отверстие 351, выполненное на боковой стороне переднего участка 331. Мобильный терминал 310 может быть вставлен в участок 350 с щелью через данное щелевое отверстие 351. Дополнительно, оконный участок 352 для обеспечения возможности захвата камеры 312 выполнен в участке 350 с щелью. Оконный участок 352 данного варианта осуществления состоит из апертуры. Мобильный терминал 310 прикреплен к участку 350 с щелью, как описано выше, в состоянии, при котором экран 311 направлен в сторону глаз игрока Р, и камера 312 направлена в сторону перед игроком Р.

[0038] С другой стороны, запирающий механизм 360 может открывать и закрывать щелевое отверстие 351 посредством шарнирного движения запирающей пластины 361. Вставка мобильного терминала 310 в участок 350 с щелью обеспечивается посредством открывания щелевого отверстия 351, и мобильный терминал 310 может быть зафиксирован в участке 350 с щелью посредством закрывания щелевого отверстия 351. Дополнительно, посредством введения в зацепление паза 361а, выполненного на запирающей пластине 361, с винтом 362, выполненным на боковом участке 335, и закручивания винта 362 возможно поддерживать состояние, при котором щелевое отверстие 351 закрыто.

[0039] Дополнительно, верхний участок 332 по существу не пропускает свет и таким образом служит козырьком для загораживания внешнего света (в частности, солнечного света и света с потолочного освещения). Посредством выполнения верхнего участка 332, как описано выше, становится легче видеть изображение, отображаемое на экране 311 мобильного терминала 310. С другой стороны, каждый из нижнего участка 333 и боковых участков 334, 335 имеет оконный участок, через который может проходить свет. С помощью данной конфигурации игрок Р, который может видеть (просматривать) внешний мир (реальный мир) с нижней стороны и боковых сторон основного корпуса 330 оправы через оконные участки даже в состоянии ношения. Таким образом, повышается уровень безопасности в состоянии ношения. В этом отношении, оконный участок нижнего участка 333 составлен по существу из бесцветного и прозрачного пластинчатого элемента 333а, и окна боковых участков 334, 335 соответственно составлены из апертур (сквозных отверстий) 334а, 335а в данном варианте осуществления. Однако конфигурации оконных участков не ограничены приведенными подробностями. Например, все оконные участки нижнего участка 333 и боковых участков 334, 335 могут быть соответственно составлены из апертур или составлены из бесцветных и прозрачных пластинчатых элементов. Дополнительно, зеркальный элемент (элемент, который считается зеркалом с яркой стороны (внешней стороны) и считается прозрачным элементом, через который внешняя сторона может быть видна с темной стороны (стороны игрока Р)), может использоваться вместо бесцветного и прозрачного пластинчатого элемента.

[0040] Дополнительно, участок 336 с линзами имеет линзу 336L для левого глаза игрока Р и линзу 336R для правого глаза игрока Р. С помощью участка 336 с линзами, как описано выше, возможно увеличить экран 311 мобильного терминала 310 и отображать увеличенный экран 311.

[0041] В закрепляемом на голове устройстве 300 отображения, как описано выше, видеоинформация реального мира, захваченная камерой 312, отображается на экране 311, и игрок Р может видеть реальный мир, простирающийся перед игроком Р, через видео, отображаемое на экране 311. Дополнительно, видеоинформация виртуального мира (вышеописанный монстр М и команды) объединяются с вышеупомянутой видеоинформацией реального мира в реальном времени, и данная объединенная видеоинформация отображается на экране 311. При данной конфигурации возможно реализовать дополненную реальность (AR) с помощью закрепляемого на голове устройства 300 отображения.

[0042] В данном варианте осуществления экран 311 разделен на область 311L изображения для левого глаза и область 311R изображения для правого глаза, как показано на Фиг. 6, и одно и то же изображение, не имеющее рассогласования, отображается в этих областях 311L, 311R изображения для предоставления игроку Р видео в качестве изображения двухмерного плоского видения. Однако, например, видеоизображение виртуального мира может быть предоставлено в качестве изображения трехмерного стереоскопического видения посредством отображения стереоизображения, имеющего рассогласование в областях 311L, 311R изображения. Кроме того, например, в случае, при котором мобильный терминал 310 может создавать псевдо изображение трехмерного стереоскопического видения из видеоинформации от камеры 312, или в случае, при котором камера 312 состоит из стереокамеры и может предоставлять изображение трехмерного стереоскопического видения, видеоинформация реального мира может быть также предоставлена в качестве изображения трехмерного стереоскопического видения посредством отображения видеоинформации реального мира в качестве стереоизображения.

[0043] В данном случае, как показано на фиг. 7, мобильный терминал 310 имеет компонент 313 определения движения, компонент 314 определения положения (компонент обнаружения информации о положении) и компонент 315 создания видеоинформации.

[0044] Компонент 313 определения движения принимает сигнал обнаружения (информацию о движении) от датчика 400 движения и обнаруживает движение руки игрока Р исходя из принятого сигнала обнаружения. Дополнительно, компонент 313 определения движения определяет, совпадает ли или нет обнаруженное движение руки с предварительно зарегистрированным движением руки, и выбирает команду (инструкцию), соответствующую данному движению руки, если движение совпадает с зарегистрированным движением. Множество команд регистрируется в компоненте 313 определения движения. Например, движение, при котором руки скрещиваются перед лицом, соответствует «защите», движение, при котором рука быстро движется к передней стороне, соответствует «атаке», движение, при котором рукой быстро взмахивают, соответствует «смене оружия» и т.п. В случае, при котором движение руки, обнаруженное компонентом 313 определения движения, совпадает с зарегистрированной командой «защиты», компонент 313 определения движения выбирает «защиту».

[0045] Компонент 314 определения положения выполняет распознавание изображения ориентира 200 посредством использования камеры 312 для получения позиционной координаты камеры 312, которая основана на ориентире 200 в качестве опорной точки. В частности, данные изображения ориентира 200 регистрируются в мобильном терминале 310 заранее. Компонент 314 определения положения сравнивает зарегистрированные данные изображения и изображение ориентира 200, захваченное камерой 312 (исходя из размера, ориентации и т.п.), для вычисления информации о положении игрока Р (камеры 312) с использованием положения ориентира в качестве точки отсчета. С помощью данной конфигурации может быть получена трехмерная информация о положении игрока Р. В данном случае, так как ориентир 200, зарегистрированный в мобильном терминале 310 заранее, устанавливается так, чтобы иметь размер и положение, которые реалистичны по отношению к информации о зоне (положению, форме, размеру и т.п. зоны F), то возможно более точно получать информацию о положении игрока Р (камеры 312). Дополнительно, компонент 314 определения положения выполняет определение в отношении положения излучения навыка (магии) и определение в отношении столкновения навыка (определение, достигнет ли навык врага игрока Р) в реальном времени на основе информации о положении игрока Р. Кроме того, компонент 314 определения положения предоставляет возможность виртуальному объекту, соответствующему игроку Р, следовать за игроком Р, и использует данный виртуальный объект для выполнения определения в отношении столкновения между навыком и игроком Р. Таким образом, возможно выполнять определение в отношении столкновения с более высокой достоверностью. В этом смысле, виртуальный объект устанавливается бесцветным и прозрачным, и таким образом игрок Р не может видеть виртуальный объект на экране 311.

[0046] В этом отношении, компонент 314 определения положения может иметь любую конфигурацию, пока он может получать по меньшей мере двумерную позиционную координату игрока Р.

[0047] Компонент 315 создания видеоинформации создает видеоинформацию виртуального мира (монстра М, навык, магию и т.п.), которая должна быть отображена на экране 311, на основе игровой информации, принятой от сервера 700, результата определения компонента 313 определения движения и информации о положении, полученной компонентом 314 определения положения, и объединяет созданную видеоинформацию с видеоинформацией реального мира в реальном времени для отображения данной объединенной видеоинформации на экране 311.

[0048] Дополнительно, видео, отображаемое на экране, хранится в мобильном терминале 310 и на сервере 700, и таким образом игрок Р может проверить видео после игры в игру. Кроме того, видео может быть отображено на дисплее 600 в реальном времени или транслировано удаленным пользователям (удаленным мобильным терминалам, удаленным персональным компьютерам и т.п.) с сервера 700 через Интернет. В этом отношении, предпочтительно, чтобы данное видео соответственно изменялось для дисплея 600 и пользователей. Например, так как отсутствует необходимость в разделении видео для дисплея 600 на два экрана для отображения видео на дисплее 600, то предпочтительно, чтобы видео для дисплея 600 изменялось в изображение двухмерного плоского видения или изображение трехмерного стереоскопического видения, отображаемое на одном экране.

[0049] До сих пор, несмотря на то, что было описано закрепляемое на голове устройство 300 отображения, конфигурация закрепляемого на голове устройства 300 отображения не ограничена приведенными подробностями, пока она имеет вышеописанные функции. Например, несмотря на то, что каждый из верхнего участка 332, нижнего участка 333 и боковых участков 334, 335 основного корпуса 330 оправы имеет плоскую пластинчатую форму, и они ортогонально соединены друг с другом, каждый из этих участков может быть изогнут и соединен с другими для образования овальной формы в целом. Дополнительно, соединительные участки (угловые участки) верхнего участка 332, нижнего участка 333 и боковых участков 334, 335 могут быть закруглены, чтобы иметь изогнутую форму. Кроме того, например, несмотря на то, что закрепляемое на голове устройство 300 отображения имеет конфигурацию, в которой мобильный терминал 310 используется в данном варианте осуществления, закрепляемое на голове устройство 300 отображения может иметь конфигурацию, в которой не используется мобильный терминал. А именно, закрепляемое на голове устройство отображения оптически передающего типа или видео передающего типа, в котором основной корпус 330 оправы имеет функцию отображения изображения, может использоваться в качестве закрепляемого на голове устройства 300 отображения.

[0050][Камера]

Камера 500 фиксированно размещена снаружи зоны F для того, чтобы захватывать всю область зоны F. Дополнительно, камера 500 создает видеоинформацию, просматриваемую из точки просмотра камеры 500, посредством изменения видеоинформации виртуального мира, отображаемой на закрепляемом на голове устройстве 300 отображения (которая является информацией о виртуальном мире, которую воспринимает игрок Р), на основе различной информации, такой как информация о положении игрока Р, переданной от сервера 700, и разновидности команд (атака, защита и т.п.), выбранных игроком Р. Затем, созданная видеоинформация объединяется с видеоинформацией реального мира, захватываемой камерой 500, в реальном времени для создания видео для аудитории и данное видео для аудитории отображается на дисплее 600.

[0051] В этом отношении, видео для аудитории, созданное как описано выше, хранится на сервере 700, и игрок Р может проверить видео для аудитории после игры в игру. Дополнительно, видео для аудитории может быть транслировано на удаленные терминалы (удаленным пользователям) с сервера 700 через Интернет. Таким образом, возможно смотреть игру игрока Р даже в удаленных местоположениях для совместного восприятия игры.

[0052] Камера 500, как описано выше, не ограничена приведенными подробностями. Например, мобильный терминал (такой как смартфон и планшетный терминал), имеющий функцию камеры, используется в качестве камеры 500. Посредством использования такого мобильного терминала, возможно создавать видеоинформацию виртуального мира в мобильном терминале тем же самым образом как и в вышеописанном мобильном терминале 310 и легко осуществлять связь с сервером 700, тем самым упрощая конфигурацию системы. Дополнительно, цифровая фотокамера, цифровая видеокамера и т.п.(в дальнейшем упоминаемая в качестве «цифровой камеры») может использоваться в качестве камеры 500, например. В данном случае, цифровая камера соединена с персональным компьютером, и создание видеоинформации виртуального мира и связь с сервером 700, как описано выше, осуществляются персональным компьютером. Посредством использования цифровой камеры, возможно улучшить качество изображения, так как существует случай, при котором по сравнению с мобильным терминалом может быть выполнен захват с более высоким разрешением и большим количеством кадров.

[0053] В этом отношении, несмотря на то, что камера 500 размещена вне зоны F в данном варианте осуществления, размещение камеры 500 этим не ограничено. Например, камера 500 может быть размещена в зоне F, или камера 500 может быть размещена выше зоны F (верхнее пространство по отношению к зоне F) посредством подвешивания камеры 500 на потолке, например. Дополнительно, несмотря на то, что камера 500 фиксируется в данном варианте осуществления, камера 500 может быть размещена так, чтобы камера 500 могла двигаться. Посредством размещения камеры 500 так, чтобы камера 500 могла двигаться, возможно захватывать видео вслед за движением игрока Р, тем самым еще больше улучшая ощущение присутствия в видео, отображаемом на дисплее 600.

[0054] [Дисплей]

Дисплей 600 является дисплеем для аудитории (людей кроме игрока Р) и размещен около зоны F, например. Как описано выше, видео для аудитории (видео, полученное посредством объединения видеоинформации реального мира, захваченной камерой 500, с видеоинформацией из точки просмотра камеры 500, созданной посредством изменения видеоинформации виртуального мира, отображаемой на закрепляемом на голове устройстве 300 отображения) отображается на данном дисплее 600. Посредством размещения дисплея 600, как описано выше, аудитория может также воспринимать дополненную реальность (AR), которую воспринимает игрок Р, тем самым улучшая ощущение присутствия в игре.

[0055] В этом отношении, несмотря на то, что изображение, отображаемое на дисплее 600, может быть изображением двухмерного плоского видения или изображением трехмерного стереоскопического видения, в данном варианте осуществления изображение двухмерного плоского видения отображается на дисплее 600.

[0056] Дополнительно, дисплей 600 не ограничен приведенными подробностями, пока он может отображать изображение. Например, дисплей 600 может иметь конфигурацию, при которой изображение проецируется на экран или поверхность стены посредством проектора. Дополнительно, мобильный терминал (смартфон, планшетный терминал и т.п.) каждого в аудитории может использоваться в качестве дисплея 600. В данном случае, видео транслируется на мобильный терминал каждого в аудитории с сервера 700.

[0057] До сих пор была описана игровая система 100. В этом отношении, несмотря на то, что в данном варианте осуществления был описан случай, в котором один игрок Р играет в игру, количество игроков Р, в частности, не ограничено одним. Количество игроков Р может быть два или более, и эти два или более игроков Р могут сражаться с монстром М совместно друг с другом. В данном случае, закрепляемое на голове устройство 300 отображения (мобильный терминал 310), надетое на каждого игрока Р, выполнено с возможностью приема различной информации (информации о положении, информации о движении и т.п.) других игроков Р. В дополнение к монстру М и командам, выбираемым самостоятельно каждым игроком Р, команды, выбранные другими игроками Р, также отображаются на закрепляемом на голове устройстве 300 отображения, надетом на каждого игрока Р, в качестве видео.

[0058]<Второй вариант осуществления>

Затем, будет приведено описание системы отображения изображения и способа управления системой отображения изображения согласно второму варианту осуществления настоящего изобретения.

[0059]<Второй вариант осуществления>

На Фиг. 8 показана схема размещения, изображающая второй вариант осуществления игровой системы, в которой применяются система отображения изображения и способ управления системой отображения изображения согласно настоящему изобретению. На Фиг. 9 показана блок-схема игровой системы, изображенной на Фиг. 8.

[0060]<Второй вариант осуществления>

В дальнейшем будут описаны система отображения изображения и способ управления системой отображения изображения согласно второму варианту осуществления настоящего изобретения с подчеркиванием особенностей, отличающихся от вышеописанного варианта осуществления, с пропуском одних и тех элементов из описания.

[0061] Система отображения изображения и способ управления системой отображения изображения согласно второму варианту осуществления имеют те же самые конфигурации что и те из вышеописанного первого варианта осуществления за исключением того, что игровое содержимое изменено. В этом отношении, те же ссылочные позиции добавлены к тем же составляющим из вышеописанного варианта осуществления.

[0062] Как показано на Фиг. 8 и 9, игровая система 100 данного варианта осуществления, главным образом, имеет пару ориентиров 200А, 200В, размещенных в зоне F, закрепляемое на голове устройство 300А отображения и датчик 400А движения, надетые на первого игрока Р1, закрепляемое на голове устройство 300В отображения и датчик 400В движения, надетые на второго игрока Р2, камеру 500 для захвата первого игрока Р1 и второго игрока Р2, дисплей 600 для отображения видео, захваченного камерой 500, и сервер 700.

[0063] Игра, выполняемая посредством использования игровой системы 100 данного варианта осуществления, является игрой по типу сражения, в которой первый игрок Р1 и второй игрок Р2 сражаются друг с другом. Первый игрок Р1 и второй игрок Р2 располагаются обращенными лицом друг к другу, и каждый игрок P1, Р2 двигает своим телом, чтобы атаковать противника или защищаться от атаки противника в сражении. Команды, задействуемые каждым игроком P1, Р2, визуализируются посредством компьютерной графики и отображаются на закрепляемых на головах устройствах 300А, 300В отображения, соответственно надетых на игроков P1, Р2. Дополнительно, сражение между первым игроком Р1 и вторым игроком Р2 визуализируется камерой 500, и данное видео отображается на дисплее 600.

[0064] [Ориентиры]

Ориентиры 200А, 200В соответственно размещаются на обоих концах зоны F так, чтобы быть обращенными друг к другу. Дополнительно, ориентир 200А выполнен на передней стороне первого игрока Р1 (задней стороне второго игрока Р2) и используется в качестве ориентира для получения информации о положении первого игрока Р1. С другой стороны, ориентир 200В выполнен на передней стороне второго игрока Р2 (задней стороне первого игрока Р1) и используется в качестве ориентира для получения информации о положении второго игрока Р2. В этом отношении, каждый из ориентиров 200А, 200В имеет одну и ту же конфигурацию что и ориентир 200, изложенный в вышеописанном первом варианте осуществления. Дополнительно, размещения ориентиров 200А, 200В не ограничены вышеописанными размещениями, пока они могут соответственно получать информацию о положении первого игрока Р1 и второго игрока Р2 (например, см. Фиг. 4).

[0065] [Датчики движения]

Датчик 400А движения надет на руку первого игрока Р1, и сигнал обнаружения датчика 400А движения передается в закрепляемое на голове устройство 300А отображения, надетое на первого игрока Р1. Дополнительно, датчик 400В движения надет на руку второго игрока Р2, и сигнал обнаружения датчика 400В движения передается в закрепляемое на голове устройство 300В отображения, надетое на второго игрока Р2. В этом отношении, каждый из датчиков 400А, 400В движения имеет одну и ту же конфигурацию что и датчик 400 движения, изложенный в вышеописанном первом варианте осуществления.

[0066] [Закрепляемые на головах устройства отображения] Закрепляемое на голове устройство 300А отображения выполняет распознавание изображения ориентира 200А, чтобы получить информацию о положении первого игрока Р1. Дополнительно, закрепляемое на голове устройство 300А отображения обнаруживает движение руки первого игрока Р1 на основе сигнала обнаружения от датчика 400А движения и выбирает команды, соответствующие обнаруженному движению руки. Затем, закрепляемое на голове устройство 300А отображения создает видеоинформацию виртуального мира на основе информации о положении первого игрока Р1, команд, выбранных первым игроком Р1, и различной информации (игровой информации, информации о положении второго игрока Р2, команд, выбранных вторым игроком Р2, и т.п.), принятой от сервера 700, и объединяет созданную видеоинформацию с видеоинформацией реального мира в реальном времени для отображения данной объединенной видеоинформации.

[0067] С другой стороны, закрепляемое на голове устройство 300В отображения выполняет распознавание изображения ориентира 200В, чтобы получить информацию о положении второго игрока Р2. Дополнительно, закрепляемое на голове устройство 300В отображения обнаруживает движение руки игрока Р2 на основе сигнала обнаружения от датчика 400В движения и выбирает команды, соответствующие обнаруженному движению руки. Затем, закрепляемое на голове устройство 300В отображения создает видеоинформацию виртуального мира на основе информации о положении первого игрока Р2, команд, выбранных первым игроком Р2, и различной информации (игровой информации, информации о положении первого игрока Р1, команд, выбранных первым игроком Р1, и т.п.), принятой от сервера 700, и объединяет созданную видеоинформацию с видеоинформацией реального мира в реальном времени для отображения данной объединенной видеоинформации.

[0068] Каждое из закрепляемых на головах устройств 300А, 300В отображения, как описано выше, имеет ту же самую конфигурацию что и закрепляемое на голове устройство отображения, изложенное в вышеописанном первом варианте осуществления.

[0069] До сих пор был описан второй вариант осуществления. Несмотря на то, что в данном варианте осуществления была описана игровая система 100 по типу сражения один на один, количество игроков не ограничено данным конкретным случаем. Стиль сражения игровой системы 100 может быть стилем «многих со многими», в частности, стиль два на два, стиль три на три.

[0070] До сих пор, несмотря на то, что система отображения изображения, способ управления системой отображения изображения, система трансляции изображения и закрепляемое на голове устройство отображения согласно настоящему изобретению были описаны на основе вариантов осуществления, изображенных на чертежах, настоящее изобретение этим не ограничено. Конфигурация каждой составляющей может быть заменена произвольной конфигурацией, имеющей ту же самую функцию. Дополнительно, другие произвольные составляющие могут быть добавлены к настоящему изобретению. Дополнительно, варианты осуществления могут быть соответственно объединены друг с другом.

[0071] Дополнительно, несмотря на то, что конфигурация, в которой система отображения изображения, способ управления системой отображения изображения, система трансляции изображения и закрепляемое на голове устройство отображения применяются к игровой системе, была описана в вышеописанных вариантах осуществления, зона, к которой применяются система отображения изображения и способ управления системой отображения изображения, не ограничена игровой зоной. Например, система отображения изображения и способ управления системой отображения изображения могут быть применены к конструкторскому моделированию бытовой электроники, автомобиля, самолета и т.п.

Промышленная применимость

[0072] Игровая система 100, в которой применяется система отображения изображения согласно настоящему изобретению, содержит закрепляемое на голове устройство 300 отображения, имеющее камеру для захвата реального мира и дисплей для отображения видеоинформации, полученной посредством объединения видеоинформации реального мира, захваченной данной камерой, с видеоинформацией виртуального мира, датчик 400 движения для обнаружения движения тела пользователя, носящего закрепляемое на голове устройство 300 отображения, в качестве информации о движении, и ориентир 200, используемый для обнаружения информации о положении пользователя. Игровая система 100 выполнена с возможностью управления видеоинформацией виртуального мира на основе информации о движении и информации о положении. Согласно данной конфигурации возможно управлять видеоинформацией, отображаемой на закрепляемом на голове устройстве отображения, согласно положению и движению пользователя. По вышеизложенной причине настоящее изобретение промышленно применимо.

Описание ссылочных обозначений

[0073]

100 - Игровая система;

200, 200А, 200В - Ориентир;

300, 300А, 300В - Закрепляемое на голове устройство отображения;

310 - Мобильный терминал;

311 - Экран;

311L, 311R - Область изображения;

312 - Камера;

313 - Компонент определения движения;

314 - Компонент определения положения;

315 - Компонент создания видеоинформации;

320 - Оправа;

330 - Основной корпус оправы;

331 - Передний участок;

332 - Верхний участок;

333 - Нижний участок;

333а - Пластинчатый элемент;

334, 335 - Боковой участок;

334а, 335а - Апертура;

336 - Участок с линзами;

336L, 336R - Линза;

337 - Ударопоглощающий участок;

340 - Ремешок;

350 - Участок с щелью;

351 - Щелевое отверстие;

352 - Оконный участок;

360 - Запирающий механизм;

361 - Запирающая пластина;

361а - Паз;

362 - Винт;

400, 400А, 400В - Датчик движения;

410 - Датчик ускорения;

420 - Датчик угловой скорости;

500 - Камера;

600 - Дисплей;

700 - Сервер;

F - Зона;

М - Монстр;

Р - Игрок;

Р1 - Первый игрок;

Р2 - Второй игрок;

S - Пространство

Реферат

Изобретение относится к системам отображения. Технический результат заключается в обеспечении системы отображения, которая может управлять видеоинформацией, отображаемой на закрепляемом на голове устройстве отображения, согласно положению и движению пользователя, носящего устройство. Система содержит закрепляемое на голове устройство отображения, имеющее камеру для захвата реального мира и дисплей для отображения видеоинформации, полученной посредством объединения видеоинформации реального мира, захваченной компонентом захвата, с видеоинформацией виртуального мира, датчик движения для обнаружения движения тела пользователя, носящего закрепляемое на голове устройство отображения, в качестве информации о движении и ориентир, используемый для обнаружения информации о положении пользователя, носящего указанное устройство. Система выполнена с возможностью управления видеоинформацией виртуального мира на основе информации о движении и информации о положении. 3 н. и 6 з.п. ф-лы, 9 ил.

Формула