Устройство обработки информации, устройство формирования изображений, способы управления для них и энергонезависимый машиночитаемый носитель хранения данных - RU2718413C2

Код документа: RU2718413C2

Чертежи

Показать все 21 чертежа(ей)

Описание

Уровень техники

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к технологии формирования изображения с виртуальной точкой обзора на основе изображений из множества камер, размещенных в различных позициях.

Описание предшествующего уровня техники

[0002] Технология выполнения синхронного захвата с несколькими точками обзора с использованием множества камер, размещенных в различных позициях, и формирования изображения с виртуальной точкой обзора (которое также называется изображением со свободной точкой обзора), видимого из виртуальной камеры, размещенной в произвольной позиции, отличной от позиций размещения фактических камер с использованием изображений в соответствующих точках обзора, привлекает внимание.

[0003] Выложенный патент (Япония) номер 2014-215828 раскрывает технологию формирования и отображения изображения с виртуальной точкой обзора, соответствующего произвольному обозначению с использованием изображений, полученных посредством захвата одного диапазона с использованием множества камер, размещаемых с возможностью окружать диапазон.

[0004] Вышеописанное изображение с виртуальной точкой обзора формируется с использованием множества изображений, полученных посредством выполнения синхронного захвата с использованием множества камер, как описано выше. Следовательно, если проблема возникает, по какой-либо причине, даже в части захваченного изображения, которая должна использоваться для того, чтобы формировать изображение с виртуальной точкой обзора, может ухудшаться качество сформированного изображения с виртуальной точкой обзора. В качестве примера ухудшения качества изображения с виртуальной точкой обзора, может возникать случай, когда захваченные изображения, полученные при различных условиях захвата, к примеру, при различных условиях экспозиции, используются для того, чтобы формировать изображение с виртуальной точкой обзора. В качестве другого примера ухудшения качества изображения с виртуальной точкой обзора, может возникать случай, когда захваченное изображение, включающее в себя препятствие, захваченное изображение, включающее в себя солнечные и затененные области в соответствии с солнечным светом, захваченное изображение, размытое вследствие вибрации и т.п., используются для того, чтобы формировать изображение с виртуальной точкой обзора. Помимо этого, качество изображения с виртуальной точкой обзора, включающего в себя область, обычно захватываемую посредством множества камер, может повышаться, и качество изображения с виртуальной точкой обзора, включающего в себя область, которая не может захватываться посредством, по меньшей мере, части множества камер, может ухудшаться.

[0005] Традиционно, не рассматривается технология выяснения информации относительно качества изображения с виртуальной точкой обзора, к примеру, информации, указывающей то, что может формироваться изображение с виртуальной точкой обзора, качество которого является плохим. Следовательно, традиционная технология имеет запас для улучшения с точки зрения удобства и простоты использования и производительности при формировании изображения с виртуальной точкой обзора.

Сущность изобретения

[0006] Согласно аспекту изобретения, предусмотрено устройство обработки информации, содержащее: модуль формирования, выполненный с возможностью формировать изображение с виртуальной точкой обзора в соответствии с позицией и/или направлением в зоне прямой видимости точки обзора; и модуль уведомления, выполненный с возможностью отправлять уведомление касательно информации относительно качества изображения с виртуальной точкой обзора, сформированного посредством модуля формирования.

[0007] Согласно настоящему изобретению, можно уведомлять пользователя касательно информации относительно качества изображения с виртуальной точкой обзора.

[0008] Дополнительные признаки настоящего изобретения должны становиться очевидными из нижеприведенного описания примерных вариантов осуществления (со ссылкой на прилагаемые чертежи).

Краткое описание чертежей

[0009] Фиг. 1 является видом, показывающим конфигурацию системы согласно первому варианту осуществления;

[0010] Фиг. 2 является видом, показывающим пример компоновки устройств захвата изображений согласно первому варианту осуществления;

[0011] Фиг. 3A и 3B являются графиком и таблицей, соответственно, показывающими виртуальную камеру и информацию виртуальных точек обзора камеры на основе виртуальных точек обзора согласно первому варианту осуществления;

[0012] Фиг. 4 является функциональной блок-схемой, показывающей устройство формирования изображений согласно первому варианту осуществления;

[0013] Фиг. 5 является блок-схемой последовательности операций способа, иллюстрирующей управление модуля запоминания информации вторых виртуальных точек обзора согласно первому варианту осуществления;

[0014] Фиг. 6A-6D являются видами для пояснения способа формирования тракта камеры для мониторинга полных видов "с высоты птичьего полета" согласно первому варианту осуществления;

[0015] Фиг. 7A и 7B являются блок-схемой последовательности операций способа и видом для пояснения способа формирования тракта камеры для прогнозного мониторинга согласно первому варианту осуществления;

[0016] Фиг. 8A-8F являются блок-схемой последовательности операций способа и видами для пояснения способа формирования тракта камеры для мониторинга низкокачественных областей согласно первому варианту осуществления;

[0017] Фиг. 9 является концептуальным видом, показывающим тракт камеры для мониторинга функциональных вводов камеры согласно первому варианту осуществления;

[0018] Фиг. 10A-10C являются видом и таблицами для пояснения перемещения на тракте камеры согласно первому варианту осуществления;

[0019] Фиг. 11A-11C являются видом и таблицами для пояснения перемещения в начальную позицию тракта камеры согласно первому варианту осуществления;

[0020] Фиг. 12A и 12B являются видами, показывающими пример отображения изображения с виртуальной точкой обзора согласно первому варианту осуществления;

[0021] Фиг. 13 является функциональной блок-схемой, показывающей устройство формирования изображений согласно второму варианту осуществления;

[0022] Фиг. 14 является концептуальным видом, показывающим тракт камеры для мониторинга видов переднего плана "с высоты птичьего полета" согласно второму варианту осуществления;

[0023] Фиг. 15A-15C являются видами для пояснения способа получения области существования переднего плана согласно второму варианту осуществления;

[0024] Фиг. 16 является функциональной блок-схемой, показывающей устройство формирования изображений согласно третьему варианту осуществления;

[0025] Фиг. 17 является концептуальным видом, показывающим тракты камеры для мониторинга разделенных видов "с высоты птичьего полета" согласно третьему варианту осуществления;

[0026] Фиг. 18 является видом, показывающим пример отображения изображений, снятых виртуальной камерой для мониторинга согласно третьему варианту осуществления;

[0027] Фиг. 19 является функциональной блок-схемой, показывающей устройство формирования изображений согласно четвертому варианту осуществления; и

[0028] Фиг. 20 является блок-схемой, показывающей устройство обработки информации согласно варианту осуществления.

Подробное описание вариантов осуществления

[0029] Ниже подробно описываются варианты осуществления настоящего изобретения со ссылками на прилагаемые чертежи.

[0030] Первый вариант осуществления

В варианте осуществления, предусмотрены пользователь, который выполняет операцию изменения позиции и ориентации виртуальной камеры (виртуальной точки обзора) для запроса на то, чтобы просматривать/формировать изображение с виртуальной точкой обзора, и пользователь, который управляет позицией и ориентацией виртуальной камеры для мониторинга. Чтобы различать между пользователями, первый упоминается как оператор виртуальной камеры далее, и второй упоминается как наблюдатель далее.

[0031] Первый вариант осуществления описывает пример, в котором предоставляется виртуальная камера для мониторинга, которая должна управляться наблюдателем, чтобы подтверждать качество изображения виртуальной камеры, управляемой оператором виртуальной камеры, и отображается видео виртуальной камеры для мониторинга на основе выбранного одного из различных трактов мониторинга.

[0032] Фиг. 1 является видом, показывающим конфигурацию системы обработки изображений согласно первому варианту осуществления. Терминал 102 для зрителей используется оператором виртуальной камеры для того, чтобы перемещать виртуальную камеру и смотреть видео в точке обзора виртуальной камеры. Терминал 105 для мониторинга используется наблюдателем для того, чтобы подтверждать присутствие/отсутствие анормальности при наблюдении экрана 106 терминала для мониторинга. Если существует анормальность, оператор виртуальной камеры уведомляется в отношении нее. Ниже подробно описывается каждое устройство. Устройство 101 формирования изображений и терминалы 102 и 105 соединены через сеть. Устройство 101 формирования изображений функционирует в качестве сервера, и терминалы 102 и 105 функционируют в качестве клиентов.

[0033] Устройства 100 захвата изображений представляет собой множество (две или более) камер и выполнено с возможностью окружать арену, к примеру, футбольное поле или конкретный объект, чтобы захватывать изображения. Фиг. 2 показывает пример компоновки устройств 100 захвата изображений согласно первому варианту осуществления. Устройства 100 захвата изображений выполнены с возможностью захватывать весь или частичный диапазон арены, такой как футбольное поле.

[0034] Камеры, например, представляют собой цифровые камеры и захватывают изображения одновременно на основе сигнала синхронизации из внешнего синхронизирующего устройства (не показано). Изображение, захваченное посредством каждого устройства 100 захвата изображений, передается в устройство 101 формирования изображений через кабель связи, к примеру, кабель LAN (локальной вычислительной сети). Следует отметить, что тракт связи между каждой цифровой камерой 100 и устройством 101 формирования изображений может представлять собой проводной или беспроводной тракт. Для проводного тракта, может использоваться кабель передачи видео, такой как кабель DisplayPort или HDMI® (на основе мультимедийного интерфейса высокой четкости). Для беспроводного тракта, может использоваться беспроводная LAN. Кроме того, каждая камера может представлять собой камеру, имеющую функцию захвата неподвижного изображения, или камеру, имеющую функцию захвата движущихся изображений.

[0035] Устройство 101 формирования изображений накапливает изображения, захваченные посредством соответствующих устройств 100 захвата изображений. Допустим, что устройство 101 формирования изображений запоминает информацию, указывающую позицию, линию прямой видимости и фокусную длину каждого устройства 100 захвата изображений. Устройство 101 формирования изображений вводит управляющую информацию виртуальной камеры (которая также представляет собой запрос на создание изображения с виртуальной точкой обзора) на основе операции в терминале 102 или 105, выполняет преобразование в информацию виртуальных точек обзора на основе управляющей информации виртуальной камеры и формирует изображение с виртуальной точкой обзора, соответствующее информации виртуальных точек обзора, из множества захваченных изображений. Устройство 101 формирования изображений передает созданное изображение с виртуальной точкой обзора в источник запросов.

[0036] Управляющая информация виртуальной камеры включает в себя информацию перемещения, представляющую перемещение позиции виртуальной камеры, и информацию направления для изменения направления в зоне прямой видимости виртуальной камеры. Информация перемещения указывает разность (величину перемещения) относительно текущей позиции координат в трехмерном пространстве, в котором три осевых направления задаются заранее. Информация направления указывает разность относительно текущего направления виртуальной камеры, т.е. направление в зоне прямой видимости (угол отклонения по горизонтали, угол наклона и угол наклона в поперечном направлении) виртуальной камеры в трехмерном пространстве. Следует отметить, что как информация перемещения, так и информация направления могут представляться посредством абсолютных координат вместо разностей (относительных значений). Кроме того, хотя виртуальная камера может иметь функцию масштабирования, вариант осуществления допускает то, что фокусная длина виртуальной камеры является фиксированной, для простоты описания.

[0037] Ниже описывается информация виртуальных точек обзора виртуальной камеры 300 со ссылкой на фиг. 3A и 3B. Фиг. 3A показывает виртуальную камеру 300, присутствующую в пространстве захвата. Виртуальная камера 300 представляет собой виртуальную камеру, допускающую захват изображения в точке обзора, отличающейся от точек обзора камер, включенных в устройства 100 захвата изображений. Таким образом, изображение с виртуальной точкой обзора, сформированное в системе формирования изображения с виртуальной точкой обзора, представляет собой изображение, захваченное посредством виртуальной камеры 300. Как показано, например, на фиг. 3A, изображение, захваченное из произвольной позиции в пространстве захвата, представляет собой изображение с виртуальной точкой обзора.

[0038] Чтобы уникально определять позицию в пространстве захвата, система мировых координат задается. Оси X, Y и Z системы мировых координат определяются следующим образом. Центр поля 301 задается в качестве начала координат. На поле 301 направление длинной стороны задается в качестве оси X, направление короткой стороны задается в качестве оси Y, и вертикальное направление задается в качестве оси Z. Направления стрелок осей указывают положительное направление. Чтобы уникально определять направление виртуальной камеры, Rx представляет угол вокруг оси X, Ry представляет угол вокруг оси Y, и Rz представляет угол вокруг оси Z. Направления стрелок указывают направление позиции.

[0039] Фиг. 3B показывает пример информации виртуальных точек обзора виртуальной камеры 300. В информации виртуальных точек обзора, информация относительно позиции в пространстве захвата и направлении виртуальной камеры сохраняется в качестве таблицы. В соответствии с таблицей, позиция и направление виртуальной камеры уникально определяются. Следует отметить, что система координат может задаваться посредством другого способа при условии, что позиция в пространстве захвата и направление виртуальной камеры уникально определяются.

[0040] Устройство 101 формирования изображений представляет собой, например, серверное устройство и имеет функцию базы данных и функцию обработки изображений. Изображение, полученное посредством захвата сцены арены в состоянии, в котором не существует объект (игрок или судья), например, до того, как начинается соревнование, запоминается заранее в качестве данных фоновых изображений в базе данных через устройство 100 захвата изображений. В сцене, в которой существует объект, такой как мяч или игрок в ходе соревнования, передний план в качестве объекта разделяется посредством обработки изображений и запоминается в качестве данных изображений переднего плана.

[0041] В качестве способа разделения переднего плана в качестве объекта, используется обработка изображений с извлечением объектов, например, для извлечения разности относительно фонового изображения. Следует отметить, что передний план может быть не только игроком в ходе соревнования, но также и другим конкретным пользователем (игроком, выходящим на замену, тренером и/или судьей), либо может быть таким объектом, как мяч или ворота, с предварительно определенным шаблоном изображения. В качестве другого способа обнаружения, может обнаруживаться движущееся тело.

[0042] Устройство 101 формирования изображений принимает, из терминала 102, управляющую информацию виртуальной камеры в качестве информации относительно позиции и/или направления в зоне прямой видимости точки обзора для формирования изображения с виртуальной точкой обзора. Изображение с виртуальной точкой обзора, соответствующее информации виртуальных точек обзора, обозначенной посредством управляющей информации виртуальной камеры, формируется из данных изображений переднего плана и данных фоновых изображений, управляемых в базе данных. В качестве способа формирования изображения с виртуальной точкой обзора, например, используется MBR (рендеринг на основе модели). MBR представляет собой способ формирования изображения с виртуальной точкой обзора с использованием трехмерной модели, сформированной на основе множества захваченных изображений, полученных посредством захвата объекта из множества направлений. Более конкретно, MBR представляет собой технологию формирования, в качестве изображения, внешнего вида сцены из виртуальной точки обзора с использованием трехмерной формы (модели) целевой сцены, полученной посредством способа восстановления трехмерных форм, такого как способ объемного пересечения или MVS (многовидовое стерео). Следует отметить, что в качестве способа формирования изображения с виртуальной точкой обзора, может использоваться другой способ рендеринга, к примеру, рендеринг на основе изображений, отличный от MBR. Устройство 101 формирования изображений передает сформированное и полученное изображение с виртуальной точкой обзора в терминалы 102 и 105 через LAN-кабель.

[0043] Терминал 102 принимает операцию оператором виртуальной камеры для перемещения виртуальной точки обзора, направления захвата и т.п. с использованием соединенного контроллера 104 и преобразует оперативную информацию в управляющую информацию виртуальной камеры для зрителей, за счет этого передавая преобразованную информацию в устройство 101 формирования изображений через LAN-кабель. Терминал 102 принимает, от пользователя, информацию относительно позиции и/или направления в зоне прямой видимости точки обзора для формирования изображения с виртуальной точкой обзора и уведомляет устройство 101 формирования изображений касательно принимаемой информации. Посредством отображения, на экране 103 отображения терминала 102, изображения с виртуальной точкой обзора, принимаемого из устройства 101 формирования изображений, оператор виртуальной камеры может просматривать контент в точке обзора на основе операции и управлять виртуальной камерой. В некоторых случаях, изображения с виртуальной точкой обзора могут сохраняться во временных рядах, чтобы создавать один файл с движущимися изображениями.

[0044] Терминал 105 принимает инструкцию от наблюдателя через соединенный контроллер 107. Более конкретно, терминал 105 принимает операцию виртуальной камеры для мониторинга наблюдателем для перемещения виртуальной точки обзора для мониторинга, направления захвата, режима на основе виртуальных точек обзора для мониторинга и т.п. Предусмотрено четыре режима на основе виртуальных точек обзора для мониторинга согласно варианту осуществления, т.е. режим мониторинга полных видов "с высоты птичьего полета", режим прогнозного мониторинга, режим мониторинга низкокачественных областей и режим мониторинга функциональных вводов камеры. Смысловое значение каждого режима следующее:

- Режим мониторинга полных видов "с высоты птичьего полета":

- режим всестороннего мониторинга всей области, в которой может существовать объект

- Режим прогнозного мониторинга:

- режим прогнозирования и мониторинга заранее позиция, в которую должна перемещаться виртуальная камера для зрителей

- Режим мониторинга низкокачественных областей:

- режим мониторинга главным образом области, в которой легко ухудшается качество изображения, снятого виртуальной камерой

- Режим мониторинга функциональных вводов камеры:

- режим мониторинга посредством управления виртуальной камерой для мониторинга

[0045] Контроллер 107 включает в себя кнопки, каждая из которых служит для определения режима на основе виртуальных точек обзора для мониторинга. Если наблюдатель нажимает кнопку требуемого режима контроллера 107, терминал 105 передает, в устройство 101 формирования изображений, информацию (которая упоминается как информация режима на основе виртуальных точек обзора для мониторинга далее), соответствующую кнопке. Если режим на основе виртуальных точек обзора для мониторинга представляет собой режим мониторинга функциональных вводов камеры, терминал 105 принимает информацию перемещения и направления посредством операции контроллера 107 наблюдателем, преобразует оперативную информацию в управляющую информацию виртуальной камеры для мониторинга и передает преобразованную информацию в устройство 101 формирования изображений через LAN-кабель и т.п. Когда терминал 105 отображает, на экране 106 терминала для мониторинга, изображение с виртуальной точкой обзора, принимаемое из устройства 101 формирования изображений, наблюдатель может видеть изображение точки обзора виртуальной камеры для мониторинга, чтобы подтверждать качество изображения.

[0046] Каждый из терминалов 102 и 105 представляет собой, например, PC (персональный компьютер) или планшетный компьютер. Каждый из контроллеров 104 и 107 представляет собой, например, мышь, клавиатуру, 6-осевой контроллер, сенсорную панель или комбинацию вышеозначенного. Каждый из оператора виртуальной камеры и наблюдателя выполняет операцию с использованием контроллера 104 или 107, за счет этого отображая неподвижное изображение или движущееся изображение на экране.

[0047] Далее описывается аппаратная компоновка каждого устройства системы обработки изображений согласно этому варианту осуществления со ссылкой на фиг. 20. Ссылаясь на фиг. 20, устройство 2000 представляет собой каждое устройство (каждое из устройства 100 захвата изображений, устройства 101 формирования изображений и терминалов 102 и 105) системы захвата изображений. Устройство 2000 включает в себя процессор 2001, ROM 2002, RAM 2003, вспомогательное устройство 2004 хранения данных, дисплей 2005, рабочий модуль 2006, интерфейс 2007 связи, шину 2008 и функциональный модуль 2009.

[0048] Процессор 2001 полностью управляет устройством 2000. Следует отметить, что пример процессора 2001 может представлять собой CPU. Процессор 2001 полностью управляет устройством 2000 с использованием компьютерных программ и данных, сохраненных в ROM 2002 и RAM 2003. Кроме того, процессор 2001 может представлять собой ASIC или FPGA.

[0049] ROM 2002 представляет собой запоминающее устройство, сохраняющее программы и параметры, которые не должны изменяться. RAM 2003 представляет собой запоминающее устройство для временного сохранения программ и данных, предоставляемых из вспомогательного устройства 2004 хранения данных, и данных, внешне предоставляемых через интерфейс 2007 связи. Вспомогательное устройство 2004 хранения данных представляет собой, например, запоминающее устройство, которое формируется посредством жесткого диска и т.п. и сохраняет данные контента, такие как неподвижное изображение и движущееся изображение.

[0050] Дисплей 2005 формируется посредством, например, жидкокристаллического дисплея и отображает GUI (графический пользовательский интерфейс) и различные виды информации. Рабочий модуль 2006 формируется посредством, например, клавиатуры и мыши и принимает операцию пользователем и вводит различные инструкции в процессор 2001. Интерфейс 2007 связи обменивается данными с внешним устройством. Например, интерфейс 2007 связи может осуществлять проводную или беспроводную связь. При выполнении проводной связи, интерфейс 2007 связи служит в качестве аппаратных средств для Ethernet. При выполнении беспроводной связи, интерфейс 2007 связи формируется, например, посредством схемы, кристалла и антенны для осуществления связи согласно IEEE802.11-стандарту. Шина 2008 соединяет соответствующие модули, чтобы передавать информацию. Функциональный модуль 2009 представляет собой аппаратные средства для реализации предварительно определенной функции. Если устройство 2000 служит в качестве устройства 100 захвата изображений, функциональный модуль 2009 может представлять собой модуль захвата изображений для захвата изображения. Модуль захвата изображений формируется посредством линзы, датчика изображений, процессора обработки изображений и т.п. В вышеуказанной компоновке, процессор 2001 инструктирует устройству 2000 функционировать в качестве одного из устройства 100 захвата изображений, устройства 101 формирования изображений и терминалов 102 и 105 в системе обработки изображений посредством выполнения выделенной программы.

[0051] Далее описывается функция устройства 101 формирования изображений. Фиг. 4 является функциональной блок-схемой, показывающей устройство 101 формирования изображений согласно первому варианту осуществления. Соответствующие функциональные модули, показанные на фиг. 4, реализуются, когда процессор 2001 загружает и выполняет программы, чтобы управлять аппаратным средствами и вычислением и обработкой информации. Тем не менее, некоторые функциональные модули могут реализовываться посредством аппаратных средств, таких как ASIC или FPGA, как и следовало ожидать.

[0052] Модуль 401 ввода захваченных данных изображений преобразует, в захваченные данные изображений, передаваемые сигналы, вводимые из множества устройств 100 захвата изображений через LAN-кабель, и предоставляет данные в модуль 402 разделения изображений переднего плана/фоновых изображений. Модуль 402 разделения изображений переднего плана/фоновых изображений выводит заранее, в модуль 403 хранения данных разделенных изображений, в качестве данных фоновых изображений, изображение, полученное посредством захвата сцены арены в состоянии, в котором не существует объект (игрок или мяч), например, до того, как соревнование начинается, из числа захваченных изображений из модуля 401 ввода захваченных данных изображений и запоминает данные в модуле 403 хранения разделенных данных изображений. Модуль 402 разделения изображений переднего плана/фоновых изображений извлекает объект, к примеру, игрока из изображения, захваченного в ходе соревнования, и выводит объект в качестве данных изображений переднего плана в модуль 403 хранения данных разделенных изображений.

[0053] Модуль 403 хранения данных разделенных изображений представляет собой базу данных и сохраняет, в качестве данных фоновых изображений, изображение, захваченное заранее в состоянии, в котором не существует объект из числа захваченных данных изображений, вводимых из модуля 402 разделения изображений переднего плана/фоновых изображений. Модуль 403 хранения данных разделенных изображений сохраняет, в качестве данных изображений переднего плана, разностные данные между данными фоновых изображений и захваченными данными изображений, включающими в себя объект. Кроме того, в ответ на инструкцию получения разделенных изображений из модуля 406 формирования изображений с первой виртуальной точкой обзора, модуль 403 хранения данных разделенных изображений выводит обозначенные данные фоновых изображений и данные изображений переднего плана в модуль 406 формирования изображений с первой виртуальной точкой обзора. В ответ на инструкцию получения разделенных изображений из модуля 415 формирования изображений со второй виртуальной точкой обзора, модуль 403 хранения данных разделенных изображений выводит обозначенные данные фоновых изображений и данные изображений переднего плана в модуль 415 формирования изображений со второй виртуальной точкой обзора.

[0054] Модуль 404 ввода первых виртуальных точек обзора преобразует, в предварительно определенную входную информацию, передаваемый сигнал, вводимый из терминала 102 через LAN-кабель. Если входная информация является управляющей информацией виртуальной камеры для зрителей, модуль 404 ввода первых виртуальных точек обзора выводит управляющую информацию виртуальной камеры для зрителей в модуль 405 запоминания информации первых виртуальных точек обзора.

[0055] Модуль 405 запоминания информации первых виртуальных точек обзора выполняет преобразование в информацию виртуальных точек обзора на основе управляющей информации виртуальной камеры, вводимой из модуля 404 ввода первых виртуальных точек обзора, и выводит информацию виртуальных точек обзора в модуль 406 формирования изображений с первой виртуальной точкой обзора. Информация виртуальных точек обзора формируется и выводится с интервалом в 1/60 секунды.

[0056] Модуль 406 формирования изображений с первой виртуальной точкой обзора получает, из модуля 403 хранения данных разделенных изображений, данные изображений переднего плана и данные фоновых изображений, соответствующих информации виртуальных точек обзора, вводимой из модуля 405 запоминания информации первых виртуальных точек обзора. Кроме того, модуль 406 формирования изображений с первой виртуальной точкой обзора формирует изображение с виртуальной точкой обзора посредством комбинирования полученных данных изображений переднего плана и данных фоновых изображений посредством обработки изображений и выводит сформированное изображение в модуль 407 вывода изображений с первой виртуальной точкой обзора. Следует отметить, что обработка ввода информации виртуальных точек обзора и формирования и вывода изображения с виртуальной точкой обзора выполняется с интервалом в 1/60 секунды.

[0057] Модуль 407 вывода изображений с первой виртуальной точкой обзора функционирует в качестве модуля передачи изображений и преобразует изображение с виртуальной точкой обзора, вводимое из модуля 406 формирования изображений с первой виртуальной точкой обзора, в передаваемый сигнал, допускающий передачу в терминал 102, и выводит сигнал в терминал 102. Следует отметить, что изображение с виртуальной точкой обзора выводится с интервалом в 1/60 секунды, и терминал 102 отображает изображение виртуальной точки обзора для зрителей на частоте кадров в 60 кадров/с.

[0058] Модуль 408 ввода вторых виртуальных точек обзора преобразует, в предварительно определенную входную информацию, передаваемый сигнал, вводимый из терминала 105 через LAN-кабель. Если входная информация является управляющей информацией виртуальной камеры для мониторинга, модуль 408 ввода вторых виртуальных точек обзора выводит управляющую информацию виртуальной камеры для мониторинга в первый модуль 413 формирования тракта камеры. Альтернативно, если входная информация является информацией режима на основе виртуальных точек обзора для мониторинга, модуль 408 ввода вторых виртуальных точек обзора выводит информацию режима на основе виртуальных точек обзора для мониторинга в модуль 409 переключения режимов. Хотя подробности описываются ниже, если информация, указывающая анормальную точку обзора, принимается из терминала 105, модуль 408 ввода вторых виртуальных точек обзора уведомляет модуль 417 запоминания и вывода анормальных точек обзора касательно нее.

[0059] Если информация режима на основе виртуальных точек обзора для мониторинга вводится из модуля 408 ввода вторых виртуальных точек обзора, модуль 409 переключения режимов выводит инструкцию переключения режимов на основе виртуальных точек обзора в модуль 414 запоминания информации вторых виртуальных точек обзора.

[0060] После приема инструкции переключения режимов на основе виртуальных точек обзора из модуля 409 переключения режимов, модуль 414 запоминания информации вторых виртуальных точек обзора получает информацию тракта виртуальной камеры из одного из первого модуля 413 формирования тракта камеры, второго модуля 410 формирования тракта камеры, третьего модуля 411 формирования тракта камеры и четвертого модуля 412 формирования тракта камеры в соответствии с информацией и формирует информацию виртуальных точек обзора на основе информации тракта виртуальной камеры. Информация тракта виртуальной камеры является информацией для определения уравнения пространственной кривой, начальной позиции перемещения и направления виртуальной камеры, все из которых указывают тракт, вдоль которого должна перемещаться виртуальная камера. Уравнение пространственной кривой указывает сплайновую кривую, полученную посредством соединения точек данных посредством сплайна. Следует отметить, что в качестве уравнения пространственной кривой, может использоваться способ, отличный от сплайновой обработки, например, способ на основе аппроксимирующих линий точек данных посредством метода наименьших квадратов. Поскольку информация тракта виртуальной камеры, используемая в этом варианте осуществления, существует для каждого фрагмента информации режима на основе виртуальных точек обзора для мониторинга, предусмотрено множество видов информации тракта виртуальной камеры. Ниже описываются подробности в пояснении каждого модуля формирования тракта камеры. После этого, модуль 414 запоминания информации вторых виртуальных точек обзора выводит информацию виртуальных точек обзора в модуль 415 формирования изображений со второй виртуальной точкой обзора. Информация виртуальных точек обзора формируется и выводится с интервалом в 1/60 секунды.

[0061] Модуль 415 формирования изображений со второй виртуальной точкой обзора получает, из модуля 403 хранения данных разделенных изображений, данные изображений переднего плана и данные фоновых изображений, соответствующие информации виртуальных точек обзора, вводимой из модуля 414 запоминания информации вторых виртуальных точек обзора. Кроме того, модуль 415 формирования изображений со второй виртуальной точкой обзора формирует изображение с виртуальной точкой обзора посредством комбинирования полученных данных изображений переднего плана и данных фоновых изображений посредством обработки изображений и выводит комбинированное изображение с виртуальной точкой обзора в модуль 416 вывода изображений со второй виртуальной точкой обзора. Следует отметить, что обработка ввода информации виртуальных точек обзора и формирования и вывода изображения с виртуальной точкой обзора выполняется с интервалом в 1/60 секунды.

[0062] Модуль 416 вывода изображений со второй виртуальной точкой обзора преобразует, в передаваемый сигнал, допускающий передачу в терминал 105, изображение виртуальной точки обзора для мониторинга, вводимое из модуля 415 формирования изображений со второй виртуальной точкой обзора, и выводит сигнал в терминал 105. Следует отметить, что изображение с виртуальной точкой обзора выводится с интервалом в 1/60 секунды, и терминал 105 отображает изображение виртуальной точки обзора для мониторинга на частоте кадров в 60 кадров/с.

[0063] Модуль 417 запоминания и вывода анормальных точек обзора включает в себя внутреннее запоминающее устройство для сохранения множества фрагментов информации анормальных точек обзора. До того, как терминалы 102 и 105 в системе согласно варианту осуществления функционируют, внутреннее запоминающее устройство инициализируется в состояние, в котором информация анормальных точек обзора не зарегистрирована. Когда уведомление касательно возникновения анормальной точки обзора принимается из модуля 408 ввода вторых виртуальных точек обзора, модуль 417 запоминания и вывода анормальных точек обзора регистрирует, во внутреннем запоминающем устройстве, информацию (запоминаемую в модуле 414 запоминания информации вторых виртуальных точек обзора), указывающую текущую позицию и направление в зоне прямой видимости виртуальной точки обзора для мониторинга.

[0064] Следует отметить, что существует разность времен от момента, когда наблюдатель вводит информацию, указывающую анормальность, в терминал 105, до момента, когда модуль 417 запоминания и вывода анормальных точек обзора регистрирует позицию и ориентацию анормальной точки обзора во внутреннем запоминающем устройстве. Тем не менее, поскольку изображение с анормальной виртуальной точкой обзора формируется не мгновенно, например, в течение 1/60 секунды, но непрерывно в течение определенного периода, не возникают проблемы в силу выполнения вышеуказанной обработки управления. Чтобы выполнять строгое управление, при формировании изображения с виртуальной точкой обзора, в изображение с виртуальной точкой обзора добавляется уникальный идентификационный номер, и затем оно передается. Терминал 105 идентифицирует идентификационный номер виртуального изображения, когда наблюдатель выдает инструкцию отображения анормальности, за счет этого уведомляя устройство 101 формирования изображений касательно анормальности.

[0065] Модуль 417 запоминания и вывода анормальных точек обзора получает, из модуля 405 запоминания информации первых виртуальных точек обзора, информацию, указывающую позицию и направление в зоне прямой видимости виртуальной точки обзора для зрителей во время формирования изображения виртуальной точки обзора для зрителей (в период в 1/60 секунды в этом варианте осуществления). Модуль 417 запоминания и вывода анормальных точек обзора накладывает, на графический объект, имитирующий футбольное поле, первый тип значка камеры, соответствующий текущей позиции и направлению в зоне прямой видимости виртуальной точки обзора для зрителей, и второй тип значка камеры, соответствующий позиции и направлению в зоне прямой видимости анормальной точки обзора, зарегистрированной во внутреннем запоминающем устройстве. Первый и второй типы значков камеры имеют различные цвета, с тем чтобы отображаться в форме, в которой эти значки могут легко идентифицироваться. Если анормальная точка обзора не регистрируется во внутреннем запоминающем устройстве в начале работы системы и т.п., только первый тип значка камеры накладывается на графический объект футбольного поля. Если множество анормальных точек обзора регистрируются во внутреннем запоминающем устройстве, множество значков камеры второго типа накладываются на графический объект футбольного поля. Затем модуль 417 запоминания и вывода анормальных точек обзора передает, в терминал 102, графический объект футбольного поля, на которое накладываются значки камеры.

[0066] Далее описывается работа модуля 414 запоминания информации вторых виртуальных точек обзора. Фиг. 5 является блок-схемой последовательности операций способа, иллюстрирующей работу модуля 414 запоминания информации вторых виртуальных точек обзора согласно первому варианту осуществления.

[0067] Модуль 414 запоминания информации вторых виртуальных точек обзора подтверждает текущий режим на основе виртуальных точек обзора для мониторинга (этап S501). Если режим на основе виртуальных точек обзора для мониторинга представляет собой режим мониторинга полных видов "с высоты птичьего полета" ("Да" на этапе S502), модуль 414 запоминания информации вторых виртуальных точек обзора получает информацию тракта виртуальной камеры для мониторинга полных видов "с высоты птичьего полета" из второго модуля 410 формирования тракта камеры (этап S503). Режим мониторинга полных видов "с высоты птичьего полета" представляет собой режим всестороннего мониторинга всей области, в которой может существовать объект, как описано выше.

[0068] Если режим на основе виртуальных точек обзора для мониторинга представляет собой режим прогнозного мониторинга ("Да" на этапе S504), модуль 414 запоминания информации вторых виртуальных точек обзора получает информацию тракта виртуальной камеры для прогнозного мониторинга из третьего модуля 411 формирования тракта камеры (этап S505). Режим прогнозного мониторинга представляет собой режим прогнозирования позиции, в которую должна перемещаться виртуальная камера для зрителей, и ее мониторинга, как описано выше.

[0069] Если режим на основе виртуальных точек обзора для мониторинга представляет собой режим мониторинга низкокачественных областей ("Да" на этапе S506), модуль 414 запоминания информации вторых виртуальных точек обзора получает информацию тракта виртуальной камеры для мониторинга низкокачественных областей из четвертого модуля 412 формирования тракта камеры (этап S507). Режим мониторинга низкокачественных областей представляет собой режим мониторинга главным образом области, в которой качество изображения, снятого виртуальной камерой, легко ухудшается, как описано выше. Следует отметить, что может быть предусмотрено множество низкокачественных областей. В этом случае, получается информация тракта виртуальной камеры для мониторинга низкокачественных областей, которая включена в информацию режима на основе виртуальных точек обзора для мониторинга и соответствует информации для задания области, выбранной наблюдателем.

[0070] Если режим на основе виртуальных точек обзора для мониторинга представляет собой режим мониторинга функциональных вводов камеры ("Нет" на этапе S506), модуль 414 запоминания информации вторых виртуальных точек обзора получает информацию тракта виртуальной камеры для мониторинга функциональных вводов камеры из первого модуля формирования тракта камеры 413 (этап S508). Режим мониторинга функциональных вводов камеры представляет собой режим мониторинга посредством управления виртуальной камерой для мониторинга наблюдателем.

[0071] Ниже описывается информация тракта виртуальной камеры для мониторинга в каждом режиме на основе виртуальных точек обзора для мониторинга.

[0072] Фиг. 6A-6D являются видами для пояснения способа формирования тракта камеры для мониторинга полных видов "с высоты птичьего полета" посредством второго модуля 410 формирования тракта камеры. Тракт 601 мониторинга полных видов "с высоты птичьего полета" указывает тракт, вдоль которого перемещается виртуальная камера для мониторинга из начальной позиции 602 перемещения. На фиг. 6A, позиция начальной позиции 602 перемещения определяется. Во-первых, второй модуль 410 формирования тракта камеры обнаруживает область, в которой может существовать объект. В этом примере, область, указываемая посредством внешней линии футбольного поля, соответствует области. Затем, когда lx представляет расстояние от центральной позиции 603 поля до точки пересечения оси X и внешней линии поля в отрицательном направлении по оси X, определяется расстояние, полученное посредством умножения lx на 1,5 от центральной позиции 603 поля в отрицательном направлении по оси X, и позиция в 10 м от нее в положительном направлении оси Z задается в качестве начальной позиции 602 перемещения. Следует отметить, что эти числовые значения могут задаваться или выбираться надлежащим образом посредством администратора в соответствии с типом соревнования.

[0073] Фиг. 6B показывает, в качестве позиций виртуальной камеры для мониторинга, позиции 605 виртуальной камеры для мониторинга для положительного направления оси Y, положительного направления оси X и отрицательного направления оси Y. Могут обнаруживаться четыре позиции виртуальной камеры для мониторинга.

[0074] Фиг. 6C показывает пространственную кривую 601 в качестве кривой, соединяющей четыре точки, полученные на фиг. 6B посредством сплайновой обработки. Эта кривая определяется в качестве тракта перемещения (тракта камеры) виртуальной камеры для мониторинга.

[0075] Фиг. 6D является видом для пояснения направления и перемещения виртуальной камеры для мониторинга. Настройка задается таким образом, что направление точки обзора виртуальной камеры для мониторинга всегда задается как центральная позиция 603 поля. Посредством использования тракта камеры, область, в которой может существовать объект, т.е. так называемое все футбольное поле, может отслеживаться из всех направлений. Второй модуль 410 формирования тракта камеры задает позицию точки обзора камеры для мониторинга как предварительно определенную начальную позицию на тракте 601 мониторинга полных видов "с высоты птичьего полета" при задании направления точки обзора захвата как центральной позиции 603 поля, перемещает виртуальную точку обзора в предварительно установленное направление вдоль тракта 601 мониторинга полных видов "с высоты птичьего полета" с предварительно определенной скоростью и выводит информацию, указывающую позицию и направление в зоне прямой видимости виртуальной точки обзора, в модуль 414 запоминания информации вторых виртуальных точек обзора каждый раз.

[0076] Фиг. 7A и 7B являются блок-схемой последовательности операций способа и видом для пояснения способа формирования тракта камеры для прогнозного мониторинга посредством третьего модуля 411 формирования тракта камеры.

[0077] Фиг. 7A является блок-схемой последовательности операций способа, иллюстрирующей управление третьего модуля 411 формирования тракта камеры. Третий модуль 411 формирования тракта камеры получает информацию виртуальных точек обзора из модуля 405 запоминания информации первых виртуальных точек обзора и подтверждает позицию виртуальной камеры для зрителей (этап S2000). Третий модуль 411 формирования тракта камеры подтверждает предыдущую позицию виртуальной камеры для зрителей из информации виртуальных точек обзора, полученной в прошлый раз, и оценивает направление прохождения позиции в качестве последующего направления перемещения виртуальной камеры для зрителей (этап S2001).

[0078] Третий модуль 411 формирования тракта камеры определяет, в качестве начальной позиции перемещения виртуальной камеры для мониторинга, позицию в 10 м впереди в оцененном направлении от текущей позиции виртуальной камеры 703 для зрителей (этап S2002). Кроме того, третий модуль 411 формирования тракта камеры оценивает тракт из начальной позиции перемещения в направлении перемещения в качестве тракта камеры, вдоль которого перемещается виртуальная камера для мониторинга (этап S2003). Третий модуль 411 формирования тракта камеры подтверждает направление виртуальной камеры для зрителей (этап S2004) и определяет направление виртуальной камеры для мониторинга как идентичное направлению виртуальной камеры для зрителей (этап S2005). Следует отметить, что может использоваться способ, отличный от вышеописанного способа, при условии, что можно прогнозировать будущую позицию виртуальной камеры для зрителей.

[0079] Фиг. 7B является концептуальным видом, показывающим перемещение тракта камеры для прогнозного мониторинга. Прогнозный тракт 701 мониторинга указывает тракт, вдоль которого перемещается виртуальная камера 704 для мониторинга из начальной позиции 702 перемещения. Виртуальная камера 703 для зрителей находится в позиции, показанной на фиг. 7B, и направление перемещения представляет собой положительное направление оси X, и направление виртуальной камеры 703 для зрителей представляет собой положительное направление оси Y. В этом случае, начальная позиция 702 перемещения виртуальной камеры 704 для мониторинга задается в качестве позиции в 10 м впереди в положительном направлении оси X относительно позиции виртуальной камеры 703 для зрителей, и направление перемещения виртуальной камеры для мониторинга задается в качестве положительного направления оси X. Направление виртуальной камеры для мониторинга представляет собой положительное направление оси Y, которое является идентичным направлению виртуальной камеры для зрителей. Тракт из начальной позиции 702 перемещения в положительном направлении оси X определяется в качестве прогнозного тракта 701 мониторинга.

[0080] Третий модуль 411 формирования тракта камеры выводит, в качестве информации тракта виртуальной камеры для мониторинга, уравнение пространственной кривой, указывающее такой заданный прогнозный тракт 701 мониторинга, в модуль 414 запоминания информации вторых виртуальных точек обзора.

[0081] Следует отметить, что прогнозный тракт 701 мониторинга определяется на основе направления перемещения и текущей позиции виртуальной камеры 703 для зрителей, как описано выше. Следовательно, каждый раз, когда текущая позиция виртуальной камеры 703 для зрителей обновляется, прогнозный тракт 701 мониторинга также обновляется.

[0082] Ниже описывается способ формирования тракта камеры для мониторинга низкокачественных областей посредством четвертого модуля 412 формирования тракта камеры со ссылкой на фиг. 8A-8F.

[0083] Фиг. 8A является блок-схемой последовательности операций способа, иллюстрирующей контент обработки четвертого модуля 412 формирования тракта камеры. Четвертый модуль 412 формирования тракта камеры подтверждает позицию предварительно установленной точки 803 взгляда (см. фиг. 8B) (этап S2100). Точка 803 взгляда конкретно указывает позицию, на которую обращен взгляд. В варианте осуществления, поскольку примерно иллюстрируется футбольное соревнование, позиция перед воротами соответствует позиции. Допустим, что центральные позиции захваченных изображений предварительно установленного числа устройств 100 захвата изображений из всех устройств 100 захвата изображений задаются в качестве точек 803 взгляда. Следует отметить, что в случае футбола, имеется двое ворот, и в силу этого наблюдатель выбирает одни из ворот. Если наблюдатель выполняет выбор, терминал 105 включает информацию для идентификации выбранной точки 803 взгляда в информацию режима на основе виртуальных точек обзора для мониторинга и передает информацию режима на основе виртуальных точек обзора для мониторинга в устройство 101 формирования изображений. Следует отметить, что позиции и число точек обзора зависят от соревнования и т.п. Если имеется одна точка взгляда, выбор наблюдателем является необязательным.

[0084] Качество изображения с виртуальной точкой обзора посредством виртуальной камеры является более высоким в области, в которой область изображения, захваченная посредством фактического устройства 100 захвата изображений, перекрывает область, захваченную посредством другого устройства 100 захвата изображений, и является более низким в области, в которой области не перекрывают друг друга. Фиг. 8B примерно иллюстрируется. В этом случае, изображение с виртуальной точкой обзора, захваченное посредством виртуальной камеры, имеет более высокое качество около точки 803 взгляда и имеет более низкое качество в далеком месте, т.е. так называемую более низкокачественную область дальше от точки взгляда.

[0085] Четвертый модуль 412 формирования тракта камеры определяет низкокачественную позицию, чтобы определять область, которая должна отображаться в изображении, снятом виртуальной камерой для мониторинга, т.е. направление виртуальной камеры (этап S2101). Низкокачественная позиция находится на окружности, отделенной от точки 803 взгляда на 20 м на плоскости XY, и соответствует окружности 804, показанной на фиг. 8B. Следует отметить, что способ определения низкокачественной позиции может представлять собой способ, отличный от вышеописанного способа, и не ограничен конкретным образом.

[0086] Четвертый модуль 412 формирования тракта камеры определяет расстояние L от точки 803 взгляда на плоскости XY (этап S2102). Начальное значение расстояния L составляет 5 м. После этого, позиция Z=10 м на окружности, отделенной от точки 803 взгляда на расстояние L на плоскости XY, определяется в качестве тракта 801 виртуальной камеры для мониторинга (этап S2104). Кроме того, точка пересечения тракта 801 виртуальной камеры для мониторинга и отрицательного направления оси X из точки 803 взгляда определяется в качестве начальной позиции 802 перемещения. Следовательно, виртуальная камера 800 для мониторинга двигается по часовой стрелке из начальной позиции 802 перемещения на тракте 801 виртуальной камеры для мониторинга. После этого, четвертый модуль 412 формирования тракта камеры вычисляет уравнение пространственной кривой посредством выполнения сплайновой обработки для извлеченного тракта 801 виртуальной камеры для мониторинга и определяет его в качестве тракта виртуальной камеры для мониторинга (этап S2105).

[0087] Четвертый модуль 412 формирования тракта камеры определяет направление виртуальной камеры 800 для мониторинга (этап S2106). Фиг. 8C является видом для пояснения способа определения направления камеры, когда виртуальная камера находится в начальной позиции 802 перемещения. Во-первых, четвертый модуль 412 формирования тракта камеры получает перпендикуляр 806 к тангенсу 805 окружности на плоскости XY тракта 801 виртуальной камеры для мониторинга. После этого, четвертый модуль 412 формирования тракта камеры извлекает точку 807 пересечения с начальной позицией 802 перемещения. Четвертый модуль 412 формирования тракта камеры определяет направление виртуальной камеры таким образом, что точка 807 пересечения задается в центре изображения, снятого виртуальной камерой для мониторинга. Фиг. 8D является концептуальным видом, показывающим тракт камеры для мониторинга, когда расстояние L=5 м. Этот тракт камеры предоставляет изображение для мониторинга, когда камера направлена изнутри наружу относительно футбольного поля.

[0088] После этого, четвертый модуль 412 формирования тракта камеры прибавляет 10 м к расстоянию L, чтобы получать новый тракт виртуальной камеры для мониторинга (этап S2107). Следовательно, расстояние L задается равным 40 м максимум ("Да" на этапе S2103). Если расстояние L превышает 40 м, обработка формирования тракта камеры завершается ("Нет" на этапе S2103). Следовательно, в этом примере, четыре тракта камеры формируются для расстояний L в 5 м, 15 м, 25 м и 35 м, соответственно.

[0089] Фиг. 8E является концептуальным видом, показывающим тракт виртуальной камеры для мониторинга, когда расстояние L составляет 15 м. Фиг. 8F является концептуальным видом, показывающим тракт виртуальной камеры для мониторинга, когда расстояние L составляет 25 м. Если расстояние L составляет 25 м, используется изображение для мониторинга, полученное, когда камера направлена снаружи внутрь относительно футбольного поля.

[0090] Следует отметить, что значение расстояния L, когда получается тракт виртуальной камеры для мониторинга, может быть значением, отличным от вышеописанных значений, и не ограничено конкретным образом. Четвертый модуль 412 формирования тракта камеры выводит, в модуль 414 запоминания информации вторых виртуальных точек обзора, в качестве информации тракта виртуальной камеры, уравнение пространственной кривой, указывающее такой заданный тракт 601 мониторинга низкокачественных областей.

[0091] Фиг. 9 является концептуальным видом, показывающим тракт камеры для мониторинга функциональных вводов камеры. Наблюдатель изменяет перемещение и направление виртуальной камеры 901 для мониторинга с использованием контроллера 107, соединенного с терминалом 105. Модуль 408 ввода вторых виртуальных точек обзора выводит, в первый модуль 413 формирования тракта камеры, управляющую информацию виртуальной камеры для мониторинга, полученную из терминала 105. Первый модуль 413 формирования тракта камеры формирует информацию тракта виртуальной камеры на основе управляющей информации виртуальной камеры для мониторинга и выводит ее в модуль 414 запоминания информации вторых виртуальных точек обзора.

[0092] Как очевидно из вышеприведенного описания, в режиме мониторинга полных видов "с высоты птичьего полета", режиме прогнозного мониторинга и режиме мониторинга низкокачественных областей режимов на основе виртуальных точек обзора для мониторинга, устройство 101 формирования изображений автоматически последовательно обновляет позицию точки обзора виртуальной камеры для мониторинга. В режиме мониторинга функциональных вводов камеры, виртуальная точка обзора для мониторинга обновляется в зависимости от операции контроллера 107 наблюдателем.

[0093] Снова ссылаясь на фиг. 5, модуль 414 запоминания информации вторых виртуальных точек обзора получает информацию тракта виртуальной камеры, соответствующую режиму на основе виртуальных точек обзора, и затем подтверждает текущую позицию виртуальной камеры (этап S509). Как результат, подтверждается то, находится или нет текущая позиция виртуальной камеры на полученном тракте виртуальной камеры.

[0094] Если текущая позиция находится на тракте ("Да" на этапе S510), модуль 414 запоминания информации вторых виртуальных точек обзора вычисляет, из текущей позиции виртуальной камеры, позицию на тракте после 1/60 секунды (этап S511) и формирует информацию виртуальных точек обзора позиции и выводит ее в модуль 415 формирования изображений со второй виртуальной точкой обзора (этап S513).

[0095] Если текущая позиция не находится на тракте ("Нет" на этапе S510), модуль 414 запоминания информации вторых виртуальных точек обзора подтверждает начальную позицию перемещения, сохраненную в полученной информации тракта виртуальной камеры (этап S512), и формирует информацию виртуальных точек обзора позиции и выводит ее в модуль 415 формирования изображений со второй виртуальной точкой обзора (этап S513).

[0096] Ниже описывается перемещение виртуальной камеры для мониторинга (виртуальной точки обзора).

[0097] Фиг. 10A показывает перемещение, когда текущая позиция виртуальной камеры для мониторинга находится на тракте виртуальной камеры. Фиг. 10A примерно иллюстрирует режим мониторинга полных видов "с высоты птичьего полета". Ссылаясь на фиг. 10A, если подтверждается то, что текущая виртуальная камера 1001 для мониторинга находится на тракте виртуальной камеры, позиция 1002 на тракте, в которую виртуальная камера перемещается из текущей позиции на 100 мм, подтверждается, чтобы формировать информацию виртуальных точек обзора. Перемещение на 100 мм в течение 1/60 секунды соответствует приблизительно 20 км/час. Следует отметить, что расстояние перемещения виртуальной камеры не ограничено конкретным образом. Часть для ввода расстояния от экрана 106 терминала для мониторинга наблюдателем может предоставляться, и расстояние может вводиться наблюдателем для переменного задания. Фиг. 10B показывает информацию виртуальных точек обзора виртуальной камеры 1001. Фиг. 1°C показывает информацию виртуальных точек обзора, соответствующую позиции, в которую виртуальная камера 1001 перемещается после 1/60 секунды.

[0098] После этого описывается перемещение, когда текущая позиция виртуальной камеры для мониторинга не находится на тракте виртуальной камеры. Фиг. 11A показывает пример, когда режим на основе виртуальных точек обзора для мониторинга переключается из режим мониторинга функциональных вводов камеры в режим мониторинга полных видов "с высоты птичьего полета". Ссылаясь на фиг. 11A, если подтверждается то, что текущая виртуальная камера 1101 для мониторинга не находится на тракте виртуальной камеры, полученная начальная позиция 602 тракта камеры подтверждается, чтобы формировать информацию виртуальных точек обзора. Фиг. 11B показывает информацию виртуальных точек обзора виртуальной камеры 1101. Фиг. 11C показывает информацию виртуальных точек обзора виртуальной камеры 1102, которая перемещена в начальную позицию 602.

[0099] Далее описывается подробный контент обработки, когда изображение с анормальной виртуальной точкой обзора отображается в терминале 105 согласно варианту осуществления.

[0100] Фиг. 12A показывает пример отображения на экране 106 терминала для мониторинга терминала 105. Допустим, что режим на основе виртуальных точек обзора для мониторинга представляет собой режим мониторинга функциональных вводов камеры. Тем не менее, может задаваться другой режим. Фиг. 12A показывает анормальное состояние, в котором половина тела игрока 1200 не отображается в изображении с виртуальной точкой обзора в позиции и ориентации виртуальной точки обзора для мониторинга в это время. Если наблюдатель видит изображение, чтобы распознавать его в качестве анормального изображения или низкокачественного изображения, он управляет контроллером 107 таким образом, что вводить информацию, указывающую то, что возникает анормальная точка обзора. Следует отметить, что анормальная точка обзора может находиться не только в позиции и ориентации виртуальной точки обзора, в которой формируется изображение с виртуальной точкой обзора с отсутствующим передним планом, но также и в позиции и ориентации виртуальной точки обзора, в которой формируется изображение с виртуальной точкой обзора, качество которого определяется по другой причине, к примеру, в позиции и ориентации виртуальной точки обзора, в которой формируется изображение с виртуальной точкой обзора, включающее в себя большое количество шума. Если эта информация вводится, терминал 105 сохраняет информацию, указывающую анормальную точку обзора в управляющей информации виртуальной камеры для мониторинга, и уведомляет устройство 101 формирования изображений касательно нее (передает ее в устройство 101 формирования изображений). Таким образом, терминал 105 уведомляет устройство 101 формирования изображений касательно информации для обозначения позиции и/или направления в зоне прямой видимости точки обзора, в которой формируется низкокачественное изображение с виртуальной точкой обзора. Кроме того, терминал 105 уведомляет устройство 101 формирования изображений касательно информации относительно позиции и ориентации виртуальной точки обзора, в которой формируется изображение с виртуальной точкой обзора с отсутствующим передним планом, или позиции и ориентации виртуальной точки обзора, в которой формируется изображение с виртуальной точкой обзора, включающее в себя большое количество шума. Устройство 101 формирования изображений принимает, из терминала 105, информацию для обозначения позиции и/или направления в зоне прямой видимости точки обзора, в которой формируется низкокачественное изображение с виртуальной точкой обзора. Кроме того, устройство 101 формирования изображений принимает, из терминала 105, информацию относительно позиции и ориентации виртуальной точки обзора, в которой формируется изображение с виртуальной точкой обзора с отсутствующим передним планом, или позиции и ориентации виртуальной точки обзора, в которой формируется изображение с виртуальной точкой обзора, включающее в себя большое количество шума. Следует отметить, что терминал 105 или устройство 101 формирования изображений может быть выполнено с возможностью автоматически определять качество изображения с виртуальной точкой обзора посредством выполнения обработки изображений для оценки качества изображений.

[0101] После приема этого уведомления, модуль 408 ввода вторых виртуальных точек обзора устройства 101 формирования изображений уведомляет модуль 417 запоминания и вывода анормальных точек обзора касательно того, что возникает анормальная точка обзора. После приема этого уведомления, модуль 417 запоминания и вывода анормальных точек обзора получает информацию позиции и ориентации (позиции и направления в зоне прямой видимости) виртуальной точки обзора для мониторинга в это время из модуля 414 запоминания информации вторых виртуальных точек обзора и регистрирует ее в качестве информации анормальных точек обзора во внутреннем запоминающем устройстве.

[0102] Модуль 417 запоминания и вывода анормальных точек обзора формирует графическую информацию футбольного поля, на которое накладывается первый тип значка камеры, представляющий текущую виртуальную точку обзора для зрителей, и второй тип значка камеры, представляющий анормальную точку обзора, и передает ее в терминал 102. Таким образом, устройство 101 формирования изображений уведомляет терминал 102 касательно информации относительно качества изображения с виртуальной точкой обзора. Следует отметить, что помимо этого, изображение с виртуальной точкой обзора из модуля 407 вывода изображений с первой виртуальной точкой обзора также передается в терминал 102, и в силу этого передача выполняется для того, чтобы иметь возможность различать между изображениями. Например, терминал 102 имеет некоторые порты для приема информации из устройства 101 формирования изображений, и информация передается в каждый порт. Первый и второй типы значков камеры предпочтительно имеют различные формы или цвета для возможности идентификации. Кроме того, графическая информация, представляющая футбольное поле и значки, представляет собой данные рисования в простом векторном формате. Тем не менее, могут использоваться данные изображений в формате битовой карты (следует отметить, что данные изображений сжимаются).

[0103] Фиг. 12B является видом, показывающим экран 103 отображения терминала 102. Как показано на фиг. 12B, окно 1201 для отображения изображения с виртуальной точкой обзора, видимого из виртуальной точки обзора для зрителей, и окно 1202 для подтверждения текущей позиции виртуальной камеры (виртуальной точки обзора), управляемой оператором виртуальной камеры на футбольном поле, отдельно отображаются на экране 103 отображения. Изображение, отображаемое во втором окне 1202, представляет собой изображение, нарисованное посредством терминала 102 (его процессора) на основе данных рисования, принимаемых из модуля 417 запоминания и вывода анормальных точек обзора устройства 101 формирования изображений. В примере по фиг. 12B, показаны значки 1204 и 1205, соответствующие двум анормальным точкам обзора, вводимым наблюдателем. Например, значок 1203, управляемый оператором виртуальной камеры, представляется посредством синего сегмента линии, и значки 1204 и 1205, указывающие анормальные точки обзора, представляются посредством красных сегментов линии. Таким образом, терминал 102 уведомляет оператора виртуальной камеры касательно информации относительно качества изображения с виртуальной точкой обзора посредством ее отображения. Терминал 102 уведомляет оператора виртуальной камеры касательно позиции и/или направления в зоне прямой видимости точки обзора, в которой формируется изображение с виртуальной точкой обзора с отсутствующим объектом, или позиция и/или направления в зоне прямой видимости точки обзора, в которой формируется изображение с виртуальной точкой обзора, включающее в себя шум. Посредством наблюдения окна 1202, оператор виртуальной камеры может выяснять позицию и ориентацию виртуальной точки обзора, в которой нежелательно формируется изображение с анормальной виртуальной точкой обзора. Таким образом, оператор виртуальной камеры управляет позицией и ориентацией виртуальной точки обзора (значок 1203), чтобы не допускать вышеуказанной позиции и ориентации, за счет этого не допуская формирование изображения с анормальной виртуальной точкой обзора.

[0104] Согласно вышеописанному варианту осуществления, оператор виртуальной камеры может выполнять операцию посредством подтверждения позиционной взаимосвязи между виртуальной точкой обзора, управляемой им сами, позицией точки обзора, в которой формируется изображение с анормальной виртуальной точкой обзора, за счет этого просматривая естественное изображение с виртуальной точкой обзора. Как результат, также можно формировать файл с движущимися изображениями для естественной виртуальной точки обзора.

[0105] Следует отметить, что в вышеприведенном варианте осуществления, модуль 417 запоминания и вывода анормальных точек обзора устройства 101 формирования изображений формирует графическую информацию рисования, которая должна отображаться в окне 1202, показанном на фиг. 12B. Тем не менее, модуль 417 запоминания и вывода анормальных точек обзора имеет функцию простого запоминания информации позиции и ориентации анормальной точки обзора, но может функционировать только в качестве модуля передачи виртуальных точек обзора. Таким образом, модуль 417 запоминания и вывода анормальных точек обзора может иметь только функцию передачи информации позиции и ориентации анормальной точки обзора в терминал 102. В этом случае, терминал 102 запоминает информацию для рисования чертежа в форме линий футбольного поля. Кроме того, терминал 102 запоминает позицию виртуальной точки обзора и направление захвата в ходе операции оператором виртуальной камеры. Терминал 102 формирует и рисует изображение окна 1202 на основе этих фрагментов информации и информации анормальных точек обзора, принимаемой из устройства 101 формирования изображений. Как результат, можно получать преимущества, идентичные преимуществам в первом варианте осуществления.

[0106] В варианте осуществления, терминалы 102 и 105 описываются в качестве отдельных устройств. Тем не менее, одно устройство может иметь функции этих двух устройств. Например, это соответствует применению для выполнения операции нахождения позиций и числа анормальных точек обзора и создания файла с движущимися изображениями виртуальной точки обзора. В этом случае, устройство сохраняет и запоминает заранее, в устройстве хранения данных, таком как жесткий диск, видео (движущиеся изображения), захваченные посредством множества устройств захвата изображений синхронно между собой. На первой стадии, выполняются обработка извлечения позиции и направления в зоне прямой видимости анормальной точки обзора, и информация сохраняется и запоминается. После этого, на второй стадии, отображается футбольное поле, на которое в ходе работы накладываются значок, указывающий позицию и ориентацию извлеченной анормальной точки обзора, и значок, указывающий виртуальную точку обзора, и затем выполняется операция создания движущегося изображения виртуальной точки обзора при изменении позиции и ориентации виртуальной точки обзора. В этом случае, устройство 101 формирования изображений и терминалы 102 и 105 могут формироваться в качестве одного устройства. То же применимо ко второму варианту осуществления и последующим вариантам осуществления, которые описываются ниже.

[0107] В варианте осуществления, отправляется уведомление касательно информации относительно низкокачественного изображения или изображения с виртуальной точкой обзора, в котором возникает анормальность. Компоновка отправки уведомления касательно информации относительно высококачественного изображения с виртуальной точкой обзора может приспосабливаться.

[0108] Второй вариант осуществления

Второй вариант осуществления описывает пример эффективной реализации мониторинга полных видов "с высоты птичьего полета" посредством подтверждения только области, в которой существует объект, при мониторинге качества изображения с виртуальной точкой обзора посредством наблюдения всей области захвата сверху.

[0109] Ниже поясняется причина, по которой подтверждение ограничено областью, в которой существует объект. Видео со свободной точкой обзора создается посредством разделения данных изображений переднего плана и данных фоновых изображений, как описано в первом варианте осуществления. В качестве фоновой части видео со свободной точкой обзора, используются данные фоновых изображений, захваченные заранее, и в силу этого обеспечивается нормальное качество изображений. Фоновая часть может формироваться посредством простой обработки комбинирования. Следовательно, вероятность того, что анормальность качества изображений возникает в фоновой части, является очень низкой. Наоборот, данные изображений переднего плана для определенного числа видео камеры для захвата изображений используются для части переднего плана видео со свободной точкой обзора, т.е. для объекта, к примеру, так называемого игрока, анормальность в одной камере непосредственно затрагивает анормальность качества изображений в видео со свободной точкой обзора. Таким образом, вероятность того, что анормальность качества изображений возникает в части переднего плана, является высокой, по сравнению с фоновой частью. Следовательно, вероятность обнаружения анормальности увеличивается посредством уделения внимания только области, в которой существует объект, и ее мониторинга. Кроме того, посредством уменьшения области мониторинга, могут уменьшаться нагрузка по обработке и нагрузка наблюдателя.

[0110] Модули, имеющие функции, идентичные функциям в первом варианте осуществления, обозначаются посредством идентичных ссылок с номерами, и их описание опускается. Фиг. 13 является функциональной блок-схемой, показывающей устройство 101 формирования изображений согласно второму варианту осуществления.

[0111] Модуль 1301 разделения изображений переднего плана/фоновых изображений выводит данные фоновых изображений и данные изображений переднего плана в модуль 403 хранения данных разделенных изображений. Кроме того, модуль 1301 разделения изображений переднего плана/фоновых изображений выводит данные изображений переднего плана в пятый модуль 1302 формирования тракта камеры. Данные изображений переднего плана также сохраняют информацию пространственной позиции каждого переднего плана, т.е. так называемого объекта.

[0112] Далее описывается работа модуля 414 запоминания информации вторых виртуальных точек обзора согласно второму варианту осуществления.

[0113] Модуль 414 запоминания информации вторых виртуальных точек обзора подтверждает текущий режим на основе виртуальных точек обзора для мониторинга (этап S501). Если режим на основе виртуальных точек обзора для мониторинга представляет собой режим мониторинга полных видов "с высоты птичьего полета" ("Да" на этапе S502), модуль 414 запоминания информации вторых виртуальных точек обзора получает информацию тракта виртуальной камеры для мониторинга видов переднего плана "с высоты птичьего полета" из пятого модуля 1302 формирования тракта камеры (этап S503).

[0114] Фиг. 14 является концептуальным видом, показывающим тракт камеры для мониторинга видов переднего плана "с высоты птичьего полета" согласно второму варианту осуществления. Тракт 1401 мониторинга видов переднего плана "с высоты птичьего полета" указывает тракт, вдоль которого перемещается виртуальная камера для мониторинга из начальной позиции 1402 перемещения. Пятый модуль 1302 формирования тракта камеры получает данные изображений переднего плана из модуля 1301 разделения изображений переднего плана/фоновых изображений и подтверждает пространственные позиции всех передних планов. Затем, пятый модуль 1302 формирования тракта камеры получает область 1404 существования переднего плана в качестве области, включающей в себя все передние планы (ниже описывается способ получения области существования переднего плана). Пятый модуль 1302 формирования тракта камеры задает направление камеры таким образом, что центр 1403 области 1404 существования переднего плана задается в центре изображения, снятого виртуальной камерой, и задает тракт таким образом, что вся область 1404 существования переднего плана попадает в изображение, снятое виртуальной камерой. Пятый модуль 1302 формирования тракта камеры выводит, в качестве информации тракта виртуальной камеры, уравнение пространственной кривой, указывающее такой заданный тракт 1401 мониторинга видов переднего плана "с высоты птичьего полета", в модуль 414 запоминания информации вторых виртуальных точек обзора.

[0115] Фиг. 15A-15C являются видами для пояснения способа получения области существования переднего плана. Фиг. 15A показывает позиции передних планов на плоскости XY. Во-первых, передние планы в позициях максимальных и минимальных значений на оси X, на которой могут быть распределены объекты (игроки), извлекаются, чтобы рисовать перпендикуляры к оси X. Передние планы в позициях максимальных и минимальных значений на оси Y извлекаются, чтобы рисовать перпендикуляры к оси Y. Фиг. 15B показывает такие нарисованные четыре перпендикуляра. Далее, извлекается эллипс с размером, который проходит через четыре точки пересечения четырех перпендикуляров (эллипс с минимальным размером, включающий в себя четыре точки пересечения). Фиг. 15C показывает эллипс, полученный в качестве результата. Этот эллипс определяется в качестве области существования переднего плана, и центр эллипса задается в качестве центра изображения, снятого виртуальной камерой. Следует отметить, что в качестве способа получения области существования переднего плана, могут использоваться способы, отличные от вышеописанного способа.

[0116] Как описано выше, согласно второму варианту осуществления, до того, как оператор виртуальной камеры (пользователь терминала 102 для зрителей) перемещает виртуальную камеру в позицию, в которой получается изображение с анормальной виртуальной точкой обзора, можно формировать заранее изображение с виртуальной точкой обзора для мониторинга качества и обнаруживать анормальность и дополнительно подтверждать только область, в которой существует объект, за счет этого позволяя наблюдателю эффективно реализовывать мониторинг полных видов "с высоты птичьего полета".

[0117] Третий вариант осуществления

Третий вариант осуществления описывает пример реализации, при мониторинге качества изображения с виртуальной точкой обзора посредством наблюдения всей области захвата сверху, мониторинга полных видов "с высоты птичьего полета", допускающего мониторинг всей области захвата в течение короткого времени посредством разделения области, в которой может существовать объект, по меньшей мере, на две области и подтверждения каждой области с использованием множества виртуальных камер для мониторинга.

[0118] Модули, имеющие функции, идентичные функциям в первом варианте осуществления, обозначаются посредством идентичных ссылок с номерами, и их описание опускается.

[0119] Фиг. 16 является функциональной блок-схемой, показывающей устройство 101 формирования изображений согласно третьему варианту осуществления. Ниже описывается работа модуля 1602 запоминания информации вторых виртуальных точек обзора согласно третьему варианту осуществления.

[0120] Модуль 1602 запоминания информации вторых виртуальных точек обзора подтверждает текущий режим на основе виртуальных точек обзора для мониторинга (этап S501). Если режим на основе виртуальных точек обзора для мониторинга представляет собой режим мониторинга полных видов "с высоты птичьего полета" ("Да" на этапе S502), модуль 1602 запоминания информации вторых виртуальных точек обзора получает, по меньшей мере, два фрагмента информации тракта виртуальной камеры для мониторинга полных видов "с высоты птичьего полета" из шестого модуля 1601 формирования тракта камеры (этап S503).

[0121] Фиг. 17 является концептуальным видом, показывающим тракты камеры для мониторинга разделенных видов "с высоты птичьего полета" согласно третьему варианту осуществления. Тракт мониторинга формируется из четырех трактов, каждый из которых служит для мониторинга одной разделенной области, когда поле разделяется на четыре области. Работа каждой виртуальной камеры для мониторинга является идентичной за исключением области мониторинга, по сравнению со вторым модулем 410 формирования тракта камеры согласно первому варианту осуществления, и ее описание опускается. В примере, показанном на фиг. 17, шестой модуль 1601 формирования тракта камеры выводит четыре фрагмента информации тракта камеры в модуль 1602 запоминания информации вторых виртуальных точек обзора. После этого, модуль 1602 запоминания информации вторых виртуальных точек обзора формирует информацию виртуальных точек обзора из каждого фрагмента информации тракта камеры и выводит ее в модуль 1603 формирования изображений со второй виртуальной точкой обзора.

[0122] После получения, по меньшей мере, четырех фрагментов ввода информации виртуальных точек обзора из модуля 1602 запоминания информации вторых виртуальных точек обзора, модуль 1603 формирования изображений со второй виртуальной точкой обзора формирует изображение с виртуальной точкой обзора на основе каждого фрагмента информации виртуальных точек обзора. После этого, модуль 1603 формирования изображений со второй виртуальной точкой обзора формирует одно комбинированное изображение посредством соединения множества сформированных изображений с виртуальной точкой обзора и выводит комбинированное изображение в модуль 416 вывода изображений со второй виртуальной точкой обзора.

[0123] Фиг. 18 показывает пример отображения изображений, снятых виртуальной камерой для мониторинга, согласно третьему варианту осуществления. Фиг. 18 показывает пример отображения в примере по фиг. 17, в котором четыре изображения, снятых виртуальной камерой для мониторинга отображаются с разделением на одном экране. В третьем варианте осуществления, наблюдатель может видеть четыре изображения, отображаемые одновременно. Следовательно, контроллер 107 имеет кнопки или клавиши независимо для четырех изображений, каждая из которых используется для того, чтобы указывать возникновение анормального изображения. Если анормальности возникают в двух изображениях одновременно, кнопки или клавиши, соответствующие изображениям, работают.

[0124] Как описано выше, согласно третьему варианту осуществления, до того, как оператор виртуальной камеры перемещает виртуальную камеру в позицию, в которой получается изображение с анормальной виртуальной точкой обзора, можно формировать заранее изображение с виртуальной точкой обзора для мониторинга качества и обнаруживать анормальность и дополнительно подтверждать изображения, полученные с использованием множества виртуальных камер для мониторинга и отображаемые с разделением на одном экране, за счет этого позволяя наблюдателю отслеживать всю область в течение короткого времени.

[0125] Следует отметить, что в вышеприведенном примере, экран разделяется на четыре части, и изображения, соответственно, отображаются в разделенных частях. Тем не менее, режим может задаваться независимо для каждого разделенного изображения.

[0126] Четвертый вариант осуществления

Четвертый вариант осуществления описывает пример реализации технологии, допускающей обнаружение анормальности, даже если не существует наблюдатель, посредством предоставления, в устройстве 101 формирования изображений, обработки обнаружения анормальности в изображении с виртуальной точкой обзора и уведомления оператора виртуальной камеры касательно анормальности, при мониторинге качества изображения с виртуальной точкой обзора посредством наблюдения всей области захвата сверху.

[0127] Модули, имеющие функции, идентичные функциям в первом варианте осуществления, обозначаются посредством идентичных ссылок с номерами, и их описание опускается. Фиг. 19 является функциональной блок-схемой, показывающей устройство 101 формирования изображений согласно четвертому варианту осуществления.

[0128] Модуль 1901 формирования изображений со второй виртуальной точкой обзора получает данные изображений переднего плана и данные фоновых изображений, соответствующие информации виртуальных точек обзора, из модуля 403 хранения данных разделенных изображений, формирует изображение с виртуальной точкой обзора и выводит его в модуль 1902 обнаружения анормальности. После этого, модуль 1902 обнаружения анормальности уведомляет модуль 1901 формирования изображений со второй виртуальной точкой обзора касательно присутствия/отсутствия анормальности и контента анормальности, если возникает анормальность. Если анормальность не возникает, модуль 1901 формирования изображений со второй виртуальной точкой обзора выводит сформированное изображение с виртуальной точкой обзора в модуль 416 вывода изображений со второй виртуальной точкой обзора. Если анормальность возникает, модуль 1901 формирования изображений со второй виртуальной точкой обзора выполняет обработку обеспечения возможности идентифицировать то, то сформированное изображение с виртуальной точкой обзора включает в себя контент анормальности, и выводит обработанное изображение с виртуальной точкой обзора в модуль 416 вывода изображений со второй виртуальной точкой обзора. Пример обработки представляет собой обработку разрешения наблюдателю интуитивно распознавать то, что имеется вероятность анормальности. Типично, выполняется обработка наложения, в углу изображения с виртуальной точкой обзора, диалогового окна, указывающего то, что анормальность возникает, или цвет внешнего кадра изображения с виртуальной точкой обзора задается в качестве цвета, отличающегося от нормального цвета. Как результат, наблюдатель может выяснять возникновение анормальной точки обзора не только посредством визуального наблюдения, но также и с поддержкой устройства 101 формирования изображений.

[0129] После получения изображения виртуальной точки обзора для мониторинга из модуля 1901 формирования изображений со второй виртуальной точкой обзора, модуль 1902 обнаружения анормальности извлекает компоненты по оси Y (компоненты яркости) всех пикселов. Затем, модуль 1902 обнаружения анормальности извлекает максимальное значение компонентов по оси Y всех пикселов и задает его в качестве максимальной яркости изображения с виртуальной точкой обзора. Модуль 1902 обнаружения анормальности извлекает минимальное значение компонентов по оси Y всех пикселов и задает его в качестве минимальной яркости изображения с виртуальной точкой обзора. Модуль 1902 обнаружения анормальности получает среднее значение компонентов по оси Y всех пикселов и задает его в качестве средней яркости изображения с виртуальной точкой обзора. Таким образом, модуль 1902 обнаружения анормальности извлекает три вида данных для максимальной яркости, минимальной яркости и средней яркости для каждого изображения с виртуальной точкой обзора. Кроме того, что касается средней яркости, значения средней яркости для последних 3 секунд сохраняются и запоминаются. Таким образом, для движущегося изображения с 60 кадров/с, модуль 1902 обнаружения анормальности записывает значения средней яркости из 180 изображений с виртуальной точкой обзора.

[0130] Модуль 1902 обнаружения анормальности обнаруживает то, возникает или нет анормальность в виде потери деталей в ярких участках в изображении с виртуальной точкой обзора. Потеря деталей в ярких участках изображения указывает состояние, в котором отсутствуют данные изображений, поскольку изображение насыщается белым цветом, и представляет собой анормальность, которая не может восстанавливаться даже в последующем процессе редактирования. Подтверждается то, равно или выше либо нет значение максимальной яркости, полученное из изображения с виртуальной точкой обзора, полученного из модуля 1901 формирования изображений со второй виртуальной точкой обзора, верхнего предельного значения компонента по оси Y. Верхнее предельное значение компонента по оси Y соответствует, например, "940" для 10-битового изображения. Если значение максимальной яркости компонента по оси Y равно или выше верхнего предельного значения, модуль 1902 обнаружения анормальности определяет то, что возникает анормальность в виде потери деталей в ярких участках, и выводит информацию, указывающую результат определения, в модуль 1901 формирования изображений со второй виртуальной точкой обзора.

[0131] Если анормальность в виде потери деталей в ярких участках не возникает, модуль 1902 обнаружения анормальности обнаруживает то, возникает или нет анормальность в виде потери деталей в тенях в изображении с виртуальной точкой обзора. Потеря деталей в тенях указывает состояние, в котором отсутствуют данные изображений, поскольку изображение насыщается черным цветом, и представляет собой анормальность, которая не может восстанавливаться даже в последующем процессе редактирования. Подтверждается то, равно или меньше либо нет значение минимальной яркости, полученное из изображения с виртуальной точкой обзора, полученного из модуля 1901 формирования изображений со второй виртуальной точкой обзора, нижнего предельного значения компонента по оси Y. Нижнее предельное значение компонента по оси Y соответствует, например, "64" для 10-битового изображения. Если значение минимальной яркости равно или меньше нижнего предельного значения компонента по оси Y, модуль 1902 обнаружения анормальности определяет то, что анормальность в виде потери деталей в тенях возникает, и выводит информацию, указывающую результат определения, в модуль 1901 формирования изображений со второй виртуальной точкой обзора.

[0132] Если анормальность в виде потери деталей в тенях не возникает, модуль 1902 обнаружения анормальности подтверждает записанный переход яркости изображений с виртуальной точкой обзора в течение 3 секунд и обнаруживает то, изменяется или нет внезапно яркость изображения. Более конкретно, модуль 1902 обнаружения анормальности задает, в качестве максимальной средней яркости и минимальной средней яркости, максимальные и минимальные значения средних яркостей изображений с виртуальной точкой обзора в течение 3 секунд, соответственно. Если разность между максимальной средней яркостью и минимальной средней яркостью превышает, например, "200", модуль 1902 обнаружения анормальности определяет то, что анормальность в виде внезапного изменения яркости возникает, и выводит информацию, указывающую результат определения, в модуль 1901 формирования изображений со второй виртуальной точкой обзора. В качестве причины обнаружения анормальности в виде внезапного изменения яркости, например, если изображение с виртуальной точкой обзора внезапно изменяется с солнечного изображения на затененное изображение вследствие перемещения виртуальной камеры или изменения направления виртуальной камеры, зрители, которые просматривают изображение с виртуальной точкой обзора, застигаются врасплох и чувствуют себя дискомфортно. Следовательно, этот случай не допускается посредством уведомления оператора виртуальной камеры касательно того, что этот тракт перемещения виртуальной камеры для мониторинга не должен использоваться.

[0133] В завершение, если внезапное изменение яркости не обнаруживается, модуль 1902 обнаружения анормальности выводит информацию, указывающую нормальное состояние, в модуль 1901 формирования изображений со второй виртуальной точкой обзора.

[0134] Следует отметить, что в этом примере, используется модуль для обнаружения анормальности, ассоциированной с экспозицией. Тем не менее, модуль 1902 обнаружения анормальности может использовать способ, отличный от способа с использованием компонентов по оси Y изображения с виртуальной точкой обзора. Кроме того, может обнаруживаться анормальность, отличная от анормальности экспозиции. Например, могут использоваться анализ посредством гистограмм или способ обнаружения шума, такого как блочный шум или москитный шум, и настоящее изобретение не ограничено конкретным образом.

[0135] Как описано выше, согласно четвертому варианту осуществления, до того, как оператор виртуальной камеры перемещается в позицию, в которой получается изображение с анормальной виртуальной точкой обзора, можно формировать заранее изображение с виртуальной точкой обзора для мониторинга качества и обнаруживать анормальность и дополнительно предоставлять модуль для автоматического обнаружения анормальности в устройстве формирования изображений и уведомлять оператора виртуальной камеры касательно анормальности, в силу этого позволяя обнаруживать анормальность, даже если не существует наблюдатель.

[0136] Другие варианты осуществления

Вариант(ы) осуществления настоящего изобретения также может быть реализован посредством компьютера системы или устройства, которое считывает и выполняет машиноисполняемые инструкции (например, одну или более программ), записанные на носителе хранения данных (который также более полно может называться "энергонезависимым машиночитаемым носителем хранения данных"), с тем чтобы выполнять функции одного или более вышеописанных вариантов осуществления, и/или которое включает в себя одну или более схем (например, специализированную интегральную схему (ASIC)) для выполнения функций одного или более вышеописанных вариантов осуществления, и посредством способа, осуществляемого посредством компьютера системы или устройства, например, посредством считывания и выполнения машиноисполняемых инструкций из носителя хранения данных, чтобы выполнять функции одного или более вышеописанных вариантов осуществления, и/или управления одной или более схем, чтобы выполнять функции одного или более вышеописанных вариантов осуществления. Компьютер может содержать один или более процессоров (например, центральный процессор (CPU), микропроцессор (MPU)) и может включать в себя сеть отдельных компьютеров или отдельных процессоров, чтобы считывать и выполнять машиноисполняемые инструкции. Машиноисполняемые инструкции могут предоставляться в компьютер, например, из сети или с носителя хранения данных. Носитель хранения данных может включать в себя, например, одно или более из жесткого диска, оперативного запоминающего устройства (RAM), постоянного запоминающего устройства (ROM), устройства хранения распределенных вычислительных систем, оптического диска (такого как компакт-диск (CD), универсальный цифровой диск (DVD) или Blu-Ray-диск (BD)™), устройства флэш-памяти, карты памяти и т.п.

[0137] Хотя настоящее изобретение описано со ссылкой на примерные варианты осуществления, следует понимать, что изобретение не ограничено раскрытыми примерными вариантами осуществления. Объем прилагаемой формулы изобретения должен соответствовать самой широкой интерпретации, так что он заключает в себе все такие модификации и эквивалентные структуры и функции.

Реферат

Изобретение относится к вычислительной технике. Технический результат заключается в повышении качества формируемого изображения с виртуальной точкой обзора. Устройство обработки информации содержит модуль формирования, выполненный с возможностью формировать изображение с виртуальной точкой обзора на основании первой информации относительно позиции и/или направления точки обзора, вводимой пользователем посредством терминала, и на основании изображений от множества устройств захвата изображений; и модуль передачи, выполненный с возможностью передачи указанному терминалу изображения с виртуальной точкой обзора, сформированного посредством модуля формирования, и второй информации относительно позиции и/или направления анормальной точки обзора. 3 н. и 14 з.п. ф-лы, 37 ил.

Формула

1. Устройство обработки информации, содержащее:

- модуль формирования, выполненный с возможностью формировать изображение с виртуальной точкой обзора на основании первой информации относительно позиции и/или направления точки обзора, вводимой пользователем посредством терминала, и на основании изображений от множества устройств захвата изображений; и

- модуль передачи, выполненный с возможностью передачи указанному терминалу изображения с виртуальной точкой обзора, сформированного посредством модуля формирования, и второй информации относительно позиции и/или направления анормальной точки обзора.

2. Устройство по п. 1, в котором модуль передачи передает в качестве второй информации одну из: информации относительно позиции и/или направления точки обзора, в которой формируется изображение с виртуальной точкой обзора с отсутствующим объектом и информации относительно позиции и/или направления точки обзора, в которой формируется изображение с виртуальной точкой обзора с шумом.

3. Устройство по п. 1, в котором модуль передачи передает изображение с виртуальной точкой обзора и вторую информацию указанному терминалу, которое отображает изображение с виртуальной точкой обзора и изображение на основании указанной второй информации.

4. Устройство по п. 1, в котором модуль формирования формирует изображение с виртуальной точкой обзора на основании виртуальной точки обзора, которая перемещается через предварительно определенный тракт с предварительно определенной скоростью.

5. Устройство по п. 1, в котором модуль формирования формирует изображение с виртуальной точкой обзора на основании виртуальной точки обзора, которая перемещается в предварительно определенной области.

6. Устройство по п. 1, в котором модуль формирования формирует изображение с виртуальной точкой обзора на основании виртуальной точки обзора, которая перемещается в соответствии с позицией виртуальной точки обзора, заданной другим устройством обработки информации.

7. Устройство по п. 1, в котором модуль формирования формирует изображение с виртуальной точкой обзора на основании автоматически последовательно обновленной позиции и/или направления точки обзора.

8. Устройство по п. 1, дополнительно содержащее

- приемный модуль для приема входной информации, вводимой другим пользователем;

при этом модуль передачи передает вторую информацию относительно позиции и/или направления анормальной точки обзора на основании входной информации, принимаемой приемным модулем.

9. Устройство по п. 8, в котором приемный модуль принимает посредством другого пользователя инструкцию, чтобы выбирать один из множества режимов, ассоциированных с перемещением виртуальной точки обзора, и

модуль формирования формирует изображение с виртуальной точкой обзора на основании выбранного режима.

10. Устройство по п. 9, в котором множество режимов включают в себя:

- режим перемещения, с предварительно определенной скоростью, виртуальной точки обзора вдоль тракта для наблюдения сверху всей области, в которой может существовать объект,

- режим оценки направления перемещения виртуальной точки обзора, запрашиваемой пользователем, и перемещения виртуальной точки обзора в оцененном направлении перемещения,

- режим задания, в качестве цели мониторинга, предварительно установленной области, в которой качество объекта легко ухудшается, и перемещения виртуальной точки обзора в области с предварительно определенной скоростью, и

- режим перемещения виртуальной точки обзора в зависимости только от операции посредством другого пользователя.

11. Устройство по п. 8, в котором модуль передачи передает информацию, графически представляющую позицию и направление виртуальной точки обзора, соответствующей изображению с виртуальной точкой обзора, сформированному модулем формирования, и позицию и направление виртуальной точки обзора, соответствующей входной информации, вводимой другим пользователем.

12. Устройство по п. 10, в котором множество режимов включает в себя режим обнаружения, на основе распределения объектов, наименьшей области, включающей в себя объекты, и перемещения виртуальной точки обзора таким образом, чтобы наблюдать наименьшую область сверху.

13. Устройство по п. 8, дополнительно содержащее:

- модуль комбинирования, выполненный с возможностью формировать одно изображение посредством разделения области, в которой может существовать объект, на предварительно установленное число областей и комбинирования изображений с виртуальной точкой обзора для наблюдения соответствующих разделенных областей сверху,

- при этом при выполнении передачи указанному другому пользователю модуль передачи передает комбинированное изображение, полученное посредством модуля комбинирования.

14. Устройство по п. 1, в котором модуль формирования оценивает присутствие/отсутствие анормальности в текущем изображении с виртуальной точкой обзора на основе максимальной яркости, средней яркости и минимальной яркости компонентов яркости в изображениях с виртуальной точкой обзора, сформированных от предварительно установленного предыдущего времени до текущего времени, и формирует, в случае, где анормальность оценивается, изображение с виртуальной точкой обзора, дополненное информацией, указывающей то, что оценивается анормальность.

15. Устройство по п. 9, в котором входная информация включает информацию, указывающую, что изображение с виртуальной точкой обзора, сформированное модулем формирования, является анормальным.

16. Способ обработки информации, содержащий этапы, на которых:

- формируют изображение с виртуальной точкой обзора на основании первой информации относительно позиции и/или направления точки обзора, вводимой из терминала, и на основании изображений из множества устройств захвата изображений; и

- передают в указанный терминал сформированное изображение с виртуальной точкой обзора и вторую информацию относительно позиции и/или направления анормальной точки обзора.

17. Энергонезависимый машиночитаемый носитель хранения данных, сохраняющий программу, которая, при выполнении посредством компьютера, инструктирует компьютеру выполнять:

- формирование изображения с виртуальной точкой обзора на основании первой информации относительно позиции и/или направления точки обзора, вводимой из терминала, и на основании изображений из множества устройств захвата изображений; и

- передачу в указанный терминал сформированного изображения с виртуальной точкой обзора и вторую информацию относительно позиции и/или направления анормальной точки обзора.

Документы, цитированные в отчёте о поиске

Системы и способы наблюдения в ночное время

Патенты аналоги

Системы и способы наблюдения в ночное время

Авторы

ИВАКИРИ, Йосики (JP)

IWAKIRI YOSHIKI

IWAKIRI, Yoshiki

Патентообладатели

CANON KK

CANON KABUSHIKI KAISHA

Заявители

CANON KK

CANON KABUSHIKI KAISHA

СПК: G06T7/0002 G06T7/80 G06T13/20 G06T15/205

Публикация: 2020-04-02

Дата подачи заявки: 2018-05-28

РОССТИП

Поиск по товарам

Добавить свой товар

Сообщества

Товары

Участники

Патенты

Запросов

Поставщикам

О сервисе

Блогерам

Помощь