Способ генерирования изображения виртуальной точки обзора и устройство обработки изображений - RU2704244C1
Код документа: RU2704244C1
Чертежи
Описание
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
[0001] Настоящее изобретение относится к системе для генерирования изображения виртуальной точки обзора.
УРОВЕНЬ ТЕХНИКИ
[0002] В последние годы, метод генерирования содержания виртуальной точки обзора с использованием множественных изображений точек обзора, полученных путем осуществления синхронного формирования изображения из множественных точек обзора разными камерами, установленными в разных позициях привлекал внимание. Согласно вышеописанному методу генерирования содержания виртуальной точки обзора с использованием множественных изображений точек обзора, пользователь может наблюдать выделенную сцену футбола или баскетбола под различными углами с более реалистическими ощущениями по сравнению с нормальными изображениями.
[0003] Генерация и просмотр содержания виртуальной точки обзора на основании множественных изображений точек обзора могут быть реализованы путем сбора изображений, захваченных множеством камер, в процессоре изображений, осуществления процессов, включающих в себя генерацию и рендеринг 3D модели с использованием процессора изображений, и передачи обработанных изображений на пользовательский терминал.
[0004] Кроме того, в PTL 1 раскрыт метод соединения множества камер оптическим волокном через соответствующие блоки управления, сохранения кадров изображения камер в блоках управления, и вывода изображений, представляющих непрерывный движение, с использованием сохраненных кадров изображения.
[0005] Однако, нагрузки могут концентрироваться в системе обработки изображений, включающей в себя множество камер. В раскрытой в PTL 1 системе сбора изображений, захваченных множеством камер, на сервере и генерирования содержания виртуальной точки обзора, нагрузка передачи в сети и арифметическая нагрузка сервера увеличиваются в соответствии с количеством камер.
БИБЛИОГРАФИЯ
Патентный источник
PTL 1
Патент США №7106361
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0007] Согласно варианту осуществления настоящего изобретения, способ генерирования изображения виртуальной точки обзора включает в себя генерирование, первым устройством обработки изображений, первой информации для генерирования изображения виртуальной точки обзора на основании первого изображения, захваченного первой камерой, генерирование, вторым устройством обработки изображений, второй информации для генерирования изображения виртуальной точки обзора на основании второго изображения, захваченного второй камерой; указание точки обзора в изображении виртуальной точки обзора; и генерирование, третьим устройством обработки изображений, изображения виртуальной точки обзора, соответствующего указанной точке обзора, с использованием первой информации и второй информации.
[0008] Дополнительные признаки настоящего изобретения явствуют из нижеследующего описания иллюстративных вариантов осуществления со ссылкой на прилагаемые чертежи.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0009] Фиг. 1 - схема, демонстрирующая конфигурацию системы обработки изображений.
Фиг. 2 - блок-схема, демонстрирующая функциональную конфигурацию адаптера камеры.
Фиг. 3 - блок-схема, демонстрирующая конфигурацию процессора изображений.
Фиг. 4 - блок-схема, демонстрирующая функциональную конфигурацию сервера переднего плана.
Фиг. 5 - блок-схема, демонстрирующая конфигурацию контроллера ввода данных, включенного в сервер переднего плана.
Фиг. 6 - блок-схема, демонстрирующая функциональную конфигурацию базы данных.
Фиг. 7 - блок-схема, демонстрирующая функциональную конфигурацию тылового сервера.
Фиг. 8 - блок-схема, демонстрирующая функциональную конфигурацию UI операций виртуальной камеры.
Фиг. 9 - схема, демонстрирующая конфигурацию соединения терминала конечного пользователя.
Фиг. 10 - блок-схема, демонстрирующая функциональную конфигурацию терминала конечного пользователя.
Фиг. 11 - блок-схема операций всей последовательности операций.
Фиг. 12 - блок-схема операций последовательности операций до установки оборудования.
Фиг. 13 - блок-схема операций последовательности операций во время установки оборудования.
Фиг. 14 - блок-схема операций последовательности операций до формирования изображения.
Фиг. 15 - блок-схема операций последовательности операций проверки во время формирования изображения, осуществляемого станцией управления.
Фиг. 16 - блок-схема операций последовательности операций пользователя во время формирования изображения, осуществляемого UI операций виртуальной камеры.
Фиг. 17 - диаграмма последовательности операций, демонстрирующая весь процесс калибровки во время установки.
Фиг. 18 - блок-схема операций операции сервера переднего плана до формирования изображения.
Фиг. 19 - блок-схема операций операции базы данных до формирования изображения.
Фиг. 20 - блок-схема операций операции базы данных в ходе формирования изображения.
Фиг. 21 - блок-схема операций процесса калибровки во время установки.
Фиг. 22A - диаграмма последовательности операций, демонстрирующая процесс начала формирования изображения.
Фиг. 22B - диаграмма последовательности операций, демонстрирующая процесс начала формирования изображения.
Фиг. 23 - диаграмма последовательности операций, демонстрирующая процесс генерирования информации 3D модели.
Фиг. 24 - блок-схема операций процесса генерирования информации 3D модели.
Фиг. 25 - блок-схема операций процесса генерирования информации 3D модели.
Фиг. 26 - схема, демонстрирующая группы точек наблюдения.
Фиг. 27 - схема, демонстрирующая управление обходной передачей.
Фиг. 28 - схема, демонстрирующая управление обходом.
Фиг. 29 - схема, демонстрирующая последовательность операций передачи данных.
Фиг. 30 - блок-схема операций процесса уменьшения данных передачи.
Фиг. 31 - блок-схема операций процесса генерации файла.
Фиг. 32 - блок-схема операций процесса записи файла в базу данных.
Фиг. 33 - блок-схема операций процесса считывания файла из базы данных.
Фиг. 34A - схема, демонстрирующая захваченное изображение.
Фиг. 34B - схема, демонстрирующая захваченное изображение.
Фиг. 34C - схема, демонстрирующая захваченное изображение.
Фиг. 35A - блок-схема операций разделения между передним планом и задним планом.
Фиг. 35B - блок-схема операций разделения между передним планом и задним планом.
Фиг. 35C - блок-схема операций разделения между передним планом и задним планом.
Фиг. 35D - блок-схема операций разделения между передним планом и задним планом.
Фиг. 35E - блок-схема операций разделения между передним планом и задним планом.
Фиг. 36 - диаграмма последовательности операций, демонстрирующая процесс генерирования изображения виртуальной камеры.
Фиг. 37A - схема, демонстрирующая виртуальную камеру.
Фиг. 37B - схема, демонстрирующая виртуальную камеру.
Фиг. 38A - блок-схема операций процесса генерирования живого изображения.
Фиг. 38B - блок-схема операций процесса генерирования живого изображения.
Фиг. 39 - блок-схема операций процесса генерирования изображения повторного воспроизведения.
Фиг. 40 - блок-схема операций выбора пути виртуальной камеры.
Фиг. 41 - схема, демонстрирующая экран, отображаемый терминалом конечного пользователя.
Фиг. 42 - блок-схема операций процесса ручной операции, осуществляемой блоком управления приложением.
Фиг. 43 - блок-схема операций процесса автоматической операции, осуществляемой блоком управления приложением.
Фиг. 44 - блок-схема операций процесса рендеринга.
Фиг. 45 - блок-схема операций процесса генерирования изображения переднего плана.
Фиг. 46 - схема, демонстрирующая список настроек, генерируемый последовательностью операций, осуществляемой после установки.
Фиг. 47 - диаграмма последовательности операций, демонстрирующая процесс изменения информации настройки, осуществляемой станцией управления.
Фиг. 48 - блок-схема операций процесса приема данных, осуществляемого сервером переднего плана.
Фиг. 49 - блок-схема, демонстрирующая аппаратную конфигурацию адаптера камеры.
ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
[0010] Система, в которой установлено множество камер и множество микрофонов для захвата изображений и сбора звука на стадионах и концертных залах, будет описана со ссылкой на конфигурацию схему системы, представленную на фиг. 1. Система 100 обработки изображений включает в себя системы 110a - 110z датчиков, сервер 200 вычисления изображений, контроллер 300, коммутирующий концентратор 180 и терминал 190 конечного пользователя.
[0011] Контроллер 300 включает в себя станцию 310 управления и пользовательский интерфейс (UI) 330 операций виртуальной камеры. Станция 310 управления осуществляет управление рабочими состояниями, управление настройкой параметров и пр. в блоках, включенных в систему 100 обработки изображений, через сети 310a - 310c, сети 180a и 180b и сети 170a - 170y. Здесь сети могут быть GbE (gigabit Ethernet (зарегистрированный товарный знак) или 10 GbE на основании стандарта IEEE, который является Ethernet-ом или комбинацией межсоединения Infiniband, промышленного Ethernet и пр. Альтернативно, сети не ограничиваются этими сетями, и могут применяться другие типы сетей.
[0012] Сначала будет описана операция передачи 26 наборов изображений и звука в системах 110a - 110z датчиков из системы 110z датчиков на сервер 200 вычисления изображений. В системе 100 обработки изображений этого варианта осуществления системы 110a - 110z датчиков соединены друг с другом гирляндной цепью.
[0013] В этом варианте осуществления 26 наборов систем 110a - 110z датчиков не отличаются друг от друга и описываются в качестве системы 110 датчиков, если не описано иное. Аналогично устройства, включенные в каждую из систем 110 датчиков, не отличаются и описаны как микрофон 111, камера 112, платформа 113 камеры, внешний датчик 114 и адаптер 120 камеры, если не описано иное. Заметим, что 26, которое является количеством систем датчиков, всего лишь пример, и количество систем датчиков этим не ограничивается. Кроме того, множество систем 110 датчиков может не иметь одинаковой конфигурации и может быть различными типами устройств. Заметим, что в этом варианте осуществления термин "изображение" включает в себя понятие движущегося изображения и неподвижного изображения, пока не отмечено иное. В частности, система 100 обработки изображений этого варианта осуществления способна на обработку как неподвижных изображений, так и движущихся изображений. Кроме того, хотя в этом варианте осуществления в основном описан случай, когда содержание виртуальной точки обзора, обеспеченное системой 100 обработки изображений, включает в себя изображение виртуальной точки обзора и звук виртуальной точки обзора, настоящее изобретение этим не ограничивается. Например, содержание виртуальной точки обзора может не включать в себя звуки. Кроме того, звук, включенный в содержание виртуальной точки обзора, можно собирать микрофоном, расположенным вблизи виртуальной точки обзора. Кроме того, хотя описание звука частично опущено для простоты описания в этом варианте осуществления, изображение и звук в основном обрабатываются одновременно.
[0014] Системы 110a - 110z датчиков содержат соответствующие камеры 112a - 112z. В частности, система 100 обработки изображений включает в себя множество камер 112 для захвата изображений объекта с множества направлений. Хотя множество камер 112 описаны одинаковыми ссылочными позициями, возможности и типы камер 112 могут отличаться друг от друга. Множество систем 110 датчиков соединены друг с другом через гирляндную цепь. При этой форме соединения можно достичь эффектов снижения количества соединительных кабелей и снижения работ по проводке, когда объем данных изображения увеличивается вследствие высокого разрешения и высокой частоты кадров, необходимых для захваченных изображений 4K или 8K.
[0015] Заметим, что форма соединения этим не ограничивается, и может применяться конфигурация сети типа звезды, в которой системы 110a - 110z датчиков по отдельности подключаются к коммутирующему концентратору 180 и осуществляют передачу данных и прием через коммутирующий концентратор 180.
[0016] Хотя все системы 110a - 110z датчиков соединены каскадным соединением, благодаря чему гирляндная цепь конфигурируется на фиг. 1, форма соединения этим не ограничивается. Например, множество систем 110 датчиков может делиться на группы и системы 110 датчиков могут соединяться гирляндной цепью в единицах групп, полученных путем деления. Тогда адаптеры 120 камер, служащие терминалами блоков деления, могут быть подключены к коммутирующему концентратору 180, благодаря чему изображения подаются на сервер 200 вычисления изображений. Такая конфигурация особенно эффективна на стадионах. Предполагается, что стадион имеет множество этажей, и системы 110 датчиков установлены на отдельных этажах. В этом случае ввод в сервер 200 вычисления изображений может осуществляться для каждого этажа или для каждой половины периметра стадиона, и соответственно, установку систем 110 датчиков можно упростить, и система 100 обработки изображений может быть гибкой даже в положениях, где затруднена проводка всех систем 110 датчиков с помощью одной гирляндной цепи.
[0017] Кроме того, управление обработкой изображений, осуществляемой сервером 200 вычисления изображений, меняется в зависимости от результата определения, равно ли количество адаптеров 120 камер, которые соединены гирляндной цепью и которые осуществляют ввод изображения на сервер 200 вычисления изображений, 1, или 2, или большему количеству. В частности, управление изменяется в зависимости от результата определения, делятся ли системы 110 датчиков на множество групп. В случае, когда один-единственный адаптер 120 камеры осуществляет ввод изображения, изображение полного охвата стадиона генерируется, тогда как передача изображения осуществляется путем соединения гирляндной цепью, и таким образом, синхронизируются временные режимы, когда сервер 200 вычисления изображений получает данные изображения для полного охвата стадиона. В частности, если системы 110 датчиков не разделены на группы, достигается синхронизация.
[0018] Однако в случае, когда множество адаптеров 120 камер используется для ввода изображений, разные задержки в течение периода от того, когда захватывается изображение, до того, когда изображение вводится в сервер 200 вычисления изображений, могут возникать на разных дорожках (путях) гирляндной цепи. В частности, когда системы 110 датчиков делятся на группы, временные режимы, когда сервер 200 вычисления изображений получает данные изображения для полного обзора стадиона, могут быть не синхронизированы. Таким образом, на сервере 200 вычисления изображений обработка изображений подлежит осуществлению на более поздней стадии, тогда как масса данных изображений проверяется посредством управления синхронизацией, при котором синхронизация осуществляется ожиданием данных изображений для полного обзора стадиона.
[0019] В этом варианте осуществления, система 110a датчиков включает в себя микрофон 111a, камеру 112a, платформу 113a камеры, внешний датчик 114a и адаптер 120a камеры. Заметим, что конфигурация этим не ограничивается при условии, что система 110a датчиков включает в себя по меньшей мере один адаптер 120a камеры и одну камеру 112a или один микрофон 111a. Кроме того, система 110a датчиков может включать в себя один адаптер 120a камеры и множество камер 112a или включать в себя, например одну камеру 112a и множество адаптеров 120a камер. В частности, множество камер 112 и множество адаптеров 120 камер, включенных в систему 100 обработки изображений, обладает соотношением N:M (N и M - целые числа, не меньшие 1). Кроме того, система 110 датчиков может включать в себя устройства помимо микрофона 111a, камеры 112a, платформы 113a камеры и адаптера 120a камеры. Кроме того, камера 112 и адаптер 120 камеры могут интегрироваться друг с другом. Кроме того, сервер 230 переднего плана может иметь, по меньшей мере, часть функции адаптера 120 камеры. Поскольку системы 110b - 110z датчиков имеют такие же конфигурации, как и системы 110a датчиков, описания конфигураций систем 110b - 110z датчиков опущены. Заметим, что конфигурации не ограничиваются конфигурацией системы 110a датчиков, и разные системы 110 датчиков могут иметь разные конфигурации.
[0020] Звук, собранный микрофоном 111a, и изображение, захваченное камерой 112a, подвергаются обработке изображений, описанной ниже, осуществляемой адаптером 120a камеры до передачи адаптеру 120b камеры, включенному в систему 110b датчиков, через гирляндную цепь 170a. Аналогично, система 110b датчиков передает собранный звук и захваченное изображение, помимо изображения и звука, подаваемого из системы 110a датчиков, системе 110c датчиков.
[0021] Путем непрерывного осуществления вышеописанных операций, изображения и звук, полученные системами 110a - 110z датчиков, передаются коммутирующему концентратору 180 из системы 110z датчиков через сеть 180b до передачи на сервер 200 вычисления изображений.
[0022] Заметим, что, хотя камеры 112a - 112z отделены от адаптеров 120a - 120z камер в этом варианте осуществления, камеры 112a - 112z и адаптеры 120a - 120z камер могут интегрироваться в общих корпусах. В этом случае, микрофоны 111a - 111z могут быть включены в интегрированную камеру 112 или внешне подключены к камере 112.
[0023] Далее будут описаны конфигурация и операция сервера 200 вычисления изображений. Сервер 200 вычисления изображений этого варианта осуществления обрабатывает данные, полученные из системы 110z датчиков. Сервер 200 вычисления изображений включает в себя сервер 230 переднего плана, базу данных 250 (далее также именуемую "DB"), тыловой сервер 270, и сервер 290 времени.
[0024] Сервер 290 времени имеет функцию доставки времени и сигнала синхронизации, и доставляет время времени и сигнал синхронизации системам 110a - 110z датчиков через коммутирующий концентратор 180. Адаптеры 120a - 120z камер, которые приняли время и сигнал синхронизации, осуществляют блокировку генератора (генлок) на камеры 112a - 112z на основании времени и сигнала синхронизации для осуществления синхронизации кадров изображения. В частности, сервер 290 времени синхронизирует временные режимы формирования изображения множества камер 112. Таким образом, система 100 обработки изображений может генерировать изображение виртуальной точки обзора на основании множества изображений, захваченных в одном и том же временном режиме, и таким образом, можно противодействовать снижению качества изображения виртуальной точки обзора, обусловленному различием временных режимов формирования изображения. Хотя сервер 290 времени управляет синхронизацией по времени множества камер 112 в этом варианте осуществления, настоящее изобретение этим не ограничивается и отдельные камеры 112 или отдельные адаптеры 120 камер могут осуществлять процесс синхронизации по времени.
[0025] Сервер 230 переднего плана восстанавливает сегментированные пакеты передачи с использованием изображения и звука, полученных из системы 110z датчиков и преобразует формат данных до записи изображения и звука в базу 250 данных в соответствии с идентификаторами камер, типами данных и номерами кадров.
[0026] Затем тыловой сервер 270 принимает указание точки обзора от UI 330 операций виртуальной камеры, считывает изображение и данные звука из базы данных 250 в соответствии с принятой точкой обзора, и генерирует изображение виртуальной точки обзора путем осуществления процесса рендеринга.
[0027] Конфигурация сервера 200 вычисления изображений этим не ограничивается. Например, по меньшей мере два из сервера 230 переднего плана, базы данных 250, и тылового сервера 270 могут интегрироваться. Кроме того, по меньшей мере один из сервера 230 переднего плана, базы данных 250 и тылового сервера 270 может быть включен в некотором количестве в сервер 200 вычисления изображений. Устройство, отличное от вышеописанных устройств, может быть включено в произвольной позиции сервера 200 вычисления изображений. Кроме того, терминал 190 конечного пользователя или UI 330 операций виртуальной камеры может иметь, по меньшей мере, некоторые из функций сервера 200 вычисления изображений.
[0028] Изображение, которое подвергнуто процессу рендеринга, передается от тылового сервера 270 на терминал 190 конечного пользователя, благодаря чему, пользователь, который оперирует терминалом 190 конечного пользователя, может наблюдать изображение и прослушивать звук, соответствующий указанной точке обзора. В частности, тыловой сервер 270 генерирует содержание виртуальной точки обзора на основании изображений, захваченных множеством камер 112 (изображения многочисленных точек обзора), и информации точки обзора. В частности, тыловой сервер 270 генерирует содержание виртуальной точки обзора на основании данных изображения некоторой области, извлеченной множеством адаптеров 120 камер, из изображений, захваченных множеством камер 112 и точки обзора, указанной операцией пользователя. Тыловой сервер 270 подает генерируемое содержание виртуальной точки обзора на терминал 190 конечного пользователя. Извлечение некоторой области, осуществляемое адаптерами 120 камер, будет подробно описано ниже. Заметим, что содержание виртуальной точки обзора генерируется сервером 200 вычисления изображений в этом варианте осуществления, и, в частности, в основном будет описан случай, когда содержание виртуальной точки обзора генерируется тыловым сервером 270. Однако содержание виртуальной точки обзора может генерироваться устройством, включенным в сервер 200 вычисления изображений, отличный от тылового сервера 270, или может генерироваться контроллером 300 или терминалом 190 конечного пользователя.
[0029] Содержание виртуальной точки обзора этого варианта осуществления включает в себя изображение виртуальной точки обзора, полученное, когда предмет изображается из виртуальной точки обзора. Другими словами, изображение виртуальной точки обзора представляет вид из указанной точки обзора. Виртуальная точка обзора может быть указана пользователем или может автоматически указываться на основании результата анализа изображения и т.п. В частности, примеры изображения виртуальной точки обзора включают в себя изображение произвольной точки обзора (изображение свободной точки обзора), соответствующее точке обзора, произвольно указанной пользователем. Примеры изображения виртуальной точки обзора дополнительно включают в себя изображение, соответствующее точке обзора, указанной пользователем из множества кандидатов и изображение, соответствующее точке обзора, автоматически указанной устройством. Хотя случай, когда содержание виртуальной точки обзора включает в себя данные звука (аудиоданные), описан в порядке основного примера в этом варианте осуществления, данные звука могут не включаться в содержание виртуальной точки обзора. Кроме того, тыловой сервер 270 может осуществлять кодирование со сжатием над изображением виртуальной точки обзора в соответствии со способом кодирования, например H.264 или HEVC до передачи изображения виртуальной точки обзора на терминал 190 конечного пользователя с использованием протокола MPEG-DASH. Кроме того, изображение виртуальной точки обзора может передаваться на терминал 190 конечного пользователя без сжатия. В частности, первый способ с использованием кодирования со сжатием применяется, когда смартфон или планшет используется в качестве терминала 190 конечного пользователя, тогда как последний способ без сжатия применяется, когда используется дисплей, способный отображать изображения без сжатия. В частности, формат изображения можно менять в зависимости от типа терминала 190 конечного пользователя. Кроме того, протокол передачи изображения не ограничивается MPEG-DASH, можно использовать «живую» потоковую передачу HTTP (HLS) или другие способы передачи.
[0030] Как описано выше, система 100 обработки изображений содержит три функциональные области, т.е. область сбора видео, область хранения данных, и область генерации видео. Область сбора видео включает в себя системы 110a - 110z датчиков, область хранения данных включает в себя базу данных 250, сервер 230 переднего плана и тыловой сервер 270, и область генерации видео включает в себя UI 330 операций виртуальной камеры, и терминал 190 конечного пользователя. Конфигурация этим не ограничивается, и UI 330 операций виртуальной камеры может, например, напрямую получить изображения из систем 110a - 110z датчиков. Однако способ размещения функции хранения данных в промежуточном участке применяется вместо способа прямого получения изображения от систем 110a - 110z датчиков в этом варианте осуществления. В частности, сервер 230 переднего плана преобразует данные изображения и данные звука, генерируемые системами 110a - 110z датчиков, и метаданные данных в общую схему и общий тип данных базы данных 250. Таким образом, даже если тип камер 112 систем 110a - 110z датчиков изменяется на другой тип, различие в изменении может поглощаться сервером 230 переднего плана и регистрироваться в базе данных 250. Соответственно, может снижаться вероятность того, что UI 330 операций виртуальной камеры не действует надлежащим образом, когда тип камер 112 меняется на другой тип.
[0031] Кроме того, UI 330 операций виртуальной камеры не имеет прямого доступа к базе данных 250, но осуществляет доступ к базе данных 250 через тыловой сервер 270. Тыловой сервер 270 осуществляет общий процесс, связанный с процессом генерации изображения, и UI 330 операций виртуальной камеры обрабатывает другой участок применения, связанный с UI операций. Соответственно, можно сосредоточиться на развитии UI 330 операций виртуальной камеры, развитии устройства операций UI и развитии функциональных требований UI для оперирования изображением виртуальной точки обзора, подлежащим генерации. Кроме того, тыловой сервер 270 может добавлять или удалять общий процесс, связанный с процессом генерации изображения, в ответ на запрос, подаваемый от UI 330 операций виртуальной камеры. Таким образом, можно гибко обрабатывать запрос, подаваемый от UI 330 операций виртуальной камеры.
[0032] Как описано выше, тыловой сервер 270 генерирует изображение виртуальной точки обзора на основании данных изображения, полученных путем формирования изображения, осуществляемого множеством камер 112 для захвата изображений предмета с множества направлений в системе 100 обработки изображений. Конфигурация системы 100 обработки изображений этого варианта осуществления не ограничивается вышеописанной физической конфигурацией, и система 100 обработки изображений может быть логически сконфигурированной. Кроме того, хотя в этом варианте осуществления описан метод генерирования изображения виртуальной точки обзора на основании изображений, захваченных камерами 112, этот вариант осуществления может применяться в случае, когда изображение виртуальной точки обзора генерируется на основании изображений, генерируемых, например компьютерной графикой, вместо захваченных изображений.
[0033] Далее будет описана функциональная блок-схема узлов (адаптера 120 камеры, сервера 230 переднего плана, базы данных 250, тылового сервера 270, UI 330 операций виртуальной камеры и терминала 190 конечного пользователя) в системе фиг. 1.
[0034] Функциональный блок адаптера 120 камеры в этом варианте осуществления описан со ссылкой на фиг. 2. Заметим, что поток данных между функциональными блоками адаптеров 120 камер будет подробно описан ниже со ссылкой на фиг. 29.
[0035] Адаптер 120 камеры включает в себя сетевой адаптер 06110, блок 06120 передачи, процессор 06130 изображений и контроллер 06140 внешнего устройства. Сетевой адаптер 06110 включает в себя блок 06111 передачи/приема данных и контроллер 06112 времени.
[0036] Блок 06111 передачи/приема данных осуществляет обмен данными с другими адаптерами 120 камер, сервером 230 переднего плана, сервером 290 времени и станцией 310 управления через гирляндную цепь 170 и сети 291 и 310a. Например, блок 06111 передачи/приема данных выводит изображение переднего плана и изображение заднего плана в изображении, захваченном камерой 112, которые разделены блоком 06131 разделения переднего плана/заднего плана, например, одному из других адаптеров 120 камер. Адаптер 120 камеры, служащий пунктом назначения вывода, является одним из адаптеров 120 камер, включенных в систему 100 обработки изображений, который подлежит обработке следующим в заранее определенном порядке, определенном в соответствии с процессом, осуществляемым процессором 06122 маршрутизации данных. Отдельные адаптеры 120 камер выводят изображения переднего плана и изображения заднего плана, и изображение виртуальной точки обзора генерируется на основании изображений переднего плана и изображений заднего плана, захваченных из множества точек обзора. Заметим, что адаптеры 120 камер могут не выводить изображения заднего плана, но выводить изображения переднего плана, отделенные от захваченных изображений.
[0037] Контроллер 06112 времени согласуется с OrdinaryClock на основании стандарта IEEE 1588, например, имеет функцию сохранения метки времени данных, которая передается и принимается от сервера 290 времени, и осуществляет синхронизацию по времени с сервером 290 времени. Контроллер 06112 времени может реализовать синхронизацию по времени с сервером 290 времени в соответствии с другими стандартами, например, стандартом EtherAVB или уникальным протоколом вместо стандарта IEEE 1588. Хотя карта сетевого интерфейса (NIC) используется в качестве сетевого адаптера 06110 в этом варианте осуществления, другие аналогичные интерфейсы можно использовать вместо NIC. Кроме того, IEEE 1588 обновляется в качестве стандартов, например, IEEE 1588-2002 или IEEE 1588-2008, и IEEE 1588-2008, также именуемого "протоколом точного времени версия 2 (PTPv2)".
[0038] Блок 06120 передачи имеет функцию управления, передающую данные коммутирующему концентратору 180 и пр. через сетевой адаптер 06110 и содержит следующие функциональные блоки.
[0039] Блок 06121 сжатия/снятия сжатия данных имеет функцию осуществления сжатия данных, передаваемых и принимаемых через блок 06111 передачи/приема данных, с использованием заранее определенного способа сжатия, заранее определенного коэффициента сжатия и заранее определенной частоты кадров, и функцию снятия сжатия сжатых данных.
[0040] Процессор 06122 маршрутизации данных определяет пункты назначения маршрутизации данных, принятых блоком 06111 передачи/приема данных, и данных, обработанных процессором 06130 изображений с использованием данных, хранящихся в блоке 06125 хранения информации маршрутизации данных, описанном ниже. Процессор 06122 маршрутизации данных дополнительно имеет функцию передачи данных определенному пункту назначения маршрутизации. Пункт назначения маршрутизации предпочтительно соответствует одному из адаптеров 120 камер, который соответствует одной из камер 112, которая фокусируется на одну и ту же точку наблюдения в отношении обработки изображений, ввиду высокой корреляции кадров изображения среди камер 112. Порядок адаптеров 120 камер, которые выводят изображения переднего плана и изображения заднего плана в ретранслятор в системе 100 обработки изображений, определяется в соответствии с определениями, осуществляемыми процессором 06122 маршрутизации данных множества адаптеров 120 камер.
[0041] Контроллер 06123 синхронизации по времени согласуется с протоколом точного времени (PTP) стандарта IEEE 1588 и имеет функцию осуществления процесса, связанную с синхронизацией по времени с сервером 290 времени. Контроллер 06123 синхронизации по времени может осуществлять синхронизацию по времени с использованием, вместо PTP, других аналогичных протоколов.
[0042] Процессор 06124 передачи изображения/звука имеет функцию генерирования сообщения для переноса данных изображения или данных звука на один из других адаптеров 120 камер или сервер 230 переднего плана через блок 06111 передачи/приема данных. Сообщение включает в себя данные изображения или данные звука и метаданные данных изображения или данных звука. Метаданные в этом варианте осуществления включают в себя временной код, полученный во время захвата изображения или отбора звука или порядковый номер, тип данных, и идентификатор камеры 112 или микрофона 111. Заметим, что данные изображения, подлежащие передаче, или данные звука, подлежащие передаче, могут сжиматься блоком 06121 сжатия/снятия сжатия данных. Кроме того, процессор 06124 передачи изображения/звука принимает сообщение через блок 06111 передачи/приема данных от одного из других адаптеров 120 камер. После этого, процессор 06124 передачи изображения/звука осуществляет восстановление информационных данных, которые фрагментированы в пакеты некоторого размера, предписанного протоколом передачи, для получения данных изображения или данных звука в соответствии с типом данных, включенным в сообщение. Заметим, что, в случае, когда данные находятся в сжатом состоянии после того, как данные восстанавливаются, блок 06121 сжатия/снятия сжатия данных осуществляет процесс снятия сжатия.
[0043] Блок 06125 хранения информации маршрутизации данных имеет функцию сохранения адресной информации для определения пункта назначения передачи данных, передаваемых или принимаемых блоком 06111 передачи/приема данных. Способ маршрутизации будет описан ниже.
[0044] Процессор 06130 изображений имеет функцию осуществления некоторого процесса над данными изображения, захваченными камерой 112 и данными изображения, подаваемыми от одного из других адаптеров 120 камер под управлением контроллера 06141 камеры, и содержит описанные ниже функциональные блоки.
[0045] Блок 06131 разделения переднего плана/заднего плана имеет функцию отделения изображения переднего плана и изображения заднего плана друг от друга в данных изображения, захваченных камерой 112. В частности, каждый из множества адаптеров 120 камер оперирует в качестве устройства обработки изображений, которое извлекает заранее определенную область из изображения, захваченного соответствующей одной из множества камер 112. Заранее определенная область является изображением переднего плана, полученным, например в результате обнаружения объекта, осуществляемого на захваченном изображении. Блок 06131 разделения переднего плана/заднего плана отделяет изображение переднего плана и изображение заднего плана друг от друга в захваченном изображении путем извлечения. Заметим, что объект соответствует, например, персоне. Объектом может быть конкретная персона (игрок, тренер, и/или судья) или может быть мяч или ворота, которые обладают некоторой заранее определенной структурой изображения. Альтернативно, в качестве объекта может быть обнаружено движущееся тело. Когда изображение переднего плана, включающее в себя важный объект, например, персону, и область заднего плана, которая не включает в себя такой важный объект, обрабатываются после отделения друг от друга, качество изображения участка, соответствующего объекту на изображении виртуальной точки обзора, генерируемому в системе 100 обработки изображений, может повышаться. Кроме того, разделение между изображением переднего плана и изображением заднего плана осуществляется каждым из адаптеров 120 камер, благодаря чему, нагрузка в системе 100 обработки изображений, включающей в себя множество камер 112, может рассредотачиваться. Заметим, что заранее определенная область может быть изображением заднего плана, например, вместо изображения переднего плана.
[0046] Блок 06132 генерации информации 3D модели имеет функцию генерирования информации изображения, связанной с 3D моделью в соответствии с принципом стереокамеры, например, с использованием изображения переднего плана, отделенного блоком 06131 разделения переднего плана/заднего плана, и изображения переднего плана, подаваемого от одного из других адаптеров 120 камер.
[0047] Контроллер 06133 калибровки имеет функцию получения данных изображения, необходимых для калибровки, от камеры 112 через контроллер 06141 камеры и передачи данных изображения на сервер 230 переднего плана, который осуществляет процесс вычисления, связанный с калибровкой. Калибровка в этом варианте осуществления является процессом связывания параметров с отдельными камерами 112 для достижения согласования. В качестве калибровки предполагается процесс осуществления управления таким образом, чтобы выполнялись согласование друг с другом мировых систем координат установленных камер 112 и процесс цветовой коррекции, например для подавления изменения цвета среди камер 112. Заметим, что конкретное содержание обработки калибровки этим не ограничивается. Кроме того, хотя процесс вычисления, связанный с калибровкой, осуществляется сервером 230 переднего плана в этом варианте осуществления, узел, который осуществляет процесс вычисления, не ограничивается сервером 230 переднего плана. Например, процесс вычисления может осуществляться другим узлом, например, станцией 310 управления или адаптером 120 камеры (в том числе другими адаптерами 120 камер). Контроллер 06133 калибровки имеет функцию осуществления калибровки над данными изображения, подаваемыми от камеры 112 через контроллер 06141 камеры в ходе формирования изображения в соответствии с заранее заданным параметром (динамическая калибровка).
[0048] Контроллер 06140 внешнего устройства имеет функцию управления устройствами, подключенными к адаптеру 120 камеры, и содержит описанные ниже функциональные блоки.
[0049] Контроллер 06141 камеры подключен к камере 112 и имеет функцию осуществления управления камерой 112, получения захваченного изображения, подачи сигнала синхронизации, и настройки времени. Управление камерой 112 включает в себя настройки и эталонные значения параметров формирования изображения (настройки количества пикселей, глубины цвета, частоты кадров, баланса белого, и пр.), получение состояния камеры 112 (состояния формирования изображения, остановки, синхронизации, ошибки, и пр.), начало и остановку формирования изображения, регулировку фокуса, и пр. Заметим, что, хотя регулировка фокуса осуществляется через камеру 112 в этом варианте осуществления, когда съемный объектив прикрепляется к камере 112, адаптер 120 камеры может быть подключен к объективу, чтобы осуществлять непосредственную регулировку объектива. Кроме того, адаптер 120 камеры может осуществлять регулировку объектива, например трансфокацию, через камеру 112. Подача сигнала синхронизации осуществляется, когда временной режим формирования изображения (тактовый сигнал управления) подается на камеру 112 с использованием времени, когда контроллер 06123 синхронизации по времени синхронизируется с сервером 290 времени. Настройка времени осуществляется подачей времени, когда контроллер 06123 синхронизации по времени синхронизируется с сервером 290 времени, например в качестве временного кода, который согласуется с форматом SMPTE12M. Таким образом, временной код, назначенный данным изображения, подается от камеры 112. Заметим, что формат временного кода не ограничивается SMPTE12M, и могут применяться другие форматы. Кроме того, контроллер 06141 камеры может не назначать временной код камере 112, но может назначать временной код данным изображения, подаваемым от камеры 112.
[0050] Контроллер 06142 микрофона подключен к микрофону 111 и имеет функцию осуществления управления микрофоном 111, начала и остановки сбора звука, получения собранных данных звука, и пр. Управление микрофоном 111 включает в себя управление коэффициентом усиления, получение состояния, и пр. Как и в случае контроллера 06141 камеры, контроллер 06142 микрофона подает временной режим отбора звука и временной код на микрофон 111. В качестве информации тактового сигнала, указывающей временной режим отбора звука, информация времени, подаваемая от сервера 290 времени, преобразуется, например, в тактовый сигнал слова 48 кГц, и подается в микрофон 111.
[0051] Контроллер 06143 платформы камеры подключен к платформе 113 камеры и имеет функцию управления платформой 113 камеры. Примеры управления платформой 113 камеры включают в себя управление панорамой/наклоном и получение состояния.
[0052] Контроллер 06144 датчика подключен к внешнему датчику 114 и имеет функцию получения информации датчика, воспринимаемой внешним датчиком 114. Если в качестве внешнего датчика 114 используется, например, гиро-датчик, можно получать информацию, указывающую колебания. С использованием информации о колебаниях, полученной контроллером 06144 датчика, процессор 06130 изображений может генерировать изображение, которое менее подвержено колебаниям камеры 112 до процесса, осуществляемого блоком 06131 разделения переднего плана/заднего плана. Информация о колебаниях используется, когда данные изображения, полученные 8K камерой, извлекаются в размере, меньшем, чем исходный размер 8K, учитывая информацию о колебаниях, и позиционирование осуществляется с изображением камеры 112, установленной рядом с целевой камерой 112. Соответственно, даже если колебания структуры здания передаются камерам 112 на разных частотах, позиционирование осуществляется этой функцией адаптера 120 камеры. В результате могут генерироваться данные изображения, которые менее подвержены обработке изображения (электронно-предотвращаемой), и можно получить эффект снижения нагрузки обработки позиционирования, осуществляемого для нескольких камер 112 на сервере 200 вычисления изображений. Заметим, что датчик системы 110 датчиков не ограничивается внешним датчиком 114, и один и тот же эффект можно получать, даже если датчик встроен в адаптер 120 камеры.
[0053] На фиг. 3 показана функциональная блок-схема, демонстрирующая процессор 06130 изображений, включенный в адаптер 120 камеры. Контроллер 06133 калибровки осуществляет процесс цветовой коррекции над входными изображениями для подавления изменения цвета между камерами 112 и процесс коррекции размытости (процесс электронного управления вибрацией) над входными изображениями для стабилизации изображений путем уменьшения размытости изображений, обусловленной вибрацией камер 112.
[0054] Функциональный блок блока 06131 разделения переднего плана/заднего плана будет описан ниже. Блок 05001 отделения переднего плана осуществляет процесс отделения изображения переднего плана путем сравнения данных изображения, полученных после позиционирования, осуществляемого на изображении, захваченном камерой 112, от изображения 05002 заднего плана.
[0055] Блок 05003 обновления заднего плана генерирует новое изображение заднего плана с использованием изображения 05002 заднего плана и изображения, которое подвергнуто позиционированию и которое захватывается камерой 112, и обновляет изображение 05002 заднего плана новым изображением заднего плана.
[0056] Блок 05004 извлечения заднего плана осуществляет управление для извлечения участка изображения 05002 заднего плана. Здесь будет описана функция блока 06132 генерации информации 3D модели.
[0057] Процессор 05005 3D моделей последовательно генерирует информацию изображения, связанную с 3D моделью, в соответствии с принципом стереокамеры, например, с использованием изображения переднего плана, отделенного блоком 05001 отделения переднего плана, и изображения переднего плана, захваченного одной из других камер 112, подаваемого через блок 06120 передачи.
[0058] Блок 05006 приема переднего плана другой камеры принимает изображение переднего плана, полученное путем разделения переднего плана/заднего плана, осуществляемого одним из других адаптеров 120 камер.
[0059] Блок 05007 приема параметра камеры принимает внутренние параметры, уникальные для каждой камеры (включающие в себя параметры фокусного расстояния, центра изображения и искажения объектива) и внешние параметры, указывающие позицию/ориентацию каждой камеры. Эти параметры являются информацией, полученной посредством процесса калибровки, описанного ниже, и передаваемой и задаваемой адаптеру 120 камеры станцией 310 управления. Затем, процессор 05005 3D моделей генерирует информацию 3D модели с использованием блока 05007 приема параметра камеры и блока 05006 приема переднего плана другой камеры.
[0060] На фиг. 4 показана функциональная блок-схема, демонстрирующая сервер 230 переднего плана. Контроллер 02110 образован CPU и носителем данных, например, динамической оперативной памятью (DRAM), жестким диском (HDD), где хранятся программные данные и различные данные, или памятью НЕ-И (NAND), и оборудованием, например Ethernet. Затем контроллер 02110 управляет различными блоками, включенными в сервер 230 переднего плана и всей системой сервера 230 переднего плана. Кроме того, контроллер 02110 осуществляет переключение между режимами работы, включающими в себя операцию калибровки, предварительную операцию подготовки к формированию изображения, и операцию в ходе формирования изображения. Кроме того, контроллер 02110 принимает инструкцию управления от станции 310 управления и т.п. через Ethernet и осуществляет переключение между режимами ввода и вывода данных. Кроме того, контроллер 02110 получает данные CAD стадиона (данные формы стадиона) от станции 310 управления через сеть и передает данные CAD стадиона на блок 02135 хранения данных CAD и блок 02180 генерации файла данных формирования изображения. Заметим, что данные CAD стадиона (данные формы стадиона) в этом варианте осуществления – 3D данные, указывающие форму стадиона, и способ CAD не ограничивается при условии, что данные CAD стадиона указывают сетчатую модель или другие 3D формы.
[0061] Контроллер 02120 ввода данных подключен к адаптеру 120 камеры через сеть по каналу связи, например через Ethernet и коммутирующий концентратор 180. Контроллер 02120 ввода данных получает изображение переднего плана, изображение заднего плана, 3D модель предмета, данные звука, и данные захваченного изображения калибровки камеры от адаптера 120 камеры через сеть. Здесь, изображение переднего плана соответствует данным изображения, основанным на области переднего плана захваченного изображения, для генерации изображения виртуальной точки обзора, и изображение заднего плана соответствует данным изображения, основанным на области заднего плана захваченного изображения. Адаптер 120 камеры указывает область переднего плана и область заднего плана в соответствии с результатом процесса обнаружения заранее определенного объекта, осуществляемого на изображении, захваченном камерой 112, и генерирует изображение переднего плана и изображение заднего плана. Заранее определенный объект соответствует, например персоне. Заранее определенный объект может быть конкретной персоной (игроком, тренером и/или судьей). Примеры заранее определенного объекта могут дополнительно включать в себя объект, обладающий некоторой заранее определенной структурой изображения, например, мяч или ворота. Альтернативно, движущийся объект можно обнаружить в качестве заранее определенного объекта.
[0062] Контроллер 02120 ввода данных передает полученное изображение переднего плана и полученное изображение заднего плана на блок 02130 синхронизации данных и передает данные захваченного изображения калибровки камеры на блок 02140 калибровки. Кроме того, контроллер 02120 ввода данных имеет функцию осуществления сжатия и снятия сжатия, процесс маршрутизации данных, и пр. над принимаемыми данными. Кроме того, хотя контроллер 02110 и контроллер 02120 ввода данных по отдельности обладают функцией связи через сеть, например Ethernet, контроллер 02110 и контроллер 02120 ввода данных могут иметь общую функцию связи. В этом случае, инструкция команды управления и данные CAD стадиона, подаваемые от станции 310 управления, могут приниматься контроллером 02120 ввода данных и дополнительно передаваться на контроллер 02110.
[0063] Блок 02130 синхронизации данных временно сохраняет данные, полученные от адаптера 120 камеры, в DRAM и буферизует полученные данные, пока не будут получены изображение переднего плана, изображение заднего плана, данные звука, и данные 3D модели. Заметим, что изображение переднего плана, изображение заднего плана, данные звука, и данные 3D модели далее совместно именуются "данными формирования изображения". Метаданные, включающие в себя информацию маршрутизации, информацию временного кода (информацию времени) и идентификатор камеры, назначаются данным формирования изображения, и блок 02130 синхронизации данных проверяет атрибут данных на основании метаданных. Таким образом, когда блок 02130 синхронизации данных определяет, что данные получаются в один и тот же момент времени, определяется, что все данные получены. Дело в том, что, порядок приема пакетов данных сети, переносимых от отдельных адаптеров 120 камер через сеть, не гарантируется, и данные требуется буферизовать, пока не будут получены все данные, необходимые для генерации файла. Когда получены все данные, блок 02130 синхронизации данных передает изображение переднего плана и изображение заднего плана на процессор 02150 изображений, данные 3D модели на блок 02160 увязывания 3D модели, и данные звука на блок 02180 генерации файла данных формирования изображения. Заметим, что данные, подлежащие получению, требуются для генерации файла, осуществляемой блоком 02180 генерации файла данных формирования изображения, описанным ниже. Кроме того, изображение заднего плана и изображение переднего плана могут захватываться с разными частотами кадров. Например, в случае, когда частота кадров изображения заднего плана равна 1 кадров/с, одно изображение заднего плана захватывается за одну секунду, и таким образом, можно определить, что все данные получены в состоянии, в котором изображения заднего плана не существует, в период времени, когда изображение заднего плана не получено. Кроме того, блок 02130 синхронизации данных передает информацию, указывающую базе данных 250, что не все данные получены, когда данные не были получены спустя заранее определенный период времени. Когда база данных 250 на более поздней стадии сохраняет данные, информация, указывающая отсутствие данных, сохраняется совместно с номером камеры и номером кадра. Соответственно, результат определения, нужно ли образовать желаемое изображение из изображений, захваченных камерами 112, собранными в базе данных 250, может автоматически передаваться до рендеринга в соответствии с инструкцией точки обзора, выданной от UI 330 операций виртуальной камеры на тыловой сервер 270. В результате, нагрузка по визуальному подтверждению для оператора UI 330 операций виртуальной камеры может снижаться.
[0064] Блок 02135 хранения данных CAD сохраняет 3D данные, указывающие форму стадиона, принятые от контроллера 02110, на носитель данных, например DRAM, HDD, или память NAND. Затем блок 02135 хранения данных CAD передает сохраненные данные формы стадиона на блок 02170 увязывания изображений при приеме запроса данных формы стадиона.
[0065] Блок 02140 калибровки осуществляет операцию калибровки камеры и передает параметр камеры, полученный калибровкой, на блок 02185 генерации файла данных, не формирующих изображение. Одновременно, блок 02140 калибровки сохраняет параметры камеры в области хранилища для этого и подает информацию о параметрах камеры на блок 02160 увязывания 3D модели, описанный ниже.
[0066] Процессор 02150 изображений осуществляет регулировку значений цветов и яркости камер 112, процесс развития в случае, когда вводятся данные RAW-изображений, и коррекцию искажений объективов камер на изображениях переднего плана и изображениях заднего плана. Изображения переднего плана и изображения заднего плана, которые подвергнуты обработке изображений, передаются на блок 02180 генерации файла данных формирования изображения и блок 02170 увязывания изображений, соответственно.
[0067] Блок 02160 увязывания 3D модели увязывает данные 3D модели, полученные одновременно от адаптеров 120 камер, друг с другом с использованием параметров камеры, генерируемых блоком 02140 калибровки. Затем блок 02160 увязывания 3D модели генерирует данные 3D модели изображения переднего плана всего стадиона с использованием так называемого способа VisualHull. Генерируемая 3D модель передается на блок 02180 генерации файла данных формирования изображения.
[0068] Блок 02170 увязывания изображений получает изображения заднего плана от процессора 02150 изображений, получает данные 3D формы стадиона (данные формы стадиона) от блока 02135 хранения данных CAD, и указывает позиции изображений заднего плана, соответствующие координате полученных данных 3D формы стадиона. Когда указаны позиции, соответствующие координатам данных 3D формы стадиона в отдельных изображениях заднего плана, изображения заднего плана увязываются друг с другом, благодаря чему, получается одно изображение заднего плана. Заметим, что генерация данных 3D формы изображений заднего плана может осуществляться тыловым сервером 270.
[0069] Блок 02180 генерации файла данных формирования изображения получает данные звука от блока 02130 синхронизации данных, изображения переднего плана от процессора 02150 изображений, данные 3D модели от блока 02160 увязывания 3D модели, и изображения заднего плана, увязанные в 3D форме, от блока 02170 увязывания изображений. Затем блок 02180 генерации файла данных формирования изображения выводит полученные данные на контроллер 02190 доступа к DB. Здесь, блок 02180 генерации файла данных формирования изображения связывает данные друг с другом на основании информации времени данных до вывода данных. Заметим, что некоторые данные могут быть связаны друг с другом до вывода данных. Например, блок 02180 генерации файла данных формирования изображения связывает изображения переднего плана и изображения заднего плана друг с другом на основании информации времени изображений переднего плана и информации времени изображений заднего плана до вывода изображения переднего плана и изображения заднего плана. Кроме того, например, блок 02180 генерации файла данных формирования изображения связывает изображения переднего плана, изображения заднего плана, данные 3D модели друг с другом на основании информации времени изображений переднего плана, информации времени изображений заднего плана, и информации времени данных 3D модели до вывода изображения переднего плана, изображения заднего плана, и данных 3D модели. Заметим, что блок 02180 генерации файла данных формирования изображения может генерировать файл связанных данных в единицах данных для каждого типа данных до вывода, или может генерировать файл множества типов данных в единицах данных в момент времени, указанный информацией времени. Когда данные формирования изображения, связанные таким образом, выводятся из сервера 230 переднего плана, служащего устройством обработки информации, которое осуществляет связывание, в базу данных 250, тыловой сервер 270 может генерировать изображение виртуальной точки обзора с использованием изображения переднего плана и изображения заднего плана, имеющих одну и ту же информацию времени.
[0070] В случае, когда частоты кадров изображения переднего плана и изображения заднего плана, полученных контроллером 02120 ввода данных, отличаются друг от друга, блоку 02180 генерации файла данных формирования изображения сложно связывать изображения переднего плана и изображения заднего плана, полученные в один и тот же момент времени друг с другом до вывода. Таким образом, блок 02180 генерации файла данных формирования изображения связывает изображение переднего плана и изображение заднего плана, имеющее информацию времени, имеющую соотношение с информацией времени изображения переднего плана, на основании заранее определенного правила, друг с другом до вывода. Здесь, изображение заднего плана, имеющее информацию времени, имеющую соотношение с информацией времени изображения переднего плана на основании заранее определенного правила, означает изображение заднего плана, имеющее информацию времени, аналогичную информации времени изображения переднего плана, из числа изображений заднего плана, например, полученной блоком 02180 генерации файла данных формирования изображения. Таким образом, путем связывания изображения переднего плана с изображением заднего плана на основании заранее определенного правила, даже если частоты кадров изображения переднего плана и изображения заднего плана отличаются друг от друга, изображение виртуальной точки обзора может генерироваться с использованием изображения переднего плана и изображения заднего плана, которые захвачены в аналогичные моменты времени. Заметим, что способ связывания изображения переднего плана и изображения заднего плана не ограничивается вышеописанный способом. Например, изображение заднего плана, имеющее информацию времени, имеющую соотношение с информацией времени изображения переднего плана на основании заранее определенного правила, может быть изображением заднего плана, имеющим информацию времени, ближайшую к информации времени изображения переднего плана, из полученных изображений заднего плана, имеющих информацию времени, соответствующую моментам времени до момента времени изображения переднего плана. Согласно этому способу, изображения переднего плана и изображения заднего плана, которые связаны друг с другом, можно выводить с меньшей задержкой, не ожидая получения изображения заднего плана, имеющего частоту кадров ниже, чем у изображений переднего плана. Изображение заднего плана, имеющее информацию времени, имеющую соотношение с информацией времени изображения переднего плана, на основании заранее определенного правила, может быть изображением заднего плана, имеющим информацию времени, ближайшую к информации времени изображения переднего плана из полученных изображений заднего плана, имеющих информацию времени, соответствующую моментам времени после момента времени изображения переднего плана.
[0071] Блок 02185 генерации файла данных, не формирующих изображение, получает параметры камеры от блока 02140 калибровки и данные 3D формы стадиона от контроллера 02110 и передает параметры камеры и данные 3D формы на контроллер 02190 доступа к DB после преобразования параметров камеры и данных 3D формы в формат файла. Заметим, что параметры камеры и данные формы стадиона для ввода в блок 02185 генерации файла данных, не формирующих изображение, по отдельности преобразуются в соответствии с форматом файла. В частности, при приеме одних данных, блок 02185 генерации файла данных, не формирующих изображение, независимо передает данные на контроллер 02190 доступа к DB.
[0072] Контроллер 02190 доступа к DB подключен к базе данных 250, благодаря чему, высокоскоростная связь осуществляется с помощью InfiniBand. Затем контроллер 02190 доступа к DB передает файлы, подаваемые от блока 02180 генерации файла данных формирования изображения и блока 02185 генерации файла данных, не формирующих изображение, в базу данных 250. В этом варианте осуществления, данные формирования изображения, связанные блоком 02180 генерации файла данных формирования изображения на основании информации времени, выводятся через контроллер 02190 доступа к DB в базу данных 250, служащую устройством хранения, подключенным к серверу 230 переднего плана, через сеть. Заметим, что пункт назначения вывода связанных данных формирования изображения этим не ограничивается. Например, сервер 230 переднего плана может выводить данные формирования изображения, связанные на основании информации времени, на тыловой сервер 270, служащий устройством генерации изображения, которое генерирует изображение виртуальной точки обзора и которое подключено к серверу 230 переднего плана через сеть. Кроме того, сервер 230 переднего плана может выводить данные формирования изображения в базу данных 250 и тыловой сервер 270.
[0073] Хотя сервер 230 переднего плана связывает изображения переднего плана и изображения заднего плана друг с другом в этом варианте осуществления, настоящее изобретение этим не ограничивается, и это связывание может быть осуществлено базой данных 250. Например, база данных 250 получает изображения переднего плана и изображения заднего плана, имеющие информацию времени, от сервера 230 переднего плана. Затем база данных 250 может связывать изображения переднего плана и изображения заднего плана друг с другом на основании информации времени изображений переднего плана и информации времени изображений заднего плана до вывода изображения переднего плана и изображения заднего плана на блок хранения, включенный в базу данных 250.
[0074] На фиг. 5 показана функциональная блок-схема, демонстрирующая контроллер 02120 ввода данных, включенный в сервер 230 переднего плана.
[0075] Контроллер 02120 ввода данных включает в себя сетевой адаптер 06210 сервера, блок 06220 передачи сервера, и процессор 06230 изображений сервера. Сетевой адаптер 06210 сервера включает в себя блок 06211 приема данных сервера и имеет функцию приема данных, передаваемых от адаптера 120 камеры.
[0076] Блок 06220 передачи сервера имеет функцию обработки данных, подаваемых от блока 06211 приема данных сервера и включает в себя функциональные блоки, описанные ниже. Блок 06221 снятия сжатия данных сервера имеет функцию снятия сжатия сжатых данных.
[0077] Процессор 06222 маршрутизации данных сервера определяет пункт назначения переноса данных в соответствии с информацией маршрутизации, например, адресом, сохраненным в блоке 06224 хранения информации маршрутизации данных сервера, описанном ниже, и переносит данные, подаваемые от блока 06211 приема данных сервера.
[0078] Процессор 06223 передачи изображения/звука сервера принимает сообщение от адаптера 120 камеры через блок 06211 приема данных сервера и восстанавливает фрагментированные данные в данные изображения или данные звука в зависимости от типа данных, включенного в сообщение. Заметим, что когда восстановленные данные изображения или восстановленные данные звука сжаты, блок 06221 снятия сжатия данных сервера осуществляет процесс снятия сжатия.
[0079] Блок 06224 хранения информации маршрутизации данных сервера имеет функцию сохранения адресной информации для определения пункта назначения передачи данных, принятых блоком 06211 приема данных сервера. Способ маршрутизации будет описан ниже.
[0080] Процессор 06230 изображений сервера имеет функцию осуществления процесса, связанного с данными изображения или данными звука, подаваемыми от адаптера 120 камеры. Содержание процесса включает в себя процесс преобразования в надлежащий формат, в котором номер камеры, время формирования кадра изображения, размер изображения, формат изображения и информация атрибута координаты изображения назначаются в зависимости от сущности данных для данных изображения (изображения переднего плана, изображения заднего плана, и информации 3D модели).
[0081] На фиг. 6 показана функциональная блок-схема, демонстрирующая базу данных 250. Контроллер 02410 образован CPU и носителем данных, например, динамической оперативной памятью (DRAM), жестким диском (HDD), где хранятся программные данные и различные данные, или памятью НЕ-И (NAND), и оборудованием, например Ethernet. Затем контроллер 02410 управляет различными функциональными блоками базы данных 250 и всей системой базы данных 250.
[0082] Блок 02420 ввода данных принимает файл данных формирования изображения или данные, не формирующие изображение, от сервера 230 переднего плана посредством высокоскоростной связи, например InfiniBand. Принятый файл передается в кэш-память 02440. Кроме того, блок 02420 ввода данных считывает метаданные принятых данных формирования изображения и генерирует таблицу базы данных с использованием информации записи времени, информации маршрутизации, и информации об идентификаторе камеры, записанной в метаданных, что позволяет осуществлять доступ к полученным данным.
[0083] Блок 02430 вывода данных определяет одно из кэш-памяти 02440, первичного хранилища 02450 и вторичного хранилища 02460, где хранятся данные, запрошенные тыловым сервером 270. Затем блок 02430 вывода данных считывает данные из пункта сохранения и передает считанные данные на тыловой сервер 270 через высокоскоростную связь, например InfiniBand.
[0084] Кэш-память 02440 включает в себя устройство хранения, например DRAM, способное реализовать высокую пропускную способность ввода/вывода и сохранять данные формирования изображения и данные, не формирующие изображение, подаваемые от блока 02420 ввода данных в устройстве хранения. Сохраненные данные остаются в памяти, пока не будет достигнут заранее определенный объем, и когда объем данных превышает заранее определенный объем, данные последовательно записываются в первичное хранилище 02450 в порядке от более старых данных, и новые данные записываются в участок, где были записаны данные, записанные в первичном хранилище 02450. Некоторый объем данных, хранящихся в кэш-памяти 02440, соответствует данным формирования изображения для по меньшей мере одного кадра. Соответственно, когда тыловой сервер 270 осуществляет процесс рендеринга изображения, пропускная способность в базе данных 250 может подавляться минимально, и новые кадры изображения могут быть подвергнуты последовательному рендерингу с меньшей задержкой. Здесь, для достижения вышеописанной цели, изображение заднего плана требуется включить в кэшированные данные. Таким образом, данные формирования изображения для кадра, который не включает в себя изображение заднего плана, кэшируются без обновления изображения заднего плана в кэш-памяти. Емкость DRAM, способной кэшировать данные, определяется в соответствии с размером кадра кэш-памяти, заранее установленным в системе или инструкцией, выданной станцией 310 управления. Заметим, что данные, не формирующие изображение, немедленно копируются в первичное хранилище 02450, поскольку частота ввода/вывода данных, не формирующих изображение, низка, и высокая пропускная способность не требуется до начала игры и т.п. Кэшированные данные считываются блоком 02430 вывода данных.
[0085] Первичное хранилище 02450 образовано путем параллельного соединения носителей данных, например SSD, и способно одновременно осуществлять запись большого объема данных от блока 02420 ввода данных и считывать данные блоком 02430 вывода данных, благодаря чему реализуется высокоскоростной процесс. Данные, хранящиеся в кэш-памяти 02440, записывается в первичное хранилище 02450 в порядке от более старых данных, хранящихся в кэш-памяти 02440.
[0086] Вторичное хранилище 02460 образовано HDD, ленточным носителем и т.п. Большая емкость важнее высокоскоростной обработки во вторичном хранилище 02460, и вторичное хранилище 02460 требуется как носитель, подходящий для долговременного хранения, который дешевле первичного хранилища 02450. После завершения формирования изображения, данные, хранящиеся в первичном хранилище 02450, записываются во вторичное хранилище 02460 в качестве резервной копии данных.
[0087] На фиг. 7 показана схема, демонстрирующая конфигурацию тылового сервера 270 в этом варианте осуществления. Тыловой сервер 270 включает в себя блок 03001 приема данных, блок 03002 добавления текстуры заднего плана, блок 03003 определения текстуры переднего плана, блок 03004 регулировки цвета границы текстуры, блок 03005 генерации изображения переднего плана виртуальной точки обзора, и блок 03006 рендеринга. Тыловой сервер 270 дополнительно включает в себя блок 03007 генерации звука виртуальной точки обзора, блок 03008 объединения, блок 03009 вывода изображения, блок 03010 определения объекта переднего плана, блок 03011 генерации списка запросов, блок 03012 вывода данных запроса, и блок 03014 управления режимом рендеринга.
[0088] Блок 03001 приема данных принимает данные, передаваемые из базы данных 250 и контроллера 300. Кроме того, блок 03001 приема данных принимает 3D данные, указывающие форму стадиона (данные формы стадиона), изображения переднего плана, изображения заднего плана, 3D модель изображений переднего плана (далее именуемую "3D моделью переднего плана"), и звук из базы данных 250.
[0089] Кроме того, блок 03001 приема данных принимает параметр виртуальной камеры, выводимый из контроллера 300, служащего устройством указания, которое указывает точку обзора (виртуальную точку обзора) генерации изображения виртуальной точки обзора. Параметр виртуальной камеры – данные, указывающие позицию виртуальной точки обзора и ориентацию, и используются, например, матрица внешних параметров и матрица внутренних параметров.
[0090] Заметим, что данные, полученные блоком 03001 приема данных от контроллера 300, не ограничивается параметром виртуальной камеры. Информация, выводимая из контроллера 300, может включать в себя, например, информацию, указывающую состояние указания точки обзора, например, способ указания точки обзора, информацию для указания приложения, выполняющегося на контроллере 300, информацию для идентификации контроллера 300, и информацию для идентификации пользователя, использующего контроллер 300. Кроме того, блок 03001 приема данных может получать информацию, аналогичную вышеописанной информации, выводимой из контроллера 300, от терминала 190 конечного пользователя. Кроме того, блок 03001 приема данных может получать информацию о множестве камер 112 от внешнего устройства, например, базы данных 250 или контроллера 300. Примеры информации о множестве камер 112 включают в себя информацию о состояниях формирования изображения, например, информацию о количестве камер 112 и информацию о рабочих состояниях множества камер 112. Примеры рабочего состояния камер 112 включают в себя, например, по меньшей мере одно из нормального состояния, сбойного состояния, состояния ожидания, состояния подготовки к начальной загрузке, и состояния перезагрузки камеры 112. Здесь, нормальное состояние указывает состояние, в котором доступно формирование изображения, сбойное состояние указывает состояние, в котором формирование изображения ограничено, состояние ожидания указывает состояние, в котором формирование изображения остановлено, состояние подготовки к начальной загрузке указывает состояние, в котором осуществляется процесс для запуска формирования изображения, и состояние перезагрузки указывает состояние, в котором осуществляется заранее определенная начальная настройка.
[0091] Блок 03002 добавления текстуры заднего плана добавляет изображение заднего плана в качестве текстуры для формирования 3D пространства, представленного сетчатой моделью заднего плана (данных формы стадиона), полученной от блока 03013 управления сетчатой моделью заднего плана. Таким образом, блок 03002 добавления текстуры заднего плана генерирует сетчатую модель заднего плана, имеющую текстуру. Сетчатая модель указывает данные, которые представляют форму 3D пространства, путем объединения поверхностей, например, данные CAD. Текстура означает изображение, подлежащее добавлению для представления текстуры поверхности объекта.
[0092] Блок 03003 определения текстуры переднего плана определяет информацию текстуры 3D модели переднего плана с использованием изображения переднего плана и группы 3D моделей переднего плана.
[0093] Блок 03004 регулировки цвета границы текстуры регулирует цвет на границе текстуры в соответствии с информацией текстуры 3D модели переднего плана и группой 3D моделей и генерирует группу окрашенных 3D моделей переднего плана для каждого вышеупомянутого объекта.
[0094] Блок 03005 генерации изображения переднего плана виртуальной точки обзора осуществляет перспективное преобразование, благодаря чему, группа изображений переднего плана наблюдается из виртуальной точки обзора на основании параметров виртуальной камеры. Блок 03006 рендеринга осуществляет рендеринг изображения заднего плана и изображения переднего плана для генерации панорамного изображения виртуальной точки обзора на основании способа генерации, используемого для генерации изображения виртуальной точки обзора, определенного блоком 03014 управления режимом рендеринга. В этом варианте осуществления два режима рендеринга, включающие в себя основанный на модели рендеринг (MBR) и основанный на изображении рендеринг (IBR), используются в качестве способа генерирования изображения виртуальной точки обзора.
[0095] Когда применяется MBR, изображение виртуальной точки обзора генерируется с использованием 3D модели, генерируемой на основании множества захваченных изображений, полученного путем формирования изображения предмета с множества направлений. В частности, MBR – метод генерирования вида сцены из виртуальной точки обзора в качестве изображения с использованием 3D формы (модели) целевой сцены, полученной способом восстановления 3D формы, например, многовидового стерео (MVS).
[0096] IBR – метод генерирования изображения виртуальной точки обзора, который воспроизводит вид из виртуальной точки обзора путем деформирования и объединения группы входных изображений, полученной путем захвата целевой сцены из множества точек обзора. В этом варианте осуществления, изображение виртуальной точки обзора генерируется на основании по меньшей мере одного захваченного изображения. Количество захваченных изображений меньше, чем количество захваченных изображений для генерирования 3D модели с использованием MBR.
[0097] Когда режимом рендеринга является MBR, панорамная модель генерируется путем объединения сетчатой модели заднего плана и группы 3D моделей переднего плана, генерируемой блоком 03004 регулировки цвета границы текстуры друг с другом. Изображение виртуальной точки обзора генерируется из панорамной модели.
[0098] Когда режимом рендеринга является IBR, изображение заднего плана, наблюдаемое из виртуальной точки обзора, генерируется на основании модели текстуры заднего плана, и изображение переднего плана, генерируемое блоком 03005 генерации изображения переднего плана виртуальной точки обзора, объединяется с изображением заднего плана благодаря чему, генерируется изображение виртуальной точки обзора.
[0099] Заметим, что блок 03006 рендеринга может использовать способ рендеринга, отличный от MBR и IBR. Кроме того, способ генерирования изображения виртуальной точки обзора, определенный блоком 03014 управления режимом рендеринга, не ограничивается способом рендеринга, и блок 03014 управления режимом рендеринга может определять способ процесса, отличного от рендеринга, для генерирования изображения виртуальной точки обзора. Блок 03014 управления режимом рендеринга определяет режим рендеринга в качестве способа генерации, используемого для генерации изображения виртуальной точки обзора и сохраняет результат определения.
[0100] В этом варианте осуществления, блок 03014 управления режимом рендеринга определяет режим рендеринга, подлежащий использованию, из множества режимов рендеринга. Это определение осуществляется на основании информации, полученной блоком 03001 приема данных. Например, блок 03014 управления режимом рендеринга определяет, что IBR – способ генерации, подлежащий использованию для генерации изображения виртуальной точки обзора, когда количество камер указанное в соответствии с полученной информацией, меньше или равно пороговому значению. С другой стороны, когда количество камер больше, чем пороговое значение, блок 03014 управления режимом рендеринга определяет, что способом генерации является MBR. Таким образом, когда количество камер велико, изображение виртуальной точки обзора генерируется с использованием MBR, благодаря чему, достигается большой диапазон доступных точек обзора. С другой стороны, когда количество камер мало, можно использовать IBR, благодаря чему, предотвращается снижение качества изображения для изображения виртуальной точки обзора, обусловленное уменьшением точности 3D модели, генерируемой с использованием MBR. Кроме того, способ генерации может определяться в соответствии с длительностью допустимой задержки времени обработки в течение периода от того, когда осуществляется формирование изображения, до того, когда выводится изображение. В случае, когда приоритет отдается степени свободы, несмотря на то, что время задержки большое, используется MBR, тогда как в случае, когда требуется снижение времени задержки, используется IBR. Кроме того, когда блок 03001 приема данных получает информацию, указывающую, что контроллер 300 или терминал 190 конечного пользователя способен указывать высоту точки обзора, например, MBR определяется в качестве способа генерации, используемого для генерации изображения виртуальной точки обзора. Таким образом, можно избежать случая, когда запрос изменения высоты точки обзора, выданный пользователем, не принимается, поскольку способом генерации является IBR. Таким образом, поскольку способ генерирования изображения виртуальной точки обзора определяется из множества способов генерации в зависимости от ситуации, изображение виртуальной точки обзора может генерироваться надлежащим образом определенным способом генерации. Кроме того, поскольку множество режимов рендеринга может переключаться с одного на другой в зависимости от запроса, система может гибко конфигурироваться, и этот вариант осуществления может применяться к предметам, отличным от стадиона.
[0101] Заметим, что режимы рендеринга, сохраненные в блоке 03014 управления режимом рендеринга, могут быть способами, заранее заданными в системе. Альтернативно, пользователь, который оперирует UI 330 операций виртуальной камеры или терминалом 190 конечного пользователя, может произвольно задавать режим рендеринга.
[0102] Блок 03007 генерации звука виртуальной точки обзора генерирует звук (группу звуков), слышимый в виртуальной точке обзора, на основании параметра виртуальной камеры. Блок 03008 объединения генерирует содержание виртуальной точки обзора путем объединения группы изображений, генерируемой блоком 03006 рендеринга, и звук, генерируемый блоком 03007 генерации звука виртуальной точки обзора, друг с другом.
[0103] Блок 03009 вывода изображения выводит содержание виртуальной точки обзора на контроллер 300 и терминал 190 конечного пользователя через Ethernet. Заметим, что способ или передача вовне не ограничиваются Ethernet, и можно использовать различные способы передачи сигнала, например, SDI, Display Port и HDMI (зарегистрированный товарный знак). Заметим, что тыловой сервер 270 может выводить изображение виртуальной точки обзора, которое генерируется блоком 03006 рендеринга и которое не включает в себя звук.
[0104] Блок 03010 определения объекта переднего плана определяет группу объектов переднего плана, которую нужно отобразить, с использованием параметра виртуальной камеры и позиционной информации объекта переднего плана, указывающей позицию в пространстве объекта переднего плана, который включен в 3D модель переднего плана и выводит список объектов переднего плана. В частности, блок 03010 определения объекта переднего плана осуществляет процесс отображения информации изображения виртуальной точки обзора в физические камеры 112. Виртуальная точка обзора содержит разные результаты отображения в зависимости от режима рендеринга, определенного блоком 03014 управления режимом рендеринга. Таким образом, контроллер, который определяет множество объектов переднего плана включен в блок 03010 определения объекта переднего плана и осуществляет управление совместно с режимом рендеринга.
[0105] Блок 03011 генерации списка запросов генерирует список запросов для запрашивания у базы данных 250 передачи группы изображений переднего плана и группы 3D моделей переднего плана, соответствующих списку объектов переднего плана, в указанный момент времени, изображений заднего плана, и данных звука. Что касается объекта переднего плана, данные, выбранные с учетом виртуальной точки обзора, запрашиваются в базе данных 250. Однако, что касается изображения заднего плана и данных звука, запрашиваются все данные, связанные с кадром, представляющим интерес. Список запросов сетчатой модели заднего плана генерируется в период времени от того, когда активируется тыловой сервер 270, до того, когда получается сетчатая модель заднего плана.
[0106] Блок 03012 вывода данных запроса выводит команду запроса данных в базу данных 250 на основании входного списка запросов. Блок 03013 управления сетчатой моделью заднего плана сохраняет сетчатую модель заднего плана, подаваемую из базы данных 250.
[0107] Заметим, что случай, когда тыловой сервер 270 осуществляет определение способа генерирования изображения виртуальной точки обзора и генерацию изображения виртуальной точки обзора, в основном, описан в этом варианте осуществления. В частности, тыловой сервер 270 выводит изображение виртуальной точки обзора в качестве данных, соответствующих результату определения способа генерации. Однако, настоящее изобретение этим не ограничивается, и сервер 230 переднего плана может определять способ генерации, подлежащий использованию для генерации изображения виртуальной точки обзора на основании информации о множестве камер 112 и информации, выводимой из устройства, которая указывает точку обзора, связанную с генерацией изображения виртуальной точки обзора. Затем сервер 230 переднего плана может выводить данные изображения на основе формирования изображения, осуществляемого камерами 112, и информацию, указывающую определенный способ генерации в по меньшей мере одно из устройства хранения, например, базы данных 250, и устройства генерации изображения, например, тылового сервера 270. В этом случае тыловой сервер 270 генерирует изображение виртуальной точки обзора на основании информации, указывающей способ генерации, выводимой сервером 230 переднего плана, в качестве данных, соответствующих, например, результату определения способа генерации. Когда сервер 230 переднего плана определяет способ генерации, нагрузка по обработке, обусловленная процессом, осуществляемым базой 250 данных или тыловым сервером 270 над данными для генерации изображения, с использованием способа, отличного от определенного способа, может снижаться. Однако, в случае, когда тыловой сервер 270 определяет способ генерации, который описан в этом варианте осуществления, в базе данных 250 могут храниться данные, соответствующие множеству способов генерации, и, таким образом, может генерироваться множество изображений виртуальных точек обзора, соответствующее множеству способов генерации.
[0108] На фиг. 8 показана блок-схема, демонстрирующая функциональную конфигурацию UI 330 операций виртуальной камеры. Виртуальная камера 08001 будет описана со ссылкой на фиг. 37A. Виртуальная камера 08001 способна осуществлять формирование изображения в точке обзора, отличной от таковых у установленных камер 112. В частности, изображение виртуальной точки обзора, генерируемое системой 100 обработки изображений, соответствует изображению, захваченному виртуальной камерой 08001. На фиг. 37A множество систем 110 датчиков, установленных по периметру, содержат соответствующие камеры 112. Например, изображение, которое видно, как если бы изображение захватывалось виртуальной камерой 08001, установленной вблизи футбольных ворот, может генерироваться путем генерирования изображения виртуальной точки обзора. Изображение виртуальной точки обзора, которое является изображением, захваченным виртуальной камерой 08001, генерируется путем осуществления обработки изображений над изображениями, захваченными множеством установленных камер 112. Когда оператор (пользователь) оперирует позицией виртуальной камеры 08001, можно получать изображение, захваченное в произвольной точке обзора.
[0109] UI 330 операций виртуальной камеры включает в себя блок 08130 управления виртуальной камерой и блок 08120 UI операций. Блок 08130 управления виртуальной камерой и блок 08120 UI операций могут быть реализованы в одном и том же устройстве или реализованы в устройстве, служащем сервером, и устройстве, служащем клиентом, соответственно. В UI 330 операций виртуальной камеры, используемом в вещательной станции, например, блок 08130 управления виртуальной камерой и блок 08120 UI операций могут быть реализованы в рабочей станции на автомобиле-ретрансляторе. Кроме того, аналогичная функция может быть реализована путем осуществления блока 08130 управления виртуальной камерой на веб-сервере и блока 08120 UI операций, например, на терминале 190 конечного пользователя.
[0110] Блок 08101 операций виртуальной камеры осуществляет обработку при приеме операции, осуществляемой на виртуальной камере 08001, то есть инструкции, выданной пользователем для указания точки обзора для генерации изображения виртуальной точки обзора. Содержание операции оператора включает в себя, например, изменение позиции (сдвиг), изменение ориентации (поворот), и изменение увеличения трансфокации. Оператор использует устройства ввода, включающие в себя джойстик, поворотный переключатель, сенсорную панель, клавиатуру и мышь, чтобы оперировать виртуальной камерой 08001. Соответствия между вводами устройств ввода и операциями виртуальной камеры 08001 определяются заранее. Например, клавиша "w" клавиатуры соответствует операции сдвига виртуальной камеры 08001 вперед на 1 м. Кроме того, оператор может оперировать виртуальной камерой 08001 после указания траектории. Например, оператор указывает траекторию виртуальной камеры 08001, которая перемещается по периметру со стойкой ворот в центре, путем касания сенсорной панели таким образом, что на сенсорной панели воспроизводится окружность. Виртуальная камера 08001 перемещается вокруг стойки ворот вдоль указанной траектории. В этом случае, ориентация виртуальной камеры 08001 может автоматически изменяться, благодаря чему виртуальная камера 08001 постоянно обращена к стойке ворот. Блок 08101 операций виртуальной камеры можно использовать для генерации живого изображения и изображения повторного воспроизведения. Когда изображение повторного воспроизведения подлежит генерации, осуществляется операция указания времени помимо позиции и ориентации камеры. В изображении повторного воспроизведения, виртуальную камеру 08001 можно перемещать, например, пока останавливается время.
[0111] Блок 08102 получения параметра виртуальной камеры получает параметры виртуальной камеры, указывающие позицию и ориентацию виртуальной камеры 08001. Параметры виртуальной камеры можно вывести путем вычисления или со ссылкой на поисковую таблицу и т.п. В качестве параметров виртуальной камеры используются, например, матрица внешних параметров и матрица внутренних параметров. Здесь, позиция и ориентация виртуальной камеры 08001 включены во внешние параметры, и значение трансфокации включено во внутренние параметры.
[0112] Блок 08103 управления ограничением виртуальной камеры получает и управляет информацией ограничения для указания области ограничения, в которой ограничено указание точки обзора на основании инструкции, принятой блоком 08101 операций виртуальной камеры. Информация ограничения указывает ограничение, связанное с позицией, ориентацией, значением трансфокации и пр. виртуальной камеры 08001. В отличие от камеры 112, виртуальная камера 08001 может осуществлять формирование изображения, произвольно двигая точку обзора. Однако не обязательно так, что виртуальная камера 08001 может постоянно генерировать изображения из различных точек обзора. Например, если виртуальная камера 08001 обращена в направлении, в котором существует объект, который не захвачен любыми камерами 112, изображение объекта не может быть захвачено. Кроме того, если увеличение трансфокации виртуальной камеры 08001 увеличивается, качество изображения снижается вследствие ограничения разрешения. Таким образом, увеличение трансфокации в диапазоне, в котором поддерживается качество изображения некоторого стандарта, может устанавливаться как ограничение виртуальной камеры. Ограничение виртуальной камеры можно получать заранее в соответствии с размещением камер 112. Кроме того, блок 06120 передачи может уменьшать объем данных передачи в соответствии с нагрузкой сети. Снижение объема данных динамически меняет параметры, связанные с захваченными изображениями, и меняет диапазон, в котором могут генерироваться изображения, и диапазон, в котором поддерживается качество изображения. Блок 08103 управления ограничением виртуальной камеры может принимать информацию, указывающую способ, используемый, для снижения объема данных, выводимых из блока 06120 передачи, и динамически обновлять ограничение виртуальной камеры в соответствии с информацией. Таким образом, блок 06120 передачи позволяет снижать объем данных, тогда как качество изображений виртуальной точки обзора поддерживается на некотором стандарте.
[0113] Кроме того, ограничение виртуальной камеры 08001 не ограничивается вышеописанным ограничением. В этом варианте осуществления, область ограничения, в которой указание точки обзора ограничено (область, которая не удовлетворяет ограничению виртуальной камеры) изменяется в зависимости от, по меньшей мере, рабочих состояний устройств, включенных в систему 100 обработки изображений, или параметров, связанных с данными изображения для генерации изображения виртуальной точки обзора. Например, область ограничения изменяется в соответствии с параметром, который управляет объемом данных изображения, передаваемых в системе 100 обработки изображений, в заранее определенном диапазоне на основании ограничения объема данных. Параметр включает в себя по меньшей мере одно из частоты кадров данных изображения, разрешения, шага квантования и диапазона формирования изображения. Когда разрешение данных изображения снижается для уменьшения объема данных передачи, диапазон увеличения трансфокации, в котором может поддерживаться некоторое качество изображения, изменяется. В таком случае, когда блок 08103 управления ограничением виртуальной камеры получает информацию для указания области ограничения, которая изменяется с помощью параметра, UI 330 операций виртуальной камеры может осуществлять управление таким образом, что пользователь указывает точку обзора в диапазоне в соответствии с изменением параметра. Заметим, что содержание параметра не ограничивается вышеописанным содержанием. Кроме того, хотя данные изображения, в которых осуществляется управление объемом данных, генерируются на основании различий множества изображений, захваченных камерами 112 в этом варианте осуществления, настоящее изобретение этим не ограничивается. Данные изображения могут быть самим захваченным изображением или могут быть изображением переднего плана или изображением заднего плана.
[0114] Кроме того, область ограничения меняется в соответствии, например с рабочими состояниями устройств, включенных в систему 100 обработки изображений. Здесь, устройства, включенные в систему 100 обработки изображений, включают в себя по меньшей мере одно из камеры 112 и адаптера 120 камеры, который генерирует данные изображения путем осуществления обработки изображений на изображении, захваченном камерой 112. Рабочие состояния устройств включают в себя, например по меньшей мере одно из нормального состояния, сбойного состояния, состояния подготовки к начальной загрузке, и состояния перезагрузки устройств. Например, в случае, когда одна из камер 112 находится в сбойном состоянии или состоянии перезагрузки, точка обзора может не указываться в позиции вблизи камеры 112. В таком случае, когда блок 08103 управления ограничением виртуальной камеры получает информацию для указания области ограничения, которая изменяется в зависимости от рабочих состояния устройств, UI 330 операций виртуальной камеры может осуществлять управление таким образом, что пользователь указывает точку обзора в диапазоне в соответствии с изменением рабочих состояний устройств. Заметим, что устройства и рабочие состояния, связанные с изменением области ограничения, не ограничиваются вышеописанными.
[0115] Блок 08104 определения конфликта определяет, удовлетворяет ли параметр виртуальной камеры полученный блоком 08102 получения параметра виртуальной камеры ограничению виртуальной камеры. Когда определение дает отрицательный ответ, операция ввода, осуществляемая оператором, отменяется, и виртуальная камера 08001 управляется так, чтобы не перемещаться из позиции, которая удовлетворяет ограничению, или виртуальная камера 08001 возвращается в позицию, которая удовлетворяет ограничению.
[0116] Блок 08105 вывода обратной связи возвращает результат определения, осуществляемого блоком 08104 определения конфликта, оператору. Например, когда ограничение виртуальной камеры не удовлетворяется вследствие операции, осуществляемой оператором, блок 08104 определения конфликта передает уведомление оператору. Предполагается, что, хотя оператор осуществляет операцию движения виртуальной камерой 08001 вверх, пункт назначения перемещения не удовлетворяет ограничению виртуальной камеры. В этом случае, блок 08105 вывода обратной связи передает оператору уведомление, указывающее, что виртуальная камера 08001 не может перемещаться дальше вверх. Уведомление может осуществляться с помощью звука, вывода сообщения, изменения цвета на экране, блокировки блока 08101 операций виртуальной камеры, и т.п. Кроме того, позиция виртуальной камеры 08001 может автоматически возвращаться в позицию, которая удовлетворяет ограничению, что позволяет упростить операцию, осуществляемую оператором. Когда обратная связь осуществляется путем отображения изображения, блок 08105 вывода обратной связи отображает изображение на основании управления отображением в соответствии с областью ограничения в блоке отображения на основании информации ограничения, полученной блоком 08103 управления ограничением виртуальной камеры. Например, блок 08105 вывода обратной связи отображает изображение, указывающее, что точка обзора, соответствующая инструкции, принятой блоком 08101 операций виртуальной камеры, находится в области ограничения в блоке отображения. Таким образом, оператор может распознать, что указанная точка обзора включена в область ограничения, и, таким образом, изображение желаемой виртуальной точки обзора может не генерироваться. Соответственно, оператор может указывать точку обзора снова в позиции вне области ограничения (позиции, которая удовлетворяет ограничению). В частности, при генерации изображения виртуальной точки обзора, точка обзора может быть указана в диапазоне, который меняется в зависимости от ситуации. Заметим, что содержание, отображаемое в блоке отображения с помощью UI 330 операций виртуальной камеры, служащего устройством управления, которое осуществляет управление отображением в соответствии с областью ограничения, этим не ограничивается. Например, изображение, указывающее область ограничения, например, изображения, в котором участок соответствующий области ограничения в области, которая является целью указания точки обзора (например, внутри стадиона), заполняется заранее определенным цветом, может отображаться. Хотя блок отображения является внешним дисплеем, подключенным к UI 330 операций виртуальной камеры в этом варианте осуществления, настоящее изобретение этим не ограничивается, и блок отображения может быть включен в UI 330 операций виртуальной камеры.
[0117] Блок 08106 управления путем виртуальной камеры управляет путем виртуальной камеры 08001 (путем 08002 виртуальной камеры), в соответствии с операцией, осуществляемой оператором. Путь 08002 виртуальной камеры является линией информации, указывающей позиции и ориентации виртуальной камеры 08001 в отдельных кадрах. Описание будет приведено со ссылкой на фиг. 37B. Например, параметр виртуальной камеры используется как информация, указывающая позицию и ориентацию виртуальной камеры 08001. Информация в течение одной секунды в настройке частоты кадров 60 кадров в секунду соответствует, например, линии 60 параметров виртуальной камеры. Блок 08106 управления путем виртуальной камеры передает параметры виртуальной камеры, определенные блоком 08104 определения конфликта, на тыловой сервер 270. Тыловой сервер 270 генерирует изображение виртуальной точки обзора и звук виртуальной точки обзора с использованием принятых параметров виртуальной камеры. Кроме того, блок 08106 управления путем виртуальной камеры имеет функцию сохранения параметров виртуальной камеры после добавления параметров виртуальной камеры в путь 08002 виртуальной камеры. Когда изображение виртуальной точки обзора и звук виртуальной точки обзора в течение одного часа генерируются с использованием UI 330 операций виртуальной камеры, например, параметры виртуальной камеры в течение одного часа сохраняются как путь 08002 виртуальной камеры. Благодаря сохранению пути 08002 виртуальной камеры, изображение виртуальной точки обзора и звук виртуальной точки обзора могут генерироваться снова согласно информации изображения, сохраненной во вторичном хранилище 02460 в базе данных 250 и пути 08002 виртуальной камеры позже. Таким образом, другие пользователи могут повторно использовать путь 08002 виртуальной камеры, генерируемый оператором, который осуществляет высокоуровневую операцию виртуальной камеры, и информацию изображения, сохраненную во вторичном хранилище 02460. Заметим, что множество выбираемых сцен, соответствующих множеству путей виртуальных камер, может храниться в блоке 08130 управления виртуальной камерой. Когда множество путей виртуальных камер сохраняется в блоке 08130 управления виртуальной камерой, метаданные, включающие в себя скрипты сцен, соответствующие пути виртуальных камер, истекшее время игры, предписанное время до и после сцены, и информацию об игроке, могут также вводиться и сохраняться. UI 330 операций виртуальной камеры уведомляет тыловой сервер 270 об этих путях виртуальных камер как параметрах виртуальной камеры.
[0118] Терминал 190 конечного пользователя может выбирать путь виртуальной камеры из названия сцены, игрока, или истекшего времени игры путем запрашивания информации выбора для выбора пути виртуальной камеры к тыловому серверу 270. Тыловой сервер 270 уведомляет терминал 190 конечного пользователя о кандидатах выбираемого пути виртуальной камеры. Конечный пользователь выбирает желаемый путь виртуальной камеры из кандидатов путем оперирования терминалом 190 конечного пользователя. Терминал 190 конечного пользователя запрашивает генерацию изображения, соответствующего выбранному пути виртуальной камеры к тыловому серверу 270, чтобы интерактивно получить службу доставки изображений.
[0119] Блок 08107 авторинга имеет функцию осуществления редактирования, когда оператор генерирует изображение повторного воспроизведения. Блок 08107 авторинга извлекает участок пути 08002 виртуальной камеры, сохраненного в блоке 08106 управления путем виртуальной камеры, в качестве начального значения пути 08002 виртуальной камеры или изображение повторного воспроизведения в ответ на операцию пользователя. Как описано выше, блок 08106 управления путем виртуальной камеры сохраняет метаданные, включающие в себя название сцены, игрока, истекшее время, и предписанное время до и после сцены, которые связаны с путем 08002 виртуальной камеры. Например, извлекается путь 08002 виртуальной камеры, имеющий название сцены "голевая сцена" и предписанное время до и после сцены всего 10 секунд. Кроме того, блок 08107 авторинга устанавливает скорость воспроизведения на редактируемом пути камеры. Например, замедленное воспроизведение устанавливается на пути 08002 виртуальной камеры, по которому летит мяч. Заметим, что, когда изображение заменяется другим изображением с другой точки обзора, то есть, когда путь 08002 виртуальной камеры изменяется, пользователь снова оперирует виртуальной камерой 08001 с использованием блока 08101 операций виртуальной камеры.
[0120] Блок 08108 вывода изображения/звука виртуальной камеры выводит изображение и звук виртуальной камеры, подаваемый от тылового сервера 270. Оператор оперирует виртуальной камерой 08001 при проверке выходного изображения и выводе звука. Заметим, что блок 08108 вывода изображения/звука виртуальной камеры предписывает блоку отображения отображать изображение на основании управления отображением на основании области ограничения в зависимости от содержания обратной связи, осуществляемой блоком 08105 вывода обратной связи. Когда позиция точки обзора, указанная оператором, включена в область ограничения, например, блок 08108 вывода изображения/звука виртуальной камеры может отображать изображение виртуальной точки обзора с некоторый позицией, которая находится вблизи указанной позиции и которая находится вне области ограничения, в качестве точки обзора. Таким образом, нагрузка на оператора по указанию точки обзора снова вне области ограничения снижается.
[0121] Далее, будет описан терминал 190 конечного пользователя, используемый зрителем (пользователем). На фиг. 9 показана схема, демонстрирующая конфигурацию терминала 190 конечного пользователя.
[0122] Терминал 190 конечного пользователя, оперирующий служебным приложением, является, например, персональным компьютером (PC). Заметим, что терминал 190 конечного пользователя не ограничивается PC и может быть смартфоном, планшетным терминалом или большим дисплеем высокой четкости.
[0123] Терминал 190 конечного пользователя подключен к тыловому серверу 270, который доставляет изображение через интернет 9001. Например, терминал 190 конечного пользователя (PC) подключен к интернету 9001 через проводную локальную сеть (LAN) или беспроводную LAN.
[0124] Кроме того, дисплей 9003, который отображает изображение виртуальной точки обзора, например, изображение спортивного вещания, наблюдаемое зрителем, и устройство 9002 пользовательского ввода, которое принимает операцию изменения точки обзора и пр., осуществляемую зрителем, подключаются к терминалу 190 конечного пользователя. Дисплей 9003 является, например, жидкокристаллическим дисплеем и подключен к PC через кабель Display Port. Устройство 9002 пользовательского ввода является мышью или клавиатурой и подключено к PC через кабель универсальной последовательной шины (USB).
[0125] Ниже будет описана внутренняя функция терминала 190 конечного пользователя. На фиг. 10 показана функциональная блок-схема терминала 190 конечного пользователя.
[0126] Блок 10001 управления приложением преобразует входную информацию пользователя, введенную блоком 10002 операционной системы, в команду тылового сервера собственно тылового сервера 270, подлежащую выводу на блок 10002 операционной системы. Кроме того, блок 10001 управления приложением выводит инструкцию рендеринга изображения для рендеринга изображения, введенного блоком 10002 операционной системы в заранее определенной области отображения на блок 10002 операционной системы.
[0127] Блок 10002 операционной системы является, например, операционной системой (OS) и выводит входную информацию пользователя, подаваемую от блока 10004 пользовательского ввода, описанного ниже, на блок 10001 управления приложением. Кроме того, блок 10002 операционной системы выводит изображение и звук, подаваемый от блока 10003 сетевой связи, описанного ниже, на блок 10001 управления приложением и команду тылового сервера, подаваемую от блока 10001 управления приложением, на блок 10003 сетевой связи. Кроме того, блок 10002 операционной системы выводит команду рендеринга изображения, подаваемую от блока 10001 управления приложением, на блок 10005 вывода изображения.
[0128] Блок 10003 сетевой связи преобразует команду тылового сервера, подаваемую от блока 10002 операционной системы, в сигнал связи LAN, который может передаваться через кабель LAN и подает сигнал связи LAN на тыловой сервер 270. После этого, блок 10003 сетевой связи подает данные изображения и данные звука, подаваемые от тылового сервера 270, на блок 10002 операционной системы, благодаря чему, данные могут обрабатываться.
[0129] Блок 10004 пользовательского ввода получает входную информацию пользователя на основании клавиатурного ввода (с помощью физической клавиатуры или экранной клавиатуры) или кнопочного ввода и входную информацию пользователя, введенную через кабель USB от устройства пользовательского ввода, подлежащую выводу на блок 10002 операционной системы.
[0130] Блок 10005 вывода изображения преобразует изображение на основании инструкции отображения изображения, подаваемой от блока 10002 операционной системы, в сигнал изображения, подлежащий выводу на внешний дисплей или интегрированный дисплей.
[0131] Блок 10006 вывода звука выводит данные звука на основании инструкции вывода звука, выданной блоком 10002 операционной системы, во внешний громкоговоритель или интегрированный громкоговоритель. Блок 10007 управления атрибутами терминала управляет разрешением терминала 190 конечного пользователя, типом кодека для кодирования изображения, и типом терминала (например, смартфон, крупный дисплей, и т.п.).
[0132] Блок 10008 управления атрибутами службы управляет информацией о типе предоставляемой услуги или терминале 190 конечного пользователя. Блок 10008 управления атрибутами службы управляет, например, типом приложения, установленного на терминале 190 конечного пользователя, и пригодной службой доставки изображений.
[0133] Блок 10009 управления внесением денежных средств осуществляет управление статусом расчетов, регистрируемым пользователем в службе доставки изображений и количеством сцен доставки принимаемого изображения, соответствующих объему внесенных денежных средств, и пр.
[0134] Далее будет описана последовательность операций этого варианта осуществления. Будет описана последовательность операций в случае, когда множество камер 112 и множество микрофонов 111 установлены в сооружении, например, стадионе или концертном зале, и осуществляется формирование изображения.
[0135] На фиг. 11 показана блок-схема операций всей последовательности операций. Процесс последовательности операций описанный ниже, осуществляется под управлением контроллера 300, если не описано иное. В частности, управление последовательностью операций осуществляется, когда контроллер 300 управляет другими устройствами (например, тыловым сервером 270 и базой данных 250), включенными в систему 100 обработки изображений.
[0136] До начала процесса на фиг. 11, оператор (пользователь), который устанавливает и оперирует системой 100 обработки изображений, собирает информацию, необходимую до установки (предыдущую информацию) и осуществляет планирование. Кроме того, предполагается, что оператор устанавливает оборудование в целевое сооружение до начала процесса на фиг. 11.
[0137] На этапе S1100, станция 310 управления контроллера 300 принимает настройку, введенную пользователем, на основании предыдущей информации. Процесс на этапе S1100 будет подробно описан ниже со ссылкой на фиг. 12. Затем, на этапе S1101, устройства, включенные в систему 100 обработки изображений, осуществляют процессы или проверку работы системы в соответствии с командой, выданной контроллером 300 в соответствии с операцией пользователя. Процесс на этапе S1101 будет подробно описан ниже со ссылкой на фиг. 13.
[0138] На этапе S1102, UI 330 операций виртуальной камеры выводит изображение и звук до начала формирования изображения или игры и т.п. Таким образом, пользователь может проверять звук, собранный микрофонами 111, и изображения, захваченные камерами 112, до игры и т.п. Процесс на этапе S1102 будет подробно описан ниже со ссылкой на фиг. 14.
[0139] На этапе S1103, станция 310 управления контроллера 300 предписывает микрофонам 111 собирать звук и камерам 112 захватывать изображения. Хотя формирование изображения на этом этапе включает в себя сбор звука с использованием микрофонов 111, настоящее изобретение этим не ограничивается, и могут захватываться только изображения. Процесс на этапе S1103 будет подробно описан ниже со ссылкой на фиг. 15 и 16. Когда настройка, осуществляемая на этапе S1101, подлежит изменению, или когда формирование изображения подлежит окончанию, процесс переходит к этапу S1104. На этапе S1104, когда настройка, осуществляемая на этапе S1101, подлежит изменению и формирование изображения нужно продолжить, процесс переходит к этапу S1105, тогда как, когда формирование изображения подлежит окончанию, процесс переходит к этапу S1106. Определение на этапе S1104 обычно осуществляется в соответствии с пользовательским вводом в контроллер 300. Однако, настоящее изобретение не ограничивается этим примером. На этапе S1105, контроллер 300 изменяет настройку, осуществляемую на этапе S1101. Измененное содержание обычно определяется пользовательским вводом, полученным на этапе S1104. Когда формирование изображения нужно остановить при изменении настройки на этом этапе, формирование изображения временно останавливается и запускается после изменения настройки. Кроме того, когда формирование изображения не требуется останавливать, изменение настройки осуществляется параллельно формированию изображения.
[0140] На этапе S1106, контроллер 300 осуществляет редактирование изображений, захваченных множеством камер 112, и звука, собранного множеством микрофонов 111. Редактирование обычно осуществляется на основании операции пользователя, введенной через UI 330 операций виртуальной камеры.
[0141] Заметим, что процессы на этапе S1106 и этапе S1103 могут осуществляться параллельно. Например, когда спортивная игра или концерт доставляется в реальном времени (например, изображения игры доставляются в ходе игры), формирование изображения на этапе S1103 и редактирование на этапе S1106 осуществляются одновременно. Кроме того, когда выделенное изображение спортивной игры нужно доставить после игры, редактирование осуществляется после того, как формирование изображения заканчивается на этапе S1104.
[0142] Затем, процесс на этапе S1100 (предобработка установки) будет подробно описан со ссылкой на фиг. 12. Сначала, на этапе S1200, станция 310 управления принимает пользовательский ввод, связанный с информацией о сооружении, подлежащем захвату (информацией о стадионе).
[0143] Информация о стадионе на этом этапе указывает форму стадиона, звук, яркость, источник питания, среду передачи, и данные 3D модели стадиона. В частности, информация о стадионе включает в себя вышеописанные данные формы стадиона. Заметим, что случай, когда сооружение, подлежащее захвату, является стадионом, описан в этом варианте осуществления. В этом случае, предполагается, что генерируются изображения спортивной игры, проводимой на стадионе. Заметим, что некоторые спортивные игры проводятся в помещении, и таким образом, сооружение для формирования изображения не ограничивается стадионом. Кроме того, может генерироваться изображение виртуальной точки обзора концерта в концертном зале и могут генерироваться изображения вне помещения на стадионе, и, таким образом, мероприятие для формирования изображения не ограничивается игрой.
[0144] На этапе S1201, станция 310 управления принимает пользовательский ввод, связанный с информацией об устройстве. Информация об устройстве на этом этапе указывает информацию об оборудовании формирования изображения, например, камерах, платформах камер, объективах и микрофонах, информацию об информационных устройствах, например, LAN, PC, сервере и кабелях, и информацию об автомобиле-ретрансляторе. Однако не обязательно вводится вся информация.
[0145] На этапе S1202, станция 310 управления принимает ввод информации размещения камер, платформ камер и микрофонов в оборудование формирования изображения, в которое информация об устройстве вводится на этапе S1201. Информация размещения может вводится с использованием вышеописанных данных 3D модели стадиона.
[0146] На этапе S1203, станция 310 управления принимает пользовательский ввод, связанный с информацией работы системы 100 обработки изображений. Информация операции на этом этапе указывает цель формирования изображения, время формирования изображения, работу камеры и точку наблюдения. Например, когда цель формирования изображения является церемонией открытия, в которой количество изображений переднего плана, например, игроков, в захваченном изображении гораздо больше, чем в играх, способ генерации изображения может меняться на пригодный способ или ситуацию. Кроме того, в зависимости от типа игры, например, легкая атлетика, игры в футбол с использованием поля, и т.п., может осуществляться изменение точки наблюдения, которая захватывается множеством камер, и изменение условия ограничения работы камеры. Таблица информации настройки, сконфигурированная комбинацией информации операции, управляется, изменяется и предписывается станцией 310 управления. Это управление будет описано ниже. После того, как процесс с этапа S1200 до этапа S1203 осуществлен, как описано выше, последовательность операций до установки системы завершается. Затем процесс на этапе S1101 (обработка при установке) будет подробно описан со ссылкой на фиг. 13. На этапе S1300, станция 310 управления принимает пользовательский ввод, связанный с недостатком и избытком устанавливаемого оборудования. Пользователь проверяет недостаток и избыток путем сравнения информации об устройстве, введенной на этапе S1201, с оборудованием, которое нужно установить, для того, чтобы определить, возникает ли недостаток или избыток устанавливаемого оборудования. На этапе S1301, станция 310 управления выполняет процесс проверки установки оборудования, соответствующего недостатку на этапе S1300. Таким образом, пользователь может установить оборудование, соответствующее недостатку, между процессом на этапе S1300 и процессом на этапе S1301, и станция 310 управления подтверждает, что оборудование, соответствующее недостатку, было установлено пользователем.
[0147] Затем, на этапе S1302, станция 310 управления активирует оборудование, установленное на этапе S1301, и осуществляет проверку работы системы перед регулировкой для определения, работает ли установленное оборудование нормальным образом. Заметим, что в процессе на этапе S1302, пользователь может осуществлять проверку работы системы перед тем, как пользователь вводит результат проверки на станции 310 управления.
[0148] Если возникает недостаток и избыток оборудования или ошибка в работе, уведомление об ошибке передается на станцию 310 управления (S1303). Станция 310 управления приводится в состояние блокировки, то есть, не переходит к следующему этапу, пока не отменяется ошибка. Когда состояние ошибки отменяется, уведомление о нормальной работе передается на станцию 310 управления (S1304), и процесс переходит следующему этапу. Таким образом, ошибку можно обнаружить на начальной стадии. После проверки, процесс переходит к этапу S1305, где осуществляется процесс, связанный с камерой 112, тогда как процесс переходит к этапу S1308, где осуществляется процесс, связанный с микрофон 111.
[0149] Сначала будут описаны камеры 112. На этапе S1305, станция 310 управления регулирует установленные камеры 112. Регулировка камер 112 на этом этапе указывает регулировку углов зрения и регулировку цвета и осуществляется во всех установленных камерах 112. Регулировка на этапе S1305 может осуществляться в соответствии с операцией пользователя или может быть реализована функцией автоматической регулировки.
[0150] Кроме того, при регулировке углов зрения, регулировки трансфокации, панорамирования, отклонения, и фокусировки осуществляются параллельно, и результаты регулировки сохраняются на станции 310 управления. При регулировке цвета, регулировки IRIS, ISO/коэффициент усиления, баланса белого, резкости и быстродействия затвора осуществляются одновременно, и результаты регулировки сохраняются на станции 310 управления.
[0151] На этапе S1306, станция 310 управления осуществляет регулировку таким образом, что все установленные камеры 112 синхронизируются друг с другом. Регулировка синхронизации на этапе S1306 может осуществляться в соответствии с операцией пользователя или может быть реализована функцией автоматической регулировки. На этапе S1307, станция 310 управления осуществляет калибровку во время установки камеры. В частности, станция 310 управления осуществляет регулировку таким образом, что координаты всех установленных камер 112 согласуются с мировой системой координат. Калибровка будет подробно описана ниже со ссылкой на фиг. 17. Заметим, что также осуществляются команды управления камерами 112 и квитирование связи сетевого тракта, связанного с синхронизацией с сервером времени. Затем, после регулировки (S1311) происходит переход в состояние ожидания в процессе проверки нормальной работы системы.
[0152] Далее, будет описан процесс, связанный с микрофонами 111. На этапе S1308, станция 310 управления регулирует установленные микрофоны 111. Регулировка микрофонов 111 на этом этапе указывает регулировку коэффициента усиления и осуществляется по всем установленным микрофонам 111. Регулировка микрофонов 111 на этапе S1308 может осуществляться в соответствии с операцией пользователя или может быть реализована функцией автоматической регулировки.
[0153] На этапе S1309, станция 310 управления осуществляет управление таким образом, что все установленные микрофоны 111 синхронизируются друг с другом. В частности, станция 310 управления проверяет тактовый сигнал синхронизации. Регулировка синхронизации на этапе S1309 может осуществляться в соответствии с операцией пользователя или может быть реализована функцией автоматической регулировки.
[0154] На этапе S1310, станция 310 управления регулирует позиции микрофонов 111, которые установлены на поле, из числа установленных микрофонов 111. Регулировка позиций микрофонов 111 на этапе S1310 может осуществляться в соответствии с операцией пользователя или может быть реализована функцией автоматической регулировки. Заметим, что также осуществляются команды управления микрофонов 111 и квитирование связи сетевого тракта, связанного с синхронизацией с сервером времени.
[0155] На этапе S1311, станция 310 управления осуществляет проверку работы системы после регулировки для определения, отрегулированы ли камеры 112a - 112z и микрофоны 111a - 111z надлежащим образом. Процесс на этапе S1311 может выполняться в ответ на инструкцию пользователя. Когда определено, что работа системы после регулировки обычно осуществляется по камерам 112 и микрофонам 111, уведомление, указывающее нормальную работу, передается на станцию 310 управления на этапе S1313. С другой стороны, когда возникает ошибка, уведомление об ошибке передается на станцию 310 управления совместно с типами и номерами отдельных камер 112 и микрофонов 111 (S1312). Станция 310 управления выдает инструкцию или перенастройку в соответствии с типом и отдельным номером устройства, в котором возникает ошибка.
[0156] Далее, вышеописанный процесс на этапе S1102 (предобработка формирования изображения) будет описан со ссылкой на фиг. 14. На этапе S1400, UI 330 операций виртуальной камеры отображает изображение, которое подвергнуто процессу, осуществляемому тыловым сервером 270. Оператор (пользователь) контроллера 300 может проверять результат обработки, осуществляемой тыловым сервером 270, путем проверки экрана UI 330 операций виртуальной камеры.
[0157] Параллельно процессу на этапе S1400, осуществляется процесс на этапе S1401. На этапе S1401, UI 330 операций виртуальной камеры выводит звук, обработанный тыловым сервером 270. Оператор (пользователь) контроллера 300 может проверять результат обработки, осуществляемой тыловым сервером 270, путем проверки вывода звука из UI 330 операций виртуальной камеры.
[0158] На этапе S1402, изображение и звук, обработанные тыловым сервером 270, объединяются друг с другом, и UI 330 операций виртуальной камеры выводит результат преобразования объединенного изображения и звука в сигнале доставки. Оператор (пользователь) контроллера 300 может проверять изображение и звук, которые обработаны тыловым сервером 270, путем проверки вывода сигнала доставки из UI 330 операций виртуальной камеры.
[0159] Далее вышеописанный процесс на этапе S1103 (процесс при формировании изображения) будет подробно описан со ссылкой на фиг. 15 и 16.
[0160] На этапе S1103, станция 310 управления осуществляет операцию управления и проверки системы, и UI 330 операций виртуальной камеры осуществляет операцию генерирования изображения и звука. Операция управления и проверки системы проиллюстрированы со ссылкой на фиг. 15, и операция генерирования изображения и звука проиллюстрирована со ссылкой на фиг. 16. Сначала, описание будет приведено со ссылкой на фиг. 15. При операции управления и проверки системы, осуществляемой станцией 310 управления, управление изображением и звуком и операция проверки независимо осуществляются в один и тот же момент времени.
[0161] Сначала будет описана операция, связанная с изображением. На этапе S1500, UI 330 операций виртуальной камеры отображает изображение виртуальной точки обзора, генерируемое тыловым сервером 270. На этапе S1501, UI 330 операций виртуальной камеры принимает ввод, связанный с результатом проверки, осуществляемой пользователем изображения, отображаемого на этапе S1500. Когда определено, что формирование изображения подлежит окончанию на этапе S1502, процесс переходит к этапу S1508, а в противном случае, процесс возвращается к этапу S1500. В частности, в ходе формирования изображения, процесс на этапе S1500 и этапе S1501 осуществляется повторно. Заметим, что определение, подлежит ли формирование изображения окончанию или продолжению, может осуществляться, например станцией 310 управления в соответствии с пользовательским вводом.
[0162] Далее будет описана операция, связанная со звуком. На этапе S1503, UI 330 операций виртуальной камеры принимает операцию пользователя, связанную с результатом выбора микрофонов 111. Заметим, что, когда микрофоны 111 выбираются по одному в заранее определенном порядке, операция пользователя не обязательно осуществляется. На этапе S1504, UI 330 операций виртуальной камеры воспроизводит звук микрофона 111, выбранного на этапе S1503. На этапе S1505, UI 330 операций виртуальной камеры определяет, включен ли шум в звук, воспроизводимый на этапе S1504. Определение, включен ли шум, может осуществляться оператором (пользователем) контроллера 300, может автоматически выполняться процессом анализа звука, или может осуществляться обоими способами. Когда пользователь определяет наличие или отсутствие шума, UI 330 операций виртуальной камеры принимает ввод, связанный с результатом определения шума, осуществляемого пользователем на этапе S1505. Когда шум обнаруживается на этапе S1505, UI 330 операций виртуальной камеры регулирует коэффициент усиления микрофона на этапе S1506. Регулировка коэффициента усиления микрофона на этапе S1506 может осуществляться в соответствии с операцией пользователя или может быть реализована функцией автоматической регулировки. Заметим, что, когда регулировка коэффициента усиления микрофона подлежит осуществлению в соответствии с операцией пользователя, UI 330 операций виртуальной камеры принимает пользовательский ввод, связанный с регулировкой коэффициента усиления микрофона и регулирует коэффициент усиления микрофона в соответствии с пользовательским вводом на этапе S1506. Кроме того, выбранные микрофоны 111 можно отключать в зависимости от состояния шума. Когда определено, что сбор звука подлежит окончанию на этапе S1507, процесс переходит к этапу S1508, а в противном случае, процесс возвращается к этапу S1503. Таким образом, в ходе сбора звука процесс от этапа S1503 к этапу S1506 осуществляется повторно. Заметим, что определение, подлежит ли сбор звука окончанию или продолжению, может осуществляться, например станцией 310 управления в соответствии с пользовательским вводом.
[0163] Когда определено, что система подлежит окончанию на этапе S1508, процесс переходит к этапу S1509, а в противном случае, процесс возвращается к этапу S1500 и этапу S1503. Определение на этапе S1508 может выполняться в соответствии с операцией пользователя. На этапе S1509, журналы, полученные системой 100 обработки изображений, собираются станцией 310 управления. Далее, операция генерирования изображения и звука будет описана со ссылкой на фиг. 16. В операции генерирования изображения и звука, осуществляемой вышеописанным UI 330 операций виртуальной камеры, изображение и звук генерируются параллельно по отдельности.
[0164] Сначала будет описана операция, связанная с изображением. На этапе S1600, UI 330 операций виртуальной камеры выдает инструкцию для генерирования изображения виртуальной точки обзора на тыловой сервер 270. На этапе S1600, тыловой сервер 270 генерирует изображение виртуальной точки обзора в соответствии с инструкцией, выданной посредством UI 330 операций виртуальной камеры. Когда определено, что генерация изображения подлежит окончанию на этапе S1601, процесс переходит к этапу S1604, а в противном случае, процесс возвращается к этапу S1600. Определение на этапе S1601 может выполняться в соответствии с операцией пользователя.
[0165] Далее будет описана операция, связанная с звуком. На этапе S1602, UI 330 операций виртуальной камеры выдает инструкцию для генерирования звука виртуальной точки обзора на тыловой сервер 270. На этапе S1602, тыловой сервер 270 генерирует звук виртуальной точки обзора в соответствии с инструкцией, выданной посредством UI 330 операций виртуальной камеры. Когда определено, что генерация звука подлежит окончанию на этапе S1603, процесс переходит к этапу S1604, а в противном случае, процесс возвращается к этапу S1602. Заметим, что определение на этапе S1603 может быть связано с определением на этапе S1601.
[0166] Далее будут описаны последовательность операций во время установки и последовательность операций до формирования изображения. Система 100 обработки изображений может управлять переключением между состоянием, в котором калибровка осуществляется во время установки, и состоянием, в котором нормальное формирование изображения осуществляется путем изменения режима работы. Заметим, что калибровка некоторой камеры может потребоваться в ходе формирования изображения, и в этом случае осуществляются два типа операции, то есть формирование изображения и калибровка.
[0167] Процесс калибровки во время установки будет описан со ссылкой на блок-схему операций из фиг. 17. На фиг. 17, хотя описания уведомления о завершении приема данных и уведомления о завершении обработки в ответ на инструкции, передаваемые и принимаемые между устройствами, опущены, некоторый ответ возвращается в ответ на эти инструкции.
[0168] Когда установка камер 112 завершена, пользователь предписывает станции 310 управления выполнять калибровку во время установки. Затем станция 310 управления предписывает серверу 230 переднего плана и адаптеру 120 камеры начать калибровку (S04100).
[0169] При приеме инструкции на запуск калибровки, сервер 230 переднего плана определяет, что данные изображения, принятые после инструкции, являются данными для калибровки, и изменяет режим управления, благодаря чему блок 02140 калибровки становится доступным для обработки (S04102a). Кроме того, при приеме инструкции на запуск калибровки, адаптер 120 камеры входит в режим управления для работы с не сжатым кадром изображения без осуществления обработки изображений, например, разделения переднего плана/заднего плана (S04102b). Кроме того, адаптер 120 камеры предписывает камере 112 изменить режим камеры (S04101). При приеме инструкции, камеры 112 устанавливают частоту кадров, например в 1 кадр/с. Альтернативно, может устанавливаться режим, в котором камеры 112 передают неподвижное изображение вместо движущегося изображения (S04102c). Кроме того, может устанавливаться режим, в котором частота кадров управляется адаптером 120 камеры и передается калибровочное изображение.
[0170] Станция 310 управления предписывает адаптеру 120 камеры получать значение трансфокации и значение фокуса камеры 112 (S04103), и адаптер 120 камеры передает значение трансфокации и значение фокуса камеры 112 на станцию 310 управления (S04104).
[0171] Заметим, что, хотя на фиг. 17 представлены один-единственный адаптер 120 камеры и одна камера 112, все адаптеры 120 камер и все камеры 112, включенные в систему 100 обработки изображений, управляются по отдельности. Таким образом, процесс на этапе S04103 и этапе S04104 выполняется столько раз, сколько существует камер 112, и когда процесс на этапе S04103 и этапе S04104, осуществляемый по всем камерам 112, завершен, станция 310 управления принимает значения трансфокации и значения фокуса всех камер 112.
[0172] Станция 310 управления передает значения трансфокации и значения фокуса всех камер 112, принятые на этапе S04104, на сервер 230 переднего плана (S04105). Затем, станция 310 управления уведомляет сервер 230 переднего плана о шаблоне формирования изображения для формирования изображения для калибровки во время установки (S04106).
[0173] Здесь, атрибут названия шаблона (например, шаблон 1-10) для идентификации одного из изображений, захваченных несколько раз в разных временных режимах, тогда как метка и т.п., служащая характерной точкой изображения, перемещается по земле, добавляется к шаблону формирования изображения. В частности, сервер 230 переднего плана определяет, что данные изображения для калибровки, принятые после этапа S04106, являются захваченным изображением шаблона формирования изображения, принятого на этапе S04106. После этого, станция 310 управления предписывает адаптерам 120 камер осуществлять синхронизацию захвата неподвижного изображения (S04107), и адаптеры 120 камер предписывают камерам 112 осуществлять захват неподвижного изображения, пока все камеры 112 синхронизированы друг с другом (S04108). После этого, камеры 112 передают захваченные изображения на адаптеры 120 камер (S04109).
[0174] Заметим, что существует множество групп точек наблюдения, захват изображения калибровки с этапа S04106 до этапа S04111 может осуществляться для каждой группы точек наблюдения.
[0175] После этого, станция 310 управления предписывает адаптерам 120 камер передавать изображение, которое предписано захватывать на этапе S04107, на сервер 230 переднего плана (S04110). Кроме того, адаптеры 120 камер передают изображения, принятые на этапе S04109, на сервер 230 переднего плана, указанный как пункт назначения передачи (S04111).
[0176] На этапе S04111, изображение для калибровки передается на этапе S04111, не подвергаясь обработке изображений, например, разделению переднего плана/заднего плана, и без сжатия захваченного изображения. Таким образом, когда все камеры 112 захватывают изображения в высоком разрешении, или когда количество камер 112 велико, все не сжатые изображения нельзя одновременно передавать вследствие ограничения полосы передачи. В результате, период времени, необходимый для калибровки, может становиться длительным в последовательности операций. В этом случае, инструкция для передачи изображения без сжатия, соответствующего атрибуту шаблона калибровки, выдается по очереди каждому из адаптеров 120 камер в инструкции передачи изображения на этапе S04110. Кроме того, в этом случае, необходимо захватывать большее количество характерных точек, соответствующих атрибуту шаблона метки, и, таким образом, осуществляется захват изображения для калибровки с использованием множества меток. В этом случае, захват изображения и передача не сжатых изображений может осуществляться асинхронно с точки зрения распределения нагрузки. Кроме того, не сжатые изображения, полученные при захвате изображения для калибровки, последовательно накапливаются в адаптере 120 камеры для отдельных атрибутов шаблона, и параллельно этому передача не сжатых изображений осуществляется в ответ на инструкцию передачи изображения, выданную на этапе S04110. Таким образом, можно добиться эффекта снижения времени обработки в последовательности операций и снижения человеческой ошибки.
[0177] Когда процесс на этапе S04111 завершен во всех камерах 112, сервер 230 переднего плана находится в состоянии, в котором изображения, захваченные всеми камерами 112, приняты.
[0178] Когда существуют множество шаблонов формирования изображения, как описано выше, процесс с этапа S04106 до этапа S04111 повторно осуществляется для некоторого числа шаблонов.
[0179] Затем, когда все формирование изображения для калибровки завершено, станция 310 управления предписывает серверу 230 переднего плана осуществлять процесс оценивания параметра камеры (S04112).
[0180] При приеме инструкции на осуществление процесса оценивания параметра камеры, сервер 230 переднего плана осуществляет процесс оценивания параметра камеры с использованием значения трансфокации и значения фокуса всех камер 112, принятых на этапе S04105, и захваченных изображений всех камер 112, принятых на этапе S04111 (S04113). Процесс оценивания параметра камеры, осуществляемый на этапе S04113, будет подробно описан ниже. Когда существует множество точек наблюдения, процесс оценивания параметра камеры осуществляется для каждой группы точек наблюдения на этапе S04113.
[0181] Затем сервер 230 переднего плана передает параметры камеры всех камер 112, полученные как результаты процесса оценивания параметра камеры, осуществляемого на этапе S04113, в базу данных 250, где параметры камеры сохраняются (S04114).
[0182] Кроме того, сервер 230 переднего плана аналогично передает параметры камеры всех камер 112 на станцию 310 управления (S04115). Станция 310 управления передает параметры камеры, соответствующие камерам 112, на адаптеры 120 камер (S04116), и адаптеры 120 камер сохраняют принятые параметры камеры соответствующих камер 112 (S04117).
[0183] После этого, станция 310 управления проверяет результат калибровки (S04118). В качестве способа проверки, можно проверять численные значения полученных параметров камеры, можно проверять процесс вычисления в процессе оценивания параметра камеры, осуществляемом на этапе S04114, или можно проверять изображение, генерируемое путем генерации изображения с использованием параметров камеры. Затем станция 310 управления предписывает серверу 230 переднего плана заканчивать калибровку (S04119).
[0184] При приеме инструкции для окончания калибровки, в отличие от процесса начала калибровки, выполняемого на этапе S04101, сервер 230 переднего плана изменяет режим управления, благодаря чему, данные изображения, принятые после инструкции, определяются не как данные для калибровки (S04120). Согласно вышеописанному процессу, в процессе установочной калибровки, получаются параметры камеры всех камер, и полученные параметры камеры сохраняются в адаптере 120 камеры и базе данных 250.
[0185] Кроме того, процесс установочной калибровки осуществляется после установки камеры 112 и до формирования изображения. Если камера 112 не перемещается, процесс не требуется осуществлять снова. Однако, если камера 112 перемещается (например, когда точка наблюдения подлежит изменению до и после игры), тот же самый процесс осуществляется снова.
[0186] Кроме того, когда камера 112 перемещается на заранее определенное пороговое значение или более вследствие аварии, например, столкновения с мячом в ходе формирования изображения, камеру 112 можно перевести из состояния формирования изображения в состояние начала калибровки, и вышеописанная установочная калибровка может быть осуществлена. В этом случае, система поддерживает нормальное состояние формирования изображения, и информация, указывающая, что только камера 112 передает изображение для калибровки, передается на сервер 230 переднего плана. Таким образом, всю систему не требуется переводить в режим калибровки, и формирование изображения может быть осуществлено непрерывно. Кроме того, при передаче в гирляндной цепи в этой системе, если изображение без сжатия для калибровки передается в полосе передачи данных изображения при нормальном формировании изображений, ограничение полосы передачи может быть превышено. В этом случае, приоритет передачи изображения без сжатия снижается или изображение без сжатия делится до передачи. Кроме того, когда соединение между адаптерами 120 камер является 10 GbE и т.п., характеристика полного дуплекса используется для передачи изображения без сжатия в направлении, противоположном передаче данных изображения при нормальном формировании изображения, благодаря чему, можно гарантировать полосу.
[0187] Кроме того, если одна из множества точек наблюдения подлежит изменению, вышеописанный процесс установочной калибровки может быть снова осуществлен только камерой 112, соответствующей группе точек наблюдения. В этом случае, камера 112 из целевой группы точек наблюдения может не осуществлять нормальное формирование изображения или генерацию изображения виртуальной точки обзора. Таким образом, уведомление, указывающее, что осуществляется обработка калибровки, передается на станцию 310 управления, и станция 310 управления запрашивает UI 330 операций виртуальной камеры осуществлять обработку, например, операцию ограничения точки обзора. Сервер 230 переднего плана осуществляет процесс оценивания параметра камеры, тогда как процесс оценивания параметра камеры не влияет на процесс генерирования изображения виртуальной точки обзора.
[0188] Операции сервера 230 переднего плана на этапе S1200 в последовательности операций предварительной установки и на этапе S1305 в последовательности операций установки будут описаны со ссылкой на блок-схему операций из фиг. 18.
[0189] На этапе S1200 в последовательности операций предварительной установки, контроллер 02110 сервера 230 переднего плана принимает инструкцию на переключение в режим ввода данных CAD от станции 310 управления и осуществляет переключение в режим ввода данных CAD (S02210).
[0190] Контроллер 02120 ввода данных принимает данные CAD стадиона (данные формы стадиона) от станции 310 управления (S02220). Контроллер 02120 ввода данных передает принятые данные на блок 02185 генерации файла данных, не формирующих изображение, и блок 02135 хранения данных CAD. Блок 02135 хранения данных CAD сохраняет данные формы стадиона, подаваемые из контроллера 02120 ввода данных, на носителе данных (S02230).
[0191] На этапе S1305 в последовательности операций установки, контроллер 02110 принимает инструкцию на переключение в режим калибровки от станции 310 управления и осуществляет переключение в режим калибровки (S02240).
[0192] Контроллер 02120 ввода данных принимает захваченное изображение калибровки от адаптера 120 камеры и передает захваченное изображение калибровки на блок 02140 калибровки (S02250).
[0193] Блок 02140 калибровки осуществляет калибровку для получения параметров камеры (S02260). Блок 02140 калибровки сохраняет полученные параметры камеры в области хранения, и передает параметры камеры в базу данных 250 через блок 02185 генерации файла данных, не формирующих изображение, и контроллер 02190 доступа к DB (S02270).
[0194] Операция базы данных 250 на этапе S1200 в последовательности операций предварительной установки будет описана со ссылкой на блок-схему операций из фиг. 19. База данных 250 выполняет процессы на фиг. 19 и 20, описанные ниже, в ответ на инструкции, выданные контроллером 300.
[0195] На этапе S1200 в последовательности операций предварительной установки, блок 02420 ввода данных принимает данные CAD стадиона (данные формы стадиона) от сервера 230 переднего плана и сохраняет данные в кэш-памяти 02440 (S02510). Кэш-память 02440 перемещает сохраненные данные CAD стадиона в первичное хранилище 02450 для хранения данных (S02520).
[0196] Операция базы данных 250 на этапе S1305 в последовательности операций установки будет описана со ссылкой на блок-схему операций из фиг. 20.
[0197] На этапе S1305 в последовательности операций установки, блок 02420 ввода данных принимает параметры камеры от сервера 230 переднего плана и сохраняет параметры камеры в кэш-памяти 02440 (S02610).
[0198] Кэш-память 02440 перемещает сохраненные параметры камеры в первичное хранилище 02450 для хранения параметров камеры (S02620). Контроллер 02410 устанавливает количество кадров N в соответствии с инструкцией, выданной станцией 310 управления, и емкостью кэш-памяти 02440 (S02630).
[0199] Затем, процесс оценивания параметра камеры, осуществляемый блоком 02140 калибровки сервера 230 переднего плана, будет описан со ссылкой на блок-схему операций из фиг. 21. Заметим, что блок 02140 калибровки выполняет процесс оценивания параметра камеры в соответствии с инструкцией, выданной станцией 310 управления. Карта внутренних параметров, данные стадиона, значения трансфокации и значения фокуса всех камер 112 и захваченные изображения для калибровки всех камер 112 сохраняются в блоке 02140 калибровки перед тем, как начинается эта последовательность.
[0200] Сначала, блок 02140 калибровки указывает одну из камер 112 (S04201), и после этого, указывает соответствующее одно из значений трансфокации и соответствующее одно из значений фокуса для получения начального значения внутреннего параметра из указанного значения трансфокации и указанного значения фокуса с использованием карты внутренних параметров (S04202). Процесс на этапе S04201 и этапе S04202 повторно осуществляется до тех пор, пока не будут получены начальные значения внутреннего параметра всех камер 112 на этапе S04202 (S04203).
[0201] Затем блок 02140 калибровки снова указывает другую из камер 112, и после этого, указывает соответствующее одно из захваченных изображений для калибровки (S04204), чтобы обнаруживать характерную точку в изображении (характерную точку изображения) (S04205). Примеры характерной точки изображения включают в себя метку, обеспеченную для калибровки, разделительную линию, заранее нарисованную на земле стадиона, и краевой участок заранее расположенного объекта (например, футбольных ворот или скамейки для запасных игроков).
[0202] Процесс на этапе S04204 и этапе S04205 повторно осуществляется до тех пор, пока не будут обнаружены характерные значения изображения всех камер 112 на этапе S04205 (S04206).
[0203] Затем, блок 02140 калибровки осуществляет согласование между характерными точками изображения захваченных изображений, обнаруженными на этапе S04205, для калибровки камер 112(S04207). После этого, блок 02140 калибровки определяет, меньше или равно ли количество используемых характерных точек пороговому значению (S04208). Пороговое значение количества характерных значений, используемых на этапе S04208, может устанавливаться заранее или может автоматически получаться в зависимости от условия формирования изображения, например, количества камер 112 или поля зрения. В частности, для оценивания внешних параметров используется минимальное необходимое значение.
[0204] Когда количество используемых характерных точек не меньше или равно пороговому значению на этапе S04208, блок 02140 калибровки осуществляет процесс оценивания внешнего параметра в отношении камер 112 (S04209). В результате процесса оценивания внешнего параметра на этапе S04209, производится определение, меньше или равна ли ошибка репроецирования пороговому значению (S04210). Пороговое значение ошибки репроецирования, используемое на этапе S04210, может устанавливаться заранее или может автоматически получаться в соответствии с условием формирования изображения, например, количеством камер 112, при условии, что используется значение, соответствующее точности изображения виртуальной точки обзора, подлежащей генерации.
[0205] Когда ошибка репроецирования не меньше или равна пороговому значению при определении на этапе S04210, блок 02140 калибровки определяет, что ошибка велика и осуществляет процесс удаления ложного обнаружения характерной точки изображения на этапе S04205 и процесс удаления ложного согласования характерной точки изображения на этапе S04207 (S04211).
[0206] В качестве способа определения ложного обнаружения и ложного согласования на этапе S04211, блок 02140 калибровки может автоматически удалять характерную точку, имеющую большую ошибку репроецирования, или пользователь может вручную удалять такую характерную точку, наблюдая ошибку репроецирования и изображение.
[0207] Блок 02140 калибровки осуществляет коррекцию внутреннего параметра при начальном значении внутреннего параметра, полученном на этапе S04202 (S04212). Затем процесс с этапа S04208 до этапа S04212 осуществляется повторно, пока ошибка репроецирования не станет меньше или равна пороговому значению на этапе S04210 в диапазоне, в котором количество используемых характерных точек не меньше или равно пороговому значению на этапе S04208.
[0208] Когда количество используемых характерных точек меньше или равно пороговому значению при определении на этапе S04208, блок 02140 калибровки определяет, что калибровка не удалась (S04213). Когда калибровка не удается, формирование изображения для калибровки осуществляется снова. Результат определения, успешно ли или неудачно осуществлена калибровка, передается на станцию 310 управления, и контрмеры, включающие в себя процесс калибровки, осуществляемый после сбоя, совместно управляются станцией 310 управления.
[0209] Когда ошибка репроецирования меньше или равна пороговому значению при определении на этапе S04210, блок 02140 калибровки осуществляет преобразование твердого тела из системы координат камеры в мировую систему координат в координате внешнего параметра, оцененного на этапе S04209 с использованием данных стадиона (S04214).
[0210] В качестве данных стадиона, значения координат для осуществления преобразования твердого тела, например, задаются отправные точки осей X, Y и Z (например, центральная точка центрального круга поля) или значения координат множества характерных точек на стадионе (например, точки пересечения разделительных линий).
[0211] Заметим, что, в случае, когда данных стадиона не существует, или точность данных низка, можно, например, вручную вводить мировую систему координат для преобразования твердого тела или данные, указывающие мировую систему координат, можно независимо назначать блоку 02140 калибровки.
[0212] Мировая система координат в захваченном изображении для калибровки получается путем осуществления процесса на этапе S04214, и, таким образом, координаты характерных точек, включенных в стадион, записанные в данных стадиона, могут заранее обновляться, благодаря чему, точность повышается.
[0213] Согласно вышеописанному процессу, в процессе оценивания параметра камеры, можно получать параметры камеры всех камер 112, и полученные параметры камеры могут храниться в адаптере 120 камеры и базе данных 250.
[0214] Заметим, что в системе, которая генерирует изображение виртуальной точки обзора с использованием захваченного изображения множества камер 112, когда камеры 112 установлены, требуется процесс калибровки для оценивания позиции и ориентации камер 112 во время установки камер 112 (установочная калибровка).
[0215] При установочной калибровке, осуществляется процесс получения параметров камеры отдельных камер 112. Параметры камеры включают в себя внутренние параметры, уникальные для каждой камеры (включающие в себя параметры фокусного расстояния, центра изображения и искажения объектива) и внешние параметры (матрицу поворота, вектор позиции и пр.), указывающие позицию/ориентацию каждой камеры. Когда процесс установочной калибровки завершен, получаются параметры камеры отдельных камер 112.
[0216] Среди параметров камеры, внутренние параметры изменяются в соответствии со значениями трансфокации и значениями фокуса при определении камер 112 и объективов. Таким образом, в этой системе, формирование изображения, необходимое для получения внутренних параметров, осуществляется с использованием камер 112 и объективов до установления камер 112 на стадионе, благодаря чему получаются внутренние параметры. Затем устанавливается, что внутренние параметры могут автоматически получаться, когда значения трансфокации и значения фокуса определены, когда камеры 112 установлены на стадионе. Таким образом, представляется, что внутренние параметры отображаются в этом варианте осуществления, и результат отображения именуется "картой внутренних параметров".
[0217] В качестве формата карты внутренних параметров, может записываться формат множества записанных внутренних параметров, соответствующих значениям трансфокации и значениям фокуса, или может применяться формат арифметического уравнения, которое может вычислять значения внутренних параметров. В частности, может применяться любая карта внутренних параметров при условии, что внутренние параметры уникально получаются в соответствии со значениями трансфокации и значениями фокуса.
[0218] Значения параметров, полученные картой внутренних параметров, используются как начальные значения внутренних параметров. Внутренние параметры, полученные как результаты процесса оценивания параметра камеры, являются значениями, скорректированными в процессе оценивания параметра камеры с использованием изображений, захваченных для калибровки после установки камер 112 на стадионе.
[0219] Кроме того, в этом варианте осуществления, установлены тот же тип камер 112 и тот же тип объективов, и те же внутренние параметры можно использовать при условии, что значения трансфокации одинаковы и значения фокуса одинаковы.
[0220] Заметим, что настоящее изобретение этим не ограничивается, и в случае, когда внутренние параметры имеют отдельные разности, несмотря на то, что значения трансфокации одинаковы и значения фокуса одинаковы, например, в случае, когда используются множество типов камер 112 и множество типов объективов, разные карты внутренних параметров могут быть включены в различные типы и разные камеры 112.
[0221] Далее будет описано формирование изображения камерой 112, сбор звука микрофоном 111 и процесс накопления данных, полученных путем формирования изображения или коррекции звука в базе данных 250 через адаптер 120 камеры и сервер 230 переднего плана.
[0222] Последовательности процесса начала формирования изображения камер 112 будут описаны со ссылкой на фиг. 22A и 22B. Хотя на фиг. 22A и 22B проиллюстрированы разные последовательности обработки, в обеих последовательностях можно получить один тот же результат. Адаптер 120 камеры определяет, подлежит ли осуществлению процесс, представленный на фиг. 22A или процесс, представленный на фиг. 22B в соответствии со спецификацией камеры 112.
[0223] Сначала будет описан процесс на фиг. 22A. Сервер 290 времени осуществляет синхронизацию по времени, например, с помощью GPS 2201 и устанавливает момент времени под управлением сервера 290 времени (06801). Заметим, что, вместо способа с использованием GPS 2201, момент времени может устанавливаться другим способом, например, согласно протоколу сетевого времени (NTP).
[0224] Затем адаптер 120 камеры осуществляет связь с сервером 290 времени с использованием протокола точного времени (PTP), корректирует момент времени, управляемый адаптером 120 камеры, и осуществляет синхронизацию по времени с сервером 290 времени (06802).
[0225] Адаптер 120 камеры начинает подачу синхронизационного сигнала формирования изображения, например, сигнала генлока, сигнала синхронизации с тремя значениями, и т.п. и сигнала временного кода на камеру 112 (06803). Заметим, что подаваемая информация не ограничивается временным кодом, и может подаваться другая информация при условии, что другая информация является идентификатором для идентификации кадра формирования изображения.
[0226] Затем, адаптер 120 камеры выдает инструкцию для запуска формирования изображения на камеру 112 (06804). При приеме инструкции на запуск формирования изображения, камера 112 осуществляет формирование изображения синхронно с сигналом (06805) генлока.
[0227] Затем, камера 112 передает захваченное изображение, включающее в себя сигнал временного кода, на адаптер 120 камеры (06806). Формирование изображения осуществляется синхронно с сигналом генлока, пока камера 112 не остановит формирование изображения.
[0228] Адаптер 120 камеры осуществляет процесс коррекции момента времени PTP с сервером 290 времени в ходе формирования изображения для коррекции временного режима, когда генерируется сигнал генлока (06807). Когда величина необходимой коррекции велика, коррекция может осуществляться в соответствии с заранее заданной величиной изменения.
[0229] Таким образом, может быть реализовано множество камер 112, подключенных к множеству адаптеров 120 камер в системе.
[0230] Далее, будет описан процесс на фиг. 22B. Как и в случае фиг. 22A, процесс синхронизации по времени осуществляется между сервером 290 времени и GPS 2201 и между адаптером 120 камеры и сервером 290 времени (06851 и 06852). Затем, адаптер 120 камеры выдает инструкцию для запуска формирования изображения (06853). Инструкция на запуск формирования изображения включает в себя информацию, указывающую период времени, в котором осуществляется формирование изображения, и информацию для указания количества кадров. Камера 112 осуществляет формирование изображения в соответствии с инструкцией для запуска формирования изображения (06854).
[0231] Затем, камера 112 передает данные о захваченном изображении на адаптер 120 камеры (06855). Адаптер 120 камеры, который принял данные изображения, назначает временной код метаданным данных изображения (06856).
[0232] Адаптер 120 камеры осуществляет процесс коррекции момента времени PTP с сервером 290 времени в ходе формирования изображения для коррекции временного режима формирования изображения камеры 112. Когда величина необходимой коррекции велика, коррекция может осуществляться в соответствии с заранее заданной величиной изменения. Например, инструкция на запуск формирования изображения повторно выдается в коротком временном режиме, например, в каждом кадре.
[0233] Заметим, что хотя последовательность процесса начала формирования изображения описана со ссылкой на фиг. 22A и 22B, микрофон 111 также осуществляет процесс аналогично синхронизации формирования изображения, осуществляемой камерой 112 для осуществления синхронизации сбора звука. При этом, когда разрешение изображения камеры повышается, возможно, что объем передачи данных превышает предел полосы передачи сети, когда камеры 112 передают кадры изображения. Способ уменьшения возможности будет описан в нижеследующем варианте осуществления.
[0234] Сначала, последовательность процесса генерирования информации 3D модели путем координации множества адаптеров 120 камер (120a, 120b, 120c, и 120d) друг с другом будет описана со ссылкой на фиг. 23. Заметим, что порядок обработки не ограничивается представленным на фиг. 23.
[0235] Система 100 обработки изображений этого варианта осуществления включает в себя 26 камер 112 и 26 адаптеров 120 камер. Однако в этом варианте осуществления акцент делается только на две камеры 112b и 112c и четыре адаптера 120a - 120d камер. Камера 112b подключена к адаптеру 120b камеры, и камера 112c подключена к адаптеру 120c камеры. Заметим, что камера 112, подключенная к адаптеру 120a камеры, камера 112, подключенная к адаптеру 120d камеры, и микрофоны 111, платформы 113 камер, и внешние датчики 114, которые подключены к соответствующим адаптерам 120 камер, опущены. Кроме того, предполагается, что адаптеры 120a - 120d камер завершили синхронизацию моментов времени с сервером 290 времени и находятся в состоянии формирования изображения. Камеры 112b и 112c передают захваченные изображения (1) и (2) на адаптеры 120b и 120c камер, соответственно (F06301 и F06302). Адаптеры 120b и 120c камер предписывают соответствующим контроллерам 06133 калибровки осуществлять процесс калибровки на принятых захваченных изображениях (1) и (2), соответственно (F06303 и F06304). В процессе калибровки осуществляются, например, цветовая коррекция, коррекция размытости, и пр. Хотя процесс калибровки осуществляется в этом варианте осуществления, осуществление процесса калибровки обязательным не является.
[0236] Затем, блок 06131 разделения переднего плана/заднего плана осуществляет процесс разделения переднего плана/заднего плана на захваченных изображениях (1) и (2), которые подвергнуты процессу калибровки (F06305 и F06306).
[0237] Затем, блок 06121 сжатия/снятия сжатия данных сжимает изображения переднего плана и изображения заднего плана, которые отделены друг от друга (F06307 и F06308). Заметим, что коэффициент сжатия может изменяться в соответствии со степенями важности изображений переднего плана и изображений заднего плана, которые отделены друг от друга. Сжатие может не осуществляться согласно обстоятельствам. Некоторый один из адаптеров 120 камер сжимает, по меньшей мере, изображение заднего плана между изображением переднего плана и изображением заднего плана, благодаря чему, коэффициент сжатия изображения переднего плана становится ниже, чем у изображения заднего плана, и выводит, по меньшей мере, сжатое изображение заднего плана на следующий один из адаптеров 120 камер (адаптер следующей камеры). В случае, когда сжимаются оба изображения переднего плана и изображения заднего плана, изображение переднего плана, включающее в себя важную цель формирования изображения, подвергается сжатию без потерь, и изображение заднего плана, которое не включает в себя цель формирования изображения, подвергается сжатию с потерями. Соответственно, объем данных, передаваемый на следующий адаптер 120c камеры или следующий адаптер 120d камеры, может эффективно снижаться. В случае, когда захватывается изображение поля стадиона, где происходит, например, игра в футбол, регби, бейсбол, и т.п. изображение заднего плана занимает большую часть изображения, и область изображения переднего плана, включающая в себя игроков, мала. Таким образом, объем данных передачи может значительно снижаться.
[0238] Кроме того, адаптер 120b камеры или адаптер 120c камеры может изменять частоту кадров изображения, подлежащего выводу на следующий адаптер 120c камеры или следующий адаптер 120d камеры, в соответствии со степенью важности. Например, изображение переднего плана, включающее в себя важную цель формирования изображения, можно выводить с высокой частотой кадров, благодаря чему, выходная частота кадров изображения заднего плана ниже, чем у изображения переднего плана, и изображение заднего плана, которое не включает в себя цель формирования изображения, можно выводить с низкой частотой кадров. Соответственно, объем данных, передаваемых на следующий адаптер 120c камеры или следующий адаптер 120d камеры, может снижаться. Например, коэффициент сжатия или частота передачи кадров может изменяться для каждого адаптера 120 камеры в соответствии с местом установки камеры 112, местом формирования изображения и/или производительностью камеры 112. Кроме того, 3D конструкцию сидений и т.п. стадиона можно заранее проверять с использованием чертежей, и, таким образом, адаптер 120 камеры может передавать изображение, полученное путем удаления участка сидений из изображения заднего плана. Таким образом, во время рендеринга, описанного ниже, рендеринг изображения осуществляется, пока внимание сосредоточено на игроках в игре, с использованием заранее сгенерированной 3D конструкции стадиона, благодаря чему, можно добиться эффективности в том отношении, что объем данных, подлежащий передаче и сохранению во всей системе, снижается.
[0239] Затем, адаптеры 120 камер передают сжатые изображения переднего плана и сжатые изображения заднего плана на адаптеры 120 соседних камер (F06310, F06311, и F06312). Заметим, что, хотя изображение переднего плана и изображение заднего плана переносятся одновременно в этом варианте осуществления, изображение переднего плана и изображение заднего плана могут переноситься по отдельности.
[0240] Затем, адаптер 120b камеры генерирует информацию 3D модели с использованием изображения переднего плана, подаваемого от адаптера 120a камеры, и изображения переднего плана, отделенного процессом разделения переднего плана/заднего плана F06305 (F06313). Аналогично, адаптер 120c камеры генерирует информацию 3D модели (F06314).
[0241] После этого, адаптер 120b камеры переносит изображение переднего плана и изображение заднего плана, подаваемые от адаптера 120a камеры, на адаптер 120c камеры (F06315). Аналогично, адаптер 120c камеры также переносит изображение переднего плана и изображение заднего плана на адаптер 120d камеры. Заметим, что, хотя изображение переднего плана и изображение заднего плана переносятся одновременно в этом варианте осуществления, изображение переднего плана и изображение заднего плана могут переноситься по отдельности.
[0242] Кроме того, адаптер 120c камеры переносит изображение переднего плана и изображение заднего плана, генерируемые адаптером 120a камеры и подаваемые от адаптера 120b камеры на адаптер 120d камеры (F06317).
[0243] Затем, адаптеры 120a - 120c камер переносят сгенерированную информацию 3D модели на следующие адаптеры 120b - 120d камер, соответственно (F06318, F06319, и F06320).
[0244] Кроме того, адаптеры 120b и 120c камер последовательно переносят принятую информацию 3D модели на следующие адаптеры 120c - 120d камер, соответственно (F06321 и F06322).
[0245] Кроме того, адаптер 120c камеры переносит информацию 3D модели, сгенерированную адаптером 120a камеры и подаваемую от адаптера 120b камеры, на адаптер 120d камеры (F06323).
[0246] Наконец, изображения переднего плана, изображения заднего плана и информация 3D модели, генерируемая адаптерами 120a - 120d камер, последовательно переносятся через адаптеры 120 камер, соединенные через сеть, на сервер 230 переднего плана.
[0247] Заметим, что процесс калибровки, процесс разделения переднего плана/заднего плана, процесс сжатия и процесс генерации информации 3D модели, подлежащие осуществлению адаптером 120a камеры и адаптером 120d камеры, опущены в этой диаграмме последовательности операций. Однако адаптеры 120a и 120d камер на практике осуществляют такие же операции, как адаптеры 120b и 120c камер для генерации изображения переднего плана, изображения заднего плана и информации 3D модели. Кроме того, хотя описана последовательность переноса данных, осуществляемая между четырьмя адаптерами 120 камер, тот же самый процесс осуществляется даже когда количество адаптеров 120 камер увеличивается.
[0248] Как описано выше, адаптеры 120 камер, отличные от последнего адаптера 120 камеры в заранее определенном порядке во множестве адаптеров 120 камер извлекают заранее определенные области из изображений, захваченных соответствующими камерами 112. Затем адаптеры 120 камер выводят данные изображения на основании результатов извлечения на следующие адаптеры 120 камер в вышеописанном заранее определенном порядке. С другой стороны, последний адаптер 120 камеры в заранее определенном порядке выводит данные изображения на основании результатов извлечения на сервер 200 вычисления изображений. В частности, множество адаптеров 120 камер соединено друг с другом гирляндной цепью, и данные изображения, основанные на результатах извлечения заранее определенных областей из захваченных изображений, осуществляемого адаптерами 120 камер, вводятся на сервер 200 вычисления изображений заранее определенными адаптерами 120 камер. С использованием такого способа передачи данных, можно противодействовать изменению нагрузки обработки на сервере 200 вычисления изображений и изменению нагрузки передачи сети, которые возникают в случае, когда количество систем 110 датчиков, включенных в систему 100 обработки изображений изменяется. Кроме того, данные изображения, выводимые от адаптера 120 камеры, могут быть данными, генерируемыми с использованием данных изображений, основанных на результате извлечения, и данными изображений, основанными на результате извлечения заранее определенной области, осуществляемого предыдущим адаптером 120 камеры в заранее определенном порядке. Например, поскольку выводятся данные изображения на основании разности между результатами извлечения, осуществляемого адаптерами 120 камер, и результатами извлечения, осуществляемого предыдущими адаптерами 120 камер, объем данных передачи в системе может снижаться. Последний адаптер 120 камеры в вышеописанном порядке получает данные извлекаемого изображения на основании данных изображения заранее определенных областей, извлеченных другими адаптерами 120 камер из изображений, захваченных другими камерами 112, от других адаптеров 120 камер. Затем последний адаптер 120 камеры выводит результат извлечения заранее определенной области, извлеченный самим адаптером 120 камеры, и данные изображения, соответствующие данным извлекаемого изображения, полученным от других адаптеров 120 камер, на сервер 200 вычисления изображений, который генерирует изображение виртуальной точки обзора.
[0249] Кроме того, адаптер 120 камеры разделяет участок переднего плана и участок заднего плана в изображении, захваченном камерой 112, друг от друга и изменяет коэффициенты сжатия и частоты кадров передачи в соответствии со степенями приоритета участка переднего плана и участка заднего плана. Соответственно, объем передачи может снижаться по сравнению со случаем, когда все данные, соответствующие изображениям, захваченным камерами 112, передаются на сервер 230 переднего плана. Кроме того, информация 3D модели, необходимая для генерации 3D модели, последовательно генерируется адаптерами 120 камер. Соответственно, нагрузка обработки сервера может снижаться по сравнению со случаем, когда все данные собираются сервером 230 переднего плана, и процесс генерирования всей информации 3D модели осуществляется на сервере 230 переднего плана, и, соответственно, генерация 3D модели может осуществляться в реальном времени.
[0250] Далее, последовательность операций процесса генерирования изображения переднего плана и изображения заднего плана и перенос изображения переднего плана и изображения заднего плана на следующий адаптер 120 камеры в процессе последовательного генерирования информации 3D модели, осуществляемого адаптерами 120 камер, будет описана со ссылкой на фиг. 24.
[0251] Адаптер 120 камеры получает захваченное изображение от камеры 112, подключенной к адаптеру 120 камеры (06501). Затем осуществляется процесс разделения изображения переднего плана и изображения заднего плана в полученном захваченном изображении (06502). Заметим, что изображение переднего плана в этом варианте осуществления определяется на основании результата обнаружения заранее определенного объекта, включенного в изображение, захваченное камерой 112. Заранее определенный объект соответствует, например, персоне. Объектом может быть конкретная персона (игрок, тренер, и/или судья) или может быть мяч или ворота, которые обладают некоторой заранее определенной структурой на изображении. Альтернативно, в качестве объекта может быть обнаружен движущийся объект.
[0252] После этого, процесс сжатия осуществляется над изображением переднего плана и изображением заднего плана, которые разделены. Изображение переднего плана подвергается сжатию без потерь, и изображение переднего плана поддерживает высокое качество изображения. Изображение заднего плана подвергается сжатию с потерями, и некоторый объем передачи данных удаляется (06503).
[0253] Затем, адаптер 120 камеры переносит сжатое изображение переднего плана и сжатое изображение заднего плана на следующий адаптер 120 камеры (06504). Изображение заднего плана может переноситься, когда извлекается кадр переноса вместо переноса, осуществляемого для каждого кадра. В случае, когда частота кадров захваченного изображения равна, например, 60 кадров/с, хотя изображение переднего плана переносится в каждом кадре, только один кадр передается среди 60 кадров изображения заднего плана за одну секунду. Таким образом, достигается уникальный эффект снижения объема передачи данных.
[0254] Кроме того, адаптер 120 камеры может назначать метаданные до передачи изображения переднего плана и изображения заднего плана на следующий адаптер 120 камеры. Например, в качестве метаданных назначаются идентификаторы адаптера 120 камеры и камеры 112, позиция (координаты xy) изображения переднего плана в кадре, размер данных, номер кадра и момент времени формирования изображения. Альтернативно, можно назначать информацию о группе точек наблюдения для идентификации целевой точки и информацию о типе данных для указания изображения переднего плана и изображения заднего плана. Заметим, что содержание назначенных данных этим не ограничивается, и можно назначать другие данные.
[0255] Когда адаптер 120 камеры передает данные через гирляндную цепь, выборочно обрабатывается только изображение, захваченное камерой 112, имеющей высокое соответствие с камерой 112, подключенной к адаптеру 120 камеры. Таким образом, нагрузка процесса передачи адаптера 120 камеры может снижаться. Кроме того, поскольку система конфигурируется таким образом, что передача данных между адаптерами 120 камер не останавливается, даже если одному из адаптеров 120 камер не удается осуществлять передачу по гирляндной цепи, можно гарантировать устойчивость.
[0256] Далее, последовательность операций процесса, осуществляемая, когда данные подаются от адаптера соседней 120 камеры в последовательности операций процесса генерации информации 3D модели, осуществляемой некоторым адаптером 120 камеры, будет описана со ссылкой на фиг. 25.
[0257] Сначала адаптер 120 некоторой камеры принимает данные от адаптера соседней 120 камеры (S06601). Адаптер 120 камеры определяет, является ли его режим переноса режимом управления обходом (S06602). Управление обходом будет описано ниже со ссылкой на фиг. 28.
[0258] Когда определение дает утвердительный ответ, адаптер 120 камеры переносит данные на следующий адаптер 120 камеры (S06611). С другой стороны, когда определение дает отрицательный ответ, адаптер 120 камеры анализирует пакет принятых данных (S06603).
[0259] При определении, что пакет является целью управления обходной передачей в результате анализа (Да на этапе S06604), адаптер 120 камеры переносит данные на следующий адаптер 120 камеры (S06610). Пакет цели управления обходной передачей представляет собой данные изображения, которые не используются для генерации информации 3D модели, управляющего сообщения, описанного ниже, или сообщения, связанного, например, с временной коррекцией. Управление обходной передачей будет описано ниже со ссылкой на фиг. 27.
[0260] При определении, что пакет не является целью управления обходной передачей, адаптер 120 камеры определяет тип данных (S06605) и осуществляет процесс, соответствующий типу данных.
[0261] Когда тип данных является пакетом управляющего сообщения, подлежащим передаче на сам адаптер 120 камеры от станции 310 управления, адаптер 120 камеры анализирует управляющее сообщение и осуществляет процесс на основании результата анализа (S06606). Тот же самый процесс осуществляется даже в случае, когда источник передачи управляющего сообщения является не станцией 310 управления, но другим узлом. Кроме того, то же справедливо в случае, когда пакет подлежит передаче не только на сам адаптер 120 камеры, но и группу точек наблюдения, включающую в себя адаптер 120 камеры. Примеры процесса, осуществляемого адаптером 120 камеры, включают в себя управление микрофоном 111, камерами 112 и платформами 113 камеры, подключенными к адаптеру 120 камеры, и управление самим адаптером 120 камеры. Адаптер 120 камеры возвращает результат управления на источник передачи или указанный узел в соответствии с содержимым управляющего сообщения. Кроме того, когда пакет является управляющим сообщением, подлежащим передаче в группу, управляющее сообщение переносится на следующий адаптер 120 камеры.
[0262] Затем, адаптер 120 камеры осуществляет процесс временной коррекции, когда тип данных связан с временной коррекцией (S06607). Например, адаптер 120 камеры осуществляет временную коррекцию адаптера 120 камеры на основании процесса PTP с сервером 290 времени. Затем тактовый сигнал слова, подаваемый на микрофон 111 и камеру 112, корректируется на основании скорректированного времени. Если временной режим тактового сигнала слова изменяется немедленно, когда величина коррекции времени велика, качество звука и изображения подвергается изменению, и, таким образом, может осуществляться процесс постепенной корректировки времени в соответствии с заранее заданной величиной изменения. Кроме того, адаптер 120 камеры переносит генерируемую информацию 3D модели и изображение переднего плана, используемое для генерации информации 3D модели, на следующий адаптер 120 камеры, благодаря чему, генерируемая информация 3D модели и изображение переднего плана дополнительно переносятся на сервер 230 переднего плана.
[0263] Адаптер 120 камеры осуществляет процесс генерирования информации 3D модели, когда тип данных является изображением переднего плана или изображением заднего плана (S06608).
[0264] Далее, будет описано управление в соответствии с группой точек наблюдения. На фиг. 26 показана схема, демонстрирующая группу точек наблюдения. Камеры 112 установлены таким образом, что их оптические оси обращены к одной из конкретных точек 06302 наблюдения. Камеры 112, соответствующие одной и той же группе 06301 точек наблюдения, установлены таким образом, что камеры 112 обращены к одной и той же точке 06302 наблюдения.
[0265] На фиг. 26 показана схема, демонстрирующая случай, когда установлены две точки 06302 наблюдения, включающие в себя точку (06302A) наблюдения A и точку (06302B) наблюдения B, и установлено девять камер (112a - 112i). Четыре камеры (112a, 112c, 112e и 112g) обращены к одной и той же точке (06302A) наблюдения A и принадлежат группе (06301A) A точек наблюдения. Кроме того, остальные пять камер (112b, 112d, 112f, 112h, и 112i) обращены к одной и той же точке (06302B) наблюдения B и принадлежат группе (06301B) B точек наблюдения.
[0266] Здесь, пара камер 112, которые принадлежат одной и той же группе 06301 точек наблюдения и которые являются ближайшими друг к другу (которые имеют наименьшее количество отрезков соединения), представляется как камеры 112, которые логически соседствуют друг с другом. Например, камера 112a и камера 112b физически соседствуют друг с другом, но камера 112a и камера 112b принадлежат разным группам 06301 точек наблюдения, и, таким образом, камера 112a и камера 112b логически не соседствуют друг с другом. Камера 112c логически соседствует с камерой 112a. С другой стороны, камера 112h и камера 112i не только физически соседствуют друг с другом, но и логически соседствуют друг с другом.
[0267] Адаптеры 120 камер осуществляют разные процессы в зависимости от результата определения, является ли физически соседняя камера 112 также логически соседней камерой 112. Конкретный процесс будет описан далее.
[0268] Управление обходной передачей будет описано со ссылкой на фиг. 27. Управление обходной передачей является функцией обхода данных передачи в зависимости от группы точек наблюдения, включающей в себя каждый из адаптеров 120 камер. Описания функциональных блоков, которые составляют контроллер 06140 внешнего устройства, процессор 06130 изображений, блок 06120 передачи, и сетевой адаптер 06110, опущены.
[0269] В системе 100 обработки изображений, настройка количества адаптеров 120 камер и настройка соответствий между группами точек наблюдения и адаптерами 120 камер может изменяться. Предполагается, что, на фиг. 27, адаптеры 120g, 120h, и 120n камер принадлежат группе A точек наблюдения, и адаптер 120i камеры принадлежит группе B точек наблюдения.
[0270] Маршрут 06450 указывает маршрут передачи изображения переднего плана, генерируемого адаптером 120g камеры, и изображение переднего плана, наконец, передается на сервер 230 переднего плана. На фиг. 27, изображение заднего плана, информация 3D модели, управляющее сообщение, и изображения переднего плана, генерируемые адаптерами 120h, 120i, и 120n камер, опущены.
[0271] Адаптер 120h камеры принимает изображение переднего плана, генерируемое адаптером 120g камеры, через сетевой адаптер 06110h, и блок 06120h передачи определяет пункт назначения маршрутизации. При определении, что адаптер 120g камеры, который сгенерировал принятое изображение переднего плана, принадлежит одной и той же группе точек наблюдения (группа A в этом варианте осуществления), блок 06120h передачи переносит принятое изображение переднего плана на процессор 06130h изображений. Когда процессор 06130h изображений генерирует информацию 3D модели на основании изображения переднего плана, генерируемого и передаваемого адаптером 120g камеры, изображение переднего плана адаптера 120g камеры переносится на следующий адаптер 120i камеры.
[0272] Затем адаптер 120i камеры принимает изображение переднего плана, генерируемое адаптером 120g камеры, от адаптера 120h камеры. При определении, что группа точек наблюдения, которой принадлежит адаптер 120g камеры, отличается от группы точек наблюдения, которой принадлежит адаптер 120i камеры, блок 06120i передачи адаптера 120i камеры не переносит изображение переднего плана на процессор 06130i изображений, но переносит изображение переднего плана на следующий адаптер 120 камеры.
[0273] После этого, адаптер 120n камеры принимает изображение переднего плана, генерируемое адаптером 120g камеры, через сетевой адаптер 06110n и блок 06120n передачи определяет пункт назначения маршрутизации. Блок 06120n передачи определяет, что адаптер 120n камеры принадлежит группе точек наблюдения, которой принадлежит адаптер 120g камеры. Однако, когда процессор 06130n изображений определяет, что изображение переднего плана адаптера 120g камеры не требуется для генерации информации 3D модели, изображение переднего плана переносится на следующий адаптер 120 камеры как есть через сеть гирляндной цепи.
[0274] Таким образом, блок 06120 передачи адаптера 120 камеры определяет, необходимы ли принятые данные для генерации информации 3D модели, которая является обработкой изображений, осуществляемой процессором 06130 изображений. Когда определено, что принятые данные не требуются для обработки изображений, то есть, когда определено, что принятые данные имеют низкую корреляцию с их адаптером 120 камеры, данные переносятся не на процессор 06130 изображений, а переносятся на следующий адаптер 120 камеры. В частности, при передаче данных через гирляндную цепь 170, выбираются данные, необходимые для отдельных адаптеров 120 камер, и осуществляется процесс последовательного генерирования информации 3D модели. Соответственно, нагрузка обработки и время обработки, связанные с переносом данных в период времени от момента, когда данные принимается адаптером 120 камеры до момента, когда данные переносятся, могут снижаться.
[0275] Далее, управление обходом, осуществляемое адаптером 120b камеры, будет подробно описано со ссылкой на фиг. 28. Описания функциональных блоков, которые составляют контроллер 06140 внешнего устройства, процессор 06130 изображений, блок 06120 передачи и сетевой адаптер 06110, опущены.
[0276] Управление обходом является функцией, в которой адаптер 120b камеры переносит данные, подаваемые от адаптера 120c камеры на следующий адаптер 120a камеры, без управления маршрутизацией, подлежащей осуществлению процессором 06122 маршрутизации данных блока 06120 передачи.
[0277] Например, адаптер 120b камеры активирует управление обходом для сетевого адаптера 06110, когда камера 112b находится в состоянии остановки формирования изображения, состоянии калибровки или состоянии обработки ошибки. Управление обходом активируется также в случае отказа блока 06120 передачи или процессора 06130 изображений. Кроме того, сетевой адаптер 06110 может обнаруживать состояние блока 06120 передачи и может активно переходить в режим управления обходом. Заметим, что вспомогательный CPU, который обнаруживает состояние ошибки или состояние остановки блока 06120 передачи или процессора 06130 изображений, может быть включен в адаптер 120b камеры, и процесс предписания сетевому адаптеру 06110 входить в режим управления обходом, когда вспомогательный CPU осуществляет обнаружение ошибки, может быть добавлен. Таким образом, сбойными состояниями функциональных блоков и управлением обходом можно управлять независимо.
[0278] Кроме того, адаптер 120 камеры может переходить из режима управления обходом в состояние нормальной связи, когда камера 112 переходит из состояния калибровки в состояние формирования изображения, или когда блок 06120 передачи и т.п. восстанавливается после сбоя операции.
[0279] С помощью функции управления обходом, адаптер 120 камеры может осуществлять перенос данных с высокой скоростью и может переносить данные на следующий адаптер 120a камеры, даже когда определение, связанное с маршрутизацией данных, может не осуществляться вследствие возникновения непредвиденного сбоя.
[0280] В этой системе, изображение переднего плана, изображение заднего плана и информация 3D модели передаются через множество адаптеров 120 камер, соединенных гирляндной цепью, и подаются на сервер 230 переднего плана. Здесь, когда мероприятие, в котором количество областей переднего плана в захваченном изображении значительно увеличивается, например, изображается церемония открытия, в которой все игроки находятся в одном месте, объем данных изображений переднего плана, подлежащих передаче, увеличивается по сравнению со случаем, когда изображается нормальная игра. Таким образом, ниже будет описан способ управления объемом данных, подлежащих передаче гирляндной цепью, благодаря которому полоса передачи не превышается.
[0281] Последовательность операций процесса вывода данных от блока 06120 передачи в адаптере 120 камеры будет описана со ссылкой на фиг. 29 и 30. На фиг. 29 показана схема, демонстрирующая поток данных между адаптерами 120a - 120c камер. Адаптер 120a камеры подключен к адаптеру 120b камеры, и адаптер 120b камеры подключен к адаптеру 120c камеры. Кроме того, камера 112b подключена к адаптеру 120b камеры, и адаптер 120c камеры подключен к серверу 230 переднего плана. Поток обработки вывода данных, осуществляемой блоком 06120 передачи адаптера 120b камеры, будет описан ниже.
[0282] Данные 06720 формирования изображения подаются от камеры 112b на блок 06120 передачи адаптера 120b камеры, и входные данные 06721 и входные данные 06722, которые подвергнуты обработке изображений, подаются от адаптера 120a камеры на блок 06120 передачи адаптера 120b камеры. Кроме того, блок 06120 передачи осуществляет различные процессы, например, вывод на процессор 06130 изображений, сжатие, настройку частоты кадров и упаковку в отношении входных данных, и выводит данные на сетевой адаптер 06110.
[0283] Далее, последовательность операций процесса вывода, осуществляемая блоком 06120 передачи, будет описана со ссылкой на фиг. 30. Блок 06120 передачи выполняет этап получения объема данных, которые являются результатом обработки изображений в отношении входных данных 06721 и данных 06720 формирования изображения, подаваемых от процессора 06130 изображений (S06701).
[0284] Затем блок 06120 передачи выполняет этап получения объема входных данных 06722, подаваемых от адаптера 120a камеры (S06702). После этого, блок 06120 передачи выполняет этап получения объема данных, подлежащих выводу на адаптер 120c камеры, в соответствии с типом входных данных (S06703).
[0285] После этого, блок 06120 передачи сравнивает объем выходных данных и заранее определенную величину ограничения полосы передачи для определения, может ли передача осуществляться. В частности, блок 06120 передачи определяет, превышает ли объем данных, подлежащих выводу на сетевой адаптер 06110, заранее указанное пороговое значение объема выходных данных (S06704). Заметим, что пороговое значение может обеспечиваться для каждого типа данных (например, изображения переднего плана, изображения заднего плана, данных кадра полного обзора и информации 3D модели). Кроме того, объем данных, подлежащих выводу, получается на основании результата сжатия данных, осуществляемого блоком 06120 передачи, когда данные сжимаются блоком 06120 передачи. Заметим, что пороговое значение объема выходных данных предпочтительно устанавливается с учетом издержек информации заголовка, используемой для упаковки, и информации коррекции ошибок.
[0286] При определении, что объем выходных данных не превышает пороговое значение, блок 06120 передачи осуществляет нормальный перенос для вывода входных данных на сетевой адаптер 06110 (S06712). С другой стороны, при определении, что объем выходных данных превышает пороговое значение (Да на этапе S6704), блок 06120 передачи получает политику для избытка объема выходных данных, когда данные, поступающие на блок 06120 передачи, являются данными изображения (S06705). Затем блок 06120 передачи выбирает по меньшей мере один из множества процессов (S06707 - S06711), описанных ниже, в соответствии с полученной политикой (S06706) и выполняет выбранный процесс. Заметим, что блок 06120 передачи может осуществлять нормальный перенос в отношении данных, связанных с временной коррекцией, и данных, связанных с управляющим сообщением, которые отличаются от данных изображения. Кроме того, сообщение может отбрасываться в соответствии с типом или степенью приоритета сообщения. Переполнение переноса данных может подавляться путем уменьшения объема выходных данных.
[0287] В качестве процесса, выполняемого блоком 06120 передачи, блок 06120 передачи снижает частоту кадров данных изображения до вывода данных изображения на сетевой адаптер 06110 (S06707). Передача осуществляется, хотя некоторые кадры опущены, благодаря чему, объем данных снижается. Однако, когда объект движется быстро, качество изображения может снижаться по сравнению с выводом с высокой частотой кадров, и, таким образом, определение, подлежит ли этот способ использованию, осуществляется в зависимости от целевой сцены формирования изображения.
[0288] В качестве другого процесса, блок 06120 передачи выводит данные изображения на сетевой адаптер 06110 после снижения разрешения данных изображения (S06708). Этот процесс влияет на качество изображения выходного изображения, и, таким образом, политика устанавливается в зависимости от типа терминала конечного пользователя. Например, политика, связанная с преобразованием надлежащего разрешения, устанавливается таким образом, что, когда данные изображения подлежат выводу на смартфон, разрешение значительно снижается, благодаря чему, объем данных снижается, тогда как, когда данные изображения подлежат выводу на дисплей высокого разрешения и т.п., разрешение немного снижается.
[0289] В качестве другого процесса, блок 06120 передачи выводит данные изображения на сетевой адаптер 06110 после увеличения коэффициента сжатия данных изображения (S06709). Здесь, объем данных входного изображения снижается в соответствии с запросом производительности восстановления, например, сжатия без потерь, сжатия с потерями и т.п., то есть запросом качества изображения.
[0290] В качества еще одного процесса, блок 06120 передачи останавливает вывод данных 06720 формирования изображения от процессора 06130 изображений (S06710). Здесь, вывод данных изображения, подвергнутых обработке изображений, останавливается, благодаря чему, объем данных снижается. Когда обеспечено достаточное количество камер 112, обязательно, чтобы все камеры 112 были включены в одну и ту же группу точек наблюдения, необходимых для генерации изображения виртуальной точки обзора. Например, это управление применяется в случае, когда может определяться заранее, что мертвый угол не возникает, даже если количество камер 112 снижается, например, когда захватывается все поле стадиона. В частности, полосу передачи можно гарантировать путем выбора камеры, которая не осуществляет передачу данных изображения при условии, что сбой изображения не возникает на более поздних этапах.
[0291] В качестве дополнительного процесса, блок 06120 передачи останавливает вывод входных данных 06721 от процессора 06130 изображений или останавливает только вывод изображений от некоторых адаптеров 120 камер (S06711). Кроме того, если информация 3D модели может генерироваться с использованием изображения, подаваемого от другого адаптера 120 камеры, вывод изображения переднего плана или изображения заднего плана от другого адаптера 120 камеры может останавливаться, и только информация 3D модели подвергается управлению выводом, благодаря чему, объем данных снижается.
[0292] Информация о способе, используемом для уменьшения объема выходных данных, передается на тыловой сервер 270, UI 330 операций виртуальной камеры и станцию 310 управления через сервер 230 переднего плана (S06713). В этом варианте осуществления, последовательность операций разветвляется благодаря чему, осуществляется процесс управления частотой кадров, процесс управления разрешением, процесс управления коэффициентом сжатия или процесс остановки управления данными. Однако, настоящее изобретение этим не ограничивается. Благодаря объединению множества операций управления, снижение объема данных осуществляется более эффективно. Кроме того, уведомление об этом процессе управления осуществляется на этапе S06713. При таком уведомлении, если достаточное разрешение не получено в отношении качества изображения в результате увеличения коэффициента сжатия, например, в UI 330 операций виртуальной камеры, операция трансфокации может ограничиваться. Кроме того, также после процесса ограничения превышающей величины полосы передачи, превышение объема выходных данных проверяется, когда это целесообразно, и если объем данных становится устойчивым, политика процесса передачи может возвращаться к исходному значению настройки.
[0293] Таким образом, путем осуществления процесса передачи управления, соответствующего состоянию для решения проблемы превышения полосы передачи можно эффективно реализовать передачу по гирляндной цепи, которая удовлетворяет ограничению полосы передачи.
[0294] Далее, работа сервера 230 переднего плана на этапе S1500 и этапе S1600 во временных последовательностях операций формирования изображения будет описана со ссылкой на блок-схему операций на фиг. 31.
[0295] Контроллер 02110 принимает инструкцию на переключение в режим формирования изображения от станции 310 управления и осуществляет переключение в режим формирования изображения (S02300). Когда формирование изображения начинается, контроллер 02120 ввода данных начинает прием данных формирования изображения от адаптера 120 камеры (S02310).
[0296] Данные формирования изображения буферизуются блоком 02130 синхронизации данных, пока не будут получены все данные формирования изображения, необходимые для генерации файла (S02320). Хотя наглядно не проиллюстрировано в блок-схеме операций в этом варианте осуществления производилось определение, достигается ли согласование информации времени, назначенное данным формирования изображения, и определение, обеспечено ли заранее определенное количество камер. Кроме того, данные изображения могут не передаваться в зависимости от состояния камеры 112, например, состояния, в котором осуществляется калибровка, или состояния, в котором осуществляется обработка ошибок. В этом случае, отсутствие изображения, имеющего заранее определенный номер камеры, сообщается при переносе в базу данных 250 (S2370) на более поздней стадии. Здесь, способ ожидания прихода данных изображения в течение заранее определенного периода времени может применяться для осуществления определения, обеспечено ли заранее определенное количество камер. Однако, в этом варианте осуществления, информация, указывающая результат определения, существуют ли данные изображения, соответствующие номеру камеры, назначается, когда адаптеры 120 камер передают данные по гирляндной цепи для противодействия задержке последовательности процессов, осуществляемых системой. Таким образом, определение может немедленно осуществляться контроллером 02110 сервера 230 переднего плана. Кроме того, можно получать эффект, в котором не требуется ожидать в течение периода времени прихода захваченного изображения.
[0297] После буферизации данных, необходимых для генерации файла блоком 02130 синхронизации данных, осуществляются различные процессы преобразования, включающие в себя процесс развития первичных данных изображения, коррекции искажений объектива, регулировки значений цветов и яркости изображений, захваченных камерами, например, изображения переднего плана и изображения заднего плана (S02330).
[0298] Если данные, буферизованные блоком 02130 синхронизации данных, включают в себя изображения заднего плана, осуществляется процесс увязывания изображений заднего плана (S02340), а в противном случае, осуществляется (S02335) процесс увязывания 3D модели (S02350).
[0299] На этапе S02330, блок 02170 увязывания изображений получает изображения заднего плана, обработанные процессором 02150 изображений. Изображения заднего плана увязываются в соответствии с координатами данных формы стадиона, хранящихся в блоке 02135 хранения данных CAD, на этапе S02230, и увязанное изображение заднего плана подается на блок 02180 генерации файла данных формирования изображения (S02340).
[0300] Блок 02160 увязывания 3D модели, который получает 3D модель от блока 02130 синхронизации данных, генерирует 3D модель изображения переднего плана с использованием данных 3D модели и параметров камеры (S02350).
[0301] Блок 02180 генерации файла данных формирования изображения, который принимает данные формирования изображения, генерируемые процессом, осуществляемым, пока процесс на этапе S02350 не преобразует данные формирования изображения в соответствии с форматом файла и не упакует данные формирования изображения. После этого, блок 02180 генерации файла данных формирования изображения передает генерируемый файл на контроллер 02190 доступа к DB (S02360). Контроллер 02190 доступа к DB передает файл данных формирования изображения, подаваемый от блока 02180 генерации файла данных формирования изображения на этапе S02360, в базу данных 250 (S02370).
[0302] Далее, операция записи данных, включенная в операцию базы данных 250, осуществляемую при генерации изображения виртуальной точки обзора на этапе S1500 и этапе S1600 во временной последовательности операций формирования изображения, будет конкретно описана со ссылкой на блок-схему операций на фиг. 32.
[0303] Сервер 230 переднего плана подает данные формирования изображения на блок 02420 ввода данных базы данных 250. Блок 02420 ввода данных извлекает информацию времени или информацию временного кода, связанную в качестве метаданных с подаваемыми данными формирования изображения, и обнаруживает, что подаваемые данные формирования изображения получены в момент времени t1 (S2810).
[0304] Блок 02420 ввода данных передает подаваемые данные формирования изображения, которые были получены в момент времени t1, в кэш-память 02440, и кэш-память 02440 кэширует данные формирования изображения, полученные в момент времени t1 (S02820).
[0305] Блок 02420 ввода данных определяет, кэшированы ли данные формирования изображения, полученные за N кадров до момента времени t1, то есть, данные формирования изображения в момент времени t1-N (S02825), и когда определение дает утвердительный ответ, процесс переходит к этапу S02830, а в противном случае, процесс заканчивается. Заметим, что "N" изменяется в зависимости от частоты кадров. Здесь, "t1-N" может быть моментом времени, идущим до момента времени t1 на N единиц времени кадра, или может быть временным кодом, предшествующим кадр момента времени t1 на N кадров.
[0306] При кэшировании данных формирования изображения, полученных в момент времени t1, кэш-память 02440 переносит данные формирования изображения, полученные в момент времени t1-N, которые были кэшированы, в первичное хранилище 02450, и первичное хранилище 02450 записывает данные формирования изображения, полученные в момент времени t1-N, передаваемые из кэш-памяти 02440 (S02830). Таким образом, кадр до заранее определенного момента времени последовательно сохраняется в первичном хранилище 02450 в соответствии с ограничением емкости кэш-памяти 02440, которая доступна на высокой скорости. Это реализуется, когда кэш-память 02440 имеет, например, конфигурацию кольцевого буфера.
[0307] Далее, операция считывания данных, включенная в операцию базы данных 250, осуществляемую при генерации изображения виртуальной точки обзора на этапе S1500 и этапе S1600 во временной последовательности операций формирования изображения, будет конкретно описана со ссылкой на блок-схему операций на фиг. 33.
[0308] Тыловой сервер 270 запрашивает блок 02430 вывода данных для передачи данных, соответствующих временному коду момента времени t (S02910). Блок 02430 вывода данных определяет, сохранены ли данные, соответствующие моменту времени t в кэш-памяти 02440 или первичном хранилище 02450, для определения источника считывания данных (S02920). Например, когда данные формирования изображения подаются на блок 02420 ввода данных в момент времени t1, как и в вышеописанном случае фиг. 32, если момент времени t располагается до момента времени t1-N, данные считываются из первичного хранилища 02450 (S02930). Если момент времени t располагается между моментом времени t1-N и моментом времени t1, данные считываются из кэш-памяти 02440 (S02940). Когда момент времени t является более поздним, чем момент времени t1, блок 02430 вывода данных осуществляет уведомление об ошибке на тыловой сервер 270 (S02950).
[0309] Далее, последовательность операций обработки процессора 06130 изображений, включенного в адаптер 120 камеры, будет описана со ссылкой на блок-схемы операций фиг. 35A - 35E.
[0310] До процесса на фиг. 35A, контроллер 06133 калибровки осуществляет процесс цветовой коррекции на входных изображениях для подавления изменения цвета между камерами 112 и процесс коррекции размытости (процесс электронного управления вибрацией) на входных изображениях для стабилизации изображений путем уменьшения размытости изображений, обусловленной вибрацией камер 112. В процессе цветовой коррекции, осуществляется процесс добавления значений смещения к пиксельным значениям входных изображений в соответствии с параметрами, подаваемыми от сервера 230 переднего плана и т.п. В процессе коррекции размытости, величины размытости изображений оцениваются на основании данных, выводимых из датчиков, например, датчиков ускорения или гиродатчиков, встроенных в камеры 112. Размытость между изображениями кадров может подавляться путем осуществления сдвига позиций изображения и процесса вращения изображений в соответствии с оцененными величинами размытости. Заметим, что другие способы можно использовать в качестве способа коррекции размытости. Например, может применяться способ осуществления обработки изображений оценивания и корректировки величины сдвига изображения путем сравнения изображения с множеством изображений кадров, которые соединены друг с другом на основании времени, или способ, который реализован в камере, например, способ сдвига объектива или способ сдвига датчика.
[0311] Блок 05003 обновления заднего плана осуществляет процесс обновления изображения 05002 заднего плана с использованием входного изображения и изображения заднего плана, сохраненного в памяти. Пример изображения заднего плана представлен на фиг. 34A. Процесс обновления осуществляется над отдельными пикселями. Последовательность операций обработки будет описана со ссылкой на фиг. 35A.
[0312] Сначала блок 05003 обновления заднего плана получает разности между пикселями входного изображения и пикселями в соответствующих позициях в изображении заднего плана на этапе S05001. На этапе S05002, производится определение, меньше ли разности, чем пороговое значение K. Принимается решение, что пиксель соответствуют изображению заднего плана, когда разность меньше, чем пороговое значение K (Да на этапе S05002). На этапе S05003, блок 05003 обновления заднего плана вычисляет значения, смешивая пиксельные значения входного изображения и значения пикселей изображения заднего плана в некотором соотношении. На этапе S05004, блок 05003 обновления заднего плана осуществляет обновление с использованием значения, полученного путем извлечения пиксельного значения в изображении заднего плана.
[0313] Пример, в котором персоны включены в схему, представленную на фиг. 34A, которая является изображением заднего плана, будет описан со ссылкой на фиг. 34B. В этом случае, когда внимание приковано к пикселям, соответствующим персонам, разности между пиксельными значениями относительно заднего плана увеличиваются, и разности становятся большими или равными пороговому значению K на этапе S05002. В этом случае, поскольку изменения пиксельных значений велики, принимается решение, что включен объект, отличный от заднего плана, и изображение 05002 заднего плана не обновляется (Нет на этапе S05002). В процессе обновления заднего плана могут применяться различные другие способы.
[0314] Затем блок 05004 извлечения заднего плана считывает участок изображения 05002 заднего плана и передает участок изображения 05002 заднего плана на блок 06120 передачи. В случае, когда установлено множество камер 112, благодаря чему, все поле может подвергаться формированию изображения без мертвого угла, когда изображение игры, например, игры в футбол, подлежит захвату на стадионе и т.п., большие участки информации заднего плана камер 112 перекрываются друг с другом. Поскольку информация заднего плана велика, изображения могут передаваться после удаления перекрывающихся участков в отношении ограничения полосы передачи, благодаря чему, объем передачи может снижаться. Последовательность операций этого процесса будет описана со ссылкой на фиг. 35D. На этапе S05010, блок 05004 извлечения заднего плана устанавливает центральный участок изображения заднего плана как обозначенный частичной областью 3401, окруженной, например, пунктирной линией на фиг. 34C. В частности, частичная область 3401 указывает область заднего плана, которая передается самой камерой 112, и другие участки в области заднего плана передаются другими камерами 112. На этапе S05011, блок 05004 извлечения заднего плана считывает набор частичных областей 3401 в изображении заднего плана. На этапе S05012, блок 05004 извлечения заднего плана выводит частичную область 3401 на блок 06120 передачи. Выходные изображения заднего плана собираются на сервере 200 вычисления изображений и используются как текстура модели заднего плана. Позиции извлечения изображений 05002 заднего плана в адаптерах 120 камер устанавливаются в соответствии с заранее определенными значениями параметров, благодаря чему, не возникает отсутствия информации текстуры для модели заднего плана. Обычно устанавливается необходимый минимум областей извлечения, благодаря чему, объем данных передачи снижается. Соответственно, большой объем передачи информации заднего плана может эффективно снижаться, и система может работать с высоким разрешением.
[0315] Затем, блок 05001 отделения переднего плана осуществляет процесс обнаружения области переднего плана (области, включающей в себя объект, например, персону). Последовательность операций процесса обнаружения области переднего плана, выполняемая для каждого пикселя, будет описана со ссылкой на фиг. 35B. Способ, в котором используется информация разности заднего плана, используется для обнаружения переднего плана. На этапе S05005, блок 05001 отделения переднего плана получает разности между пикселями вновь введенного изображения и пикселями в соответствующих позициях в изображении 05002 заднего плана. Затем производится определение, превышают ли разности пороговое значение L, на этапе S05006. Предполагая здесь, что вновь введенное изображение представлено на фиг. 34B, например, на изображении 05002 заднего плана на фиг. 34A, пиксели в области, включающей в себя персоны, имеют большие разности. Когда разности больше, чем пороговое значение L, пиксели устанавливаются как передний план на этапе S05007. Способ обнаружения переднего плана с использованием информации разности заднего плана имеет оригинальные операции, благодаря чему передний план обнаруживается с более высокой точностью. Кроме того, различные способы, включающие в себя способ использования характерного значения или способ использования машинного обучения, может применяться при обнаружении переднего плана.
[0316] Блок 05001 отделения переднего плана выполняет процесс, описанный выше со ссылкой на фиг. 35B, в отношении отдельных пикселей входного изображения, и после этого, осуществляет процесс определения области переднего плана как блока, подлежащего выводу. Последовательность операций этого процесса будет описана со ссылкой на фиг. 35C. На этапе S05008, область переднего плана, сконфигурированная множеством пикселей, увязанных друг с другом, определяется как одно изображение переднего плана в изображении, в котором обнаружена область переднего плана. В качестве процесса обнаружения области, включающей в себя пиксели, увязанные друг с другом, используется, например способ выращивания области. Поскольку способ выращивания области является общим алгоритмом, его подробное описание опущено. После сбора областей переднего плана как изображений переднего плана на этапе S05008, изображения переднего плана последовательно считываются и выводятся на блок 06120 передачи на этапе S05009.
[0317] Затем, блок 06132 генерации информации 3D модели генерирует информацию 3D модели с использованием изображений переднего плана. Когда адаптер 120 камеры принимает изображение переднего плана от соседней камеры 112, изображение переднего плана подается на блок 05006 приема переднего плана другой камеры через блок 06120 передачи. Последовательность операций процесса, выполняемая процессором 05005 3D моделей при вводе изображения переднего плана, будет описана со ссылкой на фиг. 35E. Здесь, когда сервер 200 вычисления изображений собирает захваченные данные изображения камер 112, начинает обработку изображений и генерирует изображение виртуальной точки обзора, период времени, необходимый для генерации изображения, может увеличиваться вследствие большого объема вычисления. В частности, объем вычисления при генерации 3D модели может значительно увеличиваться. Таким образом, на фиг. 35E, будет описан способ последовательного генерирования информации 3D модели при передаче данных гирляндной цепью, соединяющей адаптеры 120 камер друг с другом, для уменьшения объема обработки, осуществляемой сервером 200 вычисления изображений.
[0318] Сначала, на этапе S05013, блок 06132 генерации информации 3D модели принимает изображение переднего плана, захваченное одной из других камер 112. Затем, блок 06132 генерации информации 3D модели определяет, принадлежит ли камера 112, которая захватила принятое изображение переднего плана, группе точек наблюдения целевой камеры 112, и камеры 112 находятся рядом с целевой камерой 112. Когда определение дает утвердительный ответ на этапе S05014, процесс переходит к этапу S05015. С другой стороны, когда определение дает отрицательный ответ, принимается решение, что изображение переднего плана другой камеры 112 не связано с целевой камерой 112, и процесс заканчивается, то есть процесс не осуществляется. Кроме того, хотя определение, находится ли камера 112 рядом с целевой камерой 112, осуществляется на этапе S05014, способ определения соотношения между камерами 112 этим не ограничивается. Например, блок 06132 генерации информации 3D модели может заранее получать и устанавливать номер камеры для связанной камеры 112 и осуществлять процесс, получая данные изображения, только когда данные изображения для связанной камеры 112 передаются. Также в этом случае, можно получить тот же эффект.
[0319] На этапе S05015, блок 06132 генерации информации 3D модели получает информацию глубины изображения переднего плана. В частности, блок 06132 генерации информации 3D модели связывает изображение переднего плана, подаваемое от блока 05001 отделения переднего плана, с изображением переднего плана одной из других камер 112, и после этого, получает информацию глубины пикселей, включенных в изображение переднего плана, в соответствии со значениями координат связанных пикселей и параметров камеры. Здесь, в качестве способа связывания изображения друг с другом, применяется, например, способ согласования блоков. Способ согласования блоков широко используется, и, таким образом, его подробное описание опущено. В качестве способа связывания могут применяться различные способы, например, способ повышения возможности путем объединения друг с другом обнаружения характерной точки, вычисления характерного значения, процесса согласования и пр.
[0320] На этапе S05016, блок 06132 генерации информации 3D модели получает информацию 3D модели изображения переднего плана. В частности, значения мировых координат пикселей, включенных в изображение переднего плана, получаются в соответствии с информацией глубины, полученной на этапе S05015, и параметрами камеры, сохраненными в блоке 05007 приема параметра камеры. Затем значения мировых координат и пиксельные значения используются как набор, благодаря чему, устанавливается одна точка данных 3D модели, сконфигурированной как группа точек. Как описано выше, можно получать информацию о группе точек участка 3D модели, полученного из изображения переднего плана, подаваемого от блока 05001 отделения переднего плана, и информацию о группе точек участка 3D модели, полученного из изображения переднего плана другой камеры 112. На этапе S05017, блок 06132 генерации информации 3D модели добавляет номер камеры и номер кадра в полученную информацию 3D модели в качестве метаданных (в роли метаданных может выступать, например, временной код и абсолютное время) и передает информацию 3D модели на блок 06120 передачи.
[0321] Таким образом, даже когда адаптеры 120 камер соединены друг с другом гирляндной цепью и установлено множество точек наблюдения, обработка изображений осуществляется в соответствии с корреляциями между камерами 112, когда данные передаются гирляндной цепью, благодаря чему информация 3D модели генерируется последовательно. В результате, высокоскоростная обработка реализуется эффективно.
[0322] Согласно этому варианту осуществления, хотя вышеописанные процессы выполняются оборудованием, например, FPGA или ASIC, реализованным в адаптере 120 камеры, процессы могут выполняться программным процессом с использованием, например CPU, GPU, или DSP. Кроме того, хотя адаптер 120 камеры выполняет генерацию информации 3D модели в этом варианте осуществления, сервер 200 вычисления изображений, который собирает все изображения переднего плана от камер 112, может генерировать информацию 3D модели.
[0323] Затем будет описан процесс осуществления генерации живого изображения и генерации изображения повторного воспроизведения на основании данных, хранящихся в базе данных 250 и предписывающих терминалу 190 конечного пользователя отображать генерируемое изображение, который осуществляется тыловым сервером 270. Заметим, что тыловой сервер 270 этого варианта осуществления генерирует содержание виртуальной точки обзора как живое изображение или изображение повторного воспроизведения. В этом варианте осуществления, содержание виртуальной точки обзора генерируется с использованием изображений, захваченных множеством камер 112, как множество изображений точек обзора. В частности, тыловой сервер 270 генерирует содержание виртуальной точки обзора на основании информации точки обзора, указанной, например, в соответствии с операцией пользователя. Хотя случай, когда содержание виртуальной точки обзора включает в себя данные звука (аудиоданные), описан в порядке примера в этом варианте осуществления, данные звука могут не быть включены.
[0324] Когда пользователь указывает точку обзора путем оперирования UI 330 операций виртуальной камеры, изображение, подлежащее захвату камерой 112 для генерации изображения, соответствующего позиции указанной точки обзора (позиции виртуальной камеры), может не существовать, разрешение изображения может быть достаточным, или качество изображения может быть низким. В этом случае, если определение, что условие для обеспечения изображения для пользователя не удовлетворяется, может не осуществляться до стадии генерации изображения, возможно снижение работоспособности. Способ уменьшения возможности будет описан далее.
[0325] На фиг. 36 показана последовательность операций обработки, осуществляемая UI 330 операций виртуальной камеры, тыловым сервером 270 и базой данных 250 в период времени от момента, когда оператор (пользователь) осуществляет операцию на устройстве ввода до момента, когда отображается изображение виртуальной точки обзора.
[0326] Сначала оператор оперирует устройством ввода, чтобы оперировать виртуальной камерой (S03300).
[0327] Примеры устройства ввода включают в себя джойстик, поворотный переключатель, сенсорную панель, клавиатуру и мышь.
[0328] UI 330 операций виртуальной камеры получает параметры виртуальной камеры, указывающие входную позицию и входную ориентацию виртуальной камеры (S03301).
[0329] Параметры виртуальной камеры включают в себя внешние параметры, указывающие позицию и ориентацию виртуальной камеры, и внутренние параметры, указывающие увеличение трансфокации виртуальной камеры.
[0330] UI 330 операций виртуальной камеры передает полученные параметры виртуальной камеры на тыловой сервер 270.
[0331] При приеме параметров виртуальной камеры, тыловой сервер 270 запрашивает базу данных 250 передавать группу 3D моделей переднего плана (S03303). База данных 250 передает группу 3D моделей переднего плана, включающую в себя позиционную информацию объекта переднего плана, на тыловой сервер 270 в ответ на запрос (S03304).
[0332] Тыловой сервер 270 геометрически получает группу объектов переднего плана, включенную в поле зрения виртуальной камеры, на основании параметров виртуальной камеры и позиционной информации объекта переднего плана, включенных в 3D модель переднего плана (S03305).
[0333] Тыловой сервер 270 запрашивает базу данных 250 для передачи изображения переднего плана полученной группы объектов переднего плана, 3D модели переднего плана, изображения заднего плана и группы данных звука (S03306). База данных 250 передает данные на тыловой сервер 270 в ответ на запрос (S03307).
[0334] Тыловой сервер 270 генерирует изображение переднего плана и изображение заднего плана в виртуальной точке обзора из принятого изображения переднего плана и принятой 3D модели переднего плана, и принятое изображение заднего плана, и генерирует изображение полного обзора в виртуальной точке обзора путем объединения изображений.
[0335] Кроме того, тыловой сервер 270 объединяет данные звука, соответствующие позиции виртуальной камеры в соответствии с группой данных звука для генерации изображения и звука в виртуальной точке обзора путем интеграции данных звука с изображением полного обзора в виртуальной точке обзора (S03308).
[0336] Тыловой сервер 270 передает генерируемые изображение и звук в виртуальной точке обзора на UI 330 операций виртуальной камеры (S03309). UI 330 операций виртуальной камеры реализует отображение изображения, захваченного виртуальной камерой, путем отображения принятого изображения.
[0337] На фиг. 38A показана блок-схема операций процедуры обработки, осуществляемой, когда UI 330 операций виртуальной камеры генерирует живое изображение.
[0338] На этапе S08201, UI 330 операций виртуальной камеры получает информацию об операции, введенной оператором на устройство ввода, чтобы оперировать виртуальной камерой 08001. На этапе S08202, блок 08101 операций виртуальной камеры определяет, соответствует ли операция оператора перемещению или повороту виртуальной камеры 08001. Перемещение или поворот осуществляются для одного кадра. Когда определение дает утвердительный ответ, процесс переходит к этапу S08203. В противном случае, процесс переходит к этапу S08205. Здесь, разные процессы осуществляются для операции перемещения, операции поворота и операции выбора траектории. Соответственно, выражение изображения, в котором позиция точки обзора вращается, тогда как время останавливается, и выражение изображения непрерывного перемещения могут переключаться с одного на другой путем простой операции.
[0339] На этапе S08203, осуществляется процесс для одного кадра, описанный со ссылкой на фиг. 38B. На этапе S08204, UI 330 операций виртуальной камеры определяет, ввел ли оператор операцию окончания. Когда определение дает утвердительный ответ, процесс заканчивается, а в противном случае, процесс возвращается к этапу S08201. На этапе S08205, блок 08101 операций виртуальной камеры определяет, ввел ли оператор операцию выбора траектории (пути виртуальной камеры). Например, траектория может быть представлена линией информации об операциях виртуальной камеры 08001 для множества кадров. Когда определено, что операция выбора траектории введена, процесс переходит к этапу S08206. В противном случае, процесс возвращается к этапу S08201.
[0340] На этапе S08206, UI 330 операций виртуальной камеры получает операцию следующего кадра в соответствии с выбранной траекторией. На этапе S08207, осуществляется процесс для одного кадра, описанный со ссылкой на фиг. 38B. На этапе S08208, производится определение, осуществлена ли обработка на всех кадрах выбранной траектории. Когда определение дает утвердительный ответ, процесс переходит к этапу S08204, а в противном случае, процесс возвращается к этапу S08206. На фиг. 38B показана блок-схема операций процесса для одного кадра, осуществляемого на этапе S08203 и этапе S08206.
[0341] На этапе S08209, блок 08102 получения параметра виртуальной камеры получает параметр виртуальной камеры после изменения позиции и ориентации. На этапе S08210, блок 08104 определения конфликта осуществляет определение конфликта. Когда возникает конфликт, то есть, когда ограничение виртуальной камеры не удовлетворяется, процесс переходит к этапу S08214. Когда конфликт не возникает, то есть, когда ограничение виртуальной камеры удовлетворяется, процесс переходит к этапу S08211.
[0342] Таким образом, UI 330 операций виртуальной камеры осуществляет определение конфликта. Затем процесс блокировки операционного блока или процесс генерирования предупреждения путем отображения сообщения другого цвета осуществляется в соответствии с результатом определения, благодаря чему, непосредственная обратная связь с оператором может улучшаться. В результате, удобство управления улучшается.
[0343] На этапе S08211, блок 08106 управления путем виртуальной камеры передает параметр виртуальной камеры на тыловой сервер 270. На этапе S08212, блок 08108 вывода изображения/звука виртуальной камеры выводит изображение, подаваемое от тылового сервера 270.
[0344] На этапе S08214, позиция и ориентация виртуальной камеры 08001 корректируются, благодаря чему, ограничение виртуальной камеры удовлетворяется. Например, последняя операция ввода, осуществляемая пользователем, отменяется, и параметр виртуальной камеры снова приводится в состояние предыдущего кадра. Таким образом, когда конфликт возникает после ввода траектории, например, оператор может интерактивно корректировать операцию, введенную из участка, в котором возникает конфликт, без осуществления операции, введенной сначала, и, соответственно, удобство управления улучшается.
[0345] На этапе S08215, блок 08105 вывода обратной связи сообщает оператору информацию, указывающую, что ограничение виртуальной камеры не удовлетворяется. Уведомление осуществляется посредством звука, сообщения или способа блокировки UI 330 операций виртуальной камеры. Однако способ уведомления этим не ограничивается.
[0346] На фиг. 39 показана блок-схема операций процедуры обработки, осуществляемой, когда UI 330 операций виртуальной камеры генерирует изображение повторного воспроизведения.
[0347] На этапе S08301, блок 08106 управления путем виртуальной камеры получает путь 08002 виртуальной камеры живого изображения. На этапе S08302, блок 08106 управления путем виртуальной камеры принимает операцию, осуществляемую оператором для выбора начальной точки и конечной точки пути 08002 виртуальной камеры живого изображения. Например, выбирается путь 08002 виртуальной камеры в течение 10 секунд до и после голевой сцены. Когда живое изображение имеет 60 кадров в секунду, 600 параметров виртуальной камеры включаются в путь 08002 виртуальной камеры в течение 10 секунд. Таким образом, разная информация параметра виртуальной камеры, подлежащая управлению, связана с разными кадрами.
[0348] На этапе S08303, выбранный путь 08002 виртуальной камеры в течение 10 секунд хранится в качестве начального значения пути 08002 виртуальной камеры в изображении повторного воспроизведения. Кроме того, в процессе с этапа S08307 до этапа S08309, когда путь 08002 виртуальной камеры редактируется, результат редактирования сохраняется как обновление.
[0349] На этапе S08304, UI 330 операций виртуальной камеры определяет, является ли операция, введенная оператором, операцией воспроизведения. Когда определение дает утвердительный ответ, процесс переходит к этапу S08305, а в противном случае, процесс переходит к этапу S08307.
[0350] На этапе S08305, принимается ввод оператора, связанный с выбором диапазона воспроизведения. На этапе S08306, изображение и звук воспроизводятся в диапазоне, выбранном оператором. В частности, блок 08106 управления путем виртуальной камеры передает путь 08002 виртуальной камеры в выбранном диапазоне на тыловой сервер 270. Таким образом, блок 08106 управления путем виртуальной камеры последовательно передает параметры виртуальной камеры, включенные в путь 08002 виртуальной камеры. Блок 08108 вывода изображения/звука виртуальной камеры выводит изображение виртуальной точки обзора и звук виртуальной точки обзора, подаваемые от тылового сервера 270. На этапе S08307, UI 330 операций виртуальной камеры определяет, является ли операция, введенная оператором, операцией редактирования. Когда определение дает утвердительный ответ, процесс переходит к этапу S08308, а в противном случае, процесс переходит к этапу S08310.
[0351] На этапе S08308, UI 330 операций виртуальной камеры указывает диапазон, выбранный оператором, как диапазон редактирования. На этапе S08309, изображение и звук в выбранном диапазоне редактирования воспроизводятся посредством такого же процесса, который осуществляется на этапе S08306. Однако, когда виртуальная камера 08001 работает с использованием блока 08101 операций виртуальной камеры, результат операции отражается. В частности, изображение повторного воспроизведения может редактироваться как изображение в точке обзора, отличной от живого изображения. Кроме того, изображение повторного воспроизведения может редактироваться таким образом, что осуществляется замедленное воспроизведение, и воспроизведение останавливается. Например, редактирование может осуществляться таким образом, что время останавливается, и точка обзора перемещается.
[0352] На этапе S08310, UI 330 операций виртуальной камеры определяет, является ли операция, введенная оператором, операцией окончания. Когда определение дает утвердительный ответ, процесс переходит к этапу S08311, а в противном случае, процесс переходит к этапу S08304.
[0353] На этапе S08311, отредактированный путь 08002 виртуальной камеры передается на тыловой сервер 270.
[0354] На фиг. 40 показана блок-схема операций процедуры процесса выбора изображения виртуальной камеры, по желанию пользователя из множества изображений виртуальной камеры, генерируемых UI 330 операций виртуальной камеры, и наблюдения выбранного изображения виртуальной камеры. Например, пользователь наблюдает изображение виртуальной камеры с использованием терминала 190 конечного пользователя. Заметим, что путь 08002 виртуальной камеры может храниться на сервере 200 вычисления изображений или веб-сервере (не показан), отличном от сервера 200 вычисления изображений.
[0355] На этапе S08401, терминал 190 конечного пользователя получает список путей 08002 виртуальных камер. Миниатюра, оценка пользователя, и пр. могут добавляться к пути 08002 виртуальной камеры. На этапе S08401, терминал 190 конечного пользователя отображает список путей 08002 виртуальных камер.
[0356] На этапе S08402, терминал 190 конечного пользователя получает информацию указания, связанную с путем 08002 виртуальной камеры, выбранным пользователем из списка.
[0357] На этапе S08403, терминал 190 конечного пользователя передает путь 08002 виртуальной камеры, выбранный пользователем, на тыловой сервер 270. Тыловой сервер 270 генерирует изображение виртуальной точки обзора и звук виртуальной точки обзора из принятого пути 08002 виртуальной камеры для передачи на терминал 190 конечного пользователя.
[0358] На этапе S08404, терминал 190 конечного пользователя выводит изображение виртуальной точки обзора и звук виртуальной точки обзора, подаваемые от тылового сервера 270.
[0359] Таким образом, поскольку список путей 08002 виртуальных камер сохраняется, и изображение может воспроизводиться после этого с использованием пути 08002 виртуальной камеры, изображения виртуальных точек обзора не требуется непрерывно сохранять, и, соответственно, стоимость устройства хранения может снижаться. Кроме того, в случае, когда запрашивается генерация изображения, соответствующего пути 08002 виртуальной камеры, имеющего высокую степень приоритета, генерация изображения пути 08002 виртуальной камеры, имеющего низкую степень приоритета, может осуществляться позже. Кроме того, если путь 08002 виртуальной камеры раскрыт на веб-сервере, изображение виртуальной точки обзора может обеспечиваться или совместно использоваться конечными пользователями, подключенными к интернету, и, соответственно, обслуживаемость пользователей может повышаться.
[0360] Будет описан экран, отображаемый на терминале 190 конечного пользователя. На фиг. 41 показана схема, демонстрирующая экран 41001 дисплея, отображаемый терминалом 190 конечного пользователя (автор иллюстрации: Vector Open Stock, использовать согласие: http://creativecommons.org/licenses/by/2.1/jp/legalcode).
[0361] Терминал 190 конечного пользователя последовательно отображает изображения, подаваемые от тылового сервера 270 в области 41002, в которой изображения подлежат отображению, благодаря чему, зритель (пользователь) может наблюдать изображение виртуальной точки обзора, например, игру в футбол. Зритель оперирует устройством пользовательского ввода в соответствии с отображаемым изображением для изменения точки обзора изображения. Если пользователь перемещает мышь влево, например, отображается изображение, в котором точка обзора направляется влево в отображаемом изображении. Если пользователь перемещает мышь вверх, отображается изображение, в котором наблюдается направление вверх в отображаемом изображении.
[0362] Кнопки 41003 и 41004 графического пользовательского интерфейса (GUI) в котором ручная операция и автоматическая операция могут переключаться с одной на другую, располагаются в области, отличной от области 41002 отображения изображения. Когда работает кнопка 41003 или кнопка 41004, зритель может определять, изменяется ли точка обзора до наблюдения, или наблюдение осуществляется в заранее заданной точке обзора.
[0363] Например, терминал 190 конечного пользователя последовательно выгружает информацию операции точки обзора, указывающую результат переключения точки обзора, вручную производимого пользователем, на сервер 200 вычисления изображений или веб-сервер (не показан). После этого, пользователь, который оперирует другим терминалом 190 конечного пользователя, может получать информацию операции точки обзора и может наблюдать изображение виртуальной точки обзора, соответствующее информации операции точки обзора. Кроме того, пользователь может наблюдать выбранное изображение, соответствующее популярной информации операции точки обзора, например, по рейтингу выгруженной информации операции точки обзора, и служба может легко использоваться даже пользователем, который не разбивается в операции.
[0364] Далее, будет описана операция блока 10001 управления приложением, который оперируется вручную, поскольку зритель выбирает ручную операцию. На фиг. 42 показана блок-схема операций процесса ручной операции, осуществляемого блоком 10001 управления приложением.
[0365] Блок 10001 управления приложением определяет, осуществил ли пользователь ввод (S10010).
[0366] Когда определение дает утвердительный ответ (Да на этапе S10010), блок 10001 управления приложением преобразует входную информацию пользователя в команду тылового сервера, благодаря чему, тыловой сервер 270 может распознавать входную информацию пользователя (S10011).
[0367] С другой стороны, когда определение дает отрицательный ответ (Нет на этапе S10010), процесс переходит к этапу S10013.
[0368] Затем, блок 10001 управления приложением передает команду тылового сервера через блок 10002 операционной системы и блок 10003 сетевой связи (S10012). После того, как тыловой сервер 270 генерирует изображение, в котором точка обзора изменяется на основании входной информации пользователя, блок 10001 управления приложением принимает изображение от тылового сервера 270 через блок 10003 сетевой связи и блок 10002 операционной системы (S10013). Затем блок 10001 управления приложением отображает принятое изображение в заранее определенной области 41002 отображения изображения (S10014). Благодаря осуществлению вышеописанного процесса, точка обзора изображения изменяется посредством ручной операции.
[0369] Далее, будет описана операция блока 10001 управления приложением, когда зритель (пользователь) выбирает автоматическую операцию. На фиг. 43 показана блок-схема операций процесса автоматической операции, осуществляемого блоком 10001 управления приложением.
[0370] При обнаружении (S10020) входной информации для автоматической операции, блок 10001 управления приложением считывает входную информацию для автоматической операции (S10021).
[0371] Блок 10001 управления приложением преобразует считанную входную информацию для автоматической операции в команду тылового сервера, распознаваемую тыловым сервером 270 (S10022).
[0372] Затем блок 10001 управления приложением передает команду тылового сервера через блок 10002 операционной системы и блок 10003 сетевой связи (S10023).
[0373] После того, как тыловой сервер 270 генерирует изображение, в котором точка обзора изменяется на основании входной информации пользователя, блок 10001 управления приложением принимает изображение от тылового сервера 270 через блок 10003 сетевой связи и блок 10002 операционной системы (S10024). Наконец, блок 10001 управления приложением отображает принятое изображение в заранее определенной области отображения изображения (S10025). Вышеописанный процесс повторно осуществляется при условии, что входная информация для автоматической операции существует, благодаря чему, точка обзора изображения изменяется вследствие автоматической операции.
[0374] На фиг. 44 показана блок-схема операций процесса генерирования изображения виртуальной точки обзора для одного кадра, осуществляемого тыловым сервером 270.
[0375] Блок 03001 приема данных принимает параметры виртуальной камеры от контроллера 300 (S03100). Как описано выше, параметры виртуальной камеры указывают позицию и ориентацию виртуальной точки обзора и пр.
[0376] Блок 03010 определения объекта переднего плана определяет объект переднего плана, необходимый для генерации изображения виртуальной точки обзора, на основании принятых параметров виртуальной камеры и позиции объекта переднего плана (S03101). Объект переднего плана, включенный в поле зрения при наблюдении из виртуальной точки обзора, получается 3D-геометрически. Блок 03011 генерации списка запросов генерирует список запросов изображения переднего плана определенного объекта переднего плана, группу 3D моделей переднего плана, изображение заднего плана и группу данных звука, и блок 03012 вывода данных запроса передает запрос в базу данных 250 (S03102). Список запросов включает в себя содержание данных, запрашиваемых в базе данных 250.
[0377] Блок 03001 приема данных принимает запрошенную информацию из базы данных 250 (S03103). Блок 03001 приема данных определяет, включает ли в себя информация, подаваемая из базы данных 250, информацию, указывающую ошибку (S03104).
[0378] Здесь, примеры информации, указывающей ошибку, включают в себя переполнение объема переноса изображения, сбой захвата изображения и сбой сохранения изображения в базе данных 250. Информация ошибки хранится в базе данных 250.
[0379] Когда информация, указывающая ошибку, включена на этапе S03104, блок 03001 приема данных определяет, что генерация изображения виртуальной точки обзора невозможна, и заканчивает процесс без вывода данных. Когда определено, что информация, указывающая ошибку, не включена на этапе S03104, тыловой сервер 270 осуществляет генерацию изображения заднего плана в виртуальной точке обзора, генерацию изображения переднего плана и генерацию звука, соответствующего точке обзора. Блок 03002 добавления текстуры заднего плана генерирует сетчатую модель заднего плана, имеющую текстуру из сетчатой модели заднего плана, которая получается после активации системы и которая хранится в блоке 03013 управления сетчатой моделью заднего плана, и изображение заднего плана, полученное базой данных 250 (S03105).
[0380] Кроме того, тыловой сервер 270 генерирует изображение переднего плана в соответствии с режимом рендеринга (S03106). Кроме того, тыловой сервер 270 генерирует звук путем синтезирования групп данных звука, как если бы звук в виртуальной точке обзора копировался (S03107). При синтезировании групп данных звука, размеры отдельных данных звука управляются на основании позиций получения виртуальной точки обзора и аудиоданных.
[0381] Блок 03006 рендеринга генерирует изображение полного обзора в виртуальной точке обзора путем усечения сетчатой модели заднего плана, имеющей текстуру, генерируемую на этапе S3105, в поле зрения, наблюдаемом из виртуальной точки обзора, и изображения полного обзора виртуальной точки обзора путем объединения изображений переднего плана (S03108).
[0382] Блок 03008 объединения интегрирует виртуальный звук, генерируемый при генерации звука виртуальной точки обзора (S03107), и полученное рендерингом изображение полного обзора в виртуальной точке обзора (S03109) для генерации содержания виртуальной точки обзора для одного кадра.
[0383] Блок 03009 вывода изображения выводит генерируемое содержание виртуальной точки обзора для одного кадра на внешний контроллер 300 и внешний терминал 190 конечного пользователя (S03110).
[0384] Далее будет описано определение гибкого управления для работы с различными запросами генерации изображения виртуальной точки обзора, осуществляемыми для увеличения вариантов использования, к которым применима эта система.
[0385] На фиг. 45 показана блок-схема операций генерации изображения переднего плана. Здесь будет описан пример политики выбора одного из множества алгоритмов рендеринга, благодаря чему, запрос, соответствующий пункту назначения вывода изображения, обрабатывается при генерации изображения виртуальной точки обзора.
[0386] Сначала блок 03014 управления режимом рендеринга тылового сервера 270 определяет способ рендеринга. Требования для определения способа рендеринга устанавливаются станцией 310 управления для тылового сервера 270. Блок 03014 управления режимом рендеринга определяет способ рендеринга в соответствии с требованиями. Блок 03014 управления режимом рендеринга проверяет, осуществляется ли запрос отдания приоритета высокоскоростной операции при генерации изображения виртуальной точки обзора, осуществляемой тыловым сервером 270 на основании формирования изображения платформой 113 камеры (S03200). Запрос отдания приоритета высокоскоростной операции эквивалентен запросу генерации изображения с малой задержкой. Когда определение дает утвердительный ответ на этапе S03200, в качестве рендеринга обеспечивается (S03201) IBR. Затем производится определение (S03202), запрашивать ли отдание приоритета указанной степени свободы точки обзора, связанной с генерацией изображения виртуальной точки обзора. Когда определение дает утвердительный ответ на этапе S03202, в качестве рендеринга обеспечивается (S03203) MBR. Затем, осуществляется определение (S03204), запрашивать ли отдание приоритета облегчению процесса вычисления при генерации изображения виртуальной точки обзора. Запрос отдания приоритета облегчению процесса вычисления осуществляется, когда система конфигурируется с низкой стоимостью и, например, при этом используется малый объем компьютерных ресурсов. Когда определение дает утвердительный ответ на этапе S03204, в качестве рендеринга обеспечивается (S03205) IBR. После этого, блок 03014 управления режимом рендеринга определяет, больше или равно ли количество камер 112, подлежащих использованию для генерации изображения виртуальной точки обзора, пороговому значению (S03206). Когда определение дает утвердительный ответ на этапе S03206, в качестве рендеринга обеспечивается (S03207) MBR.
[0387] Тыловой сервер 270 определяет, является ли способ рендеринга MBR или IBR, в соответствии с информацией режима, управляемой блоком 03014 управления режимом рендеринга (S03208). Заметим, что, если любой из процессов на этапе S03201, S03203, S03205, и S03207 не осуществляется, используется способ рендеринга, заранее определенный по умолчанию при активации системы.
[0388] Когда определено, что способом рендеринга является модельная основа (MBR) на этапе S03208, блок 03003 определения текстуры переднего плана определяет текстуру переднего плана на основании 3D модели переднего плана и группы изображений переднего плана (S03209). После этого, блок 03004 регулировки цвета границы текстуры переднего плана осуществляет согласование цветов на границе определенной текстуры переднего плана (S03210). Текстура 3D модели переднего плана извлекается из множества групп изображений переднего плана, и, таким образом, согласование цветов осуществляется для решения различий цветов в текстуре, обусловленных различиями состояний формирования изображения изображений переднего плана.
[0389] Когда определено, что способом рендеринга является IBR на этапе S03208, блок 03005 генерации изображения переднего плана виртуальной точки обзора осуществляет геометрическое преобразование, например, перспективное преобразование, на изображениях переднего плана на основании параметров виртуальной камеры и групп изображений переднего плана, благодаря чему, генерируются изображения переднего плана в виртуальной точке обзора (S03211).
[0390] Заметим, что пользователь может произвольно изменять способ рендеринга в ходе работы системы, или система может изменять способ рендеринга в соответствии с состоянием виртуальной точки обзора. Кроме того, кандидаты в способы рендеринга могут изменяться в ходе работы системы.
[0391] Соответственно, алгоритм рендеринга, связанный с генерацией виртуальной точки обзора, может устанавливаться не только во время активации, но и изменяться в соответствии с ситуацией, и, таким образом, могут обрабатываться различные запросы. В частности, даже когда запрашиваются элементы, соответствующие разным пунктам назначения вывода изображения (например, степеням приоритета параметров), запрос обрабатывается гибко. Заметим, что хотя в этом варианте осуществления в качестве способа рендеринга используется один из IBR и MBR, настоящее изобретение этим не ограничивается, и может применяться гибридный способ с использованием обоих способов. Когда применяется гибридный способ, блок 03014 управления режимом рендеринга определяет множество способов, подлежащих использованию для генерации разделенных областей, полученных путем разделения изображения виртуальной точки обзора в соответствии с информацией, полученной блоком 03001 приема данных. В частности, участок изображения виртуальной точки обзора для одного кадра может генерироваться на основании MBR, и другие участки могут генерироваться на основании IBR. Например, глянцевый объект, который не имеет текстуры, и который имеет поверхность без вмятин, может избегать снижения точности 3D модели за счет использования IBR, и объект, находящийся вблизи виртуальной точки обзора, может избегать плоскостности изображения за счет использования MBR. Кроме того, объект вблизи центра экрана должен отчетливо отображаться, и, таким образом, изображение генерируется посредством MBR и нагрузка обработки объекта, расположенного на конце, может снижаться путем генерирования изображения посредством IBR. Таким образом, нагрузка обработки, связанная с генерацией изображения виртуальной точки обзора, и качество изображения собственно изображения виртуальной точки обзора могут управляться тщательно.
[0392] Кроме того, хотя разные надлежащие настройки для системы, включающие в себя настройки точки наблюдения, работы камеры и управления передачей, могут устанавливаться для разных игр, если оператор вручную осуществляет настройки системы каждый раз, когда происходит игра, нагрузка на оператора может увеличиваться, и, соответственно, требуется простота настройки. Соответственно, система 100 обработки изображений автоматически обновляет настройки устройства, подлежащие изменению настройки, благодаря чему, обеспечивается механизм для уменьшения нагрузки оператора, который осуществляет настройки системы для генерирования изображения виртуальной точки обзора. Этот механизм будет описан далее.
[0393] На фиг. 46 показана таблица списка информации, которая генерируется в вышеописанной последовательности операций после установки и которая связана с операциями, установленными на устройствах, включенных в систему в последовательности операций предварительного формирования изображения. Станция 310 управления получает информацию об игре, подлежащей изображению множеством камер 112, в соответствии с операцией ввода, осуществляемой пользователем. Заметим, что способ получения информации об игре этим не ограничивается, и станция 310 управления может получать информацию об игре, например, от других устройств. Затем станция 310 управления сохраняет полученную информацию об игре и информацию настройки системы 100 обработки изображений, которые связаны друг с другом, как список информации. Далее, список информации связанный с операцией, именуется "списком настроек". Когда станция 310 управления оперирует как устройство управления, которое осуществляет процесс настройки системы в соответствии с сохраненным списком настроек, нагрузка на оператора, который осуществляет настройку системы, снижается.
[0394] Информация об игре, полученная станцией 310 управления, включает в себя, например по меньшей мере одно из типа и времени начала игры, которая является целью формирования изображения. Однако, информация об игре этим не ограничивается, и другая информация, связанная с игрой, может быть информацией об игре.
[0395] Номер 46101 формирования изображения указывает сцену, соответствующую каждой игре, подлежащей изображению, и оценочное время 46103 указывает оценочное время начала и оценочное время окончания каждой игры. До времени начала каждой сцены, станция 310 управления передает запрос изменения в соответствии со списком настроек на устройства.
[0396] Название 46102 игры указывает название типа игры. Точка 46104 наблюдения (указание координат) включает в себя количество точек наблюдения камер 112a - 112z, координатные позиции точек наблюдения, и номера камер, соответствующих точкам наблюдения. Направления формирования изображения отдельных камер 112 определяются в соответствии с позициями точек наблюдения. Например, если типом игры является футбол, центр поля, область до ворот и пр. устанавливаются как точки наблюдения. Работа камеры 46105 указывает диапазон пути камеры, когда UI 330 операций виртуальной камеры и тыловой сервер 270 оперируют виртуальной точкой обзора, и генерируется изображение. Указание доступного диапазона точки обзора, связанной с генерацией изображения виртуальной точки обзора, определяется на основании работы камеры 46105.
[0397] Файл 46106 калибровки сохраняет значения параметров камеры, которые получаются при временной калибровке установки, описанной со ссылкой на фиг. 17, и которые связаны с позиционированием множества камер 112, связанных с генерацией изображения виртуальной точки обзора, и генерируется для каждой точки наблюдения.
[0398] Алгоритм 46107 генерации изображения указывает настройку результата определения, используется ли IBR, MBR, или гибридный способ IBR и MBR в качестве способа рендеринга, связанного с генерацией изображения виртуальной точки обзора, на основании захваченного изображения. Способ рендеринга устанавливается на тыловой сервер 270 станцией 310 управления. Например, информация об игре, указывающая тип игры, соответствующий количеству игроков, которое меньше или равно пороговому значению, например, толкание ядра или прыжки в высоту, соответствующий номеру формирования изображения 3, и информация настройки, указывающая способ MBR генерирования изображения виртуальной точки обзора с использованием 3D модели, генерируемой на основании множества захваченных изображений, связаны друг с другом. Соответственно, степень свободы указания точки обзора в изображении виртуальной точки обзора игры, соответствующей малому количеству игроков, становится высокой. С другой стороны, нагрузка обработки становится большой, если изображение виртуальной точки обзора генерируется способом MBR в игре, соответствующей количеству игроков, которое больше, чем пороговое значение, например, церемонии открытия, соответствующей номеру формирования изображения 1, и, таким образом, способ IBR генерирования изображения виртуальной точки обзора с меньшей нагрузкой обработки с использованием количества захваченных изображений меньшего, чем количество захваченных изображений, используемых при генерации 3D модели использующий способ MBR, связан.
[0399] Передача 46108 переднего плана/заднего плана указывает настройки коэффициентов сжатия и частоты кадров (в единицах кадров/с) изображения переднего плана (FG) и изображения заднего плана (BG), которые отделяются из захваченного изображения. Заметим, что изображение переднего плана генерируется на основании области переднего плана, извлеченной из захваченного изображения для генерации изображения виртуальной точки обзора, и передается в системе 100 обработки изображений. Аналогично, изображение заднего плана генерируется и передается на основании области заднего плана, извлеченной из захваченного изображения. На фиг. 47 показана последовательность операций, когда информация, соответствующая номеру формирования изображения 2 в списке настроек, устанавливается на устройства, включенные в систему в последовательности операций предварительного формирования изображения, осуществляемых станцией 310 управления.
[0400] Станция 310 управления проверяет оценочное время начала игры, служащей целью формирования изображения, указанной с использованием сохраненного списка настроек после начала работы системы (F47101). После этого, станция 310 управления начинает процесс настройки, соответствующий номеру формирования изображения 2, когда достигается (F47102) момент времени, который располагается до оценочного времени начала на заранее определенный период времени. Вышеописанный заранее определенный период времени дольше, чем период времени, необходимый для процесса настройки, осуществляемого на основании информации об игре, полученной станцией 310 управления, и изменяется в зависимости от типа игры, служащей целью формирования изображения. Таким образом, когда процесс настройки автоматически запускается в момент времени до начала игры на заранее определенный период времени, настройка может завершаться, когда игра начинается, без инструкции на запуск настройки оператором. Заметим, что, когда инструкция на запуск настройки выдается пользователем, станция 310 управления может начинать процесс настройки независимо от времени начала игры.
[0401] Процесс настройки, осуществляемый станцией 310 управления, включает в себя процесс настройки параметров, связанных с обработкой изображений, осуществляемой устройством, которое генерирует изображение виртуальной точки обзора, и процесс настройки параметров, связанных с формированием изображения, например, осуществляемым камерами 112. Параметры, связанные с обработкой изображений, указывают способ генерации, подлежащий использованию для генерации изображения виртуальной точки обзора из данных изображения, например, на основе формирования изображения. Кроме того, примеры параметров, связанных с формированием изображения, включают в себя направление формирования изображения камеры и увеличение трансфокации. Заметим, что содержание процесса настройки этим не ограничивается, и может быть процессом активации устройств, включенных в систему 100 обработки изображений.
[0402] Сначала станция 310 управления осуществляет установку (F47103) точки наблюдения. После этого, запрос задания координаты точки наблюдения для каждой камеры передается на адаптер 120 камеры (F47104). Здесь, камеры 112 группируются согласно точке наблюдения, и точка наблюдения в тех же координатах устанавливается на камеры 112, включенных в группы точек наблюдения. Адаптер 120 камеры, который принял запрос задания координат виртуальной точки обзора для каждой камеры, передает запрос инструкции платформы камеры PT, включающей в себя инструкцию для задания панорамирования/отклонения (PT) и инструкцию для задания камере 112 и объективу, например, низкого угла объектива (F47105). Процесс в F47104 и F47105 повторно осуществляется для нескольких систем 110 датчиков. Кроме того, станция 310 управления устанавливает информацию о группе точек наблюдения для каждой камеры для сервера 230 переднего плана и базы данных 250 (F47106).
[0403] Затем, станция 310 управления устанавливает значение, полученное калибровкой (F47107). В частности, информация о файле калибровки устанавливается на все системы 110 датчиков. Станция 310 управления передает запрос настройки калибровки на адаптеры 120 камер (F47108). Адаптеры 120 камер, которые приняли запрос, осуществляют настройки параметров формирования изображения, фокусировки, и трансфокации на камеру 112, объективы, и платформу 113 камеры (F47109). Кроме того, станция 310 управления также передает запрос настройки калибровки на сервер 230 переднего плана (F47110).
[0404] Затем станция 310 управления осуществляет настройку работы камеры (F47111). Затем станция 310 управления передает запрос задания группы камер на основании точки наблюдения, диапазонов формирования изображения камер 112 и диапазона пути виртуальной камеры на тыловой сервер 270 (F47112). Тыловой сервер 270 требует информации о работе камеры для отображения пути точки обзора виртуальной камеры 08001 от UI 330 операций виртуальной камеры в физические камеры 112, благодаря чему, осуществляется рендеринг изображения. Тыловой сервер 270 передает пробный запрос виртуальной камеры на UI 330 операций виртуальной камеры для проверки подвижного диапазона виртуальной камеры (F47113). После этого, тыловой сервер 270 принимает уведомление об операции виртуальной камеры от UI 330 операций виртуальной камеры (F47114). Здесь, тыловой сервер 270 определяет, что эффективное изображение, соответствующее позиции точки обзора в соответствии с принятым уведомлением об операции виртуальной камеры, не существует (F47115). Затем тыловой сервер 270 передает уведомление об ошибке на UI 330 операций виртуальной камеры (F47116). UI 330 операций виртуальной камеры определяет, что точка обзора может не перемещаться дальше в соответствии с уведомлением об ошибке, оперирует виртуальной камерой в другую точку обзора, и передает уведомление на тыловой сервер 270 (F47117). Тыловой сервер 270 определяет, что эффективное изображение, соответствующее точке обзора, соответствующей уведомлению, существует (F47118), и передает ответ с соответствующим изображением на UI 330 операций виртуальной камеры (F47119).
[0405] Затем станция 310 управления осуществляет настройку алгоритма генерации изображения (F47120). Затем станция 310 управления определяет один из алгоритмов способов, т.е. IBR, MBR, и гибридный, и уведомляет тыловой сервер 270 об определенном алгоритме способа (F47121).
[0406] После этого, станция 310 управления осуществляет настройки, связанные со способом передачи изображения переднего плана и изображения заднего плана (F47112). Станция 310 управления осуществляет настройки коэффициентов сжатия изображения переднего плана (FG) и изображения заднего плана (BG) и частоты кадров (количества кадров в секунду: кадров/с) для адаптеров 120 камер в соответствии со списком настроек. На фиг. 47, инструкция для задания коэффициента сжатия FG, равного сжатию 1/3, и частота кадров FG, равная 60 кадров/с, и информация, указывающая, что BG не передается, подаются на адаптеры 120 камер (F47123). В этом случае, поскольку изображение заднего плана не передается от адаптера 120 камеры, тыловой сервер 270 может не получать текстуру заднего плана во время рендеринга. Таким образом, станция 310 управления передает инструкцию для использования 3D модели заднего плана, то есть инструкцию для генерирования изображения заднего плана на основании проволочного каркаса формы стадиона, на тыловой сервер 270 (F47124).
[0407] Формирование изображения непрерывно осуществляется до времени окончания игры, пока осуществляются вышеописанные процессы. Заметим, что время игры может продлеваться, и, таким образом, оператор может окончательно определять остановку формирования изображения.
[0408] После окончания формирования изображения, станция 310 управления вновь осуществляет процесс запуска системы до оценочного времени начала следующей сцены. В частности, станция 310 управления проверяет оценочное время начала сцены, имеющей номер формирования изображения 3 (F47125), и осуществляет настройку, соответствующую номеру формирования изображения 3, на устройствах, включенных в систему (F47126). После этого, вышеописанный процесс повторно осуществляется в соответствии со списком настроек.
[0409] Таким образом, поскольку станция 310 управления автоматически осуществляет настройку устройств, оператор осуществляет только операцию запуска системы и операцию проверки системы, и, соответственно, операция оператора, связанная с сложным управлением формированием изображения, может упрощаться.
[0410] На фиг. 48 показана блок-схема операций управления приемом, осуществляемого сервером 230 переднего плана, кадра m изображения синхронизации камеры, подаваемого от адаптера 120 камеры через дорожку гирляндной цепи. В случае, когда гирляндная цепь по-разному конфигурирует каждый полупериметр, или когда гирляндная цепь обеспечивается на множестве этажей, возможно, что реализация генерации изображения виртуальной точки обзора с малой задержкой может становиться трудной, когда сервер 230 переднего плана ожидает приема данных изображения со всех камер 112. Способ снижения вероятности такой ситуации будет описан далее.
[0411] Сначала сервер 230 переднего плана принимает пакет данных изображения для каждой дорожки камер гирляндной цепи (S48100). Затем кадры m изображения синхронизации камеры последовательно сохраняются (S48101). Затем, производится определение, равно ли количество групп точек наблюдения 1 (S48102). Когда определение дает отрицательный ответ на этапе S48102, то есть, в случае множества групп точек наблюдения, кадры изображений камеры классифицируются на множество групп точек наблюдения (S48103). После этого, сервер 230 переднего плана определяет, завершила ли по меньшей мере одна из групп точек наблюдения прием кадра m изображения в камерах 112 (S48104). Когда определение дает утвердительный ответ, обработка изображений осуществляется процессором 02150 изображений, блоком 02160 увязывания 3D модели, блоком 02170 увязывания изображений и блоком 02180 генерации файла данных формирования изображения для каждой группы точек наблюдения (S48105). Затем, сервер 230 переднего плана определяет, осуществлена ли обработка изображений на всех группах точек наблюдения. Когда определение дает отрицательный ответ (Нет на этапе S48106), сервер 230 переднего плана определяет, произошло ли превышение лимита времени ожидания кадра изображения (S48107). Пороговое значение может быть фиксированным в соответствии с единичным временем для одного кадра. Когда определение дает утвердительный ответ на этапе S48107, сервер 230 переднего плана обнаруживает потерянный кадр изображения и помечает целевой кадр камеры 112, в котором возникает потеря, информацией, указывающей потерю (S48108), и записывает данные изображения в базе данных 250. Таким образом, тыловой сервер 270 распознает потерю кадра изображения, и это эффективно для процесса рендеринга. В частности, когда отображение виртуальной камеры или реальной камеры 112, указанной UI 330 операций виртуальной камеры, осуществляется тыловым сервером 270, тыловой сервер 270 может немедленно определять изображение камеры 112, в котором произошла потеря. Таким образом, когда возможно, что генерировать изображение виртуальной точки обзора не удается, процесс коррекции и пр. может автоматически осуществляться при выводе изображения без визуального контакта оператора.
[0412] Далее будут подробно описаны аппаратные конфигурации устройств согласно этому варианту осуществления. Как описано выше, в этом варианте осуществления, в основном, проиллюстрирован случай, когда адаптер 120 камеры реализован в виде оборудования, например FPGA и/или ASIC, и оборудование выполняет различные вышеописанные процессы. Это относится к различным устройствам, включенным в систему 110 датчиков, сервер 230 переднего плана, базу данных 250, тыловой сервер 270 и контроллер 300. Однако, по меньшей мере, некоторые из устройств могут использовать CPU, GPU, DSP и т.п. для выполнения процесса этого варианта осуществления программным процессом.
[0413] На фиг. 49 показана блок-схема, демонстрирующая аппаратную конфигурацию адаптера 120 камеры для осуществления функциональной конфигурации, представленной на фиг. 2 программным процессом. Заметим, что сервер 230 переднего плана, база данных 250, тыловой сервер 270, станция 310 управления, UI 330 операций виртуальной камеры и терминал 190 конечного пользователя могут быть аппаратной конфигурацией фиг. 49. Адаптер 120 камеры включает в себя CPU 1201, ROM 1202, RAM 1203, вспомогательное устройство 1204 хранения, блок 1205 отображения, операционный блок 1206, блок 1207 связи и шину 1208.
[0414] CPU 1201 управляет всем адаптером 120 камеры с использованием компьютерных программ и данных, хранящихся в ROM 1202 и RAM 1203. В ROM 1202 хранятся программы и параметры, которые не требуется изменять. RAM 1203 временно сохраняет программы и данные, подаваемые от вспомогательного устройства 1204 хранения, и данные внешне подаваемые через блок 1207 связи. Вспомогательное устройство 1204 хранения образованное, например, жестким диском, и сохраняет данные содержания, например, неподвижные изображения и движущиеся изображения.
[0415] Блок 1205 отображения образован жидкокристаллическим дисплеем и т.п., и отображает графический пользовательский интерфейс (GUI), используемый пользователем, чтобы оперировать адаптером 120 камеры. Операционный блок 1206 образован, например, клавиатурой или мышью и подает различные инструкции на CPU 1201 в ответ на операции пользователя. Блок 1207 связи осуществляет связь с внешними устройствами, например, камерой 112 и сервером 230 переднего плана. В случае, когда адаптер 120 камеры подключен к внешнему устройству проводами, например, кабель LAN и пр. подключены к блоку 1207 связи. Заметим, что в случае, когда адаптер 120 камеры имеет функцию реализации беспроводной связи с внешним устройством, блок 1207 связи имеет антенну. Шина 1208 используется для соединения участков адаптера 120 камеры для передачи информации.
[0416] Заметим, что участок процесса, осуществляемый адаптером 120 камеры, может осуществляться FPGA, и другой участок процесса может быть реализован программным процессом с использованием CPU. Кроме того, компоненты адаптера 120 камеры, представленные на фиг. 49, могут быть сконфигурированы единой электронной схемой или множеством электронных схем. Например, адаптер 120 камеры может включать в себя множество электронных схем, действующих как CPU 1201. Когда множество электронных схем осуществляет процесс как CPU 1201 параллельно, скорость обработки адаптера 120 камеры может повышаться.
[0417] Кроме того, хотя блок 1205 отображения и операционный блок 1206 этого варианта осуществления включены в адаптер 120 камеры, адаптер 120 камеры может не включать в себя по меньшей мере один из блока 1205 отображения и операционного блока 1206. По меньшей мере один из блока 1205 отображения и операционного блока 1206 может располагаться вне адаптера 120 камеры в качестве независимого устройства, и CPU 1201 может функционировать как контроллер дисплея, который управляет блоком 1205 отображения, и контроллер операций, который управляет операционным блоком 1206. Другие устройства, включенные в систему 100 обработки изображений, функционируют таким же образом. Кроме того, сервер 230 переднего плана, база данных 250 и тыловой сервер 270 могут не включать в себя блок 1205 отображения, но станция 310 управления, UI 330 операций виртуальной камеры и терминал 190 конечного пользователя могут включать в себя, например, блок 1205 отображения. Кроме того, случай, когда система 100 обработки изображений установлена в сооружении, например, на стадионе или в концертном зале, в основном, описан в порядке примера в этом варианте осуществления. Примеры других сооружений включают в себя парки развлечений, игровые площадки, ипподромы, велотреки, казино, бассейны, катки, лыжные трассы и клубы с живой музыкой. Кроме того, мероприятия, проводимые в различных сооружениях, могут быть мероприятиями в помещении или мероприятиями вне помещения. Кроме того, сооружения в этом варианте осуществления могут временно открываться (только на ограниченное время).
[0418] Согласно вышеописанному варианту осуществления, изображение виртуальной точки обзора можно легко генерировать независимо от масштаба устройств, включенных в систему, например, количества камер 112, выходного разрешения захваченных изображений и выходной частоты кадров. Хотя вариант осуществления настоящего изобретения описан выше, настоящее изобретение не ограничивается вышеупомянутым вариантом осуществления, и различные модификации и изменения могут осуществляться в объеме настоящего изобретения, изложенного в формуле изобретения.
[0419] Согласно вышеописанному варианту осуществления, при генерации изображения виртуальной точки обзора, точка обзора может быть указана в диапазоне, который изменяется в зависимости от ситуации.
Другие варианты осуществления
[0420] Вариант(ы) осуществления настоящего изобретения также можно реализовать компьютером системы или устройства, который считывает и выполняет компьютерно-исполнимые инструкции (например, одну или более программ), записанные на носителе данных (который также может развернуто именоваться "долговременным компьютерно-считываемым носителем данных") для осуществления функций одного или более из вышеописанных вариантов осуществления и/или который включает в себя одну или более схем (например, специализированную интегральную схему (ASIC)) для осуществления функций одного или более из вышеописанных вариантов осуществления, и способом, осуществляемым компьютером системы или устройства, например, путем считывания и выполнения компьютерно-исполнимых инструкций с носителя данных для осуществления функций одного или более из вышеописанных вариантов осуществления и/или управления одной или более схем для осуществления функций одного или более из вышеописанных вариантов осуществления. Компьютер может содержать один или более процессоров (например, центральный процессор (CPU), микропроцессор (MPU)) и может включать в себя сеть отдельных компьютеров или отдельных процессоров для считывания и выполнения компьютерно-исполнимых инструкций. Компьютерно-исполнимые инструкции могут поступать на компьютер, например, из сети или носителя данных. Носитель данных может включать в себя, например, один или более из жесткого диска, оперативной памяти (RAM), постоянной памяти (ROM), хранилища распределенных вычислительных систем, оптического диска (например, компакт-диска (CD), цифрового универсального диска (DVD) или диска Blu-ray (BD)TM), устройства флеш-памяти, карты памяти и пр.
[0421] Хотя настоящее изобретение описано со ссылкой на иллюстративные варианты осуществления, следует понимать, что изобретение не ограничивается раскрытыми иллюстративными вариантами осуществления. Объем нижеследующей формулы изобретения соответствует самой широкой интерпретации, охватывающей все подобные модификации и эквивалентные конструкции и функции.
[0422] По данной заявке испрашивается приоритет японской патентной заявки № 2016-104435, поданной 25 мая 2016 г., которая, таким образом, включена сюда посредством ссылки в полном объеме.
Реферат
Изобретение относится к системе для генерирования изображения виртуальной точки обзора. Техническим результатом является обеспечение возможности показа наблюдаемой сцены под различными углами обзора. Результат достигается тем, что способ генерирования изображения виртуальной точки обзора включает в себя генерирование, первым устройством обработки изображений, первой информации для генерирования изображения виртуальной точки обзора на основании первого изображения, захваченного первой камерой, генерирование, вторым устройством обработки изображений, второй информации для генерирования изображения виртуальной точки обзора на основании второго изображения, захваченного второй камерой; указание точки обзора в изображении виртуальной точки обзора; и генерирование, третьим устройством обработки изображений, изображения виртуальной точки обзора, соответствующего указанной точке обзора, с использованием первой информации и второй информации. 4 н. и 16 з.п. ф-лы, 58 ил.
Комментарии