Воплощение визуального представления с помощью изученного ввода от пользователя - RU2554548C2

Чертежи

Показать все 11 чертежа(ей)

Описание

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

[0001] Различные приложения изображают визуальное представление, которое соответствует пользователю, где пользователь выполняет управление через некоторые действия, такие как выбор кнопок на удаленном или перемещающимся контроллере некоторым способом. Визуальное представление является компьютерным представлением, которое обычно принимает форму двумерной (2D) или трехмерной (3D) модели и обрабатывается в различных приложениях, таких как компьютерные игры, видеоигры, чаты, форумы, сообщества, службы передачи мгновенных сообщений и т.п. Визуальное представление может быть в форме аватара, выдуманного персонажа, анимированного изображения или животного, курсора, руки или подобного. Многие компьютерные приложения, такие как компьютерные игры, мультимедийные приложения, офисные приложения или подобные предоставляют выбор предварительно определенных анимированных персонажей, которые могут быть выбраны для использования в приложении в качестве аватара пользователя. Как правило, анимации, выполненные аватаром, выбираются из библиотеки анимаций. Пользователи могут выбирать для своих аватаров выполнение конкретных анимаций из этой библиотеки нажатием кнопок или клавиш удалено, например.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0002] В настоящем описании раскрыты способы для интеллектуального обучения аватара для выполнения анимаций с помощью изучения вводов от пользователя. В течение времени аватар в виртуальном пространстве может казаться отражением пользователя в виртуальном пространстве, включающим в себя аспекты отображения признаков пользователя, поведений, тенденций, образцов голоса и т.д. Например, система может иметь устройство захвата, которое захватывает данные о пользователе в физическом пространстве. Система может идентифицировать характеристики пользователя, тенденции, образцы голоса, поведения, жесты и т.д. В течение времени система может изучать тенденции пользователя и интеллектуально применять анимации к аватару пользователя таким образом, что аватар ведет себя и отвечает в соответствии с идентифицированными поведениями пользователя. Таким образом, обучение аватара анимации для выполнения может содержать изучение вводов от пользователя и формирование аватара для того, чтобы напоминать пользователя.

[0003] Для этого система может визуализировать аватар, который напоминает пользователя, присутствует или нет пользователь в физическом пространстве. В примерном варианте осуществления, анимации, примененные к аватару, могут быть анимациями, выбранными из библиотеки предварительно упакованных анимаций, таких как те, которые идут с программой, приложением или системой, например. Выбранные анимации могут быть теми, которые соответствуют вводам от пользователя, изученным системой. В другом примерном варианте осуществления анимации в библиотеке могут быть анимациями, введенными и записанными пользователем в словарь анимации аватара. Например, система или пользователь могут повторно программировать анимацию для отражения фактических движений пользователя или поведений, захваченных устройством захвата, например. Таким образом, анимации могут быть добавлены к или переписаны в библиотеке анимаций аватара.

[0004] Этот раздел описания сущности изобретения предоставляется для ввода выбора понятий в упрощенной форме, которые дополнительно описываются ниже в подробном описании. Этот раздел описания сущности изобретения не предназначается для идентификации ключевых признаков или существенных признаков заявленной сущности изобретения, и при этом он не предназначается для использования в качестве ограничения области заявленной сущности изобретения. Кроме того, заявленная сущность изобретения не ограничивается реализациями, которые решают любые или все недостатки, отмеченные в любой части этого описания.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0005] Системы, способы и считываемый компьютером носитель для изменения визуального представления в соответствии с этим описанием дополнительно описаны с ссылкой на сопроводительные чертежи, на которых:

[0006] Фиг. 1 иллюстрирует примерный вариант осуществления системы отслеживания, анализа и распознавания цели с пользователем, играющим в игру.

[0007] Фиг. 2 иллюстрирует примерный вариант осуществления устройства захвата, которое может использоваться в системе отслеживания, анализа и распознавания цели и способах формирования цепочки и смешивания анимации.

[0008] Фиг. 3 иллюстрирует примерный вариант осуществления вычислительной среды, в которой описанные в настоящем описании способы анимации могут быть воплощены.

[0009] Фиг. 4 иллюстрирует другой примерный вариант осуществления вычислительной среды, в которой описанные в настоящем описании способы анимации могут быть воплощены

[0010] Фиг. 5A иллюстрируют скелетное отображение пользователя, которое генерируется из изображения глубины.

[0011] Фиг. 5B иллюстрирует дополнительные подробности архитектуры устройства распознавания жестов, показанного на Фиг. 2.

[0012] Фиг.6A и 6B изображают примерную систему отслеживания, анализа и распознавания цели и примерные варианты осуществления для отображения аватара пользователя на основании истории вводов от этого пользователя.

[0013] Фиг. 7A изображает двух пользователей, взаимодействующих друг с другом удаленно с помощью соответствующих им систем отслеживания, анализа и распознавания цели. Фиг. 7B изображает первого пользователя, взаимодействующего с аватаром второго пользователя, причем второй пользователь отсутствует на сцене.

[0014] Фиг. 8 изображает примерную блок-схему для способа сбора данных поведения относительно вводов от пользователя.

[0015] Фиг. 9 изображает примерную блок-схему для способа интеллектуального применения анимаций к аватару пользователя.

ПОДРОБНОЕ ОПИСАНИЕ ИЛЛЮСТРАТИВНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0016] В настоящем описании описываются способы для обработки визуального представления пользователя, такого как аватар, который ведет себя в соответствии с пользователем. Например, описываются системы и способы, которые содержат интеллектуально обучаемый аватар для выполнения анимаций посредством изучения тенденций пользователя с помощью вводов от пользователя. Визуальное представление пользователя может быть в форме аватара, курсора на экране, руки или любого другого виртуального объекта, который соответствует пользователю в физическом пространстве. Вычислительная система может моделировать и отображать визуальное представление пользователя, захватывая данные из физического пространства. Например, система может содержать устройство захвата, которое захватывает данные изображения сцены, и монитор, который отображает визуальное представление, которое соответствует пользователю на сцене. Может быть желательно инициализировать и/или настроить визуальное представление на основании физических характеристик пользователя. Например, устройство захвата может идентифицировать физические признаки пользователя и настраивать аватар пользователя на основании идентифицированных признаков, таких как форма глаза, форма носа, одежда, аксессуары.

[0017] Для генерирования модели, представляющей пользователя в физическом пространстве, устройство захвата может захватывать изображение глубины сцены и просматривать цели или объекты на сцене. В одном варианте осуществления устройство захвата может определять, соответствуют ли одна или более целей, или объектов, на сцене человеку-цели, такой как пользователь. Для определения, соответствует ли цель или объект на сцене человеку-цели, каждая из целей может быть изучена и сравнена с образцом модели человеческого тела. Каждая цель или объект, которые соответствуют модели человеческого тела, могут затем быть сканированы для генерирования скелетной модели, ассоциированной с ней. Например, цель, идентифицированная как человек, может быть сканирована для генерирования скелетной модели, ассоциированной с ней. Модель пользователя, такая как скелетная модель или контур, может представлять тип тела пользователя, костную структуру, рост, вес или подобное. Модель может затем быть выдана вычислительной среде для вычисления модели и ссылки на аватар, ассоциированный с моделью.

[0018] Система может отслеживать пользователя и любое передвижение в физическом пространстве и идентифицировать характеристики пользователя, которые могут быть применены к визуальному представлению пользователя. Идентифицированные характеристики могут быть указывающими поведения пользователя. Например, система может идентифицировать физические характеристики пользователя, тенденции, образцы голоса, жесты и т.д. Система может продолжать отслеживать пользователя во времени и применять модификации или обновления к аватару пользователя на основании истории данных отслеживания. Например, устройство захвата может продолжать идентифицировать поведения и особенности, эмоции, образцы речи или подобное, пользователя и применять их к аватару пользователя. Верность воспроизведения визуализированного аватара относительно подобия аватара к аватару, увеличивается с течением времени поскольку система собирает данные истории для этого пользователя.

[0019] Система, способы и компоненты создания аватара и настройки, описанные в настоящем описании, могут быть воплощены в мультимедийной консоли, такой как игровая консоль или в любом другом вычислительном устройстве, в котором желательно отображать визуальное представление цели, включающей в себя посредством примера и без какого-либо намеченного ограничения, спутниковые приемники, телевизионные приставки, аркадные игры, персональные компьютеры (PC), портативные телефоны, персональные цифровые ассистенты (PDA) и другие переносные устройства.

[0020] Фиг.1A и 1B иллюстрируют вариант осуществления примерной конфигурации системы 10 отслеживания, анализа и распознавания цели, которая может использовать способы, отслеживающие историю вводов от пользователя для генерирования аватара, который напоминает пользователя. В примерном варианте осуществления пользователь 18 играет в игру бокс. В примерном варианте осуществления система 10 может распознать, проанализировать и/или отследить человека-цель, такую как пользователь 18. Система 10 может собирать информацию, относящуюся к жестам пользователя в физическом пространстве, так же как физические свойства пользователя и характеристики поведения.

[0021] Как показано на Фиг. 1A, система 10 отслеживания, анализа и распознавания цели может включать в себя вычислительную среду 12. Вычислительная среда 12 может быть компьютером, игровой системой или консолью, или подобным. Согласно примерному варианту осуществления, вычислительная среда 12 может включать в себя компоненты аппаратного обеспечения и/или компоненты программного обеспечения таким образом, что вычислительная среда 12 может использоваться для выполнения приложений, таких как игровые приложения, неигровые приложения или подобные.

[0022] Как показано на Фиг. 1A, система 10 отслеживания, анализа и распознавания цели может дополнительно включать в себя устройство 20 захвата. Устройство 20 захвата может быть, например, камерой, которая может быть использована для визуального контроля одного или более пользователей, таких как пользователь 18, таким образом, что жесты, выполненные одним или более пользователями, могут быть захвачены, проанализированы и отслежены для выполнения одного или более элементов управления, или действий в приложении, как описано более подробно ниже.

[0023] Согласно одному варианту осуществления, система 10 отслеживания, анализа и распознавания цели может быть соединена с аудиовизуальным устройством 16, таким как телевизор, монитор, телевизор с высоким разрешением (HDTV) или подобным, которое может выдавать визуальные представления игры или приложения и/или аудио пользователю, такому как пользователь 18. Например, вычислительная среда 12 может включать в себя видео адаптер, такой как графическая карта, и/или аудио адаптер, такой как звуковая карта, которая может обеспечивать аудиовизуальные сигналы, ассоциированные с игровым приложением, неигровым приложением или подобным. Аудиовизуальное устройство 16 может принимать аудиовизуальные сигналы от вычислительной среды 12 и может затем выводить визуальные представления игры или приложения и/или аудио, ассоциированное с аудиовизуальными сигналами пользователю 18. Согласно одному варианту осуществления аудиовизуальное устройство 16 может быть подсоединено к вычислительной среде 12 с помощью, например, кабеля S-видео, коаксиального кабеля, кабеля HDMI, кабеля DVI, кабеля VGA или подобного.

[0024] Как показано на Фиг. 1, система 10 отслеживания, анализа и распознавания цели может использоваться для распознавания, анализа и/или отслеживания человека-цели, такого как пользователь 18. Движением визуального представления можно управлять сопоставлением движения визуального представления с движением пользователя в физическом пространстве. Движение в физическом пространстве может быть жестом, который соответствует элементу управления в системе или пространстве приложения, таком как виртуальное пространство и/или игровое пространство. Например, пользователь 18 может быть отслежен, используя устройство 20 захвата таким образом, что движения пользователя 18 могут интерпретироваться в качестве средства управления, которое может использоваться для воздействия на приложение, выполняемое вычислительной средой 12. Вычислительная среда может определять, какие элементы управления выполнять в приложении в вычислительной среде, на основании, например, жеста пользователя, распознанного и сопоставленного модели пользователя. Таким образом, пользователь может управлять движением аватара, делая жесты в физическом пространстве.

[0025] Захваченное движение может быть любым движением в физическом пространстве, которое захвачено устройством захвата, таким как камера. Захваченное движение может включать в себя движение цели в физическом пространстве, такой как пользователь или объект. Захваченное движение может включать в себя жест, который преобразуется в управление в операционной системе или приложении. Движение может быть динамичным, таким как движение бега, или движение может быть статическим, таким как пользователь, который находится в позе с небольшим движением или без движения.

[0026] Система 10 может преобразовать ввод в устройство 20 захвата в анимацию, при этом ввод является представляющим движение пользователя, так что анимация возбуждается посредством этого ввода. Таким образом, движения пользователя могут ставиться в соответствие аватару 40 таким образом, что движения пользователя в физическом пространстве выполняются аватаром 40. Движения пользователя могут быть жестами, которые применимы к средству управления в приложении. Как показано на Фиг. 1A и 1B, в примерном варианте осуществления выполнение приложения в вычислительной среде 12 может быть игрой в бокс, в которую может играть пользователь 18.

[0027] Устройство 20 захвата может захватывать данные, представляющие поведения пользователя. Например, устройство захвата может захватывать характеристики, которые являются указывающими поведения пользователя. Такие характеристики могут включать в себя позицию тела пользователя, выражения лица, голосовые команды, образцы речи, жесты или подобное. Вычислительная среда 12 может анализировать захваченные данные и коррелировать поведения пользователя с контекстными обстоятельствами, такими как условия среды пользователя, статус системы или приложения, успех/результат пользователя в приложении, активный или не активный статус пользователя или любое другое обнаруженное обстоятельство. Таким образом, система может изучать тенденции поведения пользователя, например, когда пользователь реагирует на различные ситуации.

[0028] Вычислительная среда 12 может использовать аудиовизуальное устройство 16 для обеспечения визуального представления аватара 40 игрока, которым пользователь 18 может управлять с помощью его или ее движений. Аватар 40 игрока может иметь характеристики пользователя, идентифицированные устройством 20 захвата, или система 10 может использовать свойства известного боксера или изобразить телосложение профессионального боксера для визуального представления, которое соответствует движениям пользователя. Согласно примерному варианту осуществления, вычислительная среда 12 и устройство 20 захвата системы 10 распознавания, анализа и отслеживания цели могут использоваться для распознавания и анализа удара пользователя 18 в физическом пространстве таким образом, что удар может интерпретироваться в качестве элемента (средства) управления в игре аватаром 40 игрока в пространстве игры. Например, как показано на Фиг. 1B, пользователь 18 может нанести удар в физическом пространстве для побуждения аватара 40 игрока нанести удар в пространстве игры. Вычислительная среда 12 может также использовать аудиовизуальное устройство 16 для выдачи визуального представления боксирующего противника 38 пользователю 18.

[0029] Другие движения пользователя 18 могут также интерпретироваться в качестве других элементов управления или действий, таких как элементы управления для подпрыгивания, раскачивания, перемещения, блокировки, атаки или проведения множества ударов различной силы. Кроме того, некоторые движения могут интерпретироваться в качестве элементов управления, которые могут соответствовать действиям, отличным от управления аватаром 40 игрока. Например, игрок может использовать движения для завершения, остановки или сохранения игры, выбора уровня, просмотра лучших результатов, общения с другом и т.д. Дополнительно полный диапазон движений пользователя 18 может быть доступным, использоваться и анализироваться любым подходящим способом для взаимодействия с приложением.

[0030] Множественные пользователи могут взаимодействовать друг с другом из удаленных местоположений. Например, визуальное представление боксирующего противника 38 может быть представлением другого пользователя, такого как второй пользователь в этом физическом пространстве, с пользователем 18 или сетевым пользователем во втором физическом пространстве. Альтернативно, система может визуализировать аватар, ассоциированный с пользователем, присутствует ли пользователь в физическом пространстве или взаимодействует с системой/приложением. Например, аватар первого пользователя может взаимодействовать с аватаром второго пользователя. Первый пользователь может присутствовать в физическом пространстве, управляя жестами и движениями аватара первого пользователя. Однако, второй пользователь, ассоциированный с аватаром второго пользователя, может не присутствовать в физическом пространстве. Используя историю вводов вторым пользователем, система может интеллектуально применять анимации к аватару второго пользователя таким образом, что аватар напоминает поведения, изученные из вводов от второго пользователя. Аватар второго пользователя может напоминать второго пользователя посредством близкого отражения тенденций второго пользователя, привычек и других характеристик, применимых к приложению. Первый пользователь поэтому может взаимодействовать в виртуальном мире с аватаром второго пользователя, который может быть подобным случаю, когда второй пользователь физически присутствует и управляет аватаром второго пользователя.

[0031] В примерных вариантах осуществления человек-цель, такой как пользователь 18, может быть объектом. В таких вариантах осуществления пользователь электронной игры может держать объект таким образом, что движения игрока и объекта могут использоваться для настройки и/или управления параметрами игры. Например, движение игрока, держащего ракетку, может быть отслежено и использовано для управления ракеткой на экране в электронной спортивной игре. В другом примерном варианте осуществления движение игрока, держащего объект, может быть отслежено и использовано для управления оружием на экране в электронной боевой игре. Жесты пользователя или движение могут интерпретироваться как элементы управления, которые могут соответствовать действиям, отличным от управления аватаром 40 игрока. Например, игрок может использовать движения для завершения игры, чтобы сделать паузу или сохранить игру, выбрать уровень, посмотреть таблицу результатов, общаться с другом и т.д. Фактически любой управляемый аспект операционной системы и/или приложения может управляться движениями цели, такой как пользователь 18.

[0032] Согласно другим примерным вариантам осуществления, система 10 отслеживания, анализа и распознавания цели может интерпретировать движения цели для управления аспектами операционной системы и/или приложения, которые находятся вне игрового пространства. Жест пользователя может быть элементом управления, применимым к операционной системе, неигровым аспектам игры или неигровому приложению. Жесты пользователя могут интерпретироваться в качестве манипуляции объектом, такой как управление пользовательским интерфейсом. Например, рассмотрим пользовательский интерфейс, имеющий интерфейс в виде лепестков или интерфейс с закладками, выстроенными вертикально слева направо, когда выбор каждого лепестка или закладки открывают опции для различных элементов управления в приложении или системе. Система может идентифицировать жест рукой пользователя для перемещения закладки, когда рука пользователя в физическом пространстве виртуально накладывается на закладку в пространстве приложения. Жест, включающий в себя паузу, движение захвата и затем движение руки налево, может интерпретироваться как выбор закладки и затем ее перемещение ее в другую сторону для открытия следующей закладки. Точно так же система может изучать поведения пользователя из вводов от пользователя в течение выполнения любого типа приложения. Система может анимировать аватар пользователя для поведения в соответствии с изученными вводами в этом приложении или любом другом приложении.

[0033] Фиг. 2 иллюстрирует примерный вариант осуществления устройства 20 захвата, которое может использоваться для распознания цели, анализа и отслеживания, когда цель может быть пользователем или объектом. Согласно примерному варианту осуществления, устройство 20 захвата может быть сконфигурировано для захвата видео с информацией глубины, включающей в себя изображение глубины, которое может включать в себя значения глубины, с помощью любого подходящего способа, включающего в себя, например, время прохождения, структурированный свет, стерео изображение или подобное. Согласно одному варианту осуществления, устройство 20 захвата может организовывать вычисленную информацию глубины в "уровни Z" или уровни, которые могут быть перпендикулярными Оси Z, проходящей от камеры глубины вдоль ее луча обзора.

[0034] Как показано на Фиг. 2, устройство 20 захвата может включать в себя компонент 22 камеры изображения. Согласно примерному варианту осуществления, компонент 22 камеры изображения может быть камерой глубины, которая может захватывать изображение глубины сцены. Изображение глубины может включать в себя двумерную (2-D) пиксельную область захваченной сцены, где каждый пиксель в 2-D пиксельной области может представлять значение глубины, такое как длина или расстояние в, например, сантиметрах, миллиметрах или подобном, от объекта в захваченной сцене от камеры.

[0035] Как показано на Фиг. 2, согласно примерному варианту осуществления, компонент 22 камеры изображения может включать в себя компонент 24 ИК света, трехмерную (3-D) камеру 26 и камеру 28 RGB, которые могут использоваться для захвата изображения глубины сцены. Например, при анализе времени прохождения, компонент 24 ИК света от устройства 20 захвата может испускать инфракрасный свет на сцену и может затем использовать датчики (не показаны) для обнаружения обратнорассеянного света от поверхности одной или более целей и объектов в сцене, используя, например, 3-D камеры 26 и/или камеры 28 RGB. В некоторых вариантах осуществления, пульсирующий инфракрасный свет может использоваться таким образом, что время между выходящим импульсом света и соответствующим входящим импульсом света может быть измерено и использовано для определения физического расстояния от устройства 20 захвата до конкретного местоположения на целях или объектах на сцене. Дополнительно в других примерных вариантах осуществления, фаза выходящей волны света может быть сравнима с фазой входящей волны света для определения смещения фазы. Смещение фазы может затем использоваться для определения физического расстояния от устройства 20 захвата до конкретного местоположения на целях или объектах.

[0036] Согласно другому примерному варианту осуществления, анализ времени прохождения может быть использован для косвенного определения физического расстояния от устройства 20 захвата до конкретного местоположения на целях или объектах, посредством анализа интенсивности отраженного пучка света в течение периода времени с помощью различных способов, включающих в себя, например, изображение импульса света с помощью затвора.

[0037] В другом примерном варианте осуществления устройство 20 захвата может использовать структурированный свет для захвата информации глубины. При таком анализе шаблонный свет (т.е., свет, отображаемый в качестве известного шаблона, такого как сеточный шаблон или шаблон полосы), может быть спроецирован на сцену с помощью, например, компонента 24 ИК света. После ударения о поверхность одна или более целей или объектов на сцене, шаблон может стать деформированным в ответ. Такая деформация шаблона может быть захвачена, например, 3-D камерой 26 и/или камерой 28 RGB и может затем быть проанализирована для определения физического расстояния от устройства 20 захвата до конкретного местоположения на целях или объектах.

[0038] Согласно другому варианту осуществления, устройство 20 захвата может включать в себя две или больше физически отделенные камеры, которые могут просматривать сцену с различных углов, получать визуальные стерео данные, которые могут быть разрешены для генерирования информации глубины.

[0039] Устройство 20 захвата может дополнительно включать в себя микрофон 30 или множество микрофонов. Микрофон 30 может включать в себя преобразователь или датчик, который может принимать и преобразовывать звук в электрический сигнал. Согласно одному варианту осуществления, микрофон 30 может использоваться для уменьшения обратной связи между устройством захвата 20 и вычислительной средой 12 в системе 10 распознавания, анализа и отслеживания цели. Дополнительно микрофон 30 может использоваться для приема аудио сигналов, которые могут также быть выданы пользователем для управления приложениями, такими как игровые приложения, неигровые приложения или подобными, которые могут быть выполнены вычислительной средой 12.

[0040] В примерном варианте осуществления устройство 20 захвата может дополнительно включать в себя процессор 32, который может быть оперативно подсоединен к компоненту 22 камеры изображения. Процессор 32 может включать в себя стандартизированный процессор, специализированный процессор, микропроцессор или подобный, который может выполнять команды, которые могут включать в себя команды для приема изображения глубины, определения того, может ли подходящая цель быть включена в изображение глубины, преобразования подходящей цели в скелетное представление или модель цели или любую другую подходящую команду.

[0041] Устройство 20 захвата может дополнительно включать в себя компонент 34 памяти, который может хранить команды, которые могут быть выполнены процессором 32, изображения или кадры изображений, захваченные 3-D камерой 26 или камерой 28 RGB или любую другую подходящую информацию, изображения или подобное. Согласно примерному варианту осуществления, компонент 34 памяти может включать в себя оперативно запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), кэш, флэш-память, жесткий диск или любой другой подходящий компонент хранения. Как показано на Фиг. 2, в одном варианте осуществления компонент 34 памяти может быть отдельным компонентом, подсоединенным к компоненту 22 захвата изображения и процессору 32. Согласно другому варианту осуществления компонент 34 памяти может быть объединен с процессором 32 и/или компонентом 22 захвата изображения.

[0042] Как показано на Фиг. 2, устройство 20 захвата может быть подсоединено к вычислительной среде 12 с помощью коммуникационной линии 36 связи. Коммуникационная линия 36 связи может быть проводным соединением, включающим в себя, например, соединения USB, соединения типа Firewire, кабельные соединения Ethernet или подобные, или беспроводным соединением, таким как беспроводным соединением согласно 802.11b, g, a или n. Согласно одному варианту осуществления, вычислительная среда 12 может выдавать сигнал часов на устройство 20 захвата, который может использоваться для определения того, когда захватить, например, сцену с помощью коммуникационной линии 36 связи.

[0043] Дополнительно устройство 20 захвата может выдавать информацию глубины и изображений, захваченных, например, 3-D камерой 26 и/или камерой 28 RGB 28, и скелетную модель, которая может генерироваться устройством 20 захвата для вычислительной среды 12, с помощью коммуникационной линии 36 связи. Вычислительная среда 12 может затем использовать скелетную модель, информацию глубины и захваченные изображения для, например, управления приложением, таким как игровое приложение или процессор обработки текста. Например, как показано, на Фиг. 2, вычислительная среда 12 может включать в себя библиотеку 192 жестов.

[0044] Как показано на Фиг. 2, вычислительная среда 12 может включать в себя библиотеку 192 жестов и механизм 190 распознавания жестов. Механизм 190 распознавания жестов может включать в себя коллекцию фильтров 191 жестов. Каждый фильтр 191 может содержать информацию, определяющую жест из параметров или метаданных, для данного жеста. Например, бросок, который содержит движение одной из рук из-за задней части тела мимо передней части тела, может быть реализован в качестве фильтра 191 жеста, содержащего информацию, представляющую движение одной из рук пользователя из-за задней части тела мимо передней части тела, как это движение было захвачено камерой глубины. Затем для этого жеста могут быть установлены параметры. Когда жест является броском, параметр может быть предельной скоростью, которую рука должна достигнуть, расстоянием, которое рука должна пройти (или абсолютным или относительным размером пользователя в целом), и оценкой достоверности посредством механизма устройства распознавания, что жест произошел. Эти параметры для жеста могут варьироваться между приложениями, между контекстами одного приложения или в пределах одного контекста одного приложения в течение времени.

[0045] Данные, захваченные камерами 26, 28 и устройством 20 в форме скелетной модели и движений, ассоциированных с ней, могут сравниваться с фильтрами 191 жестов в библиотеке 190 жестов для идентификации, когда пользователь (как представлен скелетной моделью) выполнил один или более жестов. Таким образом, вводы в фильтр, такой как фильтр 191, могут содержать данные, такие как данные присоединения о присоединенной позиции пользователя, в качестве углов, сформированных костями, которые пересекаются в суставе, данных цвета RGB из сцены и скорости изменения аспекта пользователя. Как упомянуто, параметры могут быть установлены для жеста. Выводы из фильтра 191 могут содержать параметры, такие как достоверность, что заданный жест выполнен, скорость, с которой выполняется движение жеста, и время, за которое происходит жест.

[0046] Вычислительная среда 12 может включать в себя процессор 195, который может обрабатывать изображение глубины для определения того, какие цели находятся на сцене, такие как пользователь 18 или объект в комнате. Это может быть сделано, например, посредством группирования пикселей изображения глубины, которое совместно использует аналогичное значение расстояния. Изображение также может быть проанализировано для формирования скелетного представления пользователя, когда идентифицируются признаки, такие как суставы и ткани, которые находятся между суставами. Здесь существуют способы скелетного сопоставления для захвата человека камерой глубины, и от этого определяются различные точки на скелете этого пользователя, суставы руки, запястья, локти, колени, нос, лодыжки, плечи и, где таз переходит в позвоночник. Другие способы включают в себя преобразование изображения в представление модели человеческого тела и преобразование изображения в представление сетчатой модели человека.

[0047] В варианте осуществления обработка выполняется непосредственно на устройстве 20 захвата и предварительные данные изображения значений глубины и цвета (когда устройство 20 захвата содержит 3D камеру 26) передаются в вычислительную среду 12 по линии 36 связи. В другом варианте осуществления выполняется обработка процессором 32, подсоединенным к камере 402, и затем проанализированные данные изображения посылаются в вычислительную среду 12. В еще одном варианте осуществления как необработанные данные изображения, так и структурно проанализированные данные изображения посылаются в вычислительную среду 12. Вычислительная среда 12 может принимать структурно проанализированные данные изображения, но она может также принимать необработанные данные для выполнения текущего процесса или приложения. Например, если изображение сцены передается по компьютерной сети другому пользователю, вычислительная среда 12 может передавать необработанные данные для обработки посредством другой вычислительной среды.

[0048] Вычислительная среда 12 может использовать библиотеку 192 жестов для интерпретации перемещения скелетной модели и управления приложением на основании этих перемещений. Вычислительная среда 12 может моделировать и отображать представление пользователя, например, в форме аватара или указателя на дисплее, таком как устройство 193 отображения. Устройство 193 отображения может включать в себя монитор компьютера, телевизионный экран или любое подходящее устройство отображения. Например, управляемая камерой компьютерная система может захватывать пользовательские данные изображения и отображать пользовательскую обратную связь на телевизионном экране, которая соответствует жестам пользователя. Пользовательская обратная связь может быть отображена в качестве аватара на экране, таком, как показан на Фиг. 1. Движение аватара может непосредственно управляться посредством сопоставления перемещения аватара с перемещениями пользователя. Жесты пользователя могут интерпретироваться для управления некоторыми аспектами приложения.

[0049] Согласно примерному варианту осуществления целью может быть человек-цель в любой позиции, такой как положение стоя или положение сидя, человек-цель с объектом, два или более человека-цели, одна или более части одного или более людей-целей или подобным, которые могут сканироваться, отслеживаться, моделироваться и/или оцениваться для генерирования виртуального экрана, сравнения пользователя с одним или более сохраненными профилями и/или сохранения информации 198 профиля о цели в вычислительной среде, такой как вычислительная среда 12. Информация 198 профиля может быть в форме профилей пользователя, персональных профилей, профилей приложения, профилей системы или любого другого подходящего способа для хранения данных для более позднего доступа. Информация 198 профиля может быть доступной с помощью приложения или может быть доступной по всей системе, например. Информация 198 профиля может включать в себя таблицы поиска для загрузки специфичной для пользователя информации профиля. Виртуальный экран может взаимодействовать с приложением, которое может выполняться вычислительной средой 12, описанной выше с ссылкой на Фиг. 1.

[0050] Согласно примерным вариантам осуществления таблицы поиска могут включать в себя специфичную для пользователя информацию профиля. В одном варианте осуществления вычислительная среда, такая как вычислительная среда 12, может включать в себя сохраненные данные 198 профиля об одном или более пользователях в таблицах поиска. Сохраненные данные 198 профиля, помимо всего прочего, могут включать в себя сканированные цели или оцененный размер тела, скелетные модели, модели тела, образцы голоса или пароли, возраст цели, предыдущие жесты, ограничения цели и стандартное использование целью системы, такое как, например, предпочтение сидеть, доминирование левой руки или правой руки или предпочтение стоять очень близко к устройству захвата. Такая информация может быть использована для определения того, имеется ли соответствие между целью на сцене захвата и одним или более профилями 198 пользователя, которые в одном варианте осуществления могут разрешать системе адаптировать виртуальный экран к пользователю или адаптировать другие элементы вычислительного или игрового опыта согласно профилю 198.

[0051] Один или более персональных профилей 198 могут быть сохранены в компьютерной среде 12 и использоваться во многих пользовательских сеансах или один или более персональных профилей могут быть созданы только для единственного сеанса. Пользователи могут иметь опцию установки профиля, где они могут выдавать информацию в систему, такую как сканирование голоса или тела, возраст, персональные предпочтения, доминирование левой руки или правой руки, аватар, имя или подобные. Персональные профили также могут быть предоставлены для "гостей", которые не выдают информацию в систему за пределами вхождения в пространство захвата. Временный персональный профиль может быть установлен для одного или более "гостей". В конце сеанса гостя персональный профиль гостя может быть сохранен или удален.

[0052] Как показано, на Фиг. 2, вычислительная среда 12 может включать в себя библиотеку 196 аватара, которая содержит анимации, выбираемые для применения к аватару пользователя. Пользовательский профиль 198 может включать в себя библиотеку аватара или иначе ассоциированные с библиотекой аватара анимации, конкретные для пользователя. Таблицы поиска могут включать в себя поведения и тенденции пользователя относительно различных контекстных обстоятельств. Профиль может использоваться для применения анимаций к аватару пользователя таким образом, чтобы аватар близко отражал поведения пользователя.

[0053] Анимации в библиотеке аватара могут содержать любую характеристику, которая может быть применена к аватару. Характеристики могут быть указывающими поведение пользователя. Таким образом, анимация, выбранная для применения к поведению пользователя, может быть выбрана для соответствия поведениям пользователя. Анимации могут включать в себя любое одно из или любую комбинацию голоса или образцов речи, словаря, громкостей шума, слов, физических характеристик, движений или подобного. Анимации могут содержать движение, которое может быть динамичным, таким как движение бега, или движение может быть статическим, таким как поза с небольшим или без движения. Библиотека аватара может быть связана с конкретным пользователем или сохранена в пользовательском профиле, например.

[0054] Анимации в библиотеке 193 аватара могут быть библиотекой хранилища анимаций. В примерном варианте осуществления анимации, примененные к аватару, могут быть анимированы анимациями, выбранными из библиотеки предварительно упакованных анимаций, таких как те, которые идут с программой, приложением или системой, например. Анимация, выбранная для применения к аватару пользователя, может быть той, которая соответствуют вводу от пользователя, изученного системой для отражения некоторых поведений. Например, система может идентифицировать, что пользователь имеет тенденцию подпрыгивать и приседать в некотором контексте, например, при достижении успеха в игровом приложении. Таким образом, когда система идентифицирует подобный набор контекстных обстоятельств, таких как подобное состояние игры (например, успех), система может выбирать анимацию, которая отражает подпрыгивание, и применять анимацию к аватару пользователя. Заранее подготовленные анимации могут быть определены для приложения или для системы. Например, анимации подпрыгивания и приседания могут быть применимы к игровому приложению, но анимация открыть/закрыть файл, примененная к аватару, может быть одной и той же самой для всей системы.

[0055] Анимации в библиотеке аватара могут быть анимациями, введенными и записанными системой или пользователем. Система позволяет пользователям переписывать или добавлять к библиотеке хранилища анимаций. Например, система или пользователь могут переписывать анимацию хранилища для отражения фактических движений пользователя или поведений, захваченных устройством захвата например. Таким образом, анимации могут быть добавлены к или переписаны в библиотеке анимаций аватара, таким образом, что анимации применяются к данным, захваченным относительно конкретного пользователя. В примере анимации прыжка и приседания, система может переписывать стандартную или по умолчанию анимацию для прыжка и приседания посредством записи фактического движения пользователя. Таким образом, анимация прыжка и приседания может относиться к аватару пользователя, примененная к фактическим движениям пользователя.

[0056] Система может также сохранять данные, относящиеся к вводу от пользователя, в библиотеке аватара. Библиотека аватара может содержать индикации поведений пользователя и/или обстоятельства, которые соответствуют поведениям. Например, обстоятельства могут быть контекстными обстоятельствами, которые указывают контекст, который коррелирует с поведениями пользователя. Контекстные обстоятельства могут включать в себя любые идентифицируемые признаки сценария, которые могут или не могут коррелироваться с поведением пользователя. Система может отслеживать контекстные обстоятельства относительно поведений пользователя и идентифицировать корреляции между контекстными обстоятельствами и тенденциями в поведениях пользователя.

[0057] Контекстные обстоятельства, например, могут включать в себя условия среды пользователя, включающие в себя физическую или виртуальную среду пользователя, других пользователей, присутствующих в физическом пространстве, состояние игры, результаты в приложении, активный или неактивный статус пользователя или подобное. Условия среды пользователя могут содержать физические признаки сцены, которые захвачены устройством захвата, такие как цвета стен, мебель в комнате, освещение и т.д. Условия среды пользователя могут содержать виртуальные условия среды, такие как анимации на экране (например, виртуальные горы, отображенные в приложении игры лыжного спорта). Состояние приложения может включать в себя любой статус приложения, например, если приложение сделало паузу, количество времени, которое выполнялось приложение, требуемый уровень навыка (например, в игровом приложении) или подобное. Результаты в приложении могут быть, например, если код проходит через блок отладки успешно или игрок в приложении игры достигает успеха или терпит неудачу в игре.

[0058] Библиотека жестов и параметры фильтров могут быть настроены для приложения или контекста приложения посредством инструмента жеста. Система может идентифицировать и хранить контексты приложения и коррелировать их с вводами от пользователя. Используя контекстную информацию, система может коррелировать некоторые поведения пользователя с контекстом. Таким образом система интеллектуально может применять анимации к аватару таким образом, что аватар отвечает на контекстные обстоятельства аналогичным поведением.

[0059] Контекст может иметь идентифицируемые обстоятельства контекста (то есть, контекстные обстоятельства) и может быть культурным контекстом, и он может быть контекстом среды. Культурный контекст относится к культуре пользователя, использующего систему. Различные культуры могут использовать аналогичные жесты для передачи заметно различных значений. Например, американский пользователь, который желает сказать другому пользователю "смотри" или "используй свои глаза", может положить свой указательный палец на свою голову близко к наружной стороне своего глаза. Однако итальянский пользователь может интерпретировать этот жест как отношение к мафии.

[0060] Аналогично могут существовать различные контексты или контекстные обстоятельства среди различных сред одного приложения. Возьмем игру "шутер (стрелялку) от первого лица", которая включает в себя управление автомобилем. В то время как пользователь находится на ногах, сжатие кулака пальцами по направлению к земле и вытягивание кулака вперед и от тела может представлять жест удара кулаком. В то время как пользователь находится в контексте вождения, то же самое движение может представлять жест "переключения скоростей". Относительно модификаций к визуальному представлению различные жесты могут инициировать различные модификации в зависимости от среды. Различный жест инициирования модификации может быть использован для входа в режим модификации, специфичный для приложения, или режим модификации всей системы. Каждый режим модификации может быть упакован с независимым набором жестов, который соответствует введенному режиму модификации, в качестве результата жеста инициирования модификации. Например, в игре "боулинг" раскачивающееся движение руки может быть жестом, идентифицированным как раскачивание шара для боулинга, чтобы кинуть его вниз на виртуальную дорожку. Однако в другом приложении раскачивающееся движение руки может быть жестом, идентифицированным как запрос удлинить руку аватара пользователя, отображенного на экране. Также могут быть одна или более сред меню, когда пользователь может сохранять свою игру, выбирать среди снаряжения своего персонажа или выполнять аналогичные действия, которые не содержат непосредственный ход игры. В этой среде один и тот же жест может иметь третье значение, например выбирать что-нибудь или перехода к другому экрану.

[0061] Библиотеки аватара, включающие в себя библиотеку аватара, которая соответствует конкретному пользователю, или библиотеку аватара, которая предварительно упакована с приложением, могут быть доступны для приложения в приложениях или по всей системе. Например, система может идентифицировать поведения пользователя по всем различным приложениям. Система может собирать все данные, относящиеся к поведениям пользователя, по всем приложениям и сохранять их в универсально приемлемой библиотеке аватара. Система может затем получать доступ к библиотеке аватара и применять анимации из библиотеки аватара к аватару при любом обстоятельстве.

[0062] Жест может быть распознан в качестве запроса об изменении анимаций в библиотеке аватара. Множество жестов могут каждый представлять запрос для изменения конкретной анимации. Система может побуждать пользователя выполнять желаемое движение для конкретной анимации. Таким образом, пользователь может активно изменять библиотеку аватара, которая может быть ассоциирована с пользователем, делая жест в физическом пространстве, который распознается в качестве жеста модификации. Например, как описано выше, движение пользователя может быть сравнено с фильтром жеста, таким как фильтр 191 жестов на Фиг. 2. Фильтр 191 жестов может содержать информацию для модификации жеста из жестов 196 модификаций в библиотеке 192 жестов.

[0063] Жесты могут группироваться в пакеты жанра дополнительных жестов, которые, вероятно, должны быть использованы приложением в этом жанре. Дополнительными жестами являются - или дополнительные, как те, которые обычно используются вместе, или дополнительные как те, что при изменении одного параметра, изменяется параметр другого - могут группироваться в пакеты жанра. Эти пакеты могут быть выданы приложению, которое может выбирать по меньшей мере один. Приложение может настраивать или модифицировать параметр жеста или фильтр 191 жестов для лучшего соответствия уникальным аспектам этого приложения. Когда настраивается этот параметр, второй, дополнительный, параметр (во взаимозависимом смысле) или жеста, или второго жеста также настраивается таким образом, чтобы параметры оставались дополнительными. Пакеты жанра для видеоигр могут включать в себя жанры, такие как "шутер от первого лица", "экшен", вождение транспортного средства и спортивные игры.

[0064] Библиотека 192 жестов, механизм 190 распознавания жестов, библиотека 196 аватара и профиль 198 могут быть реализованы в аппаратном обеспечении, программном обеспечении или их комбинации. Например, библиотека 192 жестов и механизм 190 распознавания жестов могут быть реализованы в качестве программного обеспечения, которое выполняется на процессоре, таком как процессор 195 вычислительной среды 12 (или в блоке 101 обработки на Фиг. 3 или блоке 259 обработки на Фиг. 4).

[0065] Подчеркивается, что блок-схема, изображенная на Фиг. 2 и Фиг. 3-4, описанных ниже, является примерной и не предназначается, чтобы подразумевать конкретную реализацию. Таким образом, процессор 195 или 32 на Фиг. 1, блок 101 обработки на Фиг. 3 и блок 259 обработки на Фиг. 4 могут быть реализованы в качестве единственного процессора или множественных процессоров. Множественные процессоры могут быть распределенными или центрально расположены. Например, библиотека 192 жестов может быть реализована в качестве программного обеспечения, которое работает на процессоре 32 устройства захвата или может быть реализована в качестве программного обеспечения, которое работает на процессоре 195 в вычислительной среде 12. Любая комбинация процессоров, которая является подходящей для выполнения способов, раскрытых в настоящем описании, рассматривается. Множественные процессоры могут связываться беспроводным образом с помощью жесткого провода или их комбинации.

[0066] Кроме того, используемая в настоящем описании вычислительная среда 12 может относиться к единственному вычислительному устройству или вычислительной системе. Вычислительная среда может включать в себя невычислительные компоненты. Вычислительная среда может включать в себя устройство отображения, такое как устройство 193 отображения, показанное на Фиг. 2. Устройство отображения может быть отдельным объектом, но подсоединенным к вычислительной среде, или устройство отображения может быть вычислительным устройством, которое обрабатывает и отображает, например. Таким образом, вычислительная система, вычислительное устройство, вычислительная среда, компьютер, процессор или другой вычислительный компонент могут быть использованы взаимозаменяемо.

[0067] Фиг. 3 иллюстрирует примерный вариант осуществления вычислительной среды, которая может быть использована для интерпретации одного или более жестов в системе отслеживания, анализа и распознавания цели. Вычислительная среда, такая как вычислительная среда 12, описанная выше с ссылкой на Фиг. 1A-2, может быть мультимедийной консолью 100, такой как игровая консоль. Как показано на Фиг. 3, мультимедийная консоль 100 имеет центральный процессор (CPU) 101, имеющий кэш 102 1 уровня, кэш 104 2 уровня и флэш ROM (постоянное запоминающее устройство) 106. Кэш 102 1 уровня и кэш 104 2 уровня временно хранят данные и, следовательно, сокращают количество циклов доступа памяти, таким образом, повышая скорость обработки и производительность. CPU 101 может иметь более чем одно ядро, и таким образом, дополнительные кэши 102 и 104 1 уровня и 2 уровня. Флэш ROM 106 может хранить выполняемый код, который загружается во время начальной фазы процесса загрузки, когда мультимедийная консоль 100 включается.

[0068] Блок 108 обработки графических данных (GPU) и видео кодер/видео кодек (кодер/декодер) 114 формируют конвейер обработки видео для обработки графики с высокой скоростью и с высоким разрешением. Данные переносятся от блока 108 обработки графики на видео кодер/видео кодек 114 по шине. Конвейер обработки видео выводит данные в порт 140 A/V (аудио/видео) для передачи на телевизор или другой дисплей. Контроллер 110 памяти подсоединяется к GPU 108 для облегчения доступа процессору к различным типам памяти 112, такой как, но не ограниченной ей, RAM (оперативное запоминающее устройство).

[0069] Мультимедийная консоль 100 включает в себя контроллер 120 I/O, контроллер 122 управления системой, блок 123 аудио обработки, контроллер 124 интерфейса сети, первый хост-контроллер 126 USB, второй контроллер 128 USB и подсистему 130 I/O передней панели, которые предпочтительно реализуются в модуле 118. Контроллеры 126 и 128 USB служат в качестве хостов для периферийных контроллеров 142 (1)-142 (2), беспроводного адаптера 148 и устройства 146 внешней памяти (например, флэш-память, внешний дисковод ROM CD/DVD, сменные носители и т.д.). Интерфейс 124 сети и/или адаптер 148 беспроводной сети обеспечивают доступ к сети (например, Интернету, домашней сети и т.д.) и могут быть любым широким разнообразием различных проводных или беспроводных компонентов адаптера, включающих в себя карту Ethernet, модем, модуль Bluetooth, кабельный модем и т.п.

[0070] Память 143 системы предоставляется для хранения данных приложения, которые загружаются во время процесса загрузки. Медиа накопитель144 предоставляется и может содержать дисковод DVD/CD, накопитель на жестких дисках или другой сменный медиа накопитель и т.д. Медиа накопитель144 может быть внутренним или внешним по отношению к мультимедийной консоли 100. Данные приложения могут быть доступны через медиа накопитель 144 для выполнения, воспроизведения и т.д. мультимедийной консолью 100. Медиа накопитель 144 подсоединяется к контроллеру 120 I/O с помощью шины, такой как последовательная шина ATA или другое высокоскоростное соединение (например, IEEE 1394).

[0071] Контроллер 122 управления системой предоставляет множество функций обслуживания, относящихся к предоставлению доступности мультимедийной консоли 100. Блок 123 обработки аудио и аудио кодек 132 формируют соответствующий конвейер обработки аудио с высоким качеством и стерео обработку. Аудио данные переносятся между блоком 123 аудио обработки и аудио кодеком 132 с помощью коммуникационной линии связи. Конвейер аудио обработки выводит данные в порт 140 A/V для воспроизведения посредством внешнего аудио плейера или устройства, имеющего возможности аудио.

[0072] Подсистема 130 I/O передней панели поддерживает функциональные возможности кнопки 150 питания и кнопки 152 выгрузки, а также любых светодиодных LED индикаторов (светоизлучающих диодов) или других индикаторов, расположенных на внешней поверхности мультимедийной консоли 100. Модуль 136 электропитания системы выдает энергию компонентам мультимедийной консоли 100. Вентилятор 138 охлаждает схему в мультимедийной консоли 100.

[0073] CPU 101, GPU 108, контроллер 110 памяти и различные другие компоненты в мультимедийной консоли 100 соединяются с помощью одной или более шин, включающих в себя последовательные и параллельные шины, шину памяти, периферийную шину и процессор или локальную шину, использующую любое множество шинных архитектур. Посредством примера такие архитектуры могут включать в себя шину межсоединения периферийных компонентов (PCI), шину PCI-Express и т.д.

[0074] Когда мультимедийная консоль 100 включается, данные приложения могут быть загружены из памяти 143 системы в память 112 и/или в кэши 102, 104 и выполняться на центральном процессоре 101. Приложение может представить графический пользовательский интерфейс, который обеспечивает последовательный пользовательский опыт при осуществлении навигации к различным видам медиа-данных, доступных на мультимедийной консоли 100. Во время работы приложения и/или другие медиа-данные, содержащиеся на медиа накопителе 144, могут быть запущены или воспроизведены из медиа накопителя 144 для предоставления дополнительных функциональных возможностей мультимедийной консоли 100.

[0075] Мультимедийная консоль 100 может управляться как автономная система посредством простого соединения системы с телевизором или другим дисплеем. В этом автономном режиме мультимедийная консоль 100 разрешает одному или более пользователям взаимодействовать с системой, смотреть кино или слушать музыку. Однако с интеграцией возможности широкополосного соединения, доступногоо с помощью интерфейса 124 сети или беспроводного адаптера 148, мультимедийная консоль 100 может дополнительно включаться в качестве участника большего сетевого сообщества.

[0076] Когда мультимедийная консоль 100 включается, установленное количество ресурсов аппаратного обеспечения сохраняется для использования системой посредством операционной системы мультимедийной консоли. Эти ресурсы могут включать в себя резервирование памяти (например, 16 МБ), циклы CPU и GPU (например, 5%), полосу пропускания вычислительной сети (например, 8 КБ) и т.д. Так как эти ресурсы резервируются во время загрузки системы, с точки зрения приложения не существует зарезервированных ресурсов.

[0077] В частности, резервирование памяти предпочтительно является достаточно большим, чтобы содержать ядро запуска, параллельные системные приложения и драйверы. Резервирование CPU является предпочтительно постоянным таким образом, чтобы, если сохраненное использование CPU не используется приложениями системы, ожидающий поток потреблял бы любые неиспользованные циклы.

[0078] Относительно резервирования GPU, легковесные сообщения, генерируемые системными приложениями (например, всплывающие окна), отображаются посредством использования прерывания GPU для планирования кода для обработки всплывающего окна в оверлее. Количество памяти, требуемой для оверлея, зависит от размера области оверлея, и оверлей предпочтительно масштабируется в соответствии с разрешением экрана. Когда полный пользовательский интерфейс используется параллельным системным приложением, предпочтительно использовать разрешение, независимое от разрешения приложения. Устройство масштабирования может быть использовано для установления этого разрешения таким образом, чтобы устранить необходимость изменять частоту и вызывать повторную синхронизацию TV.

[0079] После того как мультимедийая консоль 100 загрузилась и ресурсы системы зарезервировались, параллельные системные приложения выполняются для предоставления функциональных возможностей системы. Функциональные возможности системы формируются в наборе системных приложений, которые выполняются в зарезервированных ресурсах системы, описанных выше. Ядро операционной системы идентифицирует потоки, которые являются потоками системных приложений или потоками игрового приложения. Системные приложения предпочтительно запланированы для запуска на CPU 101 в заранее определенное время и интервалы для обеспечения последовательного просмотра ресурсов системы приложению. Планирование должно минимизировать разрушение кэша для игрового приложения, работающего на консоли.

[0080] Когда параллельное системное приложение требует аудио, обработка аудио планируется асинхронно для этого игрового приложения из-за чувствительности по времени. Администратор приложений мультимедийной консоли (описанный ниже) управляет уровнем аудио игрового приложения (например, заглушение, уменьшение звука), когда системные приложения являются активными.

[0081] Устройства ввода (например, контроллеры 142(1) и 142(2)) совместно используются игровыми приложениями и системными приложениями. Устройства ввода не резервируют ресурсы, но должны переключаться между системными приложениями и игровыми приложением таким образом, чтобы каждое приложение имело фокус устройства. Администратор приложений предпочтительно управляет переключением потока ввода, не зная о знании игрового приложения, и драйвер поддерживает информацию состояния относительно переключений фокуса. Камеры 26, 28 и устройство 20 захвата могут определять дополнительные устройства ввода для консоли 100.

[0082] Фиг. 4 иллюстрирует другой примерный вариант осуществления вычислительной среды 220, которая может быть вычислительной средой 12, показанной на Фиг 1A-2, используемых для интерпретации одного или более жестов в системе отслеживания, анализа и распознавания цели. Вычислительная среда 220 системы является только одним примером подходящей вычислительной среды и не предназначается для определения какого-либо ограничения относительно области использования или функциональных возможностей в описываемой в настоящий момент сущности изобретения. Вычислительная среда 220 не должна интерпретироваться в качестве имеющей какую-либо зависимость или требования, относящиеся к любому одному или комбинации компонентов, иллюстрированных в примерной операционной среде 220. В некоторых вариантах осуществления различные изображенные вычислительные элементы могут включать в себя схему, сконфигурированную для иллюстрирования конкретных аспектов настоящего описания. Например, используемый в описании термин "схема" может включать в себя специализированные компоненты аппаратного обеспечения, сконфигурированные для выполнения функции(й) посредством программно-аппаратного обеспечения или переключений. В других примерных вариантах осуществления термин "схема" может включать в себя блок обработки специального назначения, память и т.д., сконфигурированные командами программного обеспечения, которые реализуют логику, работающую для выполнения функции(й). В примерных вариантах осуществления, когда схема включает в себя комбинацию аппаратного обеспечения и программного обеспечения, конструктор может написать исходный код, реализующий логику, и этот исходный код может компилироваться в считываемый машиной код, который может быть обработан блоком обработки общего назначения. Так как специалист в данной области техники легко оценит, что состояние области техники развилось до точки, когда существует небольшая разница между аппаратным обеспечением, программным обеспечением или комбинацией аппаратного обеспечения/программного обеспечения, выбор аппаратного обеспечения или программного обеспечения для реализации конкретных функций является выбором конструкции, оставленным конструктору. Более конкретно, специалист в данной техники оценит, что обработка программного обеспечения может быть преобразована в эквивалентную структуру аппаратного обеспечения, и структура аппаратного обеспечения может быть самостоятельно преобразована в эквивалентную обработку программного обеспечения. Таким образом, выбор реализации аппаратным обеспечением или реализации программным обеспечением является одним из выбора конструкции и оставлена конструктору.

[0083] На Фиг. 4 вычислительная среда 220 содержит компьютер 241, который обычно включает в себя множество считываемых компьютером носителей. Считываемые компьютером носители могут быть любыми доступными носителями, которые могут быть доступны посредством компьютера 241, и они включают в себя как энергозависимые, так и энергонезависимые носители, сменные и несменные носители. Память 222 системы включает в себя компьютерные запоминающие носители в форме энергозависимой и/или энергонезависимой памяти, такие как постоянное запоминающее устройство (ROM) 223 и оперативное запоминающее устройство (RAM) 260. Базовая система 224 ввода/вывода (BIOS), содержащая базовые операции, которые помогают передавать информацию между элементами в компьютере 241, например, во время запуска, обычно хранится в ROM 223. RAM 260 обычно содержит данные и/или программные модули, которые являются немедленно доступными и/или в настоящее время управляются посредством блока 259 обработки. Посредством примера, а не ограничения, Фиг. 4 иллюстрирует операционную систему 225, прикладные программы 226, другие программные модули 227 и программные данные 228.

[0084] Компьютер 241 может также включать в себя другие сменные/несменные, энергозависимые/энергонезависимые компьютерные запоминающие носители. Только посредством примера Фиг. 4 иллюстрирует накопитель 238 на жестких дисках который считывает с или записывает на несменные, энергонезависимые магнитные носители, накопитель 239 на магнитных дисках, который считывает с или записывает на сменный, энергонезависимый магнитный диск 254, и накопитель 240 на оптических дисках, который считывает с или записывает на сменный, энергонезависимый оптический диск 253, такой как CD-ROM или другие оптические носители. Другие сменные/несменные, энергозависимые/энергонезависимые компьютерные запоминающие носители, которые могут быть использованы в примерной операционной среде, включают в себя, но не ограничиваются, кассеты на магнитной ленте, карты флэш-памяти, универсальные цифровые диски, цифровую видео ленту, твердотельное RAM, твердотельное ROM и т.п. Накопитель 238 на жестких дисках обычно подсоединен к шине 221 системы с помощью интерфейса несменной памяти, такого как интерфейс 234, и накопитель 239 на магнитных дисках и накопитель 240 на оптических дисках обычно подсоединены к шине 221 системы с помощью интерфейса сменной памяти, такого как интерфейс 235.

[0085] Накопители и их ассоциированные компьютерные запоминающие носители, описанные выше и иллюстрированные на Фиг. 4, предоставляют сохранение считываемых компьютером команд, структур данных, программных модулей и других данных для компьютера 241. На Фиг. 4, например, накопитель 238 на жестких дисках иллюстрируется в качестве сохраняющий операционную систему 258, прикладные программы 257, другие программные модули 256 и программные данные 255. Отмечается, что эти компоненты могут быть или одними и теми же, или отличаться от операционной системы 225, прикладных программ 226, других программных модулей 227 и программных данных 228. Операционной системе 258, прикладным программам 257, другим программным модулям 256 и программным данным 255 в настоящем описании задаются различные позиции для иллюстрации того, что, как минимум, они являются различными копиями. Пользователь может вводить команды и информацию в компьютер 241 с помощью устройства ввода, такого как клавиатура 251 и указывающее устройство 252, обычно называемое мышью, трэкболом или экраном касания. Другие устройства ввода (не показаны) могут включать в себя микрофон, джойстик, геймпад, спутниковую антенну, сканер или подобное. Эти и другие устройства ввода часто соединяются с блоком 259 обработки с помощью интерфейса 236 пользовательских устройств ввода, который подсоединяется к шине системы, но могут быть соединены с другими структурами интерфейса и шины, такими как параллельный порт, игровой порт или универсальная последовательная шина (USB). Камеры 26, 28 и устройство 20 захвата могут определять дополнительные устройства ввода для консоли 100. Монитор 242 или другой тип устройства отображения также соединяется с шиной 221 системы с помощью интерфейса, такого как интерфейс 232 видео. В дополнение к монитору компьютеры могут также включать в себя другие периферийные устройства вывода, такие как динамики 244 и принтер 243, который может быть подсоединен с помощью интерфейса 233 периферийных устройств вывода.

[0086] Компьютер 241 может работать в сетевой среде, используя логические соединения с одним или более удаленными компьютерами, такими как удаленный компьютер 246. Удаленный компьютер 246 может быть персональным компьютером, сервером, маршрутизатором, сетевым PC, одноранговым устройством или другим общим узлом сети, и обычно включает в себя многие или все элементы, описанные выше относительно компьютера 241, хотя только запоминающее устройство 247 было иллюстрировано на Фиг. 4. Логические соединения, изображенные на Фиг. 2, включают в себя локальную сеть (LAN) 245 и глобальную сеть (WAN) 249, но могут также включать в себя другие сети. Такие сетевые среды широко распространены в офисах, компьютерных сетях всего предприятия, интранете и Интернете.

[0087] При использовании в сетевой среде LAN, компьютер 241 соединяется с LAN 245 с помощью сетевого интерфейса или адаптера 237. При использовании в сетевой среде WAN, компьютер 241 обычно включает в себя модем 250 или другое средство для установки связи по WAN 249, такой как Интернет. Модем 250, который может быть внутренним или внешним, может быть соединен с системной шиной 221 с помощью интерфейса 236 пользовательских устройств ввода или другого соответствующего механизма. В сетевой среде программные модули, изображенные относительно компьютера 241 или его части, могут быть сохранены на удаленном запоминающем устройстве. Посредством примера, а не ограничения, Фиг. 4 иллюстрирует удаленные прикладные программы 248, которые постоянно находятся на запоминающем устройстве 247. Следует оценить, что показанные сетевые соединения являются примерными, и могут быть использованы другие средства для установки линии связи между компьютерами.

[0088] Считываемый компьютером запоминающий носитель может содержать считываемые компьютером команды для изменения визуального представления. Команды могут содержать команды для обработки визуального представления, приема данных сцены, когда данные включают в себя данные, представляющие жест изменения пользователя в физическом пространстве, и изменения визуального представления на основании жеста изменения пользователя, когда жест изменения является жестом, который сопоставляется с элементом управления для изменения характеристик визуального представления.

[0089] Фиг. 5A изображают примерное скелетное сопоставление пользователя, которое может генерироваться из данных изображения, захваченных устройством 20 захвата. В этом варианте осуществления идентифицируется множество суставов и костей: каждая рука 502, каждое предплечье 504, каждый локоть 506, каждый бицепс 508, каждое плечо 510, таз 512, каждое бедро 514, каждое колено 516, каждая нога 518, каждая стопа 520, голова 522, туловище 524, верх 526 и низ 528 позвоночника и талия 530. В случае, когда отслеживается больше точек, могут быть идентифицированы дополнительные признаки, такие как кости и суставы пальцев рук или пальцев ног или индивидуальные признаки лица, такие как нос и глаза.

[0090] Посредством перемещения своего тела пользователь может выполнять жесты. Жест содержит движение или позу пользователя, которые может быть захвачены в качестве данных изображения и структурно проанализированы для отыскания значения. Жест может быть динамичным, содержащим движение, такое как имитация броска шара. Жест может быть статической позой, такой как фиксация скрещенных рук 504 перед своим туловищем 524. Жест может также включать предметы, например, посредством имитации взмаха меча. Жест может содержать больше чем одну часть тела, например, хлопанье в ладоши 502, или едва заметное движение, такое как сжимание губ.

[0091] Жесты пользователя могут быть использованы для ввода в общем вычислительном контексте. Например, различные движения рук 502 или других частей тела могут соответствовать общим задачам всей системы, таким как, осуществление навигации вверх или вниз в иерархическом списке, открытие файла, закрытие файла и сохранение файла. Например, пользователь может держать свою руку с пальцами, указывающими вверх, и ладонью, обращенной к устройству 20 захвата. Затем он может приблизить свои пальцы к ладони, чтобы сжать кулак, и это может быть жестом, который указывает, что должно быть закрыто сфокусированное окно в вычислительное среде пользовательского интерфейса, основанного на окнах. Жесты также могут быть использованы в контексте, специфичном для видеоигры, в зависимости от этой игры. Например, в игре "вождение", различные движения рук 502 и стоп 520 могут соответствовать направлению транспортного средства в некотором направлении, переключению передачи, ускорению и торможению. Таким образом, жест может указывать широкое разнообразие движений, которые сопоставляются с отображенным представлением пользователя и в широком разнообразии приложений, таких как видеоигры, текстовые редакторы, обработка текста, обработка данных и т.д.

[0092] Пользователь может генерировать жест, который соответствует ходьбе или бегу посредством ходьбы или бега на месте в физическом пространстве. Например, пользователь может поочередно поднимать и опускать каждую ногу 512-520, чтобы имитировать ходьбу без перемещения. Система может анализировать этот жест посредством анализа таза 512 и каждого бедра 514. Шаг может быть распознан, когда один угол таз - бедро (как измерено относительно вертикальной линии, когда неподвижная нога имеет угол таз - бедро 0°, и прямая горизонтально вытянутая нога имеет угол таз - бедро 90°) превышает некоторый предел относительно другого бедра. Ходьба или бег могут быть распознаны после некоторого количества последовательных шагов посредством чередования ног. Время между двумя последними шагами может быть рассмотрено как период. После некоторого количества периодов, в которых не удовлетворяется этот предельный угол, система может определять, что жест ходьбы или бега прекратился.

[0093] Принимая во внимание жест "ходьбы или бега", приложение может устанавливать значения для параметров, ассоциированных с этим жестом. Эти параметры могут включать в себя вышеупомянутый предельный угол, количество требуемых шагов, чтобы инициировать жест ходьбы или бега, набор периодов, когда не имеет место шаг, чтобы закончить жест, и предельный период, который определяет, является ли жест ходьбой или бегом. Быстрый период может соответствовать бегу, поскольку пользователь будет двигать своими ногами быстро, и более медленный период может соответствовать ходьбе.

[0094] Жест может быть ассоциирован с набором установленных сначала параметров по умолчанию, которые приложение может заменять своими собственными параметрами. В этом сценарии приложению не нужно предоставлять параметры, но вместо этого оно может использовать набор установленных по умолчанию параметров, которые позволяют распознавать жест в отсутствии определенных приложением параметров. Информация, относящаяся к жесту, может храниться в целях предварительно заготовленной анимации.

[0095] Существует множество выводов, которые могут быть ассоциированы с жестом. Могут быть базовые показатели "да или нет" относительно того, имеет ли место жест. Также может быть уровень достоверности, который соответствует вероятности, что отслеженное перемещение пользователя соответствует жесту. Это может быть линейным масштабом, который варьируется в соответствии с числами с плавающей запятой между 0 и 1, включительно. Там, где приложение, принимающее эту информацию жеста, не может принять ложные распознавания в качестве ввода, оно может использовать только те распознанные жесты, которые имеют высокий уровень достоверности, такой по крайней мере 0,95. В случае когда приложение должно распознать каждый случай жеста, даже за счет ложных распознаваний, оно может использовать жесты, которые имеют по меньшей мере намного более низкий уровень достоверности, такой как, который просто больше чем 0,2. Жест может иметь вывод в течение времени между двумя самыми последними шагами, и когда был зарегистрирован только первый шаг, он может быть установлен в зарезервированное значение, такое как -1 (так как время между любыми двумя шагами должно быть положительным). Жест может также иметь вывод для самого высокого угла бедра, достигнутого во время самого последнего шага.

[0096] Другим примерным жестом является "прыжок с подъемом пяток". Здесь пользователь может создавать жест посредством подъема своих пяток от земли, но оставляя свои пальцы ног расположенными на земле. Альтернативно, пользователь может прыгнуть в воздух, когда его ноги 520 полностью отрываются от земли. Система может структурно проанализировать скелет для этого жеста посредством анализа отношения угла плеч 510, таза 512 и коленей 516, чтобы увидеть, находятся ли они в позиции выравнивания, равного положению прямо. Затем эти точки, и верхние 526 и нижние 528 точки позвоночника могут контролироваться для любого ускорения вверх. Достаточная комбинация ускорения может инициировать жест прыжка. Достаточная комбинация ускорения с конкретным жестом может удовлетворять параметрам точки перехода.

[0097] Учитывая этот жест "прыжка с подъемом пяток", приложение может установить значения для параметров, ассоциированных с этим жестом. Параметры могут включать в себя вышеупомянутый предел ускорения, который определяет как быстро некоторая комбинация плеч 510, таза 512 и коленей 516 пользователя должна перемещаться вверх, чтобы инициировать этот жест, а также максимальный угол выравнивания между плечами 510, тазом 512 и коленями 516, в котором все еще может быть инициирован прыжок. Выводы могут содержать уровень достоверности, а также угол тела пользователя во время прыжка.

[0098] Установка параметров для жеста на основании подробных сведений приложения, которое примет жест, являются важными при точной идентификации жестов. Должным образом идентифицировавшие жесты и намерение пользователя очень помогают при создании положительного опыта пользователя.

[0099] Приложение может устанавливать значения для параметров, ассоциированных с различными точками перехода для идентификации точек для использования предварительно заготовленной анимации. Точки перехода могут быть определены различными параметрами, такими как идентификация конкретного жеста, скорость, угол цели или объекта, или любой их комбинации. Если точка перехода определяется, по меньшей мере частично, посредством идентификации конкретного жеста, то надлежащая идентификация жестов способствует увеличению уровня достоверности, что были удовлетворены параметры точки перехода.

[0100] Другой параметр для жеста может быть расстоянием перемещения. В случае, когда жесты пользователя управляют действиями аватара в виртуальной среде, этот аватар может быть длиной руки от шара. Если пользователь желает взаимодействовать с шаром и схватил его, может потребоваться, чтобы пользователь вытянул свою руку 502-510 в полную длину, выполняя жест захвата. В этой ситуации аналогичный жест захвата, когда пользователь только частично вытягивает свою руку 502-510, может не достигнуть результата взаимодействия с шаром. Аналогично, параметр точки перехода может быть идентификацией жеста захвата, когда, если пользователь только частично вытягивает свою руку 502-510, таким образом, не достигая результата взаимодействия с шаром, жест пользователя также не будет удовлетворять параметрам точки перехода.

[0101] Жест или его часть могут иметь такой параметр, как объем пространства, в котором он должен происходить. Этот объем пространства может обычно выражаться относительно тела, когда жест содержит перемещение тела. Например, жест броска футбольного мяча для пользователя-правши может быть распознан только в объеме пространства не ниже, чем правое плечо 510a, и на одной и той же стороне головы 522, что и рука 502a-310a броска. Может быть необязательно определять все границы объема, такие как при этом жесте броска, когда внешняя граница от тела остается неопределенной, и объем простирается неопределенно или к краю сцены, который контролируется.

[0102] Фиг. 5B предоставляет дополнительные подробности примерного варианта осуществления механизма 192 блока распознавания жеста на Фиг. 2. Как показано, механизм 190 блока распознавания жеста может содержать по меньшей мере один фильтр 519 для определения жеста или жестов. Фильтр 519 содержит информацию, определяющую жест 526 (в дальнейшем называемую "жестом"), и может содержать по меньшей мере один параметр 528 или метаданные для этого жеста 526. Например, бросок, который содержит движение одной из рук из-за задней части тела мимо передней части тела, может быть реализован в качестве жеста 526, содержащего информацию, представляющую перемещение одной из рук пользователя из-за задней части тела мимо передней части тела, как это перемещение будет захвачено камерой глубины. Затем для этого жеста 526 могут быть установлены параметры 528. В случае когда жест 526 является броском, параметр 528 может быть предельной скоростью, которой рука должна достигнуть, расстоянием, которое рука должна пройти (или абсолютным или относительным размером пользователя в целом), и оценкой достоверности посредством механизма 192 блока распознавания, что жест 526 произведен. Эти параметры 528 для жеста 526 могут варьироваться между приложениями, между контекстами одного приложения или в пределах одного контекста одного приложения в течение времени.

[0103] Фильтры могут быть модульными или взаимозаменяемыми. В варианте осуществления фильтр имеет набор вводов, причем каждый из этих вводов имеет тип, и набор выводов, причем каждый из этих выводов имеет тип. В этой ситуации первый фильтр может быть заменен вторым фильтром, который имеет то же количество и типы вводов и выводов, что и первый фильтр, не изменяя никакой другой аспект архитектуры механизма 190 блока распознавания. Например, может быть первый фильтр для вождения, который принимает в качестве ввода скелетные данные и выводит достоверность, что жест 526, ассоциированный с фильтром, произошел, и угол отрегулирован. В случае когда пользователь желает заменить этот первый фильтр вождения вторым фильтром вождения - возможно, так как второй фильтр вождения является более эффективным и требует меньшего количества ресурсов обработки - пользователь может это сделать посредством простой замены первого фильтра вторым фильтром до тех пор, пока второй фильтр имеет те же вводы и выводы - один ввод типа скелетных данных, и два вывода типа достоверности и типа угла.

[0104] Фильтр не обязательно должен иметь параметр 528. Например, фильтр "рост пользователя", который выводит рост пользователя, может не учитывать параметры, которые могут быть настроены. Альтернативный фильтр "роста пользователя" может иметь настраиваемые параметры, такие как учитывать ли обувь пользователя, прическу, головной убор и позицию при определении роста пользователя.

[0105] Вводы в фильтр могут содержать данные, такие как данные сустава о позиции сустава пользователя, как углы, сформированные костями, которые имеют место в суставе, данные цвета RGB со сцены, и скорость изменения аспекта пользователя. Выводы из фильтра могут содержать параметры, такие как достоверность того, что выполняется заданный жест, скорость, с которой выполняется движение жеста, и время, за которое выполняется движение жеста.

[0106] Контекст может быть культурным контекстом, и он может быть контекстом среды. Культурный контекст относится к культуре пользователя, использующего систему. Различные культуры могут использовать аналогичные жесты для передачи заметно различных значений. Например, американский пользователь, который желает сказать другому пользователю "смотри" или "используй свои глаза", может положить свой указательный палец на свою голову близко к наружной стороне своего глаза. Однако итальянский пользователь может интерпретировать этот жест как отношение к мафии.

[0107] Аналогично могут быть различные контексты среди различных сред одного приложения. Возьмем "шутер от первого лица", который включает в себя управление автомобилем. В то время как пользователь находится на ногах, сжатие кулака пальцами по направлению к земле и вытягивание кулака вперед и от тела может представлять жест удара кулаком. В то время как пользователь находится в контексте вождения, одно и то же движение может представлять жест "переключения скоростей". Также может быть одна или более сред меню, когда пользователь может сохранить свою игру, делать выбор среди снаряжения своего персонажа или выполнять аналогичные действия, которые не содержат непосредственный ход игры. В этой среде один и тот же жест может иметь третье значение, например, выбирать что-нибудь или переходить к другому экрану.

[0108] Механизм 190 блока распознавания жеста может иметь базовый механизм 517 блока распознавания, который предоставляет функциональные возможности фильтру 519 жеста. В варианте осуществления функциональные возможности, которые реализует механизм 517 блока распознавания, включает в себя вводимый в течение времени архив, который отслеживает распознанные жесты и другой ввод, реализацию скрытой марковской модели (когда смоделированная система, как предполагается, должна быть марковским процессом - т.е. когда текущее состояние содержит любую информацию прошлого состояния, необходимую для определения будущего состояния, таким образом, никакая другая информация прошлого состояния не должна поддерживаться с этой целью - с неизвестными параметрами, и скрытые параметры определяются из наблюдаемых данных), а также другие функциональные возможности, требуемые для решения конкретных случаев распознавания жеста.

[0109] Фильтры 519 загружаются и реализовываются на вершине базового механизма 517 блока распознавания и могут использовать услуги, предоставляемые механизмом 517 всем фильтрам 519. В варианте осуществления базовый механизм 517 блока распознавания обрабатывает принятые данные для определения, отвечают ли они требованиям какого-нибудь фильтра 519. Так как эти предоставляемые услуги, такие как структурный анализ ввода, предоставляются один раз посредством базового механизма 517 блока распознавания, а не каждым фильтром 519, такая услуга должна обрабатываться только один раз в периоде времени по сравнению с одним разом для каждого фильтра 519 в течение этого периода, таким образом, уменьшается обработка, требуемая для определения жестов.

[0110] Приложение может использовать фильтры 519, предоставленные механизмом 190 блока распознавания жестов, или оно может предоставлять свой собственный фильтр 519, который подключается к базовому механизму 517 блока распознавания. В варианте осуществления все фильтры 519 имеют общий интерфейс, чтобы обеспечить эту характеристику подключаемого модуля. Дополнительно все фильтры 519 могут использовать параметры 528 таким образом, что инструмент одного жеста, как описано ниже, может быть использован для отладки и настройки всей системы 519 фильтра.

[0111] Эти параметры 528 могут быть настроены для приложения или контекста приложения посредством инструмента 521 жеста. В варианте осуществления инструмент 521 жеста содержит множество ползунков 523, причем каждый ползунок 523 соответствует параметру 528, а также иллюстрированному представлению тела 524. Так как параметр 528 приспосабливается к соответствующему ползунку 523, тело 524 может демонстрировать как действия, которые будут распознаны как жест с этими параметрами 528, так и действия, которые не будут распознаны как жест с этими параметрами 528, идентифицированные таким образом. Эта визуализация параметров 528 жестов предоставляет эффективное средство для отладки и настройки жеста.

[0112] Фиг. 6A и 6B изображают систему 600, которая может содержать устройство 608 захвата, вычислительное устройство 610 и устройство 612 отображения. В этом примере камера 608 глубины захватывает сцену в физическом пространстве 601, в котором присутствует пользователь 602. В целях настоящего описания устройство 612 отображения показано в качестве устройства 612a отображения на Фиг. 6A и в качестве устройства отображения 612b на Фиг. 6B, и пользователь 602 показан в качестве пользователя 602a на Фиг. 6A и в качестве пользователя 602b на Фиг. 6B. Камера 608 глубины обрабатывает информацию глубины и/или выдает информацию глубины на компьютер, такой как компьютер 610. Информация глубины может интерпретироваться для отображения визуального представления пользователя 602. Например, камера 608 глубины или, как показано, вычислительное устройство 610, к которому оно подсоединено, может вывести данные на дисплей 612a, 612b. В этом примере пользователь 602 играет в приложение игры футбол.

[0113] Устройство 608 захвата, вычислительное устройство 610 и каждое устройство 612а, 612b отображения могут содержать любое подходящее устройство, которое выполняет желаемые функциональные возможности, такое как устройства, описанные с ссылками на Фиг. 1-5B. Рассматривается, что единственное устройство может выполнять все функции в системе 600, или любая комбинация подходящих устройств может выполнять желаемые функции. Например, вычислительное устройство 610 может предоставлять функциональные возможности, описанные относительно вычислительной среды 12, показанной на Фиг. 2, или компьютера на Фиг. 3. Как показано на Фиг. 2, вычислительная среда 12 может включать в себя устройство отображения и процессор. Вычислительное устройство 610 может также содержать свой собственный компонент камеры или может быть подсоединено к устройству, имеющему компонент камеры, такой как устройство 608 захвата.

[0114] Визуальное представление пользователя 602 может принимать любую форму, такую как анимация, персонаж, аватар или подобное. Например, визуальное представление цели, такой как пользователь 602, первоначально может быть цифровым куском глины, из которого пользователь 602 может вылепить желаемые формы и размеры, или представление персонажа, выбранное из хранилища библиотеки аватаров. В приложении игры бейсбол, например, варианты для визуального представления пользователя 602 могут принимать любую форму, от представления известного бейсбольного игрока для небольшой лести или слона до выдуманного персонажа или символа, такого как курсор или символ руки. Визуальное представление может представлять признаки пользователя 602 и признаки анимации или модели хранилища. Например пользователь 602 может выбирать из множества моделей хранилища которые выдаются посредством игрового приложения. Система может применять признаки пользователя к выбранной модели хранилища. Визуальное представление может быть специфичным для приложения, например, упакованного программой, или визуальное представление может быть доступным для всех приложений или доступным для всей системы.

[0115] Примерное визуальное представление, показанное на Фиг.6A И 6B, как показано на устройстве 612a отображения, является представлением аватара 606 с признаками, которые напоминают такие же у пользователя 602. Фиг.6A и 6B показывают аватар 606 в двух различных кадрах или точках во времени, представленным аватаром 606a на Фиг. 6A и в качестве аватара 606b на Фиг. 6B. Хотя дополнительные кадры данных изображения могут быть захвачены и отображены, кадры, изображенные на Фиг. 6A и 6B выбраны в примерных целях. Скорость передачи, с которой кадры данных изображения захватываются и отображаются, может определять уровень непрерывности отображения движения визуального представления.

[0116] Система 600 может захватывать информацию о физическом пространстве 601, такую как информация глубины, информацию изображения, данные RGB и т.д. Согласно одному варианту осуществления, данные изображения могут включать в себя изображение глубины или изображение от камеры 608 глубины и/или камеры RGB, или изображение на любом другом блоке определения. Например, камера 608 может обрабатывать данные изображения и использовать их для определения формы, цветов и размера цели. Каждая цель или объект, который соответствует образцу человека, может сканироваться для генерирования модели, такой как скелетная модель, модель заливки, сетчатая модель человека или подобное, ассоциированное с ней. Например, как описано выше, информация глубины может быть использована для генерирования скелетной модели пользователя, такой как модель, показанная на Фиг. 5 A, когда система идентифицирует части тела пользователя, такие как голова и конечности. Используя, например, значения глубины во множестве наблюдаемых пикселей, которые ассоциируются с человеком-целью и размером одного или более аспектов человека-цели, таких как рост, ширина головы или ширина плеч, или подобное, может быть определен размер человека-цели.

[0117] Система 600 может отслеживать движения конечностей пользователя посредством анализа захваченных данных и преобразования их к скелетной модели. Затем система 600 может отслеживать скелетную модель и сопоставлять перемещение каждой части тела с соответствующей частью визуального представления. Например, если пользователь 602 размахивает его или ее рукой, система может захватывать это движение и применить его к руке аватара 606 таким образом, чтобы виртуальный аватар также размахивал своей рукой. Дополнительно система 600 может идентифицировать жест из движения пользователя посредством оценки позиции пользователя в одном кадре данных захвата или по последовательности кадров и применять жест к визуальному представлению.

[0118] Система может использовать захваченные данные, такие как отсканированные данные, данные изображения или информацию глубины для идентификации характеристик, указывающих поведение пользователя для изучения поведений пользователя. Например, системы может иметь устройство захвата, которое захватывает данные о пользователе в физическом пространстве. Система может идентифицировать поведения пользователя, собирая и сохраняя историю данных относительно характеристик, указывающих поведения пользователя, таких как физические признаки пользователя, тенденции, образцы голоса, привычки, словарь, голосовые команды, голосовые шаблоны, ответы, поведения, жесты и т.д., и идентифицировать обстоятельства, которые могут выявить некоторые поведения пользователя, такие как контекстные обстоятельства. Система может записывать или хранить историю данных о контекстных обстоятельствах, ассоциированных с поведениями пользователя, такими как статус системы, игра или статус приложения или любые другие признаки сценария. Дополнительно система может оценивать сценарий и выводить корреляции между контекстными обстоятельствами и поведением пользователя, чтобы определять тенденции пользователя в различных сценариях. Например, система может обучиться тому, как флуктуирует голос пользователя при некоторых обстоятельствах, или как стоит пользователь, когда пользователь не является активным участником выполнения приложения.

[0119] Может быть желательно анимировать аватар пользователя, даже если фактический пользователь не присутствует. Например, когда пользователь не находится в физическом пространстве, может быть желательно выдать аватар, который представляет пользователя и в состоянии вести себя в соответствии с поведениями пользователя (как изучено системой). Таким образом, система может получать доступ к данным истории и применить анимации к аватару, которые являются указывающими поведения отсутствующего пользователя и тенденции, даже если пользователь не присутствует в физическом пространстве. Например, система может применять анимации к аватару отсутствующего пользователя таким образом, что аватар отсутствующего пользователя перемещается, говорит, использует язык и т.д., которые соответствуют отсутствующему пользователю. Это позволяет второму пользователю иметь виртуальный опыт с аватаром отсутствующего пользователя, который был бы подобен случаю, когда отсутствующий пользователь присутствует и взаимодействует с системой.

[0120] С течением времени система 600 может продолжать изучать тенденции пользователя и непрерывно обновлять библиотеку аватара пользователя характеристиками, указывающими поведения пользователя и тенденции и контекстные обстоятельства. Контекстные обстоятельства могут быть коррелированы с некоторыми пользовательским поведениям, когда пользователь может отвечать на некоторые контекстные обстоятельства опознаваемыми способами. Система может интеллектуально применять анимации к аватару 606 пользователя таким образом, что аватар 606 ведет себя и отвечает в соответствии с поведениями пользователя. Поскольку система собирает больше данных от вводов пользователя, аватар может становиться все более близким к отражению пользователя, имея аспекты физических признаков пользователя, поведений, эмоций, образцов речи, тенденций, голосовых шаблонов и т.д. Таким образом, обучение аватара для выполнения анимаций может содержать изучение вводов от пользователя и формование аватара, чтобы он напоминал пользователя. Пользователь, возможно, не присутствует в физическом пространстве, но аватар пользователя может стать таким близким подобием пользователю, что кажется, что пользователь присутствует и/или управляет аватаром.

[0121] Идентификационная информация характеристик, указывающих поведения пользователя, может включать в себя информацию, которая может быть ассоциирована с конкретным пользователем 602, такую как тенденции поведения, образцы речи, выражения лица, скелетные движения, произнесенные слова, данные истории, информация голосовой идентификации или подобное. Характеристики пользователя могут содержать физические признаки пользователя, такие как: размер, тип и цвет глаз; длина, тип и цвет волос; цвет кожи; одежда и цвета одежды. Например, цвета могут быть идентифицированы на основании соответствующего изображения RGB. Другие характеристики цели для человека-цели могут включать в себя, например, рост и/или длину рук, и могут быть получены на основании, например, сканирования тела, скелетной модели, размера пользователя 602 в пиксельной области или любой другой подходящей обработки или данных. Вычислительная система 610 может использовать способы распознавания тела для интерпретации данных изображения, и может измерять и формировать визуальное представление пользователя 602 согласно размеру, форме и глубине 602 конечностей пользователя.

[0122] Система может активно или пассивно изучать поведения пользователя. На Фиг. 6, аватар 606 является близким физическим представлением пользователя 602 с добавленными признаками и анимациями, которые применимы к приложению игры в футбол (например, створы ворот и сеть 609, мяч 607 и т.д.). Пользователь 602 является активным игроком в приложении игры в футбол, и второй пользователь 603 является неактивным игроком, хотя оба находятся в физическом пространстве. Как используется в настоящем описании, неактивный просто относится к пользователю 603, который не является, в этом примере, выполняющим жесты для управления аспектами приложения. Более чем один пользователь могут быть активными в одно время. Альтернативно, система может разрешать одного активного пользователя за один раз. В этом примере неактивный игрок 603 ждет его или ее очереди, в то время как текущий игрок 602a жестикулирует для управления аватаром 606a на дисплее 612a.

[0123] Активное обучение пользователя заключается в обучении, ассоциированным с жестами или средством управления приложения, и может содержать обучение поведениям или от любого или от обоих пользователей 602a, 603. Активное обучение пользователем описывает, когда пользователь, такой как пользователь 602 или пользователь 603, выполняет конкретные движения или жесты, и система идентифицирует характеристики, указывающие поведения пользователя, ассоциированные с жестом пользователя. Жесты могут включать в себя динамическое или статическое движение, так же как голосовые команды, и могут быть выполнены для управления аспектами системы или выполнения приложений. Например, на Фиг. 6A движение пользователя 602a в физическом пространстве 601 содержит ныряющее движение влево с вытянутыми влево руками. Жест может быть распознан в качестве движения вратаря в футболе и может привести к управлению анимацией аватара 606a. Результат жеста может быть распознан в качестве неудачи или успеха в игре (например, жест может привести к неудаче/успеху в приложении игры в футбол). Система 600 может идентифицировать аспекты самого жеста или поведений, которые соответствуют жесту, и ассоциировать аспекты или поведения с пользователем.

[0124] Фиг. 6 изображает примерный сценарий, в котором система может активно изучать поведения пользователя, ассоциированные с жестом, когда пользователь выполняет жесты в приложении игры в футбол. Система 600 может идентифицировать аспекты самого жеста или поведения, которые соответствуют жесту, и ассоциировать эти аспекты или поведения с пользователем. В этом способе данные жеста и поведения пользователя, которые соответствуют жесту, могут быть применены к аватару таким образом, что анимации соответствуют конкретному пользователю. В этом примере пользователь 602 играет роль вратаря в футболе. Если большинство времени, когда пользователь 602 выполняет жест вратаря, который приводит к поимке мяча 607, предотвращая гол в ворота 609, пользователь также делает прыжок, система может идентифицировать и коррелировать поведения пользователя (например, прыжок) с контекстными обстоятельствами (например, жест вратаря в футболе и успешный результат жеста). Таким образом, система может коррелировать поведения пользователя с состоянием игры. В другом примере, если пользователь имеет тенденцию открывать свой рот, жестикулируя для попадания по теннисному мячу в приложении игры в теннис или пользователь ворчит во время жеста обслуживания в приложении игры в теннис, система может включать информацию в данные жеста, которые указывают другие поведения пользователя, которые происходят при выполнении жеста.

[0125] Система может хранить анимацию, которая соответствует поведению пользователя, такую как анимация прыжка пользователя. Система может хранить индикацию в профиле пользователя о том, что анимация коррелирует с некоторым контекстным обстоятельствам, таким как выполнение жеста и/или состояние игры. Точно так же, система может идентифицировать тенденции в выражениях лица пользователя, позициях тела, языке и т.д., которые коррелируют с жестом пользователя, состоянием приложения или любым другим опознаваемым контекстным обстоятельством (включая состояние ожидания), и указывать корреляцию в профиле пользователя или библиотеке аватара, например. В будущем, когда пользователь выполняет жест и он приводит к аналогичному состоянию игры (например, успешно пойман мяч, предотвращая попадание в ворота), система может применять анимацию прыжка к аватару пользователя. Точно так же, если пользователь не присутствует, система может визуализировать аватар пользователя и моделировать участие пользователя с помощью аватара, например, применяя жесты и анимации, ассоциированные с жестами, к аватару. В этом примере система может идентифицировать данные истории и также применять анимацию прыжка к аватару пользователя при соответствующих контекстных обстоятельствах. Таким образом, аватар пользователя может выдавать близкое подобие пользователю на основании данных истории, даже если система не использует данные, захваченные относительно пользователя в режиме реального времени.

[0126] Система может пассивно изучать поведения пользователя, когда пользователь не активен тогда, когда пользователь действует естественно в физическом пространстве, когда поведение пользователя может не соответствовать жесту. Система может пассивно обнаруживать поведения пользователя при таких обстоятельствах, такие как тенденции пользователя, ответы, активность в режиме ожидания и т.д. Во время пассивного обучения система может захватывать данные пользователя, когда пользователь действует естественно. Например, во время пассивного изучения пользователь может не взаимодействовать с системой, или может быть очередь другого игрока в приложении игры. Пассивное изучение игрока может включать в себя изучение системой того, как игрок ведет себя (например, позиция тела, выражения лица, действия, произнесенные слова, голосовые флуктуации), когда пользователь неактивен во время процесса. Например, на Фиг. 6, второй пользователь 603 в физическом пространстве 601 активно не взаимодействует с приложением игры в футбол, играемой первым пользователем 602. Второй пользователь 603, во время ожидания садится и голова пользователя 603 отдыхает на 603 руке пользователя. Система может изучать привычки пользователя в таких сценариях и добавлять их к библиотеке аватара пользователя.

[0127] Система может изучать любое из естественных или ожидаемых поведений пользователя при таких обстоятельствах и ассоциировать их с пользователем. Например, система может идентифицировать, как игрок идет и сохранять движение в качестве анимации прогулки в библиотеке аватара для пользователя. Система может наблюдать и слушать пользователя во время деятельности при различных обстоятельствах и сценариях, которые могут не вовлекать жест или другое активное управление системой или выполнение приложения. Например, когда пользователь приветствует друга в удаленной игре во время игры, система может обнаруживать, что пользователь обычно приветствует друзей обычным приветствием, таким как "Привет, приятель, как дела?". Тот же самый пользователь может приветствовать неизвестных игроков приветствием, таким как "Привет, мое имя...". Система может использовать захваченные данные, включающие в себя голосовые флуктуации, произнесенные слова и любое другое движение, и добавлять его к библиотеке аватара для аватара пользователя.

[0128] Библиотека аватара может содержать предварительно упакованные анимации, которые могут быть применены к аватару для представления жеста пользователя или любого другого пользовательского поведения. С помощью пассивного изучения система может обновлять, добавлять или переписывать анимации в библиотеке аватара. Система или пользователь могут изменять аспекты анимации полностью, добавлять, обновлять, повторно программировать, переписывать или удалять записи в библиотеке аватара. Например, пользователь может не взаимодействовать с системой или жестикулировать для каког-либо управления приложением. Пользователь может быть ожидающим, в то время как другой пользователь активен в приложении. Система может применять стандартную анимацию к аватару пользователя, который представляет поведение ожидания, например анимацию аватара ожидающего пользователя, который сидит спокойно и наблюдает, как активный пользователь выступает в физическом пространстве. Однако, система может захватывать данные, обрабатываемые для фактического поведения ожидающего пользователя, когда пользователь ожидает в игровом приложении. Система может записывать поведение пользователя и добавлять его к хранилищу в библиотеку аватара для анимации ожидания для этого пользователя. Система может переписывать стандартную анимацию для поведения ожидания анимацией, которая представляет поведение пользователя, как записано системой.

[0129] Например, система может распознавать, что, когда пользователь 603, показанный на Фиг. 6A, ожидает или неактивен, пользователь 603 имеет тенденцию класть свою голову на свою правую руку. Система может хранить данные, относящиеся к этому, в профиле или библиотеке аватара, ассоциированной с пользователем. Анимация может представлять дополнение к библиотеке аватара, или она может переписывать анимацию по умолчанию для режима ожидания. После этого система может применять анимацию для этого эффекта к аватару 611, такую как анимация аватара 611, показанная на Фиг. 6B, когда аватар сидит, положив голову аватара на свою правую руку. Однако с течением времени система может распознавать, что пользователь 603 чаще кладет его или ее голову на свою левую руку, или имеет тенденцию переключаться между руками часто в то время когда находится в ожидании. Таким образом, система может продолжить очищать библиотеку аватара и анимации в библиотеке аватара для более близкого представления идентифицированных тенденций пользователя. Система может также хранить оригинальные данные анимации и добавлять пересмотренную анимацию к библиотеке аватара пользователя, выдавая множественные анимации для выбора.

[0130] Фиг. 6B изображает систему 600, показанную на Фиг. 6A. Фиг. 6B изображает пример только пользователя 602 в физическом пространстве 601. В этом примере этот же пользователь 602 жестикулирует в физическом пространстве 601, приводя к анимации аватара пользователя 606b, которая представляет жест вратаря, подобного тому, что применен к аватару 606a на Фиг. 6A. Однако в этом примере движение пользователя 602 в физическом пространстве отличается от выполненного пользователем 602 на Фиг. 6A, но тот же самый жест идентифицирован и представлен обоими аватарами 606a и 606b.

[0131] Пакетами стандартных жестов являются жесты, из которых система и разработчики приложения могут включать распознание жеста в свои системы и/или приложения. Система может изменять аспекты жеста или переписывать жест полностью. Например, система может изменять движение, которое соответствует конкретному жесту, повторно определяя движение. Например, пользователь 602b может быть травмирован и неспособен нырнуть в физическом пространстве 601, как ранее выполнялось пользователем 602a, показанным на Фиг. 6A. Система может распознать это отличное движение пользователя, или пользователь может сделать запрос на изменение данных жеста. Например, система может побудить пользователя записывать основной жест или голосовую команду в качестве демонстрации, и пользователь может выполнять свою собственную версию этого жеста или голосовой команды. Для повторного пересмотра жеста пользователь 602 может выполнять движение, показанное на Фиг. 6B, которое содержит позицию стоя, наклон влево и качание рук в сторону. Система может временно или постоянно переписывать данные жеста по умолчанию с определенными данными жеста пользователя. Система может также хранить оригинальные данные жеста и добавлять повторно определенный жест к библиотеке аватара пользователя, выдавая множественные жесты, которые обеспечивают подобный результат в приложении. После повторного определения или дополнения жеста система может захватывать данные относительно пользователя в физическом пространстве и быть в состоянии определять, из каких данных, повторно определенных или добавленных, пользователь выполнил жест.

[0132] Точно так же, активное обучение пользователя может содержать идентифицирование жеста пользователя, когда сам жест является побуждением для изменения анимации в библиотеке аватара и/или изменения поведений, идентифицированных системой и ассоциированных с пользователем. Например, пользователь может инициировать модификацию анимации или инициировать дополнение анимации к библиотеке аватара, выполняя жест или вступая в режим модификации предварительно упакованной анимации. Система может побуждать пользователя записать основную анимацию или голосовые данные в качестве демонстрации, и пользователь может выполнять собственную версию этой анимации или выдавать примеры речи.

[0133] Например, система может применять анимацию к аватару 611, ассоциированному с пользователем 603, который содержит позицию сидя с головой аватара, отдыхающей на руке аватара, подобно той, которая показана на Фиг. 6B. Система может распознавать, что когда пользователь ожидает или когда пользователь выполняет подобное движение в физическом пространстве, пользователь имеет тенденцию позиционировать самого себя или саму себя, как показано на Фиг. 6A. Однако пользователь может пожелать изменить данные истории, которые указывают это поведение для пользователя, когда пользователь ожидает. Пользователь может выполнять жест для инициирования модификации данных истории и/или анимации, относящейся к аватару пользователя при конкретных контекстных обстоятельствах (например, ожидание). Система может запрашивать пользователя текущей анимацией, ассоциированной с конкретными контекстными обстоятельствами, и пользователь может выполнять различную версию этой анимации для перезаписи анимации в библиотеке аватара.

[0134] В обоих сценариях, в которых система или пользователь добавляет обновления или переписывает данные жеста или анимации, система может записывать вводы от пользователя и подтверждать уточненные данные жеста или анимации. Например, если пользователь выполняет жест "волна", система может распознавать, что движение соответствует жесту "волна" с помощью устройства распознания жеста, как описано выше. Система может обнаруживать, когда жест начинается и останавливается, и побуждает пользователя выполнять новое движение в физическом пространстве для перезаписи текущих данных жеста "волна" и/или создавать дополнительный жест "волна", который соответствует записанному движению пользователя.

[0135] Система может подтверждать записанное движение пользователя. Например в игровом приложении, которое идентифицировано для подростков, система может не подтверждать движение пользователя для жеста, если предложенное движение пользователя для этого жеста содержит социально недопустимое движение (например, грубое движение). Таким образом, система может идентифицировать поведение пользователя, которое не желательно и оно не должно быть отражено аватаром пользователя. Рассмотрим приложение игры в футбол, когда пользователь играет роль вратаря в футболе. Система может идентифицировать тенденцию пользователя к богохульству или непристойным жестам, когда пользователь выполняет жест вратаря, и результатом является неудача (то есть, мяч попадает в сетку). Таким образом, система может выбирать различную анимацию для применения к аватару при этих контекстных обстоятельствах, таких как конкретная для пользователя анимация, из библиотеки аватара пользователя или сгенерированная анимация из сгенерированной библиотеки аватара. Когда система идентифицирует жест вратаря и состояние игры (например, неудача в поимке мяча), система может быть настроена для применения не непристойной анимации к аватару, вместо того, чтобы аватар подражал движениям, сделанным пользователем в физическом пространстве. Точно так же система может не подтверждать поведение и не включать его в качестве анимации в библиотеку аватара для выбора при применении анимации к аватару пользователя. Таким образом, некоторые поведения или индикация таких поведений могут не быть сохранены для последующего использования.

[0136] Фиг. 6B изображает пример, когда система может применять поведения пользователя и тенденции к аватару, находится ли пользователь фактически в физическом пространстве или нет. На Фиг. 6B аватар 611 представляет пользователя 603 согласно Фиг. 6A. Однако, пользователь 603 больше не находится в физическом пространстве 601 на Фиг. 6B. Может быть желательно, когда пользователь не находится в физическом пространстве, выдавать аватар, который представляет пользователя, и в состоянии вести себя в соответствии с поведениями пользователя (как изучено системой). Например, система может продолжать отображать аватар пользователя и применять анимации к аватару пользователя, которые соответствуют тенденциям пользователя и поведениям, даже если пользователь покидает комнату и больше не в находится пределах отслеживания обзора системы. Рассмотрим игровое приложение, когда первый пользователь выбирает играть в игру против второго пользователя, но второй пользователь может находиться или не находится в физическом пространстве. Система может подражать второму пользователю, отражая физические характеристики пользователя, тенденции, поведения и другие характеристики на основании профиля этого второго пользователя. Способностям второго пользователя можно подражать, например, если уровень навыка применим к приложению. Таким образом, первый пользователь может иметь взаимодействие с аватаром второго пользователя, что подобно случаю, когда второй пользователь находится фактически в физическом пространстве и/или взаимодействует с системой. Система может применять анимации к аватару второго пользователя таким образом, что аватар второго пользователя перемещается, говорит, использует язык и т.д., которые соответствуют второму пользователю.

[0137] Поведения пользователя 603 могут быть идентифицированы из предшествующих вводов пользователя и/или данных, захваченных системой в течение времени, относительно пользователя 603. Аватар все более и более отражает аспекты пользователя в физическом пространстве, включающие в себя аспекты, относящиеся к признакам пользователя, поведениям, тенденциям, образцам голоса и т.д. Например, система может изучать тенденции пользователя и интеллектуально применять анимации к аватару пользователя таким образом, что аватар ведет себя и отвечает в соответствии с идентифицированными тенденциями пользователя. Таким образом, обучение аватара анимациям для выполнения может содержать обучение из истории вводов от пользователя и формирования аватара для уподобления пользователю.

[0138] Система может обучаться тому, как пользователь отвечает на различные сценарии и захватывать статус характеристик пользователя. Например, если пользователь стоит во время игрового приложения, когда другой пользователь является активным игроком, система может определять позицию тела пользователя и действия, которые пользователь может применять в то время, пока он является неактивным игроком. Пользователь может пить, стоять в ожидании у стенки, наблюдать за активным игроком или экраном, читать книгу или выполнять любое другое действие. Например, для пользователя может быть характерно читать книгу, в то время когда он является не активным игроком. Система может распознавать эту тенденцию и сохранить информацию относительно тенденцией в профиле пользователя.

[0139] На Фиг. 6A система может определить язык тела пользователя 603, местоположение, язык на котором говорит и т.д., в то время как пользователь 603 наблюдает за пользователем 602, который активно участвует в игровом приложении футбол. Система может иметь другие данные истории относительно пользователя 603, захваченные в течение времени. На Фиг. 6B пользователь 603 не находится в физическом пространстве 601, однако аватар 611 пользователя может быть отображен на устройстве 612 отображения. Система может применять анимации к аватару 611 пользователя, которые соответствуют данным истории, собранным для поведений пользователя 603. Таким образом, система может изображать аватар 611 пользователя в позиции сидя, подобной той, которую пользователь обычно применяет, когда является не активным игроком в игре. Система может выдавать дополнительные анимации, такие как размещение пользователя на местах или открытой трибуне, которая может быть найдена в обычной игре в футбол и может быть, когда обычные наблюдатели игры в футбол сидят.

[0140] Система может хранить данные, относящиеся к вводам от пользователя, в библиотеке аватара, такой как библиотека 196 аватара, показанная на Фиг. 2. Библиотека аватара может быть ассоциирована с конкретным пользователем или храниться в профиле пользователя, таком как профиль 198, например. Как описано выше, система позволяет пользователям переписывать или добавлять к библиотеке хранения анимаций. В другом примерном варианте осуществления анимации в библиотеке могут быть анимациями, введенными и записанными пользователем в библиотеку аватара. Например, система или пользователь могут повторно программировать анимацию для отражения фактического движения пользователя или поведений, захваченных устройством захвата, например. Таким образом, анимации могут быть добавлены к или переписаны в библиотеке анимаций аватара.

[0141] Система может также содержать универсальную или сгенерированную библиотеку аватара, которая содержит библиотеку хранения анимаций. В примерном варианте осуществления анимации, относящиеся к аватару, могут быть анимациями, выбранными из библиотеки предварительно упакованных анимаций, таких как те, которые идут с программой, приложением или системой, например. Выбранные анимации могут быть теми, которые соответствуют вводам от пользователя, изученным системой для отражения некоторых поведений. Предварительно записанные анимации могут быть определены для приложения или для системы. Например, анимации открыть/закрыть файл применяется к аватару, может быть той же самой для всей системы.

[0142] Библиотеки аватара, включающие в себя библиотеку аватара, которая соответствует пользователю, могут быть доступными для приложения для всех приложений или всей системы. Например, система может идентифицировать поведения пользователя по всем различным приложениям. Система может собирать все данные, относящиеся к поведениям пользователя, по всем приложениям и сохранять их в универсально доступной библиотеке аватара. Система может затем получать доступ к библиотеке аватара и применять анимации из библиотеки аватара к аватару при каком-либо обстоятельстве. Например, система может идентифицировать, что пользователь обычно кусает его или ее ногти, когда пользователь является не активным игроком в игре. Таким образом, когда пользователь взаимодействует с системой во время выполнения не игрового приложения, система может применять анимацию привычки грызть ногти к аватару пользователя, когда имеются задержки в взаимодействии пользователя с приложением, например, когда пользователь ждет документа для сохранения или запуска блока отладки в программном обеспечении.

[0143] Система может отображать аватар пользователя в любое время и в любое время применять анимации к аватару, которые отражают поведение пользователя. В течение времени система может применять анимации пользователя любого типа сценария с или без помощи от пользователя. Например, используя библиотеки аватара и хранящиеся данных, ассоциированных с поведениями пользователя, система может генерировать сообщение голосовой почты, используя идентифицированные образцы голоса пользователя и интенсивностей звука, без ввода от пользователя. Система может подражать поведениям пользователя при применении анимации к аватару на информационной панели приложения, совместно с друзьями, в игровых приложениях или подобном. Пользователь может или не может управлять аватаром, вместо этого система может выдавать сходство аватара пользователя. Система может применять анимации к аватару, ассоциированному с конкретным пользователем, присутствует ли конкретный пользователь в физическом пространстве или нет. Например, пользователь может писать документ в приложении обработки текста, и система может отображать и анимировать аватар на экране, который напоминает пользователя. Система может применять анимации из библиотеки аватара пользователя.

[0144] Система может идентифицировать, что пользователь ведет себя по-другому в приложениях или в различных средах. Например, в игровом приложении пользователь может смотреть и наблюдать отображение и/или другого пользователя, когда другой пользователь является активным игроком в игре. Однако, в не игровом приложении пользователь может не наблюдать отображение, когда другой пользователь активен, или если приложение хранит документ, или управляет блоком отладки, например. Пользователь может кусать его или ее ногти или покинуть комнату.

[0145] Аватар может быть отображен, даже если аватар не необходим для приложения для управления каким-либо аспектом приложения или системы. Аватар может быть отображен выполняющим и ведущим себя так как изучено из вводов от пользователя, обычно изучено системой, отслеживающей наборы вводов, которые достаточны для идентификации поведения, ответов, тенденций или подобного. Например, первый пользователь может рассказывать историю в физическом пространстве и выбирать аватар, который будет отображен на экране для анимирования истории, которую он рассказывает. Выбранный аватар может быть аватаром, ассоциированным с пользователем, который не присутствует в физическом пространстве. Однако, система может иметь достаточно информации, хранящийся относительно пользователя, который не присутствует, для анимирования аватара таким образом, чтобы его поведение походило на поведение пользователя, который не присутствует. Система может использовать аватар, который приходит, с библиотекой аватара, полной анимаций, которые соответствуют поведениям пользователя, которые система изучила с течением времени. Таким образом, может казаться, что пользователь присутствует и обеспечивает вводы, потому что аватар в состоянии представлять пользователя настолько хорошо.

[0146] Как описано, система 600 может идентифицировать данные из физического пространства, которые являются указывающими поведения пользователя. Например, система 600 может получать информацию относительно движений пользователя, выражений лица, языка тела, эмоций и т.д. в физическом пространстве. Система может использовать способы распознания положения тела, чтобы помочь идентификации эмоций или характера человека-цели. Например, система 600 может анализировать и отслеживать скелетную модель пользователя для определения того, как пользователь двигается. Система 600 может отслеживать тело пользователя и движения, сделанные телом пользователя, включающие в себя жесты, которые управляют аспектами системы, такими как приложение, операционная система или подобное. Система может идентифицировать положение тела пользователя, выражения лица, голосовые выражения и тон, направленные взгляды и т.д. Голосовые выражения пользователя могут выдавать индикацию характера пользователя. Например, используемый язык, тон голоса, наклон, громкость и т.п. могут передавать смысл характера пользователя. Например, резкий тон может интерпретироваться как гнев или агрессия. Другие тоны могут быть возбужденным, модальным, хриплым, шепчущим, скрипучим, спокойным, взволнованным, счастливым или любым другим тоном. Система может идентифицировать движения лица пользователя, такие как движение бровей пользователя и/или сморщенного или улыбающегося выражения. Система может определять слова, сказанные пользователем и тон голоса пользователя или позицию тела пользователя и т.д. Например, система может обнаруживать правую руку человека и качественно отличать верхнюю руку, более низкую руку, пальцы, большой палец, суставы в пальцах и т.д. Таким образом, характеристики пользователя являются хорошими индикаторами поведений пользователя и тенденций.

[0147] В примере, показанном на Фиг. 6A, пользователь 603 сидит с головой, наклоненной в сторону, оперев правый локоть на колено и голову, поддерживая правой рукой пользователя. Выражения лица пользователя, позиция тела, произнесенные слова или любая другая обнаружимая характеристика могу быть применены к аватару 611 пользователя и изменены, если применимо. Например, пользователь 603 сидит на стуле, но система изменяет пользователя, чтобы он сидел на открытой трибуне или местах, которые могут быть найдены в игре в футбол.

[0148] Система 600 может сравнивать обстоятельства приложения с библиотекой аватара пользователя для определения того, какие анимации должны быть применены к визуальному представлению пользователя. Например, в приложении игры в футбол, описанной выше, состояние игры может быть успехом пользователя в поимке мяча. Система может применять анимацию движения пользователя к аватару, поскольку система идентифицировала это поведение в качестве обычного для этого пользователя при заданных обстоятельствах. В другом примере, когда первый пользователь присутствует в физическом пространстве и рассказывает истории с аватаром для второго пользователя, выбранного для представления истории на дисплее. Второй пользователь может присутствовать или может не присутствовать, но аватар может представлять историю на дисплее, отражая поведения, идентифицированные для второго пользователя. Например, история может описать человека, перепрыгивающего через ручей. Аватар, который напоминает второго пользователя, может быть показан перепрыгивающим через ручей, но анимирован для показа того, как будто второй пользователь отражает поведение второго пользователя. Например, система может идентифицировать поведения пользователя, которые обычны, когда пользователь перепрыгивает, или когда пользователь боится, или весело проводит время. Система может применять анимации к аватару, которые соответствуют обстоятельству и хранящимся данным о поведениях пользователя при заданных обстоятельствах.

[0149] Фиг. 7A изображает пример двух пользователей, удаленно играющих друг против друга в приложении игры в бокс. Удаленные пользователи взаимодействуют с системой 10 распознавания, анализа и отслеживания цели в их соответствующем физическом пространстве и в состоянии взаимодействовать с друг другом по сетевому соединению. Каждая система может выдавать визуальную обратную связь в реальном времени каждого физического пространства другой системе. На Фиг. 7A два пользователя, Пользователь #1 и Пользователь #2, взаимодействуют с системой, выполняя приложение игры в бокс. Таким образом, каждая система может захватывать данные в реальном времени относительно каждого пользователя и визуализировать визуальное представление, которое соответствует каждому пользователю, и сопоставлять с движением каждого пользователя. На Фиг. 7B второй пользователь больше не присутствует в физическом пространстве и отсутствует в виде отслеживания системы распознавания, анализа и отслеживания цели. Однако, система собирает данные относительно поведений пользователя или в этом случае приложения игры в бокс, предшествующих случаях или в любом другом взаимодействии пользователя с системой или приложением. Система в состоянии применять анимации из библиотеки аватара, ассоциированные с пользователем, которые отражают поведения пользователя. Таким образом на основании истории вводов от пользователя, система в состоянии визуализировать визуальное представление, которое кажется очень подобным пользователю. Пользователь #1 может иметь опыт с аватаром второго пользователя, который был бы подобен случаю, когда фактические пользовательские данные были применены к аватару.

[0150] Фиг. 8 показывает примерный способ изучения поведений пользователя, и Фиг. 9 показывает примерный способ применения анимаций выбранных поведений к аватару пользователя. Например, на этапе 802 система принимает данные от физического пространства, которое включает в себя пользователя. Как описано выше, устройство захвата может захватывать данные сцены, такие как изображение глубины сцены и сканировать цели на сцене. Устройство захвата может определять, соответствуют ли одна или более целей на сцене человеку-цели, такому как пользователь. Каждая цель или объект, которые соответствуют модели человеческого тела, могут затем быть исследованы для генерирования скелетной модели, ассоциированной с ней. Скелетная модель может затем быть выдана вычислительной среде для отслеживания скелетной модели и обработки визуального представления, ассоциированного со скелетной моделью.

[0151] На этапе 804 система может идентифицировать характеристики, указывающие поведения пользователя. Характеристики, указывающие поведения пользователя, могут содержать физические характеристики, лицевые признаки, образцы речи, словарь, голосовые команды, жест, движение или позицию тела. Например, система может использовать распознавание тела и способы распознания лица для идентификации тела и лицевых характеристик. Поведения пользователя, которые могут включать в себя некоторые выражения лица и движения тела, могут быть идентифицированы. Например, система может иметь устройство захвата, которое захватывает данные о пользователе в физическом пространстве. Система может идентифицировать характеристики пользователя, тенденции, образцы голоса, поведения, жесты и т.д. Система может идентифицировать характеристики, указывающие поведение пользователя, пассивно и/или активно. Например, пассивное изучение может содержать идентифицирование характеристик пользователя, когда пользователь действует естественно в физическом пространстве, и активное обучение может содержать идентифицирование характеристик пользователя, когда пользователь выполняет жест. С течением времени система может изучать тенденции пользователя и интеллектуально применять анимации к аватару пользователя, такие как поведение аватара и ответы, в соответствии с идентифицированными тенденциями пользователя. Таким образом, обучение аватара анимациями для выполнения может содержать изучение вводов от пользователя и формирование аватара для напоминания пользователю.

[0152] На этапе 805 система может добавлять или переписывать анимацию в предварительно упакованной библиотеке аватара. Например, предварительно упакованная библиотека аватара может быть набором анимаций по умолчанию, предоставленных приложению. Переписывание анимации в предварительно упакованной библиотеке аватара может содержать обновление анимации для соответствия истории характеристик, указывающих поведения пользователя, как сохранено на этапе 808. Добавление анимации к предварительно упакованной библиотеке аватара может содержать запись движения пользователя в физическом пространстве и добавление анимации, представляющей движения пользователя, к библиотеке аватара. Добавление к или переписывание анимации в библиотеке аватара могут быть вызваны жестом пользователя. Например, пользователь может выполнять жест для входа в режим модификации, и система может записывать движение пользователя в режиме модификации и применять их к добавленной или переписанной анимации.

[0153] На этапе 806 система может генерировать анимацию и добавлять ее к библиотеке аватара. Библиотека аватара может быть или может не быть предварительно упакована. Например, библиотека аватара может содержать анимации, записанные пользователем и могут быть или могут не быть выданы системой. Таким образом, пользователь может определять все анимации в библиотеке аватара, которые применяются к аватару пользователя. Система может задавать любые анимации, добавленные к, переписанные или генерируемые. Например, если пользователь выполняет анимацию, которая непристойна, анимация может быть не подтверждена и не входить в данные истории или не использоваться для переписывания анимации. Альтернативно, библиотека аватара может быть комбинацией записанных пользователем анимаций и/или предварительно упакованных анимаций.

[0154] На этапе 807 система может коррелировать поведения пользователя с конкретными обстоятельствами. Например, пользователь может вести себя некоторым образом, когда пользователь достигает успеха в приложении игры или когда пользователь не активен в этом процессе, наблюдая за активным пользователем, играющим в игру. Данные, относящиеся к поведениям пользователя, включающие в себя корреляцию поведений пользователя с любыми конкретными обстоятельствами, могут быть сохранены так, как в библиотеке аватара на этапе 806. Как описано выше, библиотека аватара может содержать предварительно упакованные анимации или библиотека аватара может быть ассоциирована с конкретным пользователем, приспосабливающим анимации к этому пользователю. Конкретная информация о пользователе может также включать в себя тенденции в режимах игры одного или более пользователей. Например, если пользователь имеет тенденцию вести себя или реагировать некоторым способом, система может отслеживать тенденции пользователя, чтобы более точно отражать поведения пользователя при некоторых обстоятельствах. Таким образом, система может начать отслеживать тенденции пользователя и использовать эту информацию для более точного отражения поведения пользователя.

[0155] На этапе 806 поведения и анимации, соответствующие тем поведениям, ассоциированным с пользователем в физическом пространстве, могут быть сохранены в качестве части пользовательского профиля. Профиль может быть специфичным для конкретного физического пространства или пользователя, например, и может быть частью или включать в себя аспекты библиотеки аватара. Данные аватара, включающие в себя признаки пользователя, могут стать частью профиля пользователя. К профилю можно получить доступ после входа пользователя в сцену захвата. Если профиль соответствует пользователю на основании пароля, выбора пользователем, размера тела, голосовой идентификации или подобного, то профиль может использоваться в определении визуального представления пользователя.

[0156] Данные истории для пользователя могут быть проверены, сохраняя информацию в профиль пользователя. Например, система может обнаруживать признаки поведения, специфичные для пользователя, такие как поведения пользователя, образцы речи, эмоции, звуки или подобное. Система может применять эти признаки к визуальному представлению пользователя, применяя характер к визуальному представлению. Например, если система идентифицирует поведения пользователя и выбирает анимацию для содержащейся речи для отражения поведения, голос визуального представления может быть образцом из образцов речи пользователя или может даже быть записью собственного голоса пользователя.

[0157] Система может визуализировать аватар, ассоциированный с пользователем, и на этапе 810 применять анимацию, которая является представляющей поведения пользователя для аватара пользователя. На этапе 808 система может идентифицировать контекстные обстоятельства. Контекстное обстоятельство может содержать условие физической среды пользователя, условие виртуальной среды пользователя, статус системы, статус приложения, успех пользователя в приложении, неудачу пользователя в приложении, активный/не активный статус пользователя, присутствие второго пользователя или жест или подобное. Сравнивая контекстные обстоятельства с данными истории, система может идентифицировать любые корреляции между данными истории и контекстным обстоятельством. Если корреляция идентифицируется, система может выбирать представительную анимацию поведения пользователя, которая соответствует контекстному обстоятельству.

[0158] Фиг. 9 показывает способ для применения анимации к аватару пользователя. Анимации могут быть применены, несмотря на то, присутствует ли пользователь в физическом пространстве или нет. Таким образом, система может обеспечивать отражение пользователя в форме аватара, который имеет сходство с пользователем и ведет себя в соответствии с пользователем. Аватар пользователя может представлять пользователя, даже если пользователь не взаимодействует с приложением/системой, так же, как будто пользователь не присутствует в физическом пространстве. На этапе 902 система обрабатывает визуальное представление пользователя. На основании информации, хранящейся в библиотеке аватара, такой как та, которая описана на Фиг. 8, анимации могут быть применены к аватару пользователя, который соответствует пользователю.

[0159] Система может выбирать анимации на этапе 904 для применения к аватару, которые соответствуют изученным вводам этого конкретного пользователя. Если пользователь физически не присутствует в физическом пространстве, так как на этапе 906, анимации могут соответствовать поведению пользователя, изученному системой и хранящемуся в библиотеке аватара, ассоциированной с этим пользователем. Таким образом, аватар, может казаться, ведет себя подобным пользователю образом, даже если пользователь не доступен в физическом пространстве для захвата устройством захвата. Второй пользователь может запрашивать, чтобы система визуализировала визуальное представление пользователя, который физически не присутствует, для моделирования опыта с первым пользователем.

[0160] Если пользователь присутствует, так как на этапе 908, анимации могут быть выбраны из библиотеки аватара или отображаться непосредственно пользователю в физическом пространстве, как захвачено системой. Анимация может быть выбрана из библиотеки аватара и может быть представительной для поведения пользователя, идентифицированному из истории данных пользователя. Таким образом, анимации могут быть выбраны на основании предыдущей идентификации поведений, захваченных системой. Даже если пользователь присутствует в физическом пространстве и данные захватываются устройством захвата относительно пользователя, может быть желательно применять анимацию из библиотеки аватара вместо отображения аватара непосредственно пользователю.

[0161] В примерном варианте осуществления анимации, применимые к аватару, могут быть анимациями, выбранными из библиотеки предварительно упакованных анимаций, так же как те, которые идут с программой, приложением или системой, например. Выбранные анимации могут быть теми, которые соответствуют вводам от пользователя, изученными системой. В другом примерном варианте осуществления анимации в библиотеке могут быть анимациями, введенными и записанными пользователем в словарь анимации аватара. Например, система или пользователь могут повторно запрограммировать анимацию для отражения фактического движения пользователя или поведения, захваченного устройством захвата, например. Таким образом, анимации могут быть добавлены к или переписаны в библиотеке анимаций аватара. С течением времени аватар в виртуальном пространстве может казаться ставшим отражением пользователя в физическом пространстве, включающим в себя признаки пользователя, поведения, тенденции, образцы голоса и т.д.

[0162] Должно быть понятно, что конфигурации и/или подходы, описанные в настоящем описании, являются примерными по своему характеру, и что эти конкретные варианты осуществления или примеры нельзя рассматривать как ограничивающие. Специфические программы или способы, описанные в настоящем описании, могут представлять одно или более из любого количества стратегий обработки. Также, различные иллюстрированные действия могут быть совершены в иллюстрированной последовательности, в других последовательностях, параллельно или подобным. Аналогично, может быть изменен порядок вышеописанных процессов.

[0163] Кроме того, в то время как настоящее описание было описано в соединении с конкретными аспектами, которые иллюстрируются на различных фигурах, должно быть понятно, что могут быть использованы другие аналогичные аспекты, или могут быть сделаны модификации и дополнения к описанным аспектам для выполнения одной и той же функции настоящего описания, не отступая от нее. Сущность изобретения включает в себя все новые и неочевидные комбинации и подкомбинации различных процессов, систем и конфигураций, и других признаков, функций, действий и/или свойств, раскрытых в настоящем описании, а также любые и все их эквиваленты. Таким образом, способы и устройство раскрытых вариантов осуществления или некоторые аспекты или их части могут принимать форму программного кода (то есть команд), воплощенного на материальных носителях, таких как гибкие дискеты, устройства CD-ROM, накопители на жестких дисках или любой другой считываемый машиной запоминающий носитель. Когда программный код загружается и выполняется машиной, такой как компьютер, машина становится устройством, сконфигурированным для осуществления раскрытых вариантов осуществления.

[0164] В дополнение к специфичным реализациям, явно сформулированным в настоящем описании, другие аспекты и реализации будут очевидны для специалистов в данной области техники из рассмотрения раскрытого здесь описания. Поэтому настоящее описание не должно ограничиваться никаким единственным аспектом, а вместо этого должно быть рассмотрено по форме и объему в соответствии с приложенной формулой изобретения. Например, различные процедуры, описанные в настоящем описании, могут быть реализованы аппаратным обеспечением или программным обеспечением, или их комбинацией.

Реферат

Изобретение относится к области визуализации визуального представления пользователя. Технический результат - обеспечение визуального представления пользователя посредством выполнения анимаций, основанных на истории вводов от пользователя. Способ применения анимации к визуальному представлению содержит: выбор первой анимации из множества сохраненных анимаций на основании первого изображения, указывающего пользователя, находящегося в настоящее время в физическом пространстве для захвата; применение упомянутой первой анимации к визуальному представлению пользователя на устройстве отображения; обновление по меньшей мере одной анимации из упомянутого множества сохраненных анимаций на основании характеристик пользователя, идентифицированного на основании первого изображения; в ответ на определение из второго изображения физического пространства для захвата, что пользователь не находится в упомянутом физическом пространстве для захвата, выбор второй анимации из упомянутого множества сохраненных анимаций на основании предыдущего изображения; применение упомянутой второй анимации к визуальному представлению пользователя на устройстве отображения. 3 н. и 15 з.п. ф-лы, 12 ил.

Формула