Способы и системы манипулирования объектами с помощью робота для конкретного применения в инструментальной среде с электронными библиотеками мини-манипуляций - RU2756863C2

Чертежи

Показать все 366 чертежа(ей)

Описание

Ссылка на предшествующие заявки

Данная заявка частично продолжает находящуюся на рассмотрении патентную заявку США № 14/627,900 на изобретение «Способы и системы для приготовления пищи на роботизированной кухне», поданную 20 февраля 2015 г.

В данной частично продолжающей заявке испрашивается приоритет на основании предварительной заявки США №62/202,030 «Способы и системы манипулирования объектами с помощью робота на основании электронных библиотек мини-манипуляций», поданной 6 августа 2015 года, предварительной заявки США № 62/189,670 «Способы и системы манипулирования объектами с помощью робота на основании электронных библиотек мини-манипуляций», поданной 7 июля 2015 года, предварительной заявки США № 62/166,879 «Способы и системы манипулирования объектами с помощью робота на основании электронных библиотек мини-манипуляций», поданной 27 мая 2015 года, предварительной заявки США № 62/161,125 «Способы и системы манипулирования объектами с помощью робота на основании электронных библиотек мини-манипуляций», поданной 13 мая 2015 года, предварительной заявки США № 62/146,367 «Способы и системы манипулирования объектами с помощью робота на основании электронных библиотек мини-манипуляций», поданной 12 апреля 2015 года, предварительной заявки США № 62/116,563 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 16 февраля 2015 года, предварительной заявки США № 62/113,516 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 8 февраля 2015 года, предварительной заявки США № 62/109,051 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 28 января 2015 года, предварительной заявки США № 62/104,680 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 16 января 2015 года, предварительной заявки США № 62/090,310 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 10 декабря 2014 года, предварительной заявки США № 62/083,195 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 22 ноября 2014 года, предварительной заявки США № 62/073,846 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 31 октября 2014 года, предварительной заявки США № 62/055,799 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 26 сентября 2014 года, предварительной заявки США № 62/044,677 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 2 сентября 2014 года.

В патентной заявке США № 14/627,900 испрашивается приоритет на основании предварительной заявки США № 62/116,563 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 16 февраля 2015 года, предварительной заявки США № 62/113,516 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 8 февраля 2015 года, предварительной заявки США № 62/109,051 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 28 января 2015 года, предварительной заявки США № 62/104,680 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 16 января 2015 года, предварительной заявки США № 62/090,310 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 10 декабря 2014 года, предварительной заявки США № 62/083,195 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 22 ноября 2014 года, предварительной заявки США № 62/073,846 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 31 октября 2014 года, предварительной заявки США № 62/055,799 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 26 сентября 2014 года, предварительной заявки США № 62/044,677 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 2 сентября 2014 года, предварительной заявки США № 62/024,948 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 15 июля 2014 года, предварительной заявки США № 62/013,691 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 18 июня 2014 года, предварительной заявки США № 62/013,502 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 17 июня 2014 года, предварительной заявки США № 62/013,190 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 17 июня 2014 года, предварительной заявки США № 61/990,431 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 8 мая 2014 года, предварительной заявки США № 61/987,406 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 1 мая 2014 года, предварительной заявки США № 61/953,930 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 16 марта 2014 года, предварительной заявки США № 61/942,559 «Способы и системы для приготовления пищи на роботизированной кухне», поданной 20 февраля 2014 года.

Предмет всех вышеупомянутых заявок в полном объеме включен в настоящее описание посредством ссылки.

Область техники, к которой относится изобретение

Настоящее изобретение относится в целом к комплексным отраслям робототехники и искусственного интеллекта, а более конкретно к компьютеризированным роботизированным системам, использующим электронные библиотеки мини-манипуляций с трансформированными инструкциями для воспроизведения движений, процессов и методик с электронными корректировками в режиме реального времени.

Уровень техники

В последние десятилетия ведутся научно-исследовательские разработки в области робототехники, однако, в основном, прогресс наблюдается в тяжелой промышленности, в частности, в автоматизации автомобилестроения или военных применениях. Для потребительского рынка были разработаны простые роботизированные системы, однако они не получили широкого распространения в сфере домашней робототехники. Благодаря техническому прогрессу и росту уровня доходов населения, на рынке имеются все предпосылки для использования достижений техники с целью повышения качества жизни. Робототехника продолжает развиваться в направлении повышения уровня автоматизации, улучшения искусственного интеллекта, а также имитации различных навыков и умений человека.

Концепция замены людей роботами в некоторых отраслях и выполнения задач, которые всегда выполнялись людьми, является основополагающей для идеологии непрерывного развития со времен появления первых роботов в 1970-х годах. В производственных секторах уже на протяжении долгого времени роботы используются в режиме «обучение/воспроизведение», в котором обучение робота производится с помощью выносного пульта управления или генерирования и загрузки определенной траектории в автономном режиме, когда движения непрерывно копируются без изменений или отклонений. На данный момент различные компании используют выполнение движений по заранее запрограммированным траекториям, под управлением компьютера, и воспроизведение движений роботом в таких отраслях, как смешивание напитков, сварка, окраска автомобилей и многое другое. Однако во всех традиционных сферах применения используется принцип однозначного соответствия (1:1) для системы «компьютер-робот» или «обучение-воспроизведение», для которого требуется только робот, точно выполняющий команды движения и практически всегда следующий запомненной/заранее рассчитанной траектории без отклонений.

Раскрытие изобретения

Настоящее изобретение относится к способам, компьютерным программным продуктам и компьютерным системам роботизированного приспособления с командами роботу для воспроизведения блюда с результатом, аналогичным результату, который достигается при приготовлении блюда шеф-поваром. В соответствии с первым вариантом осуществления роботизированное приспособление на стандартизованной роботизированной кухне содержит две роботизированные руки с кистями, которые точно повторяют движения шеф-повара в той же последовательности (или практически той же последовательности). Эти две роботизированные руки с кистями повторяют движения с такими же (или практически с такими же) временными характеристиками для приготовления блюда на основании предварительно записанного программного файла (сценарий рецепта) с данными о точных движениях шеф-повара, выполняемых им во время приготовлении данного блюда. В соответствии со вторым вариантом осуществления приспособление для приготовления пищи с компьютерным управлением готовит блюдо, используя сенсорную кривую, такую как зависимость температуры от времени, предварительно записанную в программный файл, когда то же блюдо готовилось шеф-поваром при помощи приспособления для приготовления пищи с датчиками, для которых компьютер записывает показания в течение времени, когда шеф-повар предварительно готовит блюдо на оборудовании для приготовления с датчиками. В соответствии с третьим вариантом осуществления кухонное оборудование для приготовления блюд содержит роботизированные руки по первому варианту осуществления и приспособление для приготовления с датчиками по второму варианту осуществления, причем применение роботизированных рук сочетается с одной или несколькими сенсорными кривыми, и роботизированные руки способны проверять качество блюда в процессе приготовления в отношении таких показателей, как вкус, запах и внешний вид, допуская любые корректировки процесса приготовления блюда. В соответствии с четвертым вариантом осуществления кухонное оборудование содержит систему хранения продуктов, с компьютерно-управляемыми контейнерами и идентификаторами контейнеров для хранения и передачи ингредиентов пользователю для приготовления блюда в соответствии с указаниями шеф-повара. В соответствии с пятым вариантом осуществления роботизированная кухня содержит робота с руками и кухонное оборудование, где робот перемещается по всему кухонному оборудованию для приготовления блюд путем имитации точных движений шеф-повара по приготовлению, включая возможные модификации/адаптации процесса приготовления, заданного в сценарии рецепта, в режиме реального времени.

Роботизированный механизм для приготовления пищи может обнаруживать, записывать и имитировать движения шеф-повара во время приготовления, контролировать значимые параметры, в т.ч. температуру и время, а также обеспечивать работу специальных устройств, оборудования и инструментов, чтобы приготовить изысканное блюдо, вкус которого будет идентичен вкусу блюда, приготовленного шеф-поваром, и которое может быть подано в определенное удобное время. В одном вариантероботизированный механизм приготовления пищи использует роботизированные руки для воспроизведения движений, идентичных движениям шеф-повара, с теми же ингредиентами и методиками для изготовления блюда с идентичным вкусом.

Основной идеей настоящего изобретения является фокусировка основного внимания на людях, за которыми наблюдают с помощью датчиков во время естественного выполнения определенных действий, и на последующем использовании датчиков контроля, датчиков захвата, компьютеров и программного обеспечения для генерирования информации и команд с целью воспроизведения человеческих действий, используя одну или несколько роботизированных и/или автоматизированных систем. Несмотря на то, что данный подход можно использовать для множества аналогичных действий (например, для приготовления пищи, рисования, игры на музыкальных инструментах и т.д.), один аспект настоящего изобретения относится к приготовлению пищи, а именно, к роботизированному приготовлению пищи. Наблюдение и регистрация действий человека выполняется в специальной системе с измерительной аппаратурой (в данном случае на стандартизованной кухне) с использованием датчиков и компьютеров для наблюдения, контроля, записи и интерпретации движений и действий человека-повара, чтобы сформировать набор исполняемых роботом команд, устойчивый к изменениям и отклонениям внешних условий, при помощи которого роботизированная или автоматизированная система на роботизированной кухне сможет приготовить такое же блюдо по соответствию стандартам и качеству, как и блюдо, приготовленное человеком-поваром.

Сбор необработанных данных осуществляется с помощью мультимодальных сенсорных систем (систем датчиков). К датчикам, способным собирать и предоставлять такие данные, можно отнести датчики условий окружающей среды и датчики геометрических размеров, например, двухкоординатные (камеры и т.д.) и трехкоординатные (лазеры, ультразвуковые датчики и т.д.) датчики, а также системы захвата движения человека (носимые маркеры для камер, костюмы/экзоскелеты с измерительной аппаратурой, перчатки с измерительной аппаратурой и т.д.), а также оборудование с измерительной аппаратурой (датчиками) и механизированное оборудование (с исполнительными механизмами), используемое во время создания рецепта и его выполнения (устройства с измерительной аппаратурой, оборудование для приготовления пищи, инструменты, дозаторы ингредиентов и т.д.). Все эти данные собираются одной или несколькими распределенными/централизованными компьютерными системами и обрабатываются с помощью различных программных процедур. При помощи алгоритмов выполняется обработка и абстрагирование данных до такой степени, чтобы человек и роботизированная кухня с компьютерным управлением смогли интерпретировать операции, задачи, действия, оборудование, ингредиенты, способы и процедуры, используемые человеком, включая воспроизведение ключевых навыков конкретного шеф-повара. Необработанные данные обрабатываются с помощью одного или нескольких программных механизмов абстрагирования для создания сценария рецепта, который одновременно был бы понятен человеку и после дальнейшей обработки мог быть считан и выполнен компьютером, а также подробно расписывал все действия и движения на всех этапах определенного рецепта, который должен быть выполнен на роботизированной кухне. Набор таких команд по сложности может варьироваться от управления отдельными шарнирами в соответствии с определенным профилем движения шарнира в течение времени до абстрагированных уровней встроенных команд выполнения движений более низкого уровня, связанных с конкретными шагами в рецепте. На основании необработанных данных можно сгенерировать абстрагированные команды движения (например, «разбить яйцо на сковороду», «обжарить с обеих сторон до получения золотистого цвета» и т.д.), после чего они могут быть уточнены и оптимизированы с помощью многочисленных вариантов итеративных процедур обучения, выполняемых в режиме реального времени и/или в автономном режиме, позволяя роботизированным кухонным системам справляться с неоднозначностями результатов измерений, изменением ингредиентов и т.д., давая возможность выполнять сложные (адаптивные) мини-манипуляции с помощью кистей с пальцами, установленных на руках и запястьях робота, на основании достаточно абстрагированных команд или команд высокого уровня (например, «взять кастрюлю за ручку», «высыпать содержимое», «взять ложку со столешницы и перемешать суп» и т.д.).

Возможность создания машинно выполняемых последовательностей команд, хранящихся теперь в цифровых файлах, которыми можно поделиться или передать, позволяя выполнить их на любой роботизированной кухне, предоставляет опцию выполнения этапов по приготовлению блюд в любом месте и в любое время. Таким образом, данный подход позволяет покупать/продавать рецепты в режиме онлайн, позволяя пользователям получать доступ и распространять рецепты для разового использования или по подписке.

Повторение блюда, приготовленного человеком, выполняется роботизированной кухней, что, в сущности, представляет собой точную стандартизованную копию кухни с аппаратурой, используемой человеком-поваром во время создания блюда, за тем исключением, что действия человека теперь выполняются набором роботизированных рук и кистей с помощью устройств, оборудования, инструментов, дозаторов и т.д. с компьютерным контролем и управлением. Поэтому степень точности воспроизведения блюда тесно связана с тем, насколько роботизированная кухня является точной копией кухни (и всех элементов и ингредиентов), в которой наблюдают за человеком-поваром при приготовлении блюда.

Говоря в широком смысле, человекоподобный робот с вычислительным контроллером, управляемый операционной системой для роботов (ROS) при помощи специальных команд, представляет собой базу данных со множеством электронных библиотек мини-манипуляций, где каждая библиотека включает множество мини-манипуляционных элементов. Электронные библиотеки мини-манипуляций можно совмещать для создания одного или нескольких наборов специализированных команд, которые будут исполняться машиной, мини-манипуляционные элементы в электронной библиотеке мини-манипуляций также можно совмещать для создания одного или нескольких наборов команд для специализированного применения, которые будут исполняться машиной; конструкция робота включает верхний и нижний корпуса, соединенные с головой при помощи шарнирной шеи; верхний корпус включает торс, плечи, руки и кисти; а также систему управления, соединенную с возможностью связи с базой данных, систему очувствления, систему интерпретации данных, полученных с датчиков, планировщик перемещений, исполнительные устройства и связанные с ними контроллеры; система управления исполняет специализированные наборы команд для управления конструкцией робота.

Кроме того, настоящее изобретение относится к методам, компьютерным программным продуктам и вычислительным системам роботизированных устройств для исполнения команд, взятых из одной или нескольких библиотек мини-манипуляций. На выполнение мини-манипуляций влияют два типа параметров, а именно изначальные параметры и параметры применения. В процессе создания фазы мини-манипуляции изначальные параметры предоставляют переменные величины для проверки различных комбинаций, упорядочений и степеней свободы для выполнения успешных мини-манипуляций. Во время фазы выполнения мини-манипуляции параметры применения могут быть запрограммированы или кастомизированы для создания одной или нескольких библиотек мини-манипуляций для конкретного применения, например, для приготовления пищи, изготовления суши, игры на фортепиано, рисования, захвата книги, а также других видов применения.

Мини-манипуляции представляют собой новый способ создания общей платформы «программирования по примеру» для антропоморфных роботов. В уровне техники в большой степени требуется точная разработка управляющего программного обеспечения экспертами-программистами для всех и каждого шага роботизированного действия или последовательности действий. Исключением к вышесказанному являются очень часто повторяющиеся задачи низкого уровня, например, заводская сборка, где присутствуют остаточные элементы обучения имитированием. Библиотека мини-манипуляций предоставляет большой выбор высокоуровневых воспринимающих и исполняющих последовательностей действий, являющихся общими строительными блоками для решения сложных задач, таких как приготовление пищи, уход за инвалидами, или других задач, выполняемых антропоморфными роботами следующего поколения. Более конкретно, в данном документе содержатся следующие отличительные особенности, отсутствующие в предшествующем уровне техники. Во-первых, потенциально очень большая библиотека предварительно определенных/изученных последовательностей восприятие-действие, называемых мини-манипуляциями. Во-вторых, каждая мини-манипуляция кодирует предварительные условия, требуемые для последовательностей восприятие-действие для успешного получения желаемых функциональных результатов (т. е. выходных условий) с точно заданной вероятностью успеха (например, 100 % или 97 % в зависимости от комплексности и сложности мини-манипуляции). В-третьих, каждая мини-манипуляция ссылается на набор переменных величин, значения которых могут быть установлены априори или при помощи воспринимающих действий до начала выполнения действий мини-манипуляции. В-четвертых, каждая мини-манипуляция изменяет значения набора переменных величин для обеспечения функционального результата (выходных условий) выполнения последовательности действий внутри мини-манипуляции. В-пятых, мини-манипуляции могут усваиваться благодаря повторному наблюдению за действиями человека-наставника (например, эксперта-повора) для определения последовательности восприятие-действие, а также диапазона приемлемых значений переменных величин. В-шестых, мини-манипуляции могут составлять часть более крупных образований для выполнения комплексных задач, например, для приготовления блюд и уборки помещений. Такие крупные образования являются многоэтапными применениями мини-манипуляций как в определенной последовательности, параллельно, так и с учетом частичного порядка действий, где некоторые этапы должны происходить перед другими, а не согласно общей заданной последовательности (например, для приготовления требуемого блюда необходимо добавить определенное количество трех ингредиентов в миксер и перемешать их; порядок добавления ингредиентов в миксер не регулируется, но все они должны быть добавлены перед смешиванием). В-седьмых, компоновка мини-манипуляций для решения комплексных задач осуществляется с помощью роботизированного планирования, учитывая исходные и выходные условия составляющих мини-манипуляций. В-восьмых, вывод, основанный на прецедентах, когда наблюдение за действиями людей или других роботов, выполняющих комплексные задачи, а также опыте этого же робота, полученном в прошлом, можно использовать для создания библиотеки повторно используемых планов для робота (особые случаи выполнения комплексной задачи), как успешных для реплицирования, так и неуспешных, которых следует избегать.

В первом аспекте настоящего изобретения, роботизированное устройство выполняет задачу повторения действий человека, например, приготовление пищи, игру на фортепиано или рисование, имея доступ к одной или нескольким библиотеками мини-манипуляций. Процесс воспроизведения действий роботизированным устройством имитирует передачу знаний или навыков от человека, выполняющего действия при помощи рук, например, как шеф-повар использует пару рук для приготовления определенного блюда; или маэстро, играющего пьесу на фортепиано с помощью рук (также, возможно с движениями ног и тела). Во втором аспекте, роботизированное устройство представляет собой человекоподобный робот для домашнего пользования - программируемый или кастомизируемый психологический, эмоциональный и/или функционально удобный робот, доставляющий удовольствие пользователю. В третьем аспекте настоящего изобретения одна или несколько библиотек мини-манипуляций создаются и выполняются как, во-первых, одна или несколько библиотек мини-манипуляций для общего применения, а во-вторых, как одна или несколько библиотек мини-манипуляций для специализированного применения. Одна или несколько библиотек мини-манипуляций для общего применения создаются на основании исходных параметров и степеней свободы человекоподобного робота или роботизированного устройства. Человекоподобный робот или роботизированное устройство являются программируемыми, что дает возможность программирования или кастомизации одной или нескольких библиотек мини-манипуляций для общего применения, которые, в результате, становятся библиотеками мини-манипуляций для специализированного применения, соответствующими запросам пользователя с учетом рабочих возможностей человекоподобного робота или роботизированного устройства.

Некоторые из описанных вариантов изобретения относятся к техническим особенностям, связанным с возможностью создания комплексных движений для человекоподобного робота, действий и взаимодействий с инструментами и рабочей средой, автоматически формируя движения для человекоподобного робота, действия и характер поведение робота на основании набора элементарных действий и программно-закодированных движений робота. Элементарные действия определяются движениями/действиями различной шарнирной степени свободы, которые по сложности находятся в диапазоне от простой до повышенной, и которые можно комбинировать в любой последовательно-параллельной форме. Эти элементарные действия называются мини-манипуляциями (ММ), каждая ММ имеет точную, индексированную по времени, структуру ввода команд, а также профиль поведения/исполнения на выходе, и направлена на выполнение определенной функции. ММ могут иметь разные степени сложности - от простой («индексировать один палец на 1 градус»), повышенной (например, «осуществить захват инструмента») и более высокой («достать нож и нарезать хлеб») до фактически абстрактной («исполнить первый такт первого концерта Шуберта для фортепиано»).

Таким образом, ММ основаны на программных средствах и представляются в виде наборов входных и выходных данных, неотъемлемых алгоритмов обработки и дескрипторов выполнения действий, схожи с отдельными программами с файлами входных/выходных данных и подпрограммами, содержатся в отдельном исходном тексте исполнительной программы, который, при компилировании, создает объектный код, который можно скомпилировать и поместить в различные библиотеки программных средств, называемые коллекциями различных библиотек мини-манипуляций (БММ). БММ можно определять в различные группы будь то связанные с (i) особыми аппаратными элементами (палец/кисть, запястье, рука, торс, ступня, ноги и т. д.), (ii) поведенческими элементами (контактирование, захват, обращение и т.д.) или даже (iii) областями применения (приготовление пищи, рисование, игра на музыкальных инструментах и т.д.). Кроме того, БММ в каждой из этих групп можно разделять по уровням сложности (от простой до повышенной), учитывая сложность требуемого характера поведения.

Таким образом, следует понимать, что концепция мини-манипуляций (ММ) (определения и ассоциации, измеряемые и управляющие переменные, а также их комбинации и использование/изменение значений и т.д.) и ее воплощение через использование множества БММ в комбинации, близкой к бесконечности, относится к определению и управлению основными формами поведения (движения и взаимодействия) одной или нескольких степеней свободы (движущиеся шарниры, регулируемые исполнительным механизмом), на уровнях от единичного шарнира (шарнир пальца и т.д.) до комбинаций шарниров (пальцы и кисть, рука и т.д.), и до систем более высокого уровня степени свободы (торс, верхняя часть корпуса и т.д.) согласно последовательности и комбинации, позволяющих достичь желаемой и успешной последовательности движений в свободном пространстве и желаемой степени взаимодействия с реальным миром, чтобы иметь возможность выполнить желаемую функцию или обеспечить результат работы роботизированной системы, направленный на взаимодействие с окружающим миром при помощи инструментов, утвари и других предметов.

Примеры приведенного выше определения могут находиться в диапазоне от (i) простой последовательности команд для перемещения шарика из мрамора по столу, а также (ii) перемешивания жидкости в сосуде при помощи специального инструмента, до (iii) проигрывания отрывка произведения на музыкальном инструменте (виолончель, фортепиано, арфа и т.д.). Основное понятие заключается в том, что ММ представлены на многих уровнях набором последовательно и параллельно исполняемых ММ-команд, которые осуществляют движение и действие/взаимодействие с внешней средой для выполнения желаемой функции (перемешивание жидкости, игра на виолончели и т.д.) и получения желаемого результата (приготовление соуса для пасты, исполнение фрагмента концерта Баха и т.д.).

Базовые элементы любой последовательности ММ от низкого до высокого уровней сложности включают движения для каждой подсистемы и их комбинации и описываются как набор командных позиций/скоростей, а также усилий/крутящих моментов, выполняемых одним или более шарнирными соединениями, приводимых в действие исполнительным механизмом, в требуемой последовательности. Точность исполнения обеспечивается замкнутым характером поведения, описанным для каждой ММ-последовательности и обеспечивающимся локальными и глобальными алгоритмами управления, свойственными для каждого контроллера шарнирного соединения и контроллеров характера поведения более высокого уровня.

Реализация вышеуказанных движений (описываемых позициями и скоростями движения шарнирных соединений) и взаимодействий со внешней средой (описанных усилиями и крутящими моментами соединений/интерфейсов) достигается наличием желаемых значений, воспроизводимых компьютером, для всех требуемых переменных (позиции/скорости и усилия/крутящие моменты) и их передачей в контроллерную систему, точно реализующую их для каждого соединения в виде функции времени на каждом шаге по времени. Эти переменные значения, их последовательность и контуры обратной связи (и, следовательно, не только файлы данных, но и программы управления) для установления точности движения/взаимодействий по команде описываются в файлах данных, комбинируемых в многоуровневые БММ. Доступ к БММ и комбинирование можно осуществлять различными способами, чтобы человекоподобный робот был способен выполнять различные действия, например, готовить пищу, исполнять фрагмент классического произведения на фортепиано, поднимать инвалида с кровати и т.д. Существуют БММ, описывающие простые элементарные движения/взаимодействия, которые затем используются в качестве строительных блоков для БММ всегда более высоких уровней, описывающих манипуляции всегда более высоких уровней, например, «захват», «подъем», «резка» до элементарных действий более высокого уровня, например, «перемешать жидкость в сосуде»/«перебрать струны арфы» и даже до действий высокого уровня сложности, например, «приготовить прованскую заправку»/«нарисовать летний деревенский пейзаж Бриттани»/«исполнить первый концерт Баха на фортепиано» и т.д. Команды более высокого уровня сложности представляют собой комбинацию последовательных/параллельных элементарных ММ-действий низкого и средних уровней сложности, которые выполняются согласно общей последовательности шагов по времени, регулируемой комбинацией профилей последовательности работы/пути/взаимодействия набора планировщиков с контроллерами обратной связи для обеспечения требуемой точности исполнения (как определено в выходных данных каждой ММ-последовательности).

Значения для желаемых позиций/скоростей и усилий/крутящих моментов и последовательность их воспроизведения можно получать различными способами. Одним из возможных способов является наблюдение за действиями человека, выполняющего такую же задачу, и последующее выделение из полученных данных (с видеокамеры, датчиков, программного обеспечения для моделирования и т.д.) необходимых переменных и их значений как функцию времени с последующей привязкой к различным мини-манипуляциям разных уровней сложности, используя специализированные программные алгоритмы для выделения требуемых ММ-данных (переменные величины, последовательности и т. д.) в разнообразные БММ от низкого до высокого уровней сложности. Этот подход позволит компьютерной программе автоматически создавать БММ и определять все последовательности и связи без участия человека.

Другим способом (реализуемым опять же при помощи автоматизированного компьютерного процесса, использующего специализированные алгоритмы) является получение в режиме реального времени (из видеофайлов, картин, звуковых файлов) данных о постройке требуемой последовательности действий, используя существующие низкоуровневые БММ для построения правильной последовательности и комбинаций для создания БММ для решения специальной задачи.

Еще одним способом, хоть и менее рациональным по времени реализации и стоимости, является привлечение программиста для ассемблирования набора элементарных действий низкоуровневых ММ- для создания набора действий/последовательностей всегда более высокого уровня сложности в БММ более высокого уровня для получения более комплексной последовательности действий, состоящей из предшествующих БММ более низкого уровня сложности.

Также возможно изменение и улучшение отдельных переменных величин (позиция/скорость движения шарнирного соединения, крутящие моменты/усилия на каждом пошаговом интервале времени и их связанные увеличения и алгоритмы комбинирования), а также последовательности движений/взаимодействий, что может осуществляться различными способами. Возможно, чтобы алгоритмы обучения контролировали все без исключения последовательности движений/взаимодействий и осуществляли простые изменения переменных для установления результата для определения необходимости/способа/времени/наименования переменной и последовательности для изменения и достижения более высокого уровня точности исполнения на уровнях серьезности различных БММ от низкого до высокого. Такой процесс будет являться полностью автоматическим и предусматривать обновленные наборы данных для обмена между различными взаимосвязанными платформами, обеспечивая массовое параллельное облачное обучение при помощи вычислений в облаке.

Преимуществом является то, что роботизированное приспособление на стандартизованной роботизированной кухне имеет функциональные возможности для приготовления широкого набора блюд разных кухонь со всего мира за счет использования глобальной сети и доступа к базам данных, по сравнению с шеф-поваром, который может специализироваться только на одном типе кухни. Стандартизованная роботизированная кухня также может иметь функцию захвата и записи одного из любимых блюд пользователя для последующего воспроизведения роботизированным устройством в любой момент, когда человек захочет попробовать это блюдо, без многократных трудных повторений для приготовления одного и того же блюда снова и снова.

Структуры и способы настоящего изобретения подробно описаны ниже. Вышеприведенное краткое изложение не претендует на ограничение объема изобретения. Объем изобретения задается формулой изобретения. Эти и другие варианты осуществления, особенности, аспекты и преимущества изобретения можно лучше понять с помощью приведенного ниже описания, формулы изобретения и сопроводительных чертежей.

Краткое описание чертежей

Изобретение будет описано на примере конкретных вариантах осуществления со ссылкой следующие чертежи, на которых:

На Фиг. 1 представлено схематическое изображение системы, где показана полная роботизированная кухня для приготовления пищи с аппаратным и программным обеспечением по изобретению.

На Фиг. 2 представлено схематическое изображение системы, где показан первый вариант осуществления роботизированной системы приготовления пищи, которая включает в себя студию-кухню шеф-повара и бытовую роботизированную кухонную систему по изобретению.

На Фиг. 3 представлено схематическое изображение системы, где показан один вариант осуществления стандартизованной роботизированной кухни для приготовления блюд путем воспроизведения процесса приготовления по рецепту, техник и движений шеф-повара по изобретению.

На Фиг. 4 представлено схематическое изображение системы, где показан один вариант осуществления роботизированного механизма приготовления пищи, используемого вместе с компьютером в студии-кухне шеф-повара и бытовой роботизированной кухонной системы по изобретению.

На Фиг. 5А представлена блок-схема, иллюстрирующая процесс создания рецепта в студии-кухне шеф-повара по изобретению.

На Фиг. 5В представлена блок-схема, иллюстрирующая один вариант осуществления стандартизованной роботизированной кухни, способной работать в режиме «обучение/воспроизведение» по изобретению.

На Фиг. 5С представлена блок-схема, иллюстрирующая один вариант осуществления механизма генерации и абстрагирования сценария рецепта по изобретению.

На Фиг. 5D представлена блок-схема, иллюстрирующая программные элементы для выполнения манипуляций с объектом на стандартизованной роботизированной кухне по изобретению.

На Фиг. 6 представлена блок-схема, иллюстрирующая архитектуру мультимодальной системы считывания и программных элементов по изобретению.

На Фиг. 7А представлено схематическое изображение, где показан модуль стандартизованной роботизированной кухни, используемый шеф-поваром по изобретению.

На Фиг. 7В представлено схематическое изображение, где показан модуль стандартизованной роботизированной кухни с парой роботизированных рук и кистей по изобретению;

На Фиг. 7С представлено схематическое изображение, где показан один вариант физической конфигурации модуля стандартизованной роботизированной кухни, используемого шеф-поваром по изобретению.

На Фиг. 7D представлено схематическое изображение, где показан один вариант физической конфигурации модуля стандартизованной роботизированной кухни, используемого парой роботизированных рук и кистей по изобретению.

На Фиг. 7Е представлено схематическое изображение, где показана пошаговая процедура и способы обеспечения наличия точек управления или контроля во время воспроизведения рецепта на основании сценария рецепта при его выполнении стандартизованной роботизированной кухней по изобретению.

На Фиг. 7F представлено схематическое изображение облачного программного обеспечения для рецепта для облегчения обмена данными между студией шеф-повара, роботизированной кухней и другими источниками.

На Фиг. 8А представлена блок-схема, иллюстрирующая один вариант модуля алгоритма конверсии движений шеф-повара в роботизированные зеркальные движения по изобретению.

На Фиг. 8В представлено схематическое изображение пары перчаток с датчиками, надетых шеф-поваром 49 для обеспечения захвата и передачи движений шеф-повара.

На Фиг. 8С проиллюстрировано роботизированное выполнение процесса приготовления на основании полученных данных датчиков, установленных на перчатках шеф-повара, по изобретению.

На Фиг. 8D представлен график, иллюстрирующий динамически устойчивые и динамически неустойчивые кривые относительно положения равновесия.

На Фиг. 8Е представлена диаграмма последовательности, иллюстрирующая процесс приготовления пищи, требующий выполнения последовательности этапов (также называемых стадиями), по изобретению.

На Фиг. 8F представлен график, иллюстрирующий вероятность общего успеха в виде функции от количества стадий процесса приготовления блюда по изобретению.

На Фиг. 8G представлена блок-схема, иллюстрирующая выполнение рецепта на основании роботизированного процесса приготовления пищи, состоящего из нескольких стадий, путем выполнения мини-манипуляций и элементарных действий.

На Фиг. 9А представлено схематическое изображение примера роботизированной кисти с запястьем, имеющей тактильные вибрационные датчики, акустические датчики и датчики камеры для обнаружения и перемещения кухонного инструмента, объекта или части кухонного оборудования по изобретению.

На Фиг. 9В представлено схематическое изображение поворотного устройства с сенсорной камерой, которое соединено с парой роботизированных рук и кистей для работы на стандартизованной роботизированной кухне по изобретению.

На Фиг. 9С представлено схематическое изображение, где показаны камеры с датчиками на роботизированных запястьях для выполнения различных операций на стандартизованной роботизированной кухне по изобретению;

На Фиг. 9D представлено схематическое изображение системы «глаз на руке» на роботизированных кистях для выполнения различных операций на стандартизованной роботизированной кухне по изобретению.

На Фиг. 9E-I представлены схематические изображения вариантов деформируемой ладони роботизированной кисти по изобретению.

На Фиг. 10А представлено схематическое изображение примеров записывающих устройств для шеф-повара, которые шеф-повар надевает на роботизированной кухне для записи и захвата его (ее) движений в процессе приготовления пищи по определенному рецепту.

На Фиг. 10В представлена блок-схема, иллюстрирующая один вариант процесса оценки результатов захвата движений шеф-повара для определения поз, движений и усилий робота по изобретению.

На Фиг. 11 представлено схематическое изображение роботизированной руки (вид сбоку) для использования в бытовой роботизированной кухонной системе по изобретению.

На Фиг. 12А-С представлены схематические изображения одного варианта кухонной ручки для роботизированной руки с ладонью по изобретению.

На Фиг. 13 представлена схема роботизированной кисти с тактильными датчиками и датчиками распределения давления по изобретению.

На Фиг. 14 представлена схема костюма с датчиками для шеф-повара, который он надевает на роботизированной студии-кухне по изобретению.

На Фиг. 15А-В представлены схематические изображения одного варианта тактильной перчатки с тремя пальцами и датчиками для приготовления пищи шеф-поваром, а также пример роботизированной кисти с тремя пальцами и датчиками по изобретению. На Фиг. 15С представлена блок-схема, иллюстрирующая один пример взаимозависимости и взаимодействий между роботизированной рукой и роботизированной кистью в соответствии с настоящим изобретением. На Фиг. 15D представлена блок-схема, иллюстрирующая роботизированную руку, использующую стандартизированную кухонную ручку, прикрепляемую к кухонной посуде, и роботизироуванная рука, прикрепляемая к кухонной посуде в соответствии с настоящим изобретением.

На Фиг. 16 представлена блок-схема, иллюстрирующая модуль создания базы данных библиотек мини-манипуляций, а также модуль выполнения для базы данных библиотек мини-манипуляций по изобретению.

На Фиг. 17А представлено схематическое изображение перчатки с

датчиками, используемой шеф-поваром для выполнения стандартизованных рабочих движений по изобретению.

На Фиг. 17В представлена блок-схема, иллюстрирующая базу данных стандартизованных рабочих движений в модуле роботизированной кухни по изобретению.

На Фиг. 18А представлено схематическое изображение роботизированной кисти по изобретению, на которую надета перчатка из искусственной мягкой кожи, имитирующей кожу человека.

На Фиг. 18В представлена блок-схема, иллюстрирующая действия роботизированных кистей, на которые надеты перчатки из искусственной кожи, имитирующей человеческую кожу, для выполнения мини-манипуляций высокого уровня на основании базы данных библиотек мини-манипуляций, которые предварительно определяются и сохраняются в базе данных библиотек по изобретению.

На Фиг. 18С представлены схематические изображения трех типов систематизации манипуляций для приготовления пищи по изобретению.

На Фиг. 18D представлена блок-схема, иллюстрирующая один вариант систематизации манипуляций для приготовления пищи по изобретению.

На Фиг. 19 представлена блок-схема, иллюстрирующая в качестве примера создание мини-манипуляций по изобретению, необходимых для разбивания яйца при помощи ножа.

На Фиг. 20 представлена блок-схема, иллюстрирующая пример выполнения рецепта для мини-манипуляции по изобретению с возможностью регулировок в режиме реального времени.

На Фиг. 21 представлена блок-схема, иллюстрирующая программную процедуру захвата движений шеф-повара при приготовлении пищи в модуле стандартизованной кухни по изобретению.

На Фиг. 22 представлена блок-схема, иллюстрирующая программную процедуру приготовления пищи с помощью роботизированного приспособления в модуле стандартизованной роботизированной кухни по изобретению.

На Фиг. 23 представлена блок-схема, иллюстрирующая один вариант осуществления программной процедуры для создания, тестирования, проверки и сохранения различных сочетаний параметров для системы выполнения мини-манипуляций по изобретению.

На Фиг. 24 представлена блок-схема, иллюстрирующая один вариант осуществления программной процедуры создания задач для системы выполнения мини-манипуляций по изобретению.

На Фиг. 25 представлена блок-схема, иллюстрирующая процесс назначения и использования библиотеки инструментов стандартизованной кухни, стандартизованных объектов и стандартизованного оборудования на стандартизованной роботизированной кухне по изобретению.

На Фиг. 26 представлена блок-схема, иллюстрирующая процесс идентификации нестандартизованного объекта с помощью трехмерного моделирования по изобретению.

На Фиг. 27 представлена блок-схема, иллюстрирующая процесс тестирования и запоминания мини-манипуляций по изобретению.

На Фиг. 28 представлена блок-схема, иллюстрирующая процесс контроля качества работы роботизированных рук по изобретению и корректировки процесса.

На Фиг. 29 представлена таблица, иллюстрирующая структуру базы данных библиотек мини-манипуляций с объектами для использования на стандартизованной роботизированной кухне по изобретению.

На Фиг. 30 представлена таблица, иллюстрирующая структуру базы данных библиотек стандартизованных объектах для использования на стандартизованной роботизированной кухне по изобретению.

На Фиг. 31 представлено схематическое изображение роботизированной кисти по изобретению для выполнения проверки качества рыбы.

На Фиг. 32 представлено схематическое изображение роботизированной сенсорной головки по изобретению для выполнения проверки качества продукта в чаше.

На Фиг. 33 представлено схематическое изображение устройства обнаружения или контейнера с датчиком по изобретению для определения свежести и качества пищевых продуктов.

На Фиг. 34 представлено схематическое изображение системы анализа в режиме реального времени по изобретению для определения свежести и качества пищевых продуктов.

На Фиг. 35 представлена блок-схема, иллюстрирующая заранее наполненные контейнеры с программируемым органом управления дозатором по изобретению.

На Фиг. 36 представлена блок-схема, иллюстрирующая структуру системы приготовления по рецепту, используемой на стандартизованной роботизированной кухне по изобретению.

На Фиг. 37А-С представлены блок-схемы, иллюстрирующие меню поиска рецепта для использования на стандартизованной роботизированной кухне по изобретению.

На Фиг. 37D представлен скриншот меню с функциями создания и отправки рецепта по изобретению.

На Фиг. 37Е-М представлены блок-схемы, иллюстрирующие один вариант осуществления пользовательского интерфейса по изобретению для приготовления пищи с такими функциональными возможностями, как фильтрация по рецептам, фильтрация по ингредиентам, фильтрация по оборудованию, доступ с помощью учетной записи и социальных сетей, персональная страница партнера, страница корзины, информация о приобретенном рецепте, настройка регистрации, создание рецепта.

На Фиг. 37N приведены скриншоты для различных опций графического пользовательского интерфейса и меню по изобретению.

На Фиг. 38 представлена блок-схема, иллюстрирующая меню поиска рецепта путем выбора различных полей для использования на стандартизованной роботизированной кухне по изобретению.

На Фиг. 39 представлено схематическое изображение стандартизованной роботизированной кухни по изобретению с дополнительным датчиком для трехмерного отслеживания и генерирования референсных данных.

На Фиг. 40 представлено схематическое изображение стандартизованной роботизированной кухни по изобретению с множеством датчиков для создания трехмерной модели в режиме реального времени.

На Фиг. 41A-L представлены схематические изображения различных вариантов осуществления и характеристик стандартизованной роботизированной кухни по изобретению.

На Фиг. 42А представлено схематическое изображение (вид в плане) стандартизованной роботизированной кухни по изобретению.

На Фиг. 42В представлено схематическое изображение (общий вид в плане) стандартизованной роботизированной кухни по изобретению.

На Фиг. 43А-В представлены схематические изображения первого варианта осуществления каркаса кухонного модуля с автоматическими прозрачными дверями на стандартизованной роботизированной кухне по изобретению.

На Фиг. 44А-В представлены схематические изображения второго варианта осуществления каркаса кухонного модуля с автоматическими прозрачными дверьми на стандартизованной роботизированной кухне по изобретению.

На Фиг. 45 представлено схематическое изображение стандартизованной роботизированной кухни с телескопическим исполнительным механизмом по изобретению.

На Фиг. 46А представлено схематическое изображение вида спереди стандартизованной роботизированной кухни с парой зафиксированных роботизированных рук без направляющих рельсов по изобретению.

На Фиг. 46В представлено схематическое изображение углового вида стандартизованной роботизированной кухни с парой зафиксированных роботизированных рук без направляющих рельсов по изобретению.

На Фиг. 46C-G представлены схематические изображения различных примерных габаритов стандартизованной роботизированной кухни с парой зафиксированных роботизированных рук без направляющих рельсов по изобретению.

На Фиг. 47 представлено схематическое изображение системы хранения программ для использования со стандартизованной роботизированной кухни по изобретению.

На Фиг. 48 представлено схематическое изображение системы хранения программ для использования со стандартизованной роботизированной кухней по изобретению, в вертикальном разрезе.

На Фиг. 49 представлено схематическое изображение контейнеров для доступа к ингредиентам для использования со стандартизованной роботизированной кухни по изобретению, в вертикальном разрезе.

На Фиг. 50 представлено схематическое изображение панели контроля качества ингредиентов, связанной с контейнерами для доступа к ингредиентам, для использования со стандартизованной роботизированной кухни по изобретению.

На Фиг. 51 представлена таблица, иллюстрирующая базу данных библиотек параметров рецепта по изобретению.

На Фиг. 52 представлена блок-схема, иллюстрирующая один вариант процедуры записи процесса приготовления пищи шеф-поваром по изобретению.

На Фиг. 53 представлена блок-схема, иллюстрирующая порядок работы одного варианта осуществления роботизированного приспособления по изобретению во время приготовления блюда.

На Фиг. 54 представлена блок-схема, иллюстрирующая один вариант процедуры контроля качества и регулировки работы для достижения результата при приготовлении блюда с помощью робота по изобретению, идентичного или практически идентичного результату, который достигается при приготовлении блюда шеф-поваром.

На Фиг. 55 представлена блок-схема, иллюстрирующая первый вариант процедуры приготовления блюда на роботизированной кухне путем воспроизведения движений шеф-повара из записанного программного файла на роботизированной кухне по изобретению.

На Фиг. 56 представлена блок-схема, иллюстрирующая процедуру загрузки и идентификации ингредиентов на роботизированной кухне по изобретению.

На Фиг. 57 представлена блок-схема, иллюстрирующая порядок выгрузки ингредиентов и приготовления на роботизированной кухне по изобретению.

На Фиг. 58 представлена блок-схема, иллюстрирующая один вариант автоматизированной процедуры подготовки к приготовлению на роботизированной кухне по изобретению.

На Фиг. 59 представлена блок-схема, иллюстрирующая один вариант процедуры разработки и записи сценария рецепта на роботизированной кухне по изобретению.

На Фиг. 60 представлена блок-схема, иллюстрирующая модель оформления подписки для пользователя, который хочет приобрести рецепт роботизированного приготовления пищи по изобретению.

На Фиг. 61А-В представлены блок-схемы, иллюстрирующие процедуру поиска рецепта и оплаты подписки на коммерческую платформу с рецептами на портале по изобретению.

На Фиг. 62 представлена блок-схема, иллюстрирующая создание приложения роботизированного приготовления по рецепту на платформе приложений по изобретению.

На Фиг. 63 представлена блок-схема, иллюстрирующая процедуру поиска, приобретения и оформления подписки пользователя на рецепты приготовления по изобретению.

На Фиг. 64А-В представлены блок-схемы, иллюстрирующие примеры заранее заданных критериев поиска рецепта по изобретению.

На Фиг. 65 представлена таблица, иллюстрирующая несколько заранее заданных полей поиска рецепта для роботизированной кухни по изобретению.

На Фиг. 66 представлено схематическое изображение первого варианта осуществления модуля роботизированной кухни ресторана, представляющего собой прямоугольную систему с несколькими парами роботизированных кистей по изобретению для одновременного приготовления пищи.

На Фиг. 67 представлено схематическое изображение второго варианта осуществления модуля роботизированной кухни ресторана, имеющего U-образную форму, с несколькими парами роботизированных кистей по изобретению для одновременного приготовления пищи.

На Фиг. 68 представлена блок-схема, иллюстрирующая второй вариант осуществления роботизированной системы приготовления пищи по изобретению с кухонной посудой, оборудованной датчиками и использующей кривые данных датчиков.

На Фиг. 69 представлена блок-схема, иллюстрирующая некоторые физические элементы роботизированной системы приготовления пищи в соответствии со вторым вариантом осуществления настоящего изобретения.

На Фиг. 70 представлено схематическое изображение кухонной посуды с датчиками для («умной») сковороды с температурными датчиками, работающими в режиме реального времени, для использования со вторым вариантом осуществления настоящего изобретения.

На Фиг. 71 представлен график, иллюстрирующий записанную кривая температуры с несколькими наборами данных от различных датчиков кухонной посуды, полученная в студии шеф-повара по изобретению.

На Фиг. 72 представлен график, иллюстрирующий записанные кривые температуры и влажности от кухонной посуды по изобретению, оборудованной датчиками, которые были получены в студии шеф-повара для передачи на блок управления.

На Фиг. 73 представлено схематическое изображение кухонной посуды с датчиками по изобретению, для приготовления на основании данных с температурной кривой для различных зон на сковороде.

На Фиг. 74 представлено схематическое изображение кухонной посуды («умной») печи с датчиками температуры и влажности, работающими в режиме реального времени, для использования со вторым вариантом осуществления настоящего изобретения.

На Фиг. 75 представлено схематическое изображение кухонной посуды с датчиками, для («умного») гриля с температурными датчиками, работающими в режиме реального времени, для использования со вторым вариантом осуществления настоящего изобретения.

На Фиг. 76 представлено схематическое изображение кухонной утвари с датчиками, для («умного) водопроводного крана с функциями регулировки скорости, температуры и мощности для использования со вторым вариантом осуществления настоящего изобретения.

На Фиг. 77 представлено схематическое изображение вида сверху роботизированной кухни с кухонной утварью с датчиками, в соответствии со вторым вариантом осуществления настоящего изобретения.

На Фиг. 78 представлено схематическое изображение общего вида роботизированной кухни с кухонной утварью с датчиками, в соответствии со вторым вариантом осуществления настоящего изобретения.

На Фиг. 79 представлена блок-схема, иллюстрирующая второй вариант процесса приготовления блюда на роботизированной кухне по изобретению на основании одной или нескольких кривых ранее записанных параметров на роботизированной кухне.

На Фиг. 80 представлена блок-схема, иллюстрирующая второй вариант осуществления роботизированной системы приготовления пищи по изобретению путем захвата процесса приготовления блюда шеф-поваром с помощью кухонной утвари с датчиками.

На Фиг. 81 представлена блок-схема, иллюстрирующая второй вариант осуществления роботизированной системы приготовления пищи по изобретению путем воспроизведения процесса приготовления блюда шеф-поваром с помощью кухонной утвари с датчиками.

На Фиг. 82 представлена блок-схема, иллюстрирующая третий вариант осуществления роботизированной кухни для приготовления пищи по изобретению с модулем управления процессом приготовления и модулем выдачи команд и визуального контроля.

На Фиг. 83 представлено схематическое изображение вида сверху третьего варианта осуществления роботизированной кухни для приготовления пищи по изобретению, а также движений роботизированных рук и кистей.

На Фиг. 84 представлено схематическое изображение общего вида третьего варианта осуществления роботизированной кухни для приготовления пищи, а также движений роботизированных рук и кистей по изобретению.

На Фиг. 85 представлено схематическое изображение вида сверху третьего варианта осуществления роботизированной кухни по изобретению для приготовления пищи с модулем выдачи команд и визуального контроля.

На Фиг. 86 представлено схематическое изображение общего вида третьего варианта осуществления роботизированной кухни по изобретению для приготовления пищи с модулем выдачи команд и визуального контроля.

На Фиг. 87А представлена блок-схема, иллюстрирующая четвертый вариант осуществления роботизированной кухни по изобретению для приготовления пищи роботом.

На Фиг. 87В представлено схематическое изображение вида сверху четвертого варианта осуществления роботизированной кухни для приготовления пищи с человекоподобным роботом по изобретению.

На Фиг. 87С представлено схематическое изображение общего вида четвертого варианта осуществления роботизированной кухни для приготовления пищи с человекоподобным роботом по изобретению.

На Фиг. 88 представлена блок-схема, иллюстрирующая библиотеку электронной интеллектуальной собственности (IP) для робота, имитирующего человека, по изобретению.

На Фиг. 89 представлена блок-схема, иллюстрирующая роботизированный механизм распознавания эмоций человека по изобретению.

На Фиг. 90 представлена блок-схема, иллюстрирующая процесс функционирования роботизированного механизма по распознаванию эмоций человека по изобретению.

На Фиг. 91А-С представлены блок-схемы, иллюстрирующие процесс сравнения профиля эмоций человека с совокупностью профилей эмоций на основании набора гормонов, набора феромонов и других параметров по изобретению.

На Фиг. 92А представлена схема, иллюстрирующая процесс обнаружения эмоций и анализа эмоционального состояния человека на основании контроля набора гормонов, набора феромонов и других ключевых параметров по изобретению.

На Фиг. 92В представлена блок-схема, иллюстрирующая процесс оценки и запоминания роботом эмоционального поведения человека по изобретению.

На Фиг. 93 представлено схематическое изображение, иллюстрирующее соединительное устройство по изобретению, имплантируемое в организм человека для обнаружения и записи эмоционального профиля человека.

На Фиг. 94А представлена блок-схема, иллюстрирующая интеллектуальный механизм робота, имитирующего человека, по изобретению.

На Фиг. 94В представлена блок-схема, иллюстрирующая процесс функционирования интеллектуального механизма робота, имитирующего человека, по изобретению.

На Фиг. 95А представлена блок-схема, где показана роботизированная система рисования по изобретению.

На Фиг. 95В представлена блок-схема, иллюстрирующая различные компоненты роботизированной системы рисования по изобретению.

На Фиг. 95C представлена блок-схема, иллюстрирующая роботизированный механизм воспроизведения живописных навыков человека по изобретению.

На Фиг. 96А представлена блок-схема, иллюстрирующая процесс записи действий художника в художественной студии по изобретению.

На Фиг. 96В представлена блок-схема, иллюстрирующая процесс воспроизведения с помощью роботизированной рисующей системы по изобретению.

На Фиг. 97А представлена блок-схема, иллюстрирующая вариант осуществления механизма воспроизведения действий музыканта по изобретению.

На Фиг. 97В представлена блок-схема, иллюстрирующая процесс функционирования механизма воспроизведения действий музыканта по изобретению.

На Фиг. 98 представлена блок-схема, иллюстрирующая вариант осуществления механизма воспроизведения действий по медицинскому уходу по изобретению.

На Фиг. 99А-В представлены блок-схемы, иллюстрирующая процесс функционирования механизма воспроизведения действий по медицинскому уходу по изобретению.

На Фиг. 100 представлена блок-схема, иллюстрирующая пример компьютерного устройства, на которое могут быть установлены и которое может выполнять исполняемые компьютером инструкции для выполнения роботизированных методик, описанных в настоящем документе.

На Фиг. 101 представлена схема программного комплекса, иллюстрирующая механизм имитации роботом навыков человека с различными программными модулями по изобретению.

На Фиг. 102 представлена блок-схема, иллюстрирующая один из вариантов выполнения роботизированной системы имитации навыков человека по изобретению.

На Фиг. 103 представлена блок-схема, иллюстрирующая человекоподобного робота по изобретению с контрольными точками для процесса исполнения навыков или воспроизведения со стандартизированными рабочими инструментами, позициями и ориентировками, а также стандартизированным оборудованием.

На Фиг. 104 представлена упрощенная блок-схема, иллюстрирующая программу человекоподобного робота для воспроизведения записанных действий человека по данным с датчиков, размещенных в перчатках, по изобретению.

На Фиг. 105 представлена блок-схема, иллюстрирующая процесс записи движений автора и их воспроизведение человекоподобным роботом по изобретению.

На Фиг. 106 представлена иллюстрация общей платформы управления человекоподобным роботом по изобретению с описанием функций высокого уровня.

На Фиг. 107 представлена блок-схема, иллюстрирующая порядок создания, передачи, реализации и использования библиотек мини-манипуляций в рамках процесса воспроизведения задач человекоподобным роботом по изобретению.

На Фиг. 108 представлена блок-схема, иллюстрирующая студию, категории и типы ввода данных с датчиков по изобретению.

На Фиг. 109 представлена блок-схема, иллюстрирующая топологию движения рук и торса библиотеки аппаратных/системных мини-манипуляций по изобретению.

На Фиг. 110 представлена блок-схема, иллюстрирующая переходы и комбинации фаз мини-манипуляции библиотеки мини-манипуляции по изобретению для выполнения определенных последовательностей действий, ориентированных на конкретную задачу.

На Фиг. 111 представлена блок-схема, иллюстрирующая одну или несколько библиотек мини-манипуляций по изобретению, (универсальный или ориентированный на конкретную задачу), строительный процесс по данным из студии.

На Фиг. 112 представлена блок-схема, иллюстрирующая выполнение задачи роботом с использованием наборов данных из одной или нескольких библиотек мини-манипуляций по изобретению.

На Фиг. 113 представлена блок-схема, иллюстрирующая механизм автоматизированного построения набора параметров мини-манипуляции по изобретению.

На Фиг. 114А представлена блок-схема, иллюстрирующая один из вариантов исполнения роботизированной системы имитации навыков человека по изобретению.

На Фиг. 114В представлена блок-схема, иллюстрирующая примеры различных форматов данных мини-манипуляций согласно составу, связям и конверсии данных мини-манипуляционного поведения робота по изобретению.

На Фиг. 115 представлена блок-схема, иллюстрирующая различные уровни двунаправленных абстракций между концепциями робототехнических аппаратных средств, концепциями робототехнических программных средств, концепциями робототехнической деловой деятельности и математическими алгоритмами для реализации робототехнических концепций по изобретению.

На Фиг. 116 представлена блок схема, иллюстрирующая пару рук и кистей с пятью пальцами робота по изобретению.

На Фиг. 117А представлена блок-схема, иллюстрирующая один из вариантов выполнения человекоподобного робота по изобретению; на Фиг. 117В представлена блок-схема, иллюстрирующая вариант выполнения человекоподобного робота с гироскопами и графическими данными по изобретению; на Фиг. 117С представлена графическая схема, иллюстрирующая записывающие устройства на человекоподобном роботе по изобретению, в том числе костюм с датчиками, экзоскелет руки, головную гарнитуру.

На Фиг. 118 представлена блок-схема, иллюстрирующая экспертную библиотеку мини-манипуляций робота для навыков человека по изобретению.

На Фиг. 119 представлена блок-схема, иллюстрирующая процесс создания электронной библиотеки общих мини-манипуляций для замены движений кисти на основании движений кисти человека по изобретению.

На Фиг. 120 представлена блок-схема, иллюстрирующая выполнение задачи роботом во время выполнения нескольких этапов с общими мини-манипуляциями по изобретению.

На Фиг. 121 представлена блок-схема, иллюстрирующая возможность регулировки параметров в режиме реального времени во время выполнения мини-манипуляций по изобретению.

На Фиг. 122 представлена блок-схема, иллюстрирующая набор мини-манипуляций для приготовления суши по изобретению.

На Фиг. 123 представлена блок-схема, иллюстрирующая первый тип мини-манипуляций по нарезке рыбы из набора мини-манипуляций для приготовления суши по изобретению.

На Фиг. 124 представлена блок-схема, иллюстрирующая второй тип манипуляций по взятию риса из контейнера из набора мини-манипуляций для приготовления суши по изобретению.

На Фиг. 125 представлена блок-схема, иллюстрирующая третий тип мини-манипуляций по взятию куска рыбы из набора мини-манипуляций для приготовления суши по изобретению.

На Фиг. 126 представлена блок-схема, иллюстрирующая четвертый тип мини-манипуляций по уплотнению риса и рыбы в желаемую форму из набора мини-манипуляций для приготовления суши по изобретению.

На Фиг. 127 представлена блок-схема, иллюстрирующая пятый тип мини-манипуляций по прижатию рыбы к рису из набора мини-манипуляций для приготовления суши по изобретению.

На Фиг. 128 представлена блок-схема, иллюстрирующая набор мини-манипуляций по изобретению для игры на фортепиано, которая происходит в любой последовательности или в любой комбинации одновременно.

На Фиг. 129 представлена блок-схема, иллюстрирующая первый тип мини-манипуляции для правой кисти и второй тип мини-манипуляции для левой кисти из набора мини-манипуляций по изобретению, которые происходят одновременно во время игры на фортепиано из набора мини-манипуляций для игры на фортепиано.

На Фиг. 130 представлена блок-схема, иллюстрирующая третий тип мини-манипуляций для правой ноги и четвертый тип мини-манипуляций для левой ноги из набора мини-манипуляций, которые происходят одновременно из набора мини-манипуляций для игры на фортепиано.

На Фиг. 131 представлена блок-схема, иллюстрирующая пятый тип мини-манипуляции для движения тела, которая происходит одновременно с одной или несколькими мини-манипуляциями из набора мини-манипуляций по игре на фортепиано.

На Фиг. 132 представлена блок-схема, иллюстрирующая набор мини-манипуляций по ходьбе человекоподобного робота в любой последовательности или в любой комбинации одновременно

На Фиг. 133 представлена блок-схема, иллюстрирующая первый тип мини-манипуляций переднего толчка левой ногой из набора мини-манипуляций по ходьбе человекоподобного робота.

На Фиг. 134 представлена блок-схема, иллюстрирующая второй тип мини-манипуляций наступления правой ногой из набора мини-манипуляций по ходьбе человекоподобного робота.

На Фиг. 135 представлена блок-схема, иллюстрирующая третий тип мини-манипуляций по продвижению правой ноги из набора мини-манипуляций по ходьбе человекоподобного робота по изобретению.

На Фиг. 136 представлена блок-схема, иллюстрирующая четвертый тип мини-манипуляций по заднему толчку правой ноги из набора мини-манипуляций по ходьбе человекоподобного робота по изобретению.

На Фиг. 137 представлена блок-схема, иллюстрирующая пятый тип мини-манипуляций переднего толчка левой ногой из набора мини-манипуляций по ходьбе человекоподобного робота по изобретению.

На Фиг. 138 представлена блок-схема, иллюстрирующая робототехнический модуль по изобретению для осуществления медицинского ухода с трехкоординатной системой изображения.

На Фиг. 139 представлена блок-схема, иллюстрирующая робототехнический модуль по изобретению для осуществления медицинского ухода со стандартизованными шкафами.

На Фиг. 140 представлена блок-схема, иллюстрирующая робототехнический модуль по изобретению для осуществления медицинского ухода с использованием одного или нескольких стандартизованных устройств для хранения, стандартизованного экрана и стандартизованного гардероба.

На Фиг. 141 представлена блок-схема, иллюстрирующая робототехнический модуль по изобретению для осуществления медицинского ухода с телескопическим корпусом с парой роботизированных рук и парой роботизированных кистей.

На Фиг. 142 представлена блок-схема, иллюстрирующая первый пример осуществления робототехнического модуля по изобретению по медицинскому уходу с различными движениями с целью оказания помощи пожилому человеку.

На Фиг. 143 представлена блок-схема, иллюстрирующая второй пример осуществления робототехнического модуля по изобретению по медицинскому уходу с погрузкой и выгрузкой инвалидного кресла.

На Фиг. 144 представлена наглядное изображение, иллюстрирующее человекоподобного робота по изобретению, выступающего в качестве помощника между двумя агентами.

На Фиг. 145 представлена наглядная схема, иллюстрирующая человекоподобного робота по изобретению, оказывающего терапевтические услуги человеку В, находясь под прямым управлением человека А.

На Фиг. 146 представлена блок-схема, иллюстрирующая первый тип варианта размещения двигателей по отношению к роботизированной руке и кисти с максимальным крутящим моментом, требующим перемещения руки.

На Фиг. 147 представлена блок-схема, иллюстрирующая второй тип варианта размещения двигателей по отношению к роботизированной руке и кисти с минимальным крутящим моментом, требующим перемещения руки.

На Фиг. 148А представлено наглядное изображение, иллюстрирующее вид спереди роботизированных рук по изобретению, спускающихся с подвесного крепления, для использования на роботизированной кухне с печью; на Фиг. 148В представлено наглядное изображение, иллюстрирующее вид сверху роботизированных рук, спускающихся с подвесного крепления, для использования на роботизированной кухне с печью по изобретению.

На Фиг. 149А представлено наглядное изображение, иллюстрирующее вид спереди роботизированных рук по изобретению, спускающихся с подвесного крепления, для использования на роботизированной кухне с дополнительным пространством; на Фиг. 149В представлено наглядное изображение, иллюстрирующее вид сверху роботизированных рук по изобретению, спускающихся с подвесного крепления, для использования на роботизированной кухне с дополнительным пространством.

На Фиг. 150А представлено наглядное изображение, иллюстрирующее вид спереди роботизированных рук по изобретению, спускающихся с подвесного крепления, для использования на роботизированной кухне с выдвижными шкафами для хранения; а на Фиг. 150В представлено наглядное изображение, иллюстрирующее вид сверху роботизированных рук, спускающихся с подвесного крепления, для использования на роботизированной кухне по изобретению с выдвижными шкафами для хранения.

На Фиг. 151А представлено наглядное изображение, иллюстрирующее вид спереди роботизированных рук, спускающихся с подвесного крепления, для использования на роботизированной кухне по изобретению с выдвижными шкафами для хранения с полками; а на Фиг. 151В представлено наглядное изображение, иллюстрирующее вид спереди роботизированных рук, спускающихся с подвесного крепления, для использования на роботизированной кухне по изобретению с выдвижными шкафами для хранения с полками.

На Фиг. 152-161 представлены наглядные изображения различных вариантов исполнения устройств роботизированного захвата по изобретению.

На Фиг. 162A-S представлены наглядные изображения, иллюстрирующие рукоятки для роботизированных кистей по изобретению, которые можно крепить к различной кухонной посуде и приспособлениям.

На Фиг. 163 представлено наглядное изображение части блендера для применения на роботизированной кухне по изобретению.

На Фиг. 164А-С представлено наглядные изображения различных кухонных держателей для применения на роботизированной кухне по изобретению.

На Фиг. 165A-V представлены блок-схемы, иллюстрирующие примеры манипуляций без ограничения настоящего изобретения.

Фиг. 166A-L иллюстрируют примеры кухонного оборудования из Таблицы А в соответствии с изобретением.

Фиг. 167A-167V иллюстрируют примеры ингредиентов из Таблицы В в соответствии с изобретением.

Фиг. 168A-168Z иллюстрируют примеры листов для приготовления пищи, способов, оборудования и кухонь из Таблицы С в соответствии с изобретением.

Фиг. 169A-Z15 иллюстрируют различные примеры оснований из Таблицы С в соответствии с изобретением.

Фиг. 170А-170С иллюстрируют различные примеры кухонь и блюд из Таблицы D в соответствии с изобретением.

Фиг. 171А-Е иллюстрируют один вариант исполнения роботизированной системы для приготовления пищи из Таблицы Е в соответствии с изобретением.

Фиг. 172А-С иллюстрируют примеры мини-манипуляций, выполняемых роботом по изобретению, включая робота, приготавливающего суши, робота, играющего на фортепиано, робота, передвигающего другого робота с первой позиции на вторую, робота, прыгающего с первой позиции на вторую, человекоподобного робота, берущего книгу с книжной полки, человекоподобного робота, приносящего сумку с первой позиции на вторую, робота, открывающего банку и робота, помещающего корм в кошачью миску для кормления.

Фиг. 173A-I иллюстрируют примеры многоуровневых мини-манипуляций для осуществления роботом по изобретению, включая медицинские измерения, лаваж, обеспечение дополнительного кислорода, поддержание температуры тела, катетеризацию, физиотерапию, гигиенические процедуры, кормление, взятие проб для анализов, уход за стомами и катетерами, уход за ранами, и способы введения лекарств.

Фиг. 174 иллюстрирует пример многоуровневых мини-манипуляций робота по изобретению, предназначенного для выполнения интубации, реанимации/сердечно-легочной реанимации, восполнения потерь крови, остановки кровотечения, выполнения операций в чрезвычайных условиях на трахее, при переломе кости, и для ушивания раны.

Фиг. 175 иллюстрирует перечень образцов медицинского оборудования и приборов в соответствии с изобретением.

Фиг. 176А-В иллюстрирует пример ухода с мини-манипуляциями по изобретению.

Фиг. 177 иллюстрирует другой перечень оборудования в соответствии с изобретением.

На Фиг. 178 представлена блок-схема, иллюстрирующая пример компьютерного устройства, на котором исполняемые компьютером команды выполняют описанные здесь роботизированные методологии и которые могут быть установлены и выполнены.

Осуществление изобретения

Подробное описание предпочтительных структурных вариантов осуществления и способов по изобретению представлено со ссылкой на Фиг. 1-178. Следует понимать, что данное изобретение не ограничивается раскрытыми вариантами осуществления, изобретение можно реализовать с другими функциями, элементами, способами и вариантами осуществления, известными специалистам в данной области техники. Аналогичные элементы в различных вариантах осуществления имеют одинаковые номера ссылочных позиций.

Приведенные ниже определения применяются к элементам и этапам, описанным в настоящем документе. Аналогичным образом данные понятия могут быть расширены.

Абстрагированные данные - данный термин относится к абстрагированному рецепту, используемому при исполнении автоматической системой, который имеет множество других элементов данных, которые система должна знать для обеспечения правильного выполнения и воспроизведения. Эти, так называемые, метаданные, или дополнительные данные, соответствующие определенному этапу в процессе приготовления, будь то данные непосредственно от датчиков (время на часах, температура воды, изображение камеры, используемая утварь или ингредиенты и т.д.) или данные, генерируемые путем интерпретации или абстрагирования более крупных наборов данных (таких как облако объемных данных от лазера, используемого для определения расположения и типов объектов на изображении с наложенной текстурой и картами цветов из изображений камеры и т.д.), имеют временные метки и используются роботизированной кухней для настройки, управления и контроля всех процессов, способов и оборудования, необходимых в определенные моменты времени по мере выполнения последовательности этапов в рецепте.

Абстрагированный рецепт - данный термин относится к представлению рецепта шеф-повара, который человек знает и использует в определенных последовательностях при работе с определенными ингредиентами, подготовленными и объединенными с помощью последовательности процессов и способов, а также навыков человека-повара. Абстрагированный рецепт, используемый системой при автоматизированном выполнении, требует использования различных типов классификации и последовательностей. Хотя все выполняемые этапы идентичны этапам, выполняемым человеком-поваром, абстрагированный рецепт, используемый на роботизированной кухне, требует того, чтобы частью каждого этапа в рецепте были дополнительные метаданные. К таким метаданным можно отнести время приготовления, переменные параметры, такие как температура (и ее изменения в течение некоторого периода времени), настройки печи, используемый инструмент/оборудование и т.д. В основном, исполняемый системой сценарий рецепта должен иметь все возможные измеренные переменные, импортированные в процедуру приготовления (переменные, измеренные и сохраненные во время приготовления блюда человеком-поваром по рецепту в студии шеф-повара), соотнесенные со временем (общие переменные и переменные для каждого этапа процедуры приготовления). Таким образом, абстрагированный рецепт является представлением этапов приготовления, преобразованных в машиночитаемый вид, или область, которая собирает данные о процессе из области человеческого восприятия в область машинного восприятия (в понятной и исполняемой форме) с помощью набора этапов логического абстрагирования.

Ускорение - данный термин относится к максимальной степени изменения скорости, при которой роботизированные руки могут ускоряться вокруг оси или вдоль некоторой траектории в пространстве на короткой дистанции.

Точность - данный термин относится к тому, насколько близко робот может приблизиться к заданному положению. Точность определяется как разность между абсолютным положением робота и заданным положением. Точность может быть повышена, настроена или откалибрована с помощью внешней системы датчиков, таких как датчики на роботизированной кисти или трехмерной модели в режиме реального времени, использующей несколько (мультимодальных) датчиков.

Элементарное действие - в одном варианте данный термин относится к неделимому роботизированному действию, такому как перемещение роботизированного приспособления из положения X1 в положение Х2, или определению расстояния от объекта для приготовления пищи без необходимости получения функционального результата. В другом варианте данный термин относится к неделимому роботизированному действию в последовательности одного или нескольких таких блоков для выполнения мини-манипуляций. Эти два аспекта относятся к одному определению.

Автоматизированная система дозирования - данный термин относится к контейнерам дозирования в модуле стандартизованной кухни, в которые подается определенное количество химических веществ (в т.ч. соль, сахар, перец, специи, любой вид жидкостей, например, вода, масло, эссенции, кетчуп и т.д.).

Автоматизированная система хранения и подачи - данный термин относится к контейнерам хранения в модуле стандартизованной кухни, в которых для хранения пищевых продуктов поддерживается определенная температура и влажность; каждому контейнеру хранения присвоен код (например, штрих-код), с помощью которого роботизированная кухня идентифицирует и считывает информацию о том, где находится соответствующий контейнер с конкретными пищевыми продуктами.

Облако данных - данный термин относится к коллекции числовых измеренных значений от датчиков или из базы данных, полученных из определенного источника (объемные данные лазера/данные измерений уровня шума, RGB-значения с изображения камеры и т.д.), собранные с определенными интервалами и аггрегированные на основании множества взаимосвязей, таких как время, место и т.д.

Степень свободы («СС») - данный термин относится к определенному режиму и/или направлению, в котором может перемещаться механическое устройство или система. Число степеней свободы равно общему количеству независимых перемещений или типов движения. При использовании двух роботизированных рук общее количество степеней свободы удваивается.

Обнаружение контуров - данный термин относится к компьютерной программе (программам), позволяющей идентифицировать контуры нескольких объектов, которые могут быть наложены на двухмерное изображение камеры для успешного определения их границ и упрощения идентификации объектов, а также планирования их захвата и обработки.

Значение равновесия - данный термин относится к целевому положению конечности робота, такой как роботизированная рука, в котором силы, действующие на нее, находятся в равновесии, т.е. нет результирующей силы и, следовательно, результирующего перемещения.

Планировщик последовательности выполнения - данный термин относится к компьютерной программе (программам), способной создавать сценарии последовательностей действий или команды для одного или нескольких элементов или систем, которыми можно управлять с помощью компьютера, таких как рука (руки), дозаторы, приборы и т.д.

Качество воспроизведения действий с пищей - данный термин относится к роботизированной кухне, которая должна воспроизводить сценарий рецепта, сгенерированный в студии шеф-повара путем наблюдения, измерения и интерпретирования этапов, переменных, способов и процедур, выполняемых человеком-поваром, для воспроизведения его (ее) техник и навыков. Точность того, насколько близко выполнение приготовления блюда к действиям человека-повара, измеряется тем, насколько сильно приготовленное роботом блюдо похоже на блюдо, приготовленное человеком, на основании измерения различных субъективных параметров, таких как консистенция, цвет, вкус и т.д. Смысл заключается в том, что чем больше блюдо, приготовленное роботизированной кухней, похоже на блюдо, приготовленное человеком-поваром, тем выше качество процесса воспроизведения.

Стадия приготовления пищи (также называемая «стадия готовки») -данный термин относится к сочетанию (последовательному или параллельному) одной или нескольких мини-манипуляций, включающих в себя элементарные действия, и компьютерных инструкций для управления различным кухонным оборудованием и устройствами в модуле стандартизованной кухни; при этом одна или несколько стадий приготовления пищи вместе образуют весь процесс приготовления пищи по определенному рецепту.

Геометрическое осмысление - данный термин относится к компьютерной программе (программам), способной использовать данные о двухмерных (2D)/трехмерных (3D) поверхностях и/или объемные данные для определения фактических форм и размеров геометрического тела; способность определять или использовать информацию о границах также позволяет делать выводы о начале и конце определенного геометрического элемента и количестве таких элементов (на изображении или модели).

Осмысление захвата - данный термин относится к компьютерной программе (программам), способной использовать геометрические и физические основания для планирования многоконтактного (точка/область/объем) взаимодействия между роботизированным концевым рабочим органом (зажимом, звеном и т.д.) и инструментами/утварью, удерживаемой концевым рабочим органом, для успешного и стабильного обеспечения контакта, захвата и удерживания объекта для выполнения манипуляций с ним в трехмерном пространстве.

Автоматическое аппаратное устройство - устройство выполнения определенного процесса, способное выполнять заранее запрограммированные последовательные этапы без возможности внесения изменений в любой из них; такие устройства используются для выполнения циклических движений, которые не требуют изменений.

Управление и манипуляции с ингредиентами - данный термин относится к определению подробной информации об ингредиентах (включая размер, форму, вес, габариты, характеристики и свойства), внесению одного или нескольких изменений в переменные в режиме реального времени, связанные с определенным ингредиентом, которые могут отличаться от заранее сохраненной информации об ингредиентах (такой как размер рыбного филе, габариты яйца и т.д.), выполнению различных стадий для совершения манипуляций с ингредиентом.

Кухонный модуль (или кухонное пространство) - модуль стандартизованной полноразмерной кухни со стандартизованными наборами кухонного оборудования, стандартизованными наборами кухонных инструментов, стандартизованными наборами кухонных ручек и стандартизованными наборами кухонных контейнеров, с заранее заданным пространством и габаритами для хранения, получения доступа и работы с любым кухонным элементом в стандартизованном модуле полноразмерной кухни. Одной из задач кухонного модуля является предварительное определение всего кухонного оборудования, инструментов, ручек, контейнеров и т.д. таким образом, чтобы создать относительно стабильную кухонную платформу для движений роботизированных кистей и рук. Как шеф-повар в студии-кухне, так и человек в доме с роботизированной кухней (или человек в ресторане) используют стандартизованный кухонный модуль таким образом, чтобы максимизировать прогнозируемость работы кухонного аппаратного обеспечения, а также минимизировать риски изменений, отличий и отклонений между студией-кухней шеф-повара и домашней роботизированной кухней. Возможны различные варианты осуществления кухонного модуля, включая автономный кухонный модуль и встроенный кухонный модуль. Встроенный кухонный модуль устанавливается в обычную кухонную зону стандартного дома. Кухонный модуль работает по меньшей мере в двух режимах: в роботизированном режиме и в нормальном (ручном) режиме.

Машинное обучение - данный термин относится к технологии, в которой программный компонент или программа повышает уровень производительности на основании опыта и обратной связи. Одним из типов машинного обучения является стимулированное обучение, часто используемое в робототехнике, при котором желательные действия поощряются, а нежелательные действия - бракуются. Другой тип обучения -ситуационное обучение, при котором предварительные решения, например, последовательности действий человека-учителя или самого робота, сохраняются вместе с различными ограничениями или выводами по решению, а затем применяются или повторно используются при новых настройках. Также можно использовать дополнительные типы машинного обучения, такие как индуктивное и трансдуктивное обучение.

Мини-манипуляция - данный термин относится к сочетанию (или последовательности) одного или нескольких этапов, которые позволяют достичь основного результата выполнения функции с учетом порогового значения с самым высоким уровнем вероятности (например, пороговое значение находится в пределах 0,1, 0,001 или 0,001 от оптимального значения). Каждый этап может представлять собой элементарное действие или другую (меньшую) мини-манипуляцию, аналогичную компьютерной программе, состоящей из основных этапов кодирования и других компьютерных программ, которые могут быть отдельными программами или выполняться в виде подпрограмм. Например, мини-манипуляция может представлять собой разбивание яйца, состоящее из действий двигателя, необходимых для формирования правильной конфигурации роботизированной руки путем перемещения роботизированных пальцев, и приложения необходимого усилия для захвата - все элементарные действия. Другая мини-манипуляция может представлять собой разбивание яйца при помощи ножа, включающее в себя мини-манипуляцию захвата, выполняемую одной роботизированной кистью, последующую мини-манипуляцию захвата ножа другой кистью, последующее элементарное действие удара ножом по яйцу с заранее заданной силой.

Элементы и классификация моделей - данный термин относится к одной или нескольким компьютерным программам, способным интерпретировать элементы в рабочей области как предметы, используемые или необходимые для выполнения разных этапов задач, например, для смешивания нужна чаша, а для перемешивания ее содержимого следует использовать ложку и т.д. Множество элементов в рабочей области или в модели окружающей среды могут быть классифицированы по группам для ускорения планирования и выполнения задач.

Элементарные движения - данный термин относится к движениям, которые определяют различные уровни/области - выполнения отдельных этапов процедур, например, элементарное движение высокого уровня будет представлять собой захват чашки, а элементарное движение низкого уровня будет представлять собой поворот запястья на пять градусов.

Мультимодальный измерительный прибор - данный термин относится к измерительному прибору, состоящему из нескольких датчиков, способных выполнять измерения и обнаружения в нескольких режимах, электромагнитных диапазонах или спектрах, в частности, способных собирать информацию о положении и/или движениях в пространстве; электромагнитные спектры могут изменяться в пределах от низких до высоких частот и не должны ограничиваться уровнями, воспринимаемыми человеком. Дополнительные режимы могут включать в себя, не ограничиваясь этим, другие физические чувства, такие как осязание, обоняние и т.д.

Количество осей - для достижения любой точки в пространстве необходимо три оси. Для обеспечения полного контроля ориентации конца руки (т.е. запястья), требуется три дополнительных оси вращения (горизонтальная поперечная ось, горизонтальная продольная ось и вертикальная ось).

Параметры - данный термин относится к переменным, которые могут принимать числовые значения, или диапазонам числовых значений. Имеется три основных типа параметров: параметры в инструкциях для роботизированного приспособления (например, сила или расстояние перемещения руки), настраиваемые пользователем параметры (например, предпочтительная степень прожарки: полностью прожаренное или среднепрожаренное), а также параметры, настраиваемые шеф-поваром (например, установленная температура в печи 350°F).

Регулировка параметров - данный термин относится к процессу изменения значений параметров на основании входных данных. Например, изменения параметров в инструкциях для роботизированных устройств могут быть основаны на свойствах (например, размере, форме, ориентации), не ограничиваясь этим, ингредиентов, положениях/ориентациях кухонных инструментов, оборудовании, устройствах, скорости и продолжительности выполнения мини-манипуляций.

Полезная или транспортировочная грузоподъемность - данный термин относится к тому, какой вес роботизированная рука может перенести или удержать (или даже ускоряться) с учетом силы тяжести, в виде функции зависимости от конечного места.

Физическое осмысление - данный термин относится к компьютерной программе (программам), способной использовать геометрически осмысленные данные и использовать физическую информацию (плотность, текстуру, обычную геометрию и форму), чтобы помочь механизму (программе) логического вывода оптимизировать модель объекта и спрогнозировать его поведение в реальных условиях, в частности, при захвате и/или манипулировании/выполнении операций.

Необработанные данные - данный термин относится ко всем измеренным и спрогнозированным данным датчиков и представленной информации, собранной в рамках генерирования рецепта в студии-кухне шеф-повара во время наблюдения/контроля действий человека-повара во время приготовления блюда. Необработанные данные могут включать в себя простые точечные измерения (например, время на часах, температура в печи (изменяющаяся с течением времени), изображение камеры, данные о рабочей области, сгенерированные с помощью трехкоординатного лазера), а также информацию об используемых устройствах/оборудовании, применяемых инструментов, названиях и времени подачи ингредиентов (тип и количество) и т.д. Вся информация, собранная в студии-кухне с помощью встроенных датчиков и сохраненная в необработанном виде с временными метками, представляет собой необработанные данные. Затем необработанные данные используются другими программными процессами для достижения еще более высокого уровня интерпретации процесса выполнения рецепта, преобразования необработанных данных в дополнительные обработанные/интерпретированные данные с временными метками.

Роботизированное приспособление - данный термин относится к набору датчиков и рабочих органов робота. Рабочие органы включают в себя одну или несколько роботизированных рук и одну или несколько роботизированных кистей для работы на стандартизованной роботизированной кухне. Датчики включают в себя камеры, дальномеры, датчики усилия (тактильные датчики), которые передают информацию на процессор или группу процессоров, которые управляют рабочими органами.

Процесс готовки по рецепту - данный термин относится к роботизированному сценарию, содержащему уровни представления абстрагированных и подробных инструкций для набора программируемых и жестко автоматизированных устройств таким образом, чтобы устройства с компьютерным управлением могли выполнить последовательность действий в определенных внешних условиях (например, на кухне с ингредиентами, инструментами, утварью и устройствами).

Сценарий рецепта - данный термин относится к сценарию рецепта как временной последовательности, содержащей структуру и перечень команд и элементарных действий (управляющее программное обеспечение, построенное по принципу «от простого к сложному»), при выполнении которой с помощью элементов роботизированной кухни (рука робота, автоматизированное оборудование, устройства, инструменты и т.д.) в заданной последовательности, должно обеспечиваться правильное воспроизведение и получение блюда, аналогичного блюду, приготовленному человеком-поваром в студии-кухне. Такой сценарий выполняется последовательно в течение некоторого периода времени и эквивалентен последовательности, используемой человеком-поваром для создания блюда, формат которой подходит и понятен для элементов с компьютерным управлением на роботизированной кухне.

Соблюдение скоростных режимов рецепта - данный термин относится к соблюдению временной последовательности выполнения этапов рецепта при приготовлении блюда путем воспроизведения движений шеф-повара, при этом этапы рецепта включают в себя стандартизованные операции по приготовлению пищи (например, стандартизованную кухонную посуду, стандартизованное оборудование, кухонные комбайны и т.д.), мини-манипуляции и приготовление нестандартизованных объектов.

Повторяемость - данный термин относится к приемлемому заранее установленному запасу, с которым роботизированные руки/кисти могут многократно возвращаться в запрограммированное положение с нужной точностью. Если в соответствии с техническими требованиями, заданными в памяти блока управления, роботизированная кисть должна перемещаться в определенное положение по осям X, Y и Z с точностью ±0,1 мм от данного положения, то повторяемость для возврата роботизированных кистей измеряется в пределах ±0,1 мм от запомненного и желательного/заданного положения.

Роботизированный сценарий рецепта - данный термин относится к сгенерированной компьютером последовательности машиночитаемых инструкций, относящихся к правильной последовательности роботизированного/жестко автоматизированного выполнения этапов для дублирования необходимых этапов приготовления в рецепте для получения конечного продукта, идентичного продукту, полученному при приготовлении шеф-поваром.

Роботизированный костюм - внешнее устройство (устройства) или одежда с измерительной аппаратурой, такая как перчатки, одежда с маркерами, отслеживаемыми камерой, экзоскелет с шарнирами и т.д., используемая в студии шеф-повара для контроля и отслеживания движений и действий шеф-повара во время приготовления блюда по рецепту (рецептам).

Моделирование рабочего места - данный термин относится к компьютерной программе (программам), способной контролировать рабочее место в поле зрения одной или нескольких камер, обнаруживать и идентифицировать важные объекты с точки зрения выполнения определенной задачи. Данные объекты могут быть заранее заданы и/или могут являться частью компьютерной библиотеки с известными физическими атрибутами и предполагаемым использованием.

«Умная» кухонная посуда/оборудование - данный термин относится к кухонной посуде (например, кастрюле или сковороде) или кухонному оборудованию (например, печи, грилю или водопроводному крану) с одним или несколькими датчиками, которые контролируют приготовление блюда на основании одной или нескольких графических кривых (например, температурной кривой, кривой влажности и т.д.).

Программный механизм абстрагирования - данный термин относится к программному механизму, который определяется как набор программных циклов или программ, используемых вместе с входными данными процесса и формирующих определенный желательный набор выходных данных для использования другими программными механизмами или конечным пользователем в форме текстового или графического выходного интерфейса. Программный механизм абстрагирования представляет собой компьютерную программу (программы), предназначенную для приема большого объема входных данных из известного источника в определенной области (таких как объемные данные измерений, которые образуют облако объемных данных измерений, от одного или нескольких датчиков), и дальнейшей обработки данных для их интерпретирования в другой области (такого как обнаружение и распознавание поверхности стола в облаке данных на основании данных с одинаковой вертикальной координатой и т.д.), чтобы идентифицировать, обнаружить и классифицировать значения данных как привязанные к объекту в трехмерном пространстве (такому как столешница, кастрюля и т.д.). Процесс абстрагирования определяется в основном как прием массива данных из одной области и реконструкция структуры (в т.ч. геометрии) в пространстве более высокого уровня (абстрагирование точечных данных), а также абстрагирование выводов для дополнительных идентифицированных объектов (кастрюль и т.д.) на основании абстрагированных наборов данных для идентификации элементов реального мира на изображении, которые впоследствии могут быть использованы другими программными механизмами для принятия дополнительных решений (решение о выполнении операций/ манипулировании ключевыми объектами и т.д.). Синонимом для «программного механизма абстрагирования» в данном применении может быть «программный механизм интерпретирования» или «алгоритм компьютерной обработки и интерпретирования».

Осмысление задачи - данный термин относится к компьютерной программе (программам), способной проанализировать описание задачи и разбить его на последовательность нескольких исполняемых этапов (с помощью роботизированных или жестко автоматизированных систем) таким образом, чтобы достичь определенного конечного результата, указанного в описании задачи.

Трехмерное моделирование и осознание объектов реального мира -данный термин относится к компьютерной программе (программам), способной использовать данные датчиков для построения изменяющейся во времени трехмерной модели всех поверхностей и объемов таким образом, чтобы можно было обнаруживать, идентифицировать, классифицировать объекты и осознавать их способ использования и назначение.

Вектор момента - данный термин относится к торсионной силе конечности робота, включая ее направление и величину.

Логический вывод для объемного объекта (механизм) - данный термин относится к компьютерной программе (программам), способной использовать геометрические данные и информацию о контуре, а также другие данные датчиков (цвет, форму, текстуру и т.д.) для идентификации объемности одного или нескольких объектов для упрощения идентификации и классификации объекта.

На Фиг. 1 представлено схематическое изображение системы, иллюстрирующее всю роботизированную кухню 10 для приготовления пищи с аппаратным обеспечением 12 и программным обеспечением 14. Вся роботизированная кухня 10 для приготовления пищи содержит аппаратное обеспечение 12 для роботизированного приготовления пищи и программное обеспечение 14 для роботизированного приготовления пищи, которые взаимодействуют друг с другом для выполнения роботизированных функций по приготовлению пищи. Аппаратное обеспечение 12 для роботизированного приготовления пищи включает в себя компьютер 16, который управляет различными операциями и движениями стандартизованного кухонного модуля 18 (который работает в инструментальной среде с одним или несколькими датчиками), мультимодальные трехкоординатные датчики 20, роботизированные руки 22, роботизированные кисти 24 и захватные перчатки 26. Программное обеспечение 14 для роботизированного приготовления пищи вместе с аппаратным обеспечением 12 для роботизированного приготовления пищи обеспечивает захват движений шеф-повара во время приготовления блюда и воспроизведение движений шеф-повара с помощью роботизированных рук и кистей, чтобы получить блюдо, идентичное или практически идентичное (например, с точки зрения вкуса, запаха и т.д.) результату, достигнутому человеком-поваром.

Программное обеспечение 14 для роботизированного приготовления пищи включает в себя мультимодальные трехкоординатные датчики 20, модуль захвата 28, калибровочный модуль 30, модуль выполнения алгоритма преобразования 32, повторяющий модуль 34, модуль проверки качества 36 с системой трехмерного зрения, модуль идентичности результата 38 и модуль обучения 40. Модуль захвата 28 захватывает движения шеф-повара во время приготовления блюда. Калибровочный модуль 30 калибрует роботизированные руки 22 и роботизированные кисти 24 до, во время и после приготовления. Модуль алгоритма преобразования 32 преобразовывает записанные данные о движениях шеф-повара, собранные в студии шеф-повара, в измененные (трансформированные) данные рецепта для использования на роботизированной кухне, где роботизированные кисти воспроизводят процесс приготовления пищи шеф-поваром. Модуль повторения 34 воспроизводит движения шеф-повара на роботизированной кухне. Модуль проверки качества 36 выполняет проверку качества блюда, приготовленного на роботизированной кухне, во время, до или после приготовления пищи. Модуль идентичности результата 38 определяет, имеет ли блюдо, приготовленное парой роботизированных рук и кистей на роботизированной кухне, такой же или практически такой же вкус, что и блюдо, приготовленное шеф-поваром. Модуль обучения 40 предназначен для предоставления возможностей обучения для компьютера 16, который управляет роботизированными руками и кистями.

На Фиг. 2 представлено схематическое изображение первого варианта роботизированной системы приготовления пищи, которая включает в себя студию шеф-повара и бытовые роботизированные кухонные системы для приготовления блюд путем воспроизведения процесса приготовления по рецепту и движений шеф-повара. Система 42 роботизированного приготовления включает в себя кухню 44 шеф-повара (так называемую «студию-кухню шеф-повара»), которая передает один или несколько записанных программных файлов рецепта 46 на роботизированную кухню 48 (так называемую «бытовую роботизированную кухню»). В одном варианте кухня 44 шеф-повара и роботизированная кухня 48 используют тот же самый модуль 50 стандартизованной роботизированной кухни (так называемый «модуль роботизированной кухни», «пространство роботизированной кухни», «кухонный модуль» или «кухонное пространство») для обеспечения максимальной точности воспроизведения приготовления блюда, что снижает воздействие переменных факторов, способных привести к возникновению различий между блюдом, приготовленным на кухне 44 шеф-повара, и блюдом, приготовленным на роботизированной кухне 46. Шеф-повар 49 надевает роботизированные перчатки или костюм с внешними сенсорными устройствами для захвата и записи его движений. Стандартизованная роботизированная кухня 50 содержит компьютер 16 для управления различными вычислительными функциями, при этом компьютер 16 включает в себя запоминающее устройство 52 для хранения одного или нескольких программных файлов с рецептами от датчиков на перчатках или костюме 54 для захвата движений шеф-повара, а также роботизированный механизм 56 (программное обеспечение) для готовки. Роботизированный механизм 56 для готовки включает в себя модуль 58 анализа перемещений, абстрагирования рецепта и упорядочивания. Роботизированная кухня 48 обычно использует пару роботизированных рук и кистей и, возможно, пользователя 60, для включения или программирования роботизированной кухни 46. Компьютер 16 на роботизированной кухне 48 включает в себя жестко автоматизированный модуль 62 для работы роботизированных кистей и рук, а также модуль 64 воспроизведения рецепта для воспроизведения движений шеф-повара с помощью данных (ингредиентов, последовательностей, процесса и т.д.) из программного файла с рецептом.

Стандартизованная роботизированная кухня 50 предназначена для обнаружения, записи и имитации движений шеф-повара, управления значимыми параметрами, такими как температура, в течение некоторого периода времени, а также выполнения процесса на роботизированных кухнях со специальными устройствами, оборудованием и инструментами. Кухня 44 шеф-повара предоставляет вычислительную среду (компьютер) 16 с перчатками с датчиками или костюмом с датчиками для записи и захвата движений шеф-повара 49 во время приготовления пищи по определенному рецепту. После записи движений и рецепта шеф-повара 49 для определенного блюда в программный файл с рецептом на запоминающее устройство 52 программный файл с рецептом передается с кухни 44 шеф-повара на роботизированную кухню 48 посредством сети связи 46, включая беспроводную сеть и/или проводную сеть, подключенные к Интернету, таким образом, чтобы пользователь 60 (необязательный) мог приобрести один или несколько программных файлов с рецептами или мог оформить подписку на кухню 44 шеф-повара в качестве участника группы, который получает новые программные файлы с рецептами или периодические обновления существующих программных файлов с рецептами. Бытовая роботизированная кухонная система 48 работает как внешняя вычислительная среда на роботизированной кухне в жилых домах, ресторанах и других местах, где кухня предназначена для приготовления пищи для пользователя 60. Бытовая роботизированная кухонная система 48 включает в себя роботизированный механизм 56 приготовления пищи с помощью одной или нескольких роботизированных рук и жестко автоматизированных устройств для воспроизведения действий, процессов и движений шеф-повара во время приготовления на основании программного файла с рецептом, полученного из студии 44 шеф-повара.

Студия 44 шеф-повара и роботизированная кухня 48 представляют собой тесно связанную систему, работающую в режиме «обучение/ воспроизведение», которая имеет несколько уровней качества исполнения. Если студия 44 шеф-повара представляет собой рабочую модель высокого качества приготовления профессиональных блюд, то роботизированная кухня 48 - это механизм/процесс выполнения/воспроизведения сценария рецепта, создаваемого шеф-поваром, работающим в студии шеф-повара. Стандартизация модуля роботизированной кухни позволяет повысить качество исполнения и вероятность достижения успеха.

Варьирующиеся уровни качества выполнения рецепта зависят от взаимосвязи между датчиками и оборудованием (не принимая в расчет ингредиенты) в студии 44 шеф-повара и на роботизированной кухне 48. Качество может быть задано как степень идентичности (неотличимости) вкуса блюда, приготовленного на роботизированной кухне, вкусу блюда, приготовленного человеком-поваром, при этом на одном конце диапазона оценки обеспечивается отличное воспроизведение/исполнение, а на противоположном конце блюдо может иметь один или несколько серьезных или значительных недостатков, связанных с качеством (пережаренное мясо или переваренная паста), вкусом (обгоревшие участки), съедобностью (неправильная консистенция) или даже проблемами со здоровьем (недожаренное мясо, такое как курица/свинина, зараженная сальмонеллой, и т.д.).

Использование роботизированной кухни с аппаратным обеспечением, датчиками и системами привода, которые позволят воспроизвести движения и процессы, используемые шеф-поваром, идентичных зарегистрированным во время приготовления в студии-кухне шеф-повара, с большей вероятностью позволит достичь более высокого качества. Идея заключается в том, что установки должны быть идентичными с точки зрения стоимости и занимаемого пространства. Тем не менее, роботизированная кухня 48 может быть оборудована дополнительными стандартизованными элементами с компьютерным управлением или без него (кастрюли с датчиками, устройства, подключенные к сети, такие как печи и т.д.), требующими более детального интерпретирования при помощи датчиков для обеспечения комплексного контроля выполнения. В связи с увеличением неопределенности с точки зрения ключевых элементов (правильного количества ингредиентов, температур приготовления и т.д.) и процессов (использования мешалки/давилки в случае отсутствия блендера на бытовой роботизированной кухне), вероятность достижения результата, идентичного результату, полученному шеф-поваром, значительно снизится.

Основным аспектом настоящего изобретения является наличие соединения между студией 44 шеф-повара и роботизированной кухней. Уровень роботизированной кухни 48 может изменяться от домашней кухни, оборудованной набором роботизированных рук и датчиков внешних условий, до точной копии студии-кухни, в которой движения набора рук и шарниров, инструменты, устройства и ингредиенты позволяют практически идентично воспроизвести рецепт шеф-повара. Единственным переменным фактором будет уровень качества конечного результата или блюда с точки зрения качества, внешнего вида, вкуса, съедобности и влияния на здоровье.

Данную взаимосвязь между результатом выполнения рецепта и входными переменными данными на роботизированной кухне можно математически выразить следующим образом:

F_{конечный рецепт} = F_студия(I, Е, Р, М, V) + F_{Роб.Кухня} (Е_о, I, R_в, Р_кп)

где Р_студия = качество сценария рецепта для студии шеф-повара

Р_{роб.Кухня} = выполнение сценария рецепта с помощью роботизированной кухни

I = ингредиенты

Е = оборудование

Р = процессы

М = способы

V = переменные (температура, время, давление и т.д.)

Е_о = точность оборудования

R_в = точность воспроизведения

Р_кп = качество контроля процесса

Данное уравнение определяет степень соответствия результата использования рецепта роботизированной системой и результата работы человека-повара и способствует (F_{конечный рецепт}) уровню правильности захвата и представления данных в студии 44 шеф-повара (F_студия) на основании использованных ингредиентов (I), оборудования (Е), доступного для выполнения процессов (Р) и способов (М) шеф-повара при правильном захвате всех ключевых переменных (V) во время процесса приготовления; и то, как роботизированная кухня способна представить процесс воспроизведения/выполнения роботизированного сценария рецепта в виде функции (F_{Роб.Кухня}), которая зависит от использования правильных ингредиентов (I), уровня качества оборудования (Е_о) на роботизированной кухне по сравнению с показателями студии шеф-повара, уровня, с которым сценарий рецепта может быть воспроизведен (R_в) на роботизированной кухне, и тому, насколько нужно контролировать и выполнять корректирующие действия для достижения максимального качества контроля процесса (Р_кп).

Функции (F_студия) и (F_{Роб.Кухня}) могут представлять собой любое сочетание линейных или нелинейных функциональных формул с постоянными, переменными и любыми алгоритмическими соотношениями. Обе функции можно алгебраически представить следующим образом:

F_студия = I(фнкц. sin(Темп.)) + Е (фнкц. ВарочнПов1*5) + Р(фнкц. Круг(ложка) + V (фнкц. 0,5*время)

Предполагается, что качество процесса приготовления связано с температурой ингредиента, изменяющейся в холодильнике как синусоидальная функция, скоростью, с которой ингредиент может нагреться на варочной поверхности на конкретной станции при определенном значении множителя, и с тем, как хорошо ложка может перемещаться по круговой траектории определенной амплитуды и периода, и что процесс должен быть выполнен со скоростью не ниже

F_{Роб.Кухня}=Е_о (ВарочнПов2, Размер) + I (1,25*Размер + Линейн.(Темп.)) + R_в (Движение-Профиль) + Р_кп (Соответствие Датчик-Костюм)

Предполагается, что качество процесса воспроизведения на роботизированной кухне связано с типом приспособления, конфигурацией области для приготовления и размером нагревательного элемента, размером и температурным профилем приготавливаемого ингредиента (чем толще стейк, тем больше уходит времени на его приготовление), при этом также учитывается профиль любого движения перемешивания и обработки на определенном этапе, например, во время подрумянивания мяса или взбивания мусса, и наличие достаточно высокого соответствия между датчиками на роботизированной кухне и студии шеф-повара, чтобы считать контролируемые данные датчика точными и достаточно подробными для обеспечения надлежащего контроля качества процесса приготовления на роботизированной кухне во время выполнения всех этапов приготовления по рецепту.

Результат приготовления по рецепту зависит не только от качества захвата этапов/способов/процессов/навыков человека-повара во время приготовления в студии шеф-повара, но и от качества их выполнения на роботизированной кухне, при этом каждый параметр имеет ключевые элементы, влияющие на производительность соответствующих подсистем.

На Фиг. 3 представлено схематическое изображение варианта стандартизованной роботизированной кухни 50 для приготовления пищи путем записи движений шеф-повара во время приготовления блюда и воспроизведения блюда роботизированными кистями и руками. В данном контексте термин «стандартизованный» (или «стандартный») означает, что характеристики или признаки компонентов являются заранее установленными, как будет описано ниже. Компьютер 16 соединен с возможностью обмена данными с несколькими кухонными элементами на стандартизованной роботизированной кухне 50, включая датчик трехмерного зрения 66, убирающийся защитный экран 68 (например, из стекла, пластика или другого защитного материала), роботизированные руки 70, роботизированные кисти 72, стандартизованные устройства/оборудования 74 для приготовления, стандартизованную кухонную посуду с датчиками 76, стандартизованную кухонную посуду 78, стандартизованные ручки и утварь 80, стандартизованный жестко автоматизированный дозатор (дозаторы) 82 (так называемый «роботизированный жестко автоматизированный модуль (модули)»), стандартизованный кухонный комбайн 84, стандартизованные контейнеры 86 и стандартизованный отсек хранения продуктов 88 в холодильнике.

Стандартизованный жестко автоматизированный дозатор (дозаторы) 82 представляет собой устройство или группу устройств, которые могут программироваться и/или управляться с помощью компьютера 16 для приготовления, который подает или поставляет предварительно упакованное (известное) количество или специальные порции ключевых материалов для процесса приготовления, таких как специи (соль, перец и т.д.), жидкости (воду, масло и т.д.) или другие сухие материалы (мука, сахар и т.д.). Стандартизованные жестко автоматизированные дозаторы 82 могут быть расположены на определенной станции или могут быть доступны роботу и обеспечивать подачу в соответствии с последовательностью, заданной в рецепте. В других вариантах роботизированный жестко автоматизированный модуль может быть объединен или работать последовательно или параллельно с другими такими модулями или роботизированными руками или утварью. В данном варианте стандартизованная роботизированная кухня 50 включает в себя роботизированные руки 70 и роботизированные кисти 72, при этом роботизированные кисти управляются роботизированным механизмом 56 приготовления пищи в соответствии с программным файлом с рецептом, хранящимся на запоминающем устройстве 52 для воспроизведения точных движений шеф-повара во время приготовления блюда для создания блюда со вкусом, идентичным вкусу блюда, приготовленного шеф-поваром. Датчики трехмерного зрения 66 позволяют выполнить трехмерное моделирование объектов, создавая визуальную трехмерную модель действий на кухне, а также сканирование кухонного пространства для оценки габаритов и объектов на стандартизованной роботизированной кухне 50. Убирающийся защитный экран 68 на роботизированной кухне 50 изготовлен из прозрачного материала, при переводе которого во включенное состояние вокруг роботизированной кухни создается экран для защиты окружающих людей от опасностей, связанных с движениями роботизированных рук 70 и кистей 72, горячей водой и другими жидкостями, паром, огнем и другими опасными факторами. Роботизированный механизм приготовления 56 соединен с возможностью обмена данными с электронным запоминающим устройством 52 для считывания программного файла с рецептом, предварительно отправленного из студии 44 шеф-повара, для которой роботизированный механизм 56 приготовления пищи выполняет операции по приготовлению и воспроизведению способов и процедур, выполняемых шеф-поваром во время приготовления, как указано в программном файле с рецептом. Роботизированные руки 70 и роботизированные кисти 72 предназначены для воспроизведения точных движений шеф-повара при приготовлении блюда таким образом, чтобы получившееся блюдо имело вкус, идентичный (или практически идентичный) вкусу блюда, приготовленного шеф-поваром. Стандартизованное кухонное оборудование 74 включает в себя набор кухонных устройств 46, которые представляют собой часть роботизированной кухни 50, включая, но не ограничиваясь этим, электрическую плиту/индукционную плиту/варочную поверхность (электрическую варочную поверхность, газовую варочную поверхность, индукционную варочную поверхность), печь, гриль, пароварку и микроволновую печь. Стандартизованная кухонная посуда 76 с датчиками используется для записи этапов приготовления пищи на основании данных датчиков на кухонной посуде и для приготовления блюда на основании данных от кухонной посуды с датчиками, к которой можно отнести кастрюлю с датчиками, сковороду с датчиками, печь с датчиками и гриль с датчиками. Стандартизованная кухонная посуда 78 включает в себя сковороды для жарки, сотейники, сковороды-гриль, многофункциональные сковороды, обжарочные аппараты, воки и сковороды для тушения. Во время приготовления роботизированные руки 70 и роботизированные кисти 72 используют стандартизованные ручки и утварь 80. В одном варианте одна из роботизированных кистей 72 имеет стандартизованную ручку, которая крепится к концу вилки, концу ножа и концу ложки для выбора по требованию. Стандартизованные жестко автоматизированные дозаторы 82 встроены в роботизированную кухню 50 таким образом, чтобы подавать подходящие (с помощью рук робота 70 и использования человеком) основные и стандартные или часто используемые ингредиенты, которая могут быть отмерены/дозированы или поданы в предварительной упакованном виде. Стандартизованные контейнеры 86 представляют собой места хранения, где пищевые продукты хранятся при комнатной температуре. Стандартизованные контейнеры 88 для хранения в холодильнике представляют собой, не ограничиваясь этим, холодильник с маркированными контейнерами для хранения рыбы, мяса, овощей, фруктов, молока и других скоропортящихся продуктов. Стандартизованные контейнеры 86 или стандартизованные отсеки хранения 88 могут иметь идентификационные номера контейнеров, с помощью которых роботизированный механизм приготовления пищи 56 может проверить тип пищевых продуктов в контейнере на основании идентификационного номера. Стандартизованные контейнеры 86 предоставляют пространство для хранения нескоропортящихся пищевых продуктов, таких как соль, перец, сахар, масло и другие специи. Стандартизованная кухонная посуда с датчиками 76 и кухонная посуда 78 могут храниться на полке или в ящике для использования роботизированными руками 70 при выборе инструмента для приготовления блюд. Обычно сырая рыба, сырое мясо и ненарезанные овощи хранятся в стандартизованных отсеках хранения 88 с идентификационными номерами. Столешница 90 используется роботизированными руками 70 как платформа для обработки мяса или овощей, данный процесс может включать или не включать в себя резку или рубку. Кухонный водопроводный кран 92 обеспечивает пространство для мойки или чистки пищи во время приготовления блюд. Когда роботизированные руки 70 завершают приготовление блюда по рецепту и его подготовку к подаче, блюдо размещается на сервировочном столе 90, который может также использоваться для приема пищи после выполнения роботизированными руками 70 определенных операций, таких как размещение столовых приборов, бокалов для вина и выбора вина, подходящего к приготовленной пище. В одном варианте оборудование в модуле 50 стандартизованной роботизированной кухни является профессиональным и позволяет повысить универсальность с точки зрения приготовления различных типов блюд.

Модуль 50 стандартизованной роботизированной кухни в качестве одной из целей имеет стандартизацию кухонного модуля и различных компонентов с самим кухонным модулем, для обеспечения сходства кухни 44 шеф-повара и роботизированной кухни 48, чтобы гарантировать максимальную точность воспроизведения рецепта и свести к минимуму риски отклонений от точного воспроизведения рецепта блюда на кухне 44 шеф-повара и роботизированной кухне 48. Одной из основных целей обеспечения стандартизации кухонного модуля 50 является получение одинакового результата процесса приготовления (или одинакового блюда) первого блюда, приготовленного шеф-поваром, и последующим воспроизведением того же процесса приготовления по рецепту с помощью роботизированной кухни. Использование стандартизованной платформы в модуле 50 стандартизованной роботизированной кухни для кухни 44 шеф повара и роботизированной кухни 48 имеет несколько основных преимуществ: одинаковые временные рамки, одинаковая программа или режим, а также проверка качества. Под одинаковыми временными рамками на стандартизованной роботизированной кухне 50, где шеф-повар готовит блюда на кухне 44 шеф-повара, и на роботизированной кухне 48 во время воспроизведения процесса приготовления с помощью роботизированных кистей, подразумевается одинаковая последовательность манипуляций, одинаковое время начала и время завершения каждой манипуляции, а также одинаковая скорость перемещения объекта при выполнении разных операций. Под одинаковой программой или режимом на стандартизованной роботизированной кухне 50 подразумевается использование или работа стандартизованного оборудования во время каждого этапа записи и выполнения манипуляции. Под проверкой качества подразумевается использование датчиков трехмерного зрения на стандартизованной роботизированной кухне 50, которые контролируют и управляют в режиме реального времени каждой манипуляцией во время приготовления пищи для устранения любых отклонений и предотвращения получения неверного результата. Использование модуля стандартизованной роботизированной кухни 50 снижает и сводит к минимуму риски достижения разных результатов для блюда, приготовленного шеф-поваром, и блюда, приготовленного роботизированной кухней с помощью роботизированных рук и кистей. При отсутствии стандартизации модуля роботизированной кухни и компонентов модуля роботизированной кухни увеличение различий между кухней 44 шеф-повара и роботизированной кухней 48 может привести к росту вероятности недостижения одинакового результата для блюда, приготовленного шеф-поваром, и блюда, приготовленного роботизированной кухней, поскольку для различных кухонных модулей, различного кухонного оборудования, различной кухонной посуды, различных кухонных инструментов и различных ингредиентов на кухне 44 шеф-повара и роботизированной кухне 48 необходимо использовать более детально разработанные и сложные алгоритмы регулировки.

Модуль 50 стандартизованной роботизированной кухни включает в себя стандартизацию многих аспектов. Во-первых, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованные положения и ориентации (в плоскости координат XYZ) всех типов кухонной посуды, кухонных контейнеров, кухонных инструментов и кухонного оборудования (со стандартизованными зафиксированными отверстиями в кухонном модуле и положениями устройств). Во-вторых, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованные габариты и архитектуру пространства для приготовления. В-третьих, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованные наборы оборудования, такого как печь, электрическая плита, посудомоечная машина, водопроводный кран и т.д. В-четвертых, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованную кухонную посуду, стандартизованные инструменты для приготовления, стандартизованные устройства для приготовления, стандартизованные контейнеры и стандартизованную камеру хранения продуктов в холодильнике с точки зрения формы, габаритов, конструкции, материалов, функций и т.д. В-пятых, модуль 50 стандартизованной роботизированной кухни в одном варианте включает в себя стандартизованную универсальную ручку для выполнения операций с любой кухонной посудой, инструментами, приборами, контейнерами и оборудованием, которая позволяет роботизированной кисти удерживать стандартизованную универсальную ручку только в одном правильном положении, исключая возможность неправильного захвата или неправильной ориентации. В-шестых, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованные роботизированные кисти и руки с библиотеками манипуляций. В-седьмых, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованный кухонный комбайн для выполнения стандартизованных манипуляций с ингредиентами. В-восьмых, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованные устройства трехмерного зрения для формирования динамических трехмерных визуальных данных, а также другие возможные стандартные датчики для записи рецепта, выполнения отслеживания и проверки качества. В-девятых, модуль 50 стандартизованной роботизированной кухни включает в себя стандартизованные типы, стандартизованные объемы, стандартизованные размеры и стандартизованные значения веса для каждого ингредиента во время выполнения приготовления по определенному рецепту.

На Фиг. 4 представлено схематическое изображение варианта роботизированного механизма приготовления 56 (так называемый «роботизированный механизм готовки пищи») для использования с компьютером 16 в студии 44 шеф-повара и бытовой роботизированной кухонной системе 48. Другие варианты осуществления могут иметь измененные, дополнительные или модифицированные модули в роботизированном механизме для приготовления 16 на кухне 44 шеф-повара и роботизированной кухне 48. Роботизированный механизм приготовления 56 включает в себя модуль ввода 51, модуль калибровки 94, модуль проверки качества 96, модуль 98 записи движений шеф-повара, модуль 100 записи данных датчиков на кухонной посуде, модуль памяти 102 для хранения программных файлов с рецептами, модуль 104 абстрагирования рецепта с помощью записанных данных датчиков для генерирования специальных профилей последовательной работы вычислительного модуля, программный модуль 106 воспроизведения движений шеф-повара, модуль 108 воспроизведения данных датчиков на кухонной посуде с использованием одной или нескольких кривых данных датчиков, роботизированный модуль приготовления 110 (компьютерный блок управления для выполнения стандартизованных операций, мини-манипуляций и работы с нестандартизованными объектами), модуль 112 выполнения регулировок в режиме реального времени, модуль обучения 114, модуль 116 базы данных библиотек мини-манипуляций, модуль 117 базы данных библиотек стандартизованных кухонных операций и модуль вывода 118, с которым указанные модули соединяются с возможностью обмена данными по шине 120.

Модуль ввода 51 может принимать любой тип входной информации, такой как программные файлы с рецептами, отправляемые с другого вычислительного устройства. Калибровочный модуль 94 выполняет калибровку роботизированных рук 70, роботизированных кистей 72, кухонной посуды и компонентов оборудования в модуле 50 стандартизованной роботизированной кухни. Модуль 96 проверки качества определяет качество и свежесть сырого мяса, сырых овощей, молочных ингредиентов и других сырых пищевых продуктов, когда сырые пищевые продукты подаются для приготовления, а также проверяет качество сырых пищевых продуктов при их загрузке в стандартизованный отсек 88 хранения продуктов. Модуль 96 проверки качества также может выполнять проверку качества объекта на основании таких параметров, как запах пищи, цвет пищи, вкус пищи, изображение или внешний вид пищи. Модуль 98 записи движений шеф-повара записывает последовательность и точные движения шеф-повара во время приготовления блюда шеф-поваром. Модуль 100 записи данных датчиков на кухонной посуде записывает данные датчиков от кухонной посуды, оборудованной датчиками (такой как сковорода с датчиками, гриль с датчиками или печь с датчиками), которые расположены на различных участках кухонной посуды, формируя одну или несколько кривых данных датчиков. Построенная кривая данных датчиков, например, кривая значений температуры (и/или влажности), отражает флуктуации температуры кухонных устройств от времени для определенного блюда. Модуль памяти 102 используется как место хранения программных файлов с рецептами для воспроизведения движений шеф-повара во время приготовления по рецепту или других программных файлов с рецептами, включая кривые данных датчиков. Модуль 104 абстрагирования рецепта использует записанные данные датчиков для генерирования специальных профилей последовательной работы вычислительного модуля. Модуль 106 воспроизведения движений шеф-повара воспроизводит точные движения шеф-повара во время приготовления блюда на основании сохраненного программного файла с рецептом на запоминающем устройстве 52. Модуль 108 воспроизведения данных датчиков на кухонной посуде воспроизводит приготовление блюда путем изменения характеристик в соответствии с одной или несколькими предварительно записанными кривыми данных датчиков, которые были сгенерированы во время приготовления блюда шеф-поваром 49 при использовании стандартизованной кухонной посуды 76 с датчиками. Роботизированный модуль 110 приготовления управляет и выполняет стандартизованные кухонные операции, мини-манипуляции, действия с нестандартизованными объектами, кухонными инструментами и оборудованием на стандартизованной роботизированной кухне 50. Модуль 112 регулировки в режиме реального времени выполняет регулировки в режиме реального времени для переменных, связанных с определенной кухонной операцией или мини-операцией, таким образом, чтобы обеспечить выполнение конечного процесса, являющегося точным воспроизведением движений шеф-повара или точным воспроизведением кривой данных датчиков. Модуль обучения 114 выполняет обучение роботизированного механизма приготовления 56 с целью оптимизации точного воспроизведения при приготовлении блюда с помощью роботизированных рук 70 и роботизированных кистей 72, чтобы оно было идентично блюду, приготовленному шеф-поваром, используя такой метод, как ситуационное (роботизированное) обучение. Модуль 116 базы данных библиотек мини-манипуляций хранит первую базу данных библиотек мини-манипуляций. Модуль 117 базы данных библиотек стандартизованных кухонных операций хранит вторую базу данных библиотек стандартизованной кухонной посуды и информацию о том, как использовать данную стандартизованную кухонную посуду. Модуль вывода 118 отправляет выходные компьютерные файлы или сигналы управления от роботизированного механизма приготовления.

На Фиг. 5А представлена блок-схема процесса создания рецепта в студии шеф-повара, показывающая несколько основных функциональных блоков, обеспечивающих использование расширенной мультимодальной системы датчиков для создания сценария рецепта для роботизированной кухни. Данные нескольких датчиков, включая, но не ограничиваясь этим, данные датчиков запаха 124, видеокамер 126, инфракрасных сканеров и дальномеров 128, стереокамер (или даже камер с тринокулярной насадкой) 130, тактильных перчаток 132, лазерных сканеров 134 с шарнирным соединением, очков виртуальной реальности 136, микрофонов 138 или экзоскелета 140 с функцией захвата движений, речевых датчиков 142, датчиков касания 144 и других устройств пользовательского ввода 146, используются для сбора данных при помощи модуля 148 сопряжения датчиков. Данные собираются и фильтруются на этапе 150, включая возможный ввод данных пользователем (например, шеф-поваром с помощью сенсорного экрана и устройства речевого ввода) на этапе 146, после чего несколько (параллельных) программных процедур используют временные и пространственные данные для генерирования данных, используемых при выполнении специального машинного процесса создания рецепта. Датчики могут не ограничиваться захватом положения и/или движения человека, они также могут включать в себя захват положения, ориентации и/или движения других объектов на стандартизованной роботизированной кухне 50.

Указанные отдельные программные модули (но не обязательно только эти модули) генерируют следующую информацию: (i) место шеф-повара и идентификационный номер станции приготовления с помощью модуля 152 места и конфигурации, (ii) конфигурация рук (с помощью торса), (iii) тип, время и способ выполнения операций с инструментами, (iv) используемая утварь и места на станции, определяемые с помощью модуля 154 аппаратного обеспечения и регулируемого абстрагирования, (v) процессы, выполняемые ими, (vi) переменные факторы (температура, наличие крышки, перемешивание и т.д.) с точки зрения необходимости контроля с помощью рабочего модуля 156, (vii) временное (начало/конец, тип) распределение, (viii) типы выполняемых процессов (перемешивание, складывание и т.д.), (ix) добавляемые ингредиенты (тип, количество, состояние готовности и т.д.), с помощью модуля 158 абстрагирования последовательности и процесса приготовления.

Позднее вся указанная информации используется для создания специального машинного (не только для роботизированных рук, но и для дозаторов ингредиентов, инструментов и утвари и т.д.) набора инструкций рецепта с помощью автономного модуля 160, которые объединяются в сценарий последовательно/параллельно выполняемых и контролируемых задач. Данный сценарий рецепта сохраняется (162) вместе с полным набором необработанных данных (164) в модуле 166 хранения данных и становится доступным для удаленной роботизированной станции приготовления через модуль 168 сопряжения роботизированной кухни или для пользователя (этап 170) через графический пользовательский интерфейс (ГПИ) 172.

На Фиг. 5В представлена блок-схема, иллюстрирующая один вариант стандартизованной студии 44 шеф-повара и роботизированной кухни 50 с процессом 176 «обучение/воспроизведение». Процесс 176 «обучение/воспроизведение» описывает этапы захвата процедур/способов работы/навыков шеф-повара 49 при приготовлении по рецепту в студии 44 шеф-повара, где он (она) готовит блюдо по рецепту (этап 180), используя набор стандартизованного оборудования 74, имеющийся в студии шеф-повара, и ингредиенты 178, предусмотренные рецептом, для получения блюда, при этом выполняется запись и контроль (блок 182). Необработанные данные датчиков записываются (для воспроизведения), что показано в блоке 182, и обрабатываются для генерирования информации на различных уровнях абстрагирования (используемые инструменты/оборудование, техники, начальное/конечное время/температура и т.д.), а также используются для создания сценария рецепта (этап 184), выполняемого роботизированной кухней 48.

Роботизированная кухня 48 использует процесс воспроизведения рецепта (этап 106), профиль которого зависит от того, является ли кухня стандартизованной или нет, что проверяется процессом 186.

Работа роботизированной кухни зависит от вида кухни, используемой пользователем. Если роботизированная кухня использует оборудование, аналогичное/идентичное (по крайней мере, с точки зрения функциональности) тому, что использовалось в студии шеф-повара, процесс воспроизведения рецепта будет использовать необработанные данные и воспроизводить их в рамках процесса выполнения сценария рецепта. Однако, если кухня отличается от (идеальной) стандартизованной кухни, механизм (механизмы) выполнения будут использовать абстрагированные данные для генерирования последовательности выполнения, подходящей для определенной кухни, чтобы поэтапно достичь аналогичного результата.

Поскольку процесс приготовления непрерывно контролируется всеми сенсорными устройствами на роботизированной кухне с помощью процесса контроля 194 вне зависимости от того, используется ли известное оборудование 196 из студии шеф-повара или комбинированное/ нестандартное оборудование 198 (по сравнению с оборудованием из студии шеф-повара), система может вносить изменения по мере необходимости при выполнении проверки 200 прогресса выполнения рецепта. В одном варианте стандартизованной кухни необработанные данные обычно воспроизводятся с помощью модуля выполнения 188, используя оборудование из студии шеф-повара, при этом единственными необходимыми регулировками будут изменения (этап 202), касающиеся выполнения сценария (повторение определенного этапа, возврат к определенному этапу, замедление выполнения и т.д.), поскольку между сохраненными и воспроизводимыми наборами данных будет иметься точное соответствие. Однако в случае нестандартизованной кухни очень высока вероятность того, что система потребует внесения изменений и адаптации имеющегося рецепта и его выполнения с помощью модуля 204 изменения сценария рецепта с учетом доступных инструментов/устройств 192, которые могут отличаться от имеющихся в студии 44 шеф-повара или обнаружения измеряемых отклонений от сценария рецепта (мясо готовится слишком медленно, наличие слишком горячих участков в кастрюле приводит к подгоранию заправки для соуса и т.д.). Весь прогресс выполнения сценария рецепта контролируется с помощью аналогичного процесса 206, который может различаться в зависимости от того, используется ли оборудование 208 из студии шеф-повара или комбинированное/ нестандартное оборудование 210.

Вероятность получения блюда, качество которого будет похоже на блюдо, приготовленное человеком-поваром, при использовании нестандартизованной кухни будет ниже, чем при использовании стандартизованной роботизированной кухни, имеющей такое же оборудование и функции, что и студия-кухня. Самым субъективным критерием является вкус человека (или шеф-повара), т.е. оценка качества (этап 212) является менее важной, чем (субъективное) определение качества (этап 214).

На Фиг. 5С представлена блок-схема, иллюстрирующая один вариант осуществления механизма 216 создания сценария рецепта и абстрагирования, который определяет структуру и порядок выполнения процесса генерирования сценария рецепта в рамках приготовления блюда человеком-поваром по рецепту в студии. Первый этап для всех доступных данных, полученных в студии 44 шеф-повара: эргономические данные от шеф-повара (положения и скорость работы рук/кистей, тактильные данные пальцев и т.д.), состояние кухонных устройств (печей, холодильников, дозаторов и т.д.), особые переменные (температура варочной поверхности, температура ингредиента и т.д.), используемые приспособления или инструменты (кастрюли/сковороды, лопатки и т.д.) или двухмерные и трехмерные массивы данных, собранные многодиапазонным сенсорным оборудованием (таким как камеры, лазеры, системы структурированного света и т.д.), вводятся и фильтруются с помощью центральной компьютерной системы, а также получают временные метки от главного процесса 218.

Алгоритм 220 преобразования данных использует простые (в основном, одиночные) переменные для определения того, где выполняется действие (варочная поверхность и/или печь, холодильник и т.д.), и временно или постоянно присваивает метку использования любому предмету/ приспособлению/оборудованию. Это позволяет связать этап приготовления (выпекание, жарку, добавление ингредиентов и т.д.) с определенным временным периодом и отследить время, место, тип и количество каждого добавленного ингредиента. Затем этот набор данных (с временными метками) становится доступным для процесса слияния данных в ходе процесса 222 генерации сценария рецепта.

Процесс 224 извлечения и картирования (распределения по схеме) данных сфокусирован в первую очередь на отборе двухмерного массива данных (такой как информация от монокулярных/однолинзовых камер) и извлечении из него ключевой информации. Чтобы извлечь важную и более абстрагированную описательную информацию из каждого последовательного изображения, к данному набору применяется несколько алгоритмических процессов. К подобным этапам обработки можно отнести, не ограничиваясь этим, обнаружение контура, определение цвета и преобразование текстуры, а также последующее использование данных об изображении и информации об объектах (тип и размер), считанной при выполнении процесса 226 сокращения объема и абстрагирования данных, за счет чего можно будет идентифицировать и определить место расположения объекта (является ли предмет оборудованием или ингредиентом, и т.д.), повторное извлечение из процесса 226 сокращения и абстрагирования данных, за счет которого можно будет сопоставить состояние (и все соответствующие переменные) и предметы на изображении с определенным этапом обработки (жарка, варка, резка и т.д.). После извлечения и сопоставления этих данных с определенным изображением в конкретный момент времени можно будет перейти к процессу 222 генерации сценария рецепта для формирования последовательности и этапов рецепта.

Механизм процесса 226 сокращения объема данных и абстрагирования (набор программных процедур) предназначен для сокращения большого объема трехмерных массивов данных и извлечения из них ключевой геометрической и ассоциативной информации. На первом этапе выполняется извлечение из большого облака трехмерных данных определенной рабочей области, играющей важную роль для рецепта, в конкретный момент времени. После сокращения размеров массива данных ключевые геометрические особенности будут идентифицированы с помощью процесса, известного как сопоставление с шаблоном; это позволит идентифицировать такие предметы, как горизонтальные столешницы, цилиндрические кастрюли и сковороды, места расположения рук и кистей и т.д. После определения стандартных известных (шаблонных) геометрических данных в массиве данных процесс идентификации и сопоставления объектов переходит к различению всех предметов (кастрюля или сковорода и т.д.), а также указывает определенные габариты (размер кастрюли или сковороды и т.д.) и ориентацию данных предметов, оценивает их положение на трехмерной модели окружающей среды с помощью компьютера. Вся абстрагированная/считанная информация затем совместно используется механизмом 224 извлечения и преобразования данных перед ее поступлением в механизм 222 генерации сценария рецепта.

Процедура использования механизма 222 генерации сценария рецепта предназначена для объединения (слияния/комбинирования) всех доступных данных и массивов в структурированный и последовательный сценарий приготовления с понятными идентификаторами процессов (предварительная подготовка, бланширование, жарка, мойка, сервировка и т.д.) и в этапы каждого отдельного процесса, которые затем могут быть транслированы в сценарии команд, исполняемых системой, для роботизированной кухни, которые синхронизируются на основании завершения процесса, общего времени приготовления и прогресса приготовления. Слияние данных, включает в себя, по меньшей мере, не ограничиваясь этим, способность отбора каждого этапа процесса (приготовления) и создание последовательности выполняемых этапов с правильно ассоциированными элементами (ингредиентами, оборудованием и т.д.), способами и процессами, используемыми во время этапов процесса, а также соответствующими ключевыми переменными управления (заданные значения температуры/настройки печи/варочной поверхности) и контроля (температура воды или мяса и т.д.), которые должны поддерживаться на определенном уровне и проверяться для обеспечения нормального прогресса и выполнения процесса. Слитые данные затем объединяются в структурированный последовательный сценарий приготовления, который будет похож на минимальный набор описаний этапов (похожий на рецепт в журнале), но с большим набором переменных для каждого элемента (оборудования, ингредиента, процесса, способа, переменной и т.д.) процесса приготовления в каждый момент выполнения процедуры. На финальном этапе выполняется отбор последовательного сценария приготовления и его трансформация в последовательный сценарий с идентичной структурой, который, в свою очередь, может быть транслирован с помощью набора систем/роботов/оборудования на роботизированной кухне 48. Данный сценарий будет использоваться роботизированной кухней 48 для автоматизированного выполнения и контроля этапов рецепта.

Все исходные (необработанные) и обработанные данные, а также соответствующие сценарии (и структурный сценарий последовательности приготовления, и сценарий последовательности приготовления, исполняемый системой) хранятся в устройстве/процессе 228 хранения данных и профилей с временными метками. С помощью графического пользовательского интерфейса (GUI) пользователь может выбрать из базы данных и отправить команду для роботизированной кухни на выполнение нужного рецепта через механизм 230 автоматизированного выполнения и контроля, который непрерывно контролируется с помощью собственного внутреннего автоматизированного процесса приготовления, с необходимыми изменениями и модификациями сценария, сгенерированного с его помощью и исполняемого элементами роботизированной кухни, чтобы получить правильно сервированное и поданное блюдо.

На Фиг. 5D представлена блок-схема, иллюстрирующая программные элементы для выполнения манипуляций с объектом на стандартизованной роботизированной кухне, а также структура и порядок работы 250 элементов роботизированной кухни, отвечающих за выполнение манипуляций с объектом по роботизированному сценарию, используя воспроизведение движений, связанных/выполняемых в виде этапов мини-манипуляций. Чтобы автоматизированное приготовление с помощью роботизированных рук/кистей было возможным, недостаточно просто контролировать каждый отдельный шарнир в руке и кистях/пальцах. Во многих случаях известны (и могут быть воспроизведены) только положение и ориентация кисти/запястья, но тогда манипулирование объектом (идентификация места, ориентации, позы, места захвата, способа захвата и выполнение задачи) потребует использования локальной системы датчиков, сохраненных моделей поведения и стратегий, чтобы кисти и пальцы могли успешно выполнить захват/манипулирование. Данные модели и последовательности профилей движения (использующие/ управляемые датчиками) хранятся в программном хранилище библиотек мини-манипуляций на роботизированной кухне. Человек-повар может носить полную руку экзоскелета или нарукавники с измерительной аппаратурой/мишенями для захвата, позволяющие компьютеру с помощью встроенных датчиков или отслеживания камерами определить точное положение кистей и запястий в пространстве в каждый отдельный момент времени. Даже если установить измерительную аппаратуру на все суставы десяти пальцев обеих кистей (более 30 степеней свободы (СС) для обеих кистей, которые неудобно надевать и использовать, в результате чего использовать их нежелательно), воспроизведение положений всех суставов с помощью простых движений не будет гарантировать успешное (интерактивное) манипулирование объектом.

Библиотека мини-манипуляций представляет собой программное хранилище команд, в котором хранятся модели движения и процессы, полученные путем обучения в автономном режиме, при этом движения руки/запястья/пальца и последовательности для успешного выполнения определенной теоретической задачи (захват ножа и последующая нарезка; захват ложки и последующее перемешивание; захват кастрюли одной кистью, использование другой кисти для захвата лопатки, поддевания куска мяса и его переворачивания на сковороде; и т.д.). Данное хранилище содержит запомненные последовательности успешных профилей движения, управляемых датчиками, и последовательности работы кистей/запястий (в некоторых случаях с коррекцией положения руки) для обеспечения успешного выполнения манипуляций с объектом (приспособлением, оборудованием, инструментами) и ингредиентом, которые описываются более абстрагированным языком, например, «взять нож и нарезать овощ», «разбить яйцо в чашку», «перевернуть мясо на сковороде» и т.д. Процесс обучения является итеративным и основан на нескольких повторяющихся профилях движения шеф-повара из студии шеф-повара, который затем выполняется и итеративно изменяется с помощью модуля алгоритма обучения в автономном режиме до тех пор, пока не будет получена приемлемая последовательность выполнения. Библиотека мини-манипуляций (программное хранилище команд) содержит все элементы (полученные предварительно или в автономном режиме), необходимые, для того чтобы роботизированная кухня успешно взаимодействовала со всем оборудованием (приспособлениями, инструментами и т.д.) и основными ингредиентами, требующими обработки (этапы, выполняемые сразу после дозирования) в рамках процесса приготовления. Поскольку человек-повар носит перчатки со встроенными тактильными датчиками (датчик приближения, датчик касания, датчик места/усилия при контакте) для пальцев и ладони, роботизированные кисти имеют датчики аналогичных типов в местах, что позволяет использовать эти данные для создания, изменения и адаптации профилей движений с целью успешного выполнения желаемых профилей движений и команд для выполнения операций.

Часть манипуляций с объектом в рамках процесса 252 приготовления на роботизированной кухне (программный модуль роботизированного выполнения сценария рецепта для интерактивного манипулирования и выполнения операций с объектами на кухне), будет подробно рассмотрена ниже. Используя базу данных о роботизированном сценарии 254 рецепта (которая содержит данные в необработанном виде, в виде абстрагированной последовательности приготовления и в виде исполняемого сценария), модуль 256 выполнения сценария рецепта способен выполнить определенный этап рецепта. Модуль 258 воспроизведения конфигурации выбирает и выполняет команды конфигурации с помощью контроллера 270 системы роботизированной руки (торс, рука, запястье и кисти), который управляет физической системой для имитации необходимых значений конфигурации (положения/скорости/крутящие моменты шарниров и т.д.).

Точное выполнение необходимых этапов выполнения манипуляций и взаимодействия с другими предметами для выполнения операций становится возможным за счет проверки процесса в режиме реального времени за счет: (i) трехмерного моделирования объектов реального мира, (ii) мини-манипуляций. Этапы подтверждения и манипулирования выполняются путем добавления модификатора 260 конфигурации запястья и кисти робота. Данный программный модуль использует данные от средства 262 трехмерного моделирования конфигурации реального мира, который строит новую трехмерную модель реального мира на каждом этапе сбора данных мультимодального датчика (датчиков) для обеспечения того, чтобы данная конфигурация систем роботизированной кухни и процесса соответствовала требованиям сценария рецепта (базы данных); при невыполнении данного условия в значения конфигурации управляемой системы вносятся модификации, позволяющие успешно выполнить определенную задачу. Более того, модификатор 260 конфигурации запястья и кисти робота также использует команды внесения изменений в конфигурацию от исполнителя 264 профиля движения для мини-манипуляций. Данные для внесения изменений в конфигурацию кисти/запястья (и, возможно, руки) передаются в модификатор 260 конфигурации на основании профиля движения исполнителя 264 мини-манипуляций, знающего желательную конфигурацию для воспроизведения из блока 258, но затем модифицирующего ее на основании библиотеки 266 трехмерных моделей объектов и предварительно запомненных (и сохраненных) данных из библиотеки 268 конфигураций и последовательностей (которая формируется на основании нескольких итеративных этапов обучения для всех основных этапов выполнения операций с объектом и обработки).

Когда модификатор 260 конфигурации непрерывно выдает данные о модифицированной управляемой конфигурации контроллеру 270 системы роботизированной руки, используется программный модуль 272 проверки операции/манипулирования, чтобы была правильно выполнена не только данная операция, но и все необходимые последующие манипуляции/операции. При невыполнении указанного условия модификатор 260 конфигурации повторно запрашивает обновления для модификаций конфигурации (для запястья, кистей/пальцев и, возможно, руки и даже торса) от средства 262 моделирования реального мира и исполнителя 264 мини-манипуляций. Это необходимо для успешного выполнения этапа или последовательности манипуляций/операций. Программный модуль 272 проверки операций/манипуляций выполняет такую проверку с использованием информации из базы данных F2 со сценариями рецептов и средства 262 трехмерного моделирования реального мира для обеспечения соответствующего прогресса на контролируемом этапе приготовления с помощью исполнителя 256 сценария рецепта. После обнаружения прогресса процесс 274 приращения индекса сценария рецепта уведомляет исполнителя 256 сценария рецепта о переходе на следующий этап выполняемого сценария рецепта.

На Фиг. 6 показана архитектура 300 мультимодальной системы датчиков и программных элементов по изобретению. Одна из основных особенностей автономного приготовления, позволяющая планировать, выполнять и контролировать сценарий роботизированного приготовления, требует использования устройств ввода 302 мультимодальной системы датчиков, которые используются несколькими программными модулями для генерирования данных, необходимых для (i) осознания реального мира, (ii) создания модели рабочего места и материалов, (iii) планирования следующих этапов последовательности роботизированного приготовления, (iv) выполнения сгенерированного плана, (v) контроля выполнения процесса для обеспечения правильности операций, - все эти этапы выполняются в виде непрерывного/циклически повторяющегося замкнутого цикла.

Мультимодальный сенсорный блок(и) 302 (система датчиков), содержащий (не ограничиваясь этим) видеокамеры 304, ИК-камеры и дальномеры 306, одну или нескольку стереокамер (или даже камер с тринокулярной насадкой) 308 и лазерные сканеры 310 для многомерного сканирования, позволяет получить данные датчиков в разных диапазонах для основных программных механизмов абстрагирования 312 (после сбора и фильтрации в модуле 314 сбора и фильтрации данных). Данные используются в модуле 316 интерпретирования рабочей области для выполнения нескольких этапов, включая, но не ограничиваясь этим, построение поверхностей геометрических тел высокого и низкого разрешения (лазер: высокое разрешение; стереокамера: низкое разрешение) на рабочем месте, с наложенной информацией о цвете и текстуре в видимом и инфракрасном диапазонах, что позволит алгоритмам обнаружения контуров и обнаружения трехмерных объектов определить, какие элементы находятся в рабочей области, чтобы использовать алгоритмы картирования формы/цвета/текстуры и консистенции для использования обработанных данных при передаче обработанной информации в Модуль 318 Выполнения Операций с Кухонным Оборудованием в Процессе Приготовления. В модуле 318 программные механизмы используются для идентификации и определения положения и ориентации кухонных инструментов и утвари в пространстве, а также идентификации и маркировки распознаваемых пищевых продуктов (мясо, морковь, соус, жидкости и т.д.) таким образом, чтобы сгенерировать данные, которые позволят компьютеру построить модель и полностью интерпретировать рабочее место в определенный момент времени, чтобы использовать эту информацию для планирования и контроля следующего этапа. Механизмы, необходимые для получения и абстрагирования данных и информации, включают в себя, не ограничиваясь этим, механизмы осмысления захвата, механизмы геометрического осмысления, механизмы физического осмысления и механизмы решения задач. Выходные данные механизмов 316 и 318 впоследствии используются для подачи на средство моделирования рабочего места и классификатор 320 контента, в которых создается трехмерная модель реального мира со всеми ключевыми данными, необходимыми для устройства выполнения роботизированного сценария приготовления. После интерпретирования полностью заполненной модели реального мира ее можно использовать для передачи в планировщик 322 движений и операций (если необходимо выполнять захват и различные операции с помощью роботизированной руки, эти же данные могут использоваться для различения и планирования захвата и выполнения манипуляций с пищевыми продуктами и кухонными предметами в зависимости от нужной ручки и расположения) для обеспечения планирования движений и траектории руки (рук) и прикрепленного рабочего органа (органов) (захватов, кистей с несколькими пальцами). Планировщик 324 последовательности дальнейших действий создает правильную последовательность команд для выполнения задачи для всех отдельных элементов роботизированной/автоматизированной кухни, которые затем используются системой привода 326 роботизированной кухни. Вся описанная выше последовательность непрерывно повторяется в виде замкнутого цикла в рамках роботизированного выполнения и контроля сценария рецепта.

На Фиг. 7А изображена стандартизованная кухня 50, которая в данном случае играет роль студии шеф-повара, в которой человек-повар 49 создает и выполняет рецепт под контролем мультимодальных сенсорных систем 66 таким образом, чтобы позволить создание сценария рецепта. На стандартизованной кухне имеется несколько элементов, необходимых для выполнения рецепта, включая основной модуль приготовления 350, который включает в себя такое оборудование, как утварь 360, варочная поверхность 362, кухонная раковина 358, посудомоечная машина 356, настольный миксер и блендер (так называемый «кухонный блендер») 352, печь 354 и холодильник 364 с морозильником.

На Фиг. 7В изображена стандартизованная кухня 50, которая в данном случае представляет собой стандартизованную роботизированную кухню, на которой роботизированная система с двумя руками и вертикальным выдвигающимся и вращающимся торсовым шарниром 360, который оборудован двумя руками 70 и двумя кистями 72 с запястьями и пальцами, выполняет процесс воспроизведения рецепта в соответствии со сценарием рецепта. Мультимодальные сенсорные системы 66 непрерывно контролируют этапы приготовления, выполняемые роботом, на нескольких стадиях процесса воспроизведения рецепта.

На Фиг. 7С изображены системы, используемые при создании сценария рецепта путем контроля человека-повара 49 на протяжении всего процесса приготовления по рецепту. Аналогичная стандартизованная кухня 50 используется в студии шеф-повара, при этом шеф-повар может работать на кухне с любой стороны от рабочего модуля. Данные контролируются и собираются с помощью мультимодальных датчиков системы 66, тактильных перчаток 370, носимых шеф-поваром, кухонной посуды 372 и оборудования с измерительной аппаратурой, после чего все собранные необработанные данные передаются по беспроводному каналу связи на рабочий компьютер 16, где они обрабатываются и хранятся.

На Фиг. 7D изображены системы, используемые стандартизованной кухней 50 для воспроизведения сценария рецепта 19 при помощи системы с двумя руками на телескопическом поворачивающемся торсе 374, которая состоит из двух рук 72, двух роботизированных запястий 71 и двух кистей 72 с несколькими пальцами с встроенными датчиками на коже и точечными датчиками. Во время выполнения определенного этапа воспроизводимого рецепта роботизированная система с двумя руками использует руки и кисти с измерительной аппаратурой, утварь для приготовления, приспособления и кухонную посуду оборудованная измерительной аппаратурой (в данном случае изображена сковорода) на варочной поверхности 12, а также выполняет непрерывный контроль с помощью мультимодальных датчиков системы 66, чтобы обеспечить максимально точный процесс воспроизведения действий человека-повара. Все данные мультимодальных датчиков системы 66, роботизированной системы с двумя руками, состоящей из торса 74, рук 72, запястий 71 и кистей 72 с несколькими пальцами, утвари, кухонной посуды и устройств, передаются по беспроводному каналу связи на компьютер 16, где их обрабатывают с помощью встроенного устройства обработки, чтобы максимально точно сравнивать и отслеживать процесс воспроизведения рецепта с точки зрения определенных критериев и этапов, заданных в заранее созданном сценарии рецепта 19 и сохраненных на носителе 18.

На Фиг. 7Е представлена блок-схема, иллюстрирующая пошаговую процедуру и способы 376 обеспечения точек контроля или проверок во время процесса воспроизведения рецепта на основании сценария рецепта при его выполнении с помощью стандартизованной роботизированной кухни 50, чтобы блюдо, приготовленное стандартизованной роботизированной кухней 50, было идентично (насколько это возможно) блюду, приготовленному человеком-поваром 49. При использовании рецепта 378, описанного в сценарии рецепта и выполняемого в виде последовательности этапов в процессе приготовления 380, качество выполнения рецепта с помощью роботизированной кухни 50 будет во многом зависеть от основных контролируемых пунктов, указанных ниже. К ключевым контролируемым пунктам можно отнести процесс выбора и использования стандартизованной порции и формы высококачественного и предварительно обработанного ингредиента 382, использование стандартизованных инструментов и утвари, кухонной посуды со стандартизованными ручками для обеспечения правильного и надежного захвата с известной ориентацией 384, стандартизованного оборудования 386 (печь, блендер, холодильник, морозильник и т.д.) на стандартизованной кухне, которая должна быть максимально идентичной при сравнении кухонной студии шеф-повара, на которой человек-повар 49 готовит блюдо, и стандартизованной роботизированной кухни 50, места и расположения 388 ингредиентов, используемых в рецепте, и пары роботизированных рук, запястий и кистей с несколькими пальцами в кухонном модуле 50, непрерывно контролируемых датчиками с точки зрения действий, которые позволяют обеспечить успешное выполнение каждого этапа на каждой стадии процесса воспроизведения сценария рецепта для определенного блюда. Наконец, обеспечение идентичного результата 392 является конечной целью работы стандартизованной роботизированной кухни 50.

На Фиг. 7F представлена диаграмма облачного программного обеспечения для облегчения взаимодействия между студией шеф-повара, роботизированной кухней и другими источниками. Различные типы данных передаются, модифицируются и хранятся в облаке 396 между кухней 44 шефа, который оперирует стандартизированной роботизированной кухней 50, и роботизированной кухней 48, которая оперирует стандартизированной роботизированной кухней 50. Блок 395 облачных вычислений предоставляет централизованное место для хранения программных файлов, включая операции по приготовлению пищи механизмом 56, который может удобным образом вызвать и загрузить программные файлы через сеть между кухней 44 шеф-повара и роботизированной кухней 48. Кухня 44 шеф-повара соединена с возможностью коммуникации с облачным хранилищем 395 через проводную или беспроводную сеть 396 с помощью сети Интернет, беспроводных протоколов и протоколов связи ближнего действия, таких как BlueTooth. Роботизированная кухня 48 соединена с возможностью коммуникации с облачным хранилищем 395 через проводную или беспроводную сеть 397 с помощью сети Интернет, беспроводных протоколов и протоколов связи ближнего действия, таких как BlueTooth. Облачное хранилище 395 включает в себя локации компьютерного хранения для размещения библиотеки задач 398а с действиями, рецептами и мини-манипуляциями; профиль/данные пользователя 398b с данными учетной записи, ID и подписками; метаданными рецепта398с с текстом, голосовыми данными и т.д.; модуль 398d распознавания объекта со стандартными изображениями, нестандартными изображениями, размерами, весом и ориентациями; карта окружающей среды/инструментария 398е для навигации по положениям объектов, локациям и операционной среде; и управляющие программные файлы 398f для хранения выданных роботизированных команд, высокоуровневых программных файлов и низкоуровневых программных файлов. В другом варианте воплощения, устройства Интернета Вещей (Internet of Things, IoT) также могут быть инкорпорированы в систему для работы с кухней 44 шефа, облачными вычислениями 396 и роботизированной кухней 48.

На Фиг. 8А представлена блок-схема, иллюстрирующая один вариант модуля 400 выполнения алгоритма преобразования рецепта движений шеф-повара в воспроизводимые роботизированные движения. Модуль 404 преобразования алгоритма рецепта преобразовывает данные, полученные в результате захвата движений шеф-повара в студии 44 шеф-повара, в машиночитаемый и исполняемый язык 406 для управления роботизированными руками 70 и роботизированными кистями 72 для воспроизведения блюда, приготовленного с помощью движений шеф-повара на роботизированной кухне 48. В студии 44 шеф-повара компьютер 16 захватывает и записывает движения шеф-повара с помощью датчиков на перчатке 26, надеваемой шеф-поваром, как представлено в таблице 408 в виде множества датчиков S₀, S₁, S₂, S₃, S₄, S₅, S_6… Sn в вертикальных столбцах и приращений времени t₀, t₁, t₂, t₃, t₄, t₅, t₆ … t… в горизонтальных строках. В момент времени t₀ компьютер 16 записывает координаты положения XYZ на основании данных датчиков, полученных от множества датчиков S₀, S₁, S₂, S₃, S₄, S₅, S₆ … Sn. В момент времени t₁ компьютер 16 записывает координаты положения XYZ на основании данных датчиков, полученных от множества датчиков S₀, S₁, S₂, S₃, S₄, S₅, S₆ … Sn. В момент времени t₂ компьютер 16 записывает координаты положения XYZ на основании данных датчиков, полученных от множества датчиков S₀, S₁, S₂, S₃, S₄, S₅, S₆ … Sn. Данный процесс продолжается до тех пор, пока не будет завершен весь процесс приготовления пищи в момент времени t_конец. Интервал между всеми моментами времени t₀, t₁, t₂, t₃, t₄, t₅, t₆ … t_конец является одинаковым. Результаты обработки захваченных и записанных данных датчиков показаны в таблице 408 в виде движений от датчиков S₀, S₁, S₂, S₃, S₄, S₅, S₆ … Sn на перчатке 26, в координатах XYZ, которые будут указывать приращения между координатами положения XYZ для одного определенного времени относительно координат положения XYZ для следующего определенного момента времени. Фактически в таблице 408 показано, как движения шеф-повара изменяются в рамках выполнения всего процесса приготовления пищи от начального момента времени t₀ до конечного момента времени t_конец. В соответствии с данным вариантом осуществления на рисунке показан пример для двух перчаток 26 с датчиками, которые шеф-повар 49 надевает для захвата движений во время приготовления блюда. На роботизированной кухне 48 роботизированные руки 70 и роботизированные кисти 72 воспроизводят рецепт, записанный в студии 44 шеф-повара, который затем преобразовывается в роботизированные инструкции, при этом роботизированные руки 70 и роботизированные кисти 72 воспроизводят процесс приготовления пищи шеф-поваром 49 с учетом временной последовательности 416. Роботизированные руки 70 и кисти 72 выполняют приготовление пищи, используя те же координаты положений XYZ, ту же скорость, то же приращение времени от начального момента времени t₀ до конечного момента времени t_конец, как показано на временном графике 416.

В некоторых вариантах осуществления шеф-повар выполняет одинаковые операции по приготовлению пищи несколько раз, чтобы получить показания датчиков и параметры соответствующих роботизированных инструкций, которые каким-либо образом меняются каждый раз. Набор показаний каждого датчика при нескольких повторениях цикла приготовления одного блюда позволяет получить распределение со средним значением, стандартным отклонением, а также минимальным и максимальным значениями. Соответствующие изменения в роботизированных инструкциях (так называемые параметры рабочего органа) при нескольких циклах выполнения одного блюда шеф-поваром также определяют распределения со средним значением, стандартным отклонением, минимальным и максимальным значениями. Данные распределения могут быть использованы для определения качества (или точности) последующих роботизированных циклов приготовления пищи.

В одном вариантесредняя точность операций роботизированного приготовления пищи описывается следующим образом:

где С - набор параметров шеф-повара (1 до n), a R - набор параметров роботизированного приспособления (соответственно (1 до n). Числитель в сумме - разность между параметрами робота и шеф-повара (т.е. погрешность), а знаменатель нормализует максимальную разность). Сумма позволяет определить общую нормализованную суммарную погрешность, (т.е.

Добавление средней погрешности соответствует средней точности.

Другой вариант расчета точности основан на взвешивании важных параметров, где каждый коэффициент (каждое значение αi) представляет собой важность iого параметра, при этом нормализованная суммарная погрешность равна

На Фиг. 8В представлено схематическое изображение пары перчаток 26а и 26b с датчиками, надетых шеф-поваром 49, для захвата и передачи движений шеф-повара. В данном иллюстративном примере, который предназначен для демонстрации одного примера неограничительного характера, правая перчатка 26а содержит 25 датчиков для захвата различных точечных данных датчиков D1, D2, D3, D4, D5, D6, D7, D8, D9, D10, D11, D12, D13, D14, D15, D16, D17, D18, D19, D20, D21, D22, D23, D24 и D25 на перчатке 26а, которая может иметь дополнительные электромеханические схемы 420. Левая перчатка 26b включает в себя 25 датчиков для захвата различных точечных данных датчиков D26, D27, D28, D29, D30, D31, D32, D33, D34, D35, D36, D37, D38, D39, D40, D41, D42, D43, D44, D45, D46, D47, D48, D49, D50 на перчатке 26b, которая может иметь дополнительные (необязательные) электромеханические схемы 422.

На Фиг. 8С представлена блок-схема, где показаны этапы выполнения роботизированного приготовления на основании захваченных данных датчиков от перчаток шеф-повара 26а и 26b. В студии 44 шеф-повара шеф-повар 49 надевает перчатки 26а и 26b с датчиками для захвата процесса приготовления пищи, при этом данные датчиков записываются в виде таблицы 430. В данном примере шеф-повар 49 нарезает морковь с помощью ножа кружками толщиной 1 сантиметр. Данные элементарные действия шеф-повара 49, регистрируемые с помощью перчаток 26а, 26b, могут представлять собой мини-манипуляции 432, которые выполняются в моменты времени 1, 2, 3 и 4. Модуль 404 преобразования алгоритма рецепта преобразовывает записанный файл рецепта, полученный из студии 44 шеф-повара, в роботизированные инструкции для выполнения роботизированными руками 70 и роботизированными кистями 72 на роботизированной кухне 48 в соответствии с программной таблицей 434. Роботизированные руки 70 и роботизированные кисти 72 готовят блюда с помощью управляющих сигналов 436 для выполнения мини-манипуляций, заранее заданных в библиотеке 116 мини-манипуляций, для нарезания моркови с помощью ножа на кружочки толщиной около 1 сантиметра. Роботизированные руки 70 и роботизированные кисти 72 работают, используют те же координаты XYZ 438 с возможностью в режиме реального времени внесения корректировок в размер и форму каждой моркови путем создания временной трехмерной модели 440 моркови с помощью устройств регулировки 112 в режиме реального времени.

Для использования механического роботизированного механизма, такого как механизмы, соответствующие вариантам осуществления данного изобретения, специалисты в данной области техники осознают, что должны быть учтены многие механические проблемы и проблемы управления, способы решения которых описаны в литературе по робототехнике. При этом особую роль играет определение статической и/или динамической устойчивости роботизированной системы. В частности, что касается роботизированных манипуляций, динамическая устойчивость является крайне желательным свойством, чтобы избежать случайного повреждения или движений, не являющихся желательными или запрограммированными.

На Фиг. 8D показан график динамической устойчивости относительно равновесия. В данном случае «значение равновесия» является желательным состоянием руки (т.е. рука точно перемещается точно в запрограммированном направлении с отклонениями, вызванными любым количеством факторов, таких как инерция, центростремительная или центробежная сила, гармонические колебания и т.д.) Устойчивая динамически система - система, в которой колебания являются незначительными и затухают со временем, как показано с помощью кривой линии 450. Динамическая неустойчивая система - система, в которой колебания не затухают и могут увеличиваться со временем, как показано кривой линией 452. Худшим вариантом является ситуация, когда рука является статически нестабильной (например, она не может удерживать вес захваченного предмета) и падает, либо не может компенсировать отклонения от запрограммированного положения и/или траектории, как показано с помощью кривой линии 454. С дополнительной информацией по планированию (созданию последовательностей мини-манипуляций или устранения последствий проблем) можно ознакомиться в документе М. Гараньяни (Garagnani, М) (1999), «Improving the Efficiency of Processed Domain-axioms Planning)), Procedings of PLANSIG-99, Manchester, England, pp. 190-192, информация, раскрытая в нем, полностью включена в состав настоящего описания.

В указанном документе рассмотрены условия динамической устойчивости, которые включены в настоящее описание посредством ссылки, для обеспечения нормального функционирования роботизированных рук. Данные условия включают в себя фундаментальный принцип для расчета крутящего момента, передаваемого на шарниры роботизированных рук:

где Т - вектор момента (Т имеет n составляющих, каждая из которых соответствует степени свободы роботизированных рук), М - инерционная матрица системы (М - положительная полуопределенная матрица размером n на n), С - сочетание центростремительной и центробежной сил (также матрица n на n), G(q) - вектор ускорения свободного падения, a q - вектор положения. Они включают в себя поиск стабильных точек и минимума, например, с помощью уравнения Лагранжа, если положения робота (х) можно описать с помощью дважды дифференцируемых функций (у).

J(ƒ)≤J[ƒ+εη]

Чтобы система, состоящая из роботизированной кисти и рук/захватов, была устойчивой, важно, чтобы система была правильно сконструирована и построена, а также имела соответствующую систему обнаружения и управления, которая работает в допустимых пределах производительности. Данная причина играет важную роль в связи с тем, что для достижения оптимальной (максимальной скорости при максимальном отслеживании положения/скорости и усилиях/крутящем моменте при стабильности всех условий) производительности для физической системы и того, что просит сделать контроллер.

Что касается правильной конструкции, необходимо обеспечить правильную контролируемость и управляемость системы. Контролируемость означает, что ключевые переменные параметры системы (положения, скорости, усилия и крутящие моменты шарниров/пальцев) могут быть измерены системой, т.е. она должна быть способна измерять значения данных переменных, что, в свою очередь, подразумевает наличие и использование подходящих измерительных устройств (внутренних или внешних). Управляемость подразумевает, что система (в данном случае компьютер) способна формировать или управлять ключевыми осями системы на основании значений параметров, получаемых с помощью внутренних/внешних датчиков; обычно это означает, что исполнительный механизм или прямое/косвенное управление определенным параметром выполняется с помощью мотора или другой управляемой компьютером системой привода. Возможность создания максимально линейной системы с точки зрения ее реакции для минимизации отрицательного воздействия нелинейностей (трение покоя, люфт, гистерезис и т.д.) позволяет использовать такие схемы управления, как программное изменение коэффициента усиления ПИД-регулятора и нелинейных регуляторов, например, плавное регулирование для обеспечения стабильности и эффективности системы даже при наличии неопределенностей при моделировании системы (погрешности в оценке массы/инерции, дискретизация геометрии контуров, погрешности дискретизации датчика/крутящего момента и т.д.), которые всегда имеют место в высокоэффективных системах управления.

Более того, использование подходящей системы вычисления и дискретизации играет важную роль, поскольку способность системы быстро перемещаться с определенным максимальным частотным спектром сильно зависит от того, какой полосы пропускания системы управления (частота дискретизации замкнутого цикла системы компьютерного управления) вся система может достичь, и от того, какую частотную характеристику (способность отслеживать движения при определенных скоростях и частотном спектре перемещений) система может использовать.

Все описанные выше характеристики играют важную роль для обеспечения того, что система с высокой избыточностью сможет фактически выполнить сложные и ловкие движения человека-повара, требуемые для успешного динамического или стабильного выполнения сценария рецепта.

Машинное обучение в контексте роботизированной манипуляции, соответствующей настоящему изобретению, может использовать известные способы регулировки параметров, такие как стимулированное обучение. Альтернативным предпочтительным вариантом осуществления для данного изобретения является другой более подходящий способ обучения для циклического выполнения сложных действий, таких как подготовка и приготовление пищи в несколько этапов в течение некоторого периода времени, в частности, это может быть ситуационное обучение. Ситуационное обучение, также известное как метод аналогий, требует определенного времени.

В общем виде ситуационное обучение содержит следующие этапы:

A. Создание и запоминание ситуаций. Ситуация -последовательность действий с параметрами, которые успешно выполняются для достижения цели. К данным параметрам можно отнести расстояния, усилия, направления, положения и другие физические или электронные измерения, чьи значения должны соответствовать определенным требованиям для успешного выполнения задачи (например, операции приготовления). В первую очередь,

1. сохранение аспектов проблемы, которая была решена, а также:

2. способ (способы) и дополнительные промежуточные этапы для решения проблемы и значения параметров;

3. (обычно) сохранение конечного результата.

B. Использование ситуаций (на более позднем этапе)

4. Извлечение одной или нескольких сохраненных ситуаций, где проблемы наиболее схожи с новой проблемой;

5. дополнительная регулировка параметров извлеченной ситуации (ситуаций) для применения к текущей ситуации (например, предмет может весить несколько больше, а, следовательно, для его подъема требуется несколько большая сила);

6. использование аналогичных способов и этапов из ситуации (ситуаций) с отрегулированными параметрами (при необходимости) для по меньшей мере частичного решения новой проблемы.

Следовательно, ситуационное обучение включает в себя запоминание предыдущих проблем и применение возможных изменений параметров для решения новых аналогичных проблем. Однако для того чтобы применить ситуационное обучение к роботизированным манипуляциям, может понадобиться нечто большее. Изменение одного параметра плана решения приведет к изменению одного или нескольких связанных параметров. Это потребует преобразования решения проблемы, а не просто его применения. Новый процесс можно назвать ситуационным роботизированным обучением, поскольку он обобщает решение для множества схожих решений (соответствующих небольшим изменениям входных параметров, включая точный вес, форму и место подачи ингредиентов). Ситуационное роботизированное обучение используется следующим образом:

С. Построение, запоминание и трансформация роботизированных манипуляций

1. Сохранение аспектов проблемы, которая была решена, а также:

2. значения параметров (например, инерционная матрица, усилия и т.д. из уравнения 1);

3. выполнение анализа методом возмущений путем изменения параметра (параметров), относящегося к области применения (например, для кулинарии это может быть изменение веса ингредиентов или их точного начального положения), чтобы увидеть, насколько значения параметров могут варьироваться при условии достижения желательных результатов;

4. запись того, какие другие значения параметров будут изменены (например, силы) и насколько они изменятся, с помощью анализа модели методом возмущений;

5. если изменения находятся в пределах технических характеристик роботизированного приспособления, то выполняется сохранение трансформированного плана решения (с указанием зависимостей между параметрами и расчетными прогнозируемыми изменениями для их значений).

D. Применение ситуаций (на более позднем этапе)

6. Извлечение одной или нескольких сохраненных ситуаций с трансформированными точными значениями (либо для текущих диапазонов, либо расчеты для новых значений в зависимости от значений входных параметров), но начальные проблемы которых все еще очень похожи на новую проблему, включая значения параметров и диапазоны значений;

7. использование трансформированных способов и этапов для ситуации (ситуаций) для по меньшей мере частичного решения новой проблемы.

Когда шеф-повар обучает робота (две руки и измерительные устройства, например с помощью тактильной обратной связи от пальцев, обратной связи по усилию от шарниров, а также одной или нескольких камер), робот запоминает не только определенные последовательности движений с временной корреляцией, но и группы небольших вариаций движений шеф-повара при приготовлении одного блюда вне зависимости от незначительных вариаций наблюдаемых входных параметров, таким образом, он запоминает объединенный трансформированный план, расширяя возможности применения метода запоминания. Подробная информация о ситуационных выводах и обучении приведена в материалах Лика (Leake), 1996 Book, «Case-Based Reasoning: Experiences, Lessons and Future Directions», http://journals.cambridge.org/ action/display Abstract? fromPage =online&aid=4068324&fileld=S0269888900006585dl.acm.org/citation.cfm?id=524680; Карбонелла (Carbonell), 1983, «Learning by Analogy: Formulating and Generalizing Plans from Past Experience», http://link. springer.com/chapter/10.1007/978-3-662-12405-5_5, информация, раскрытая в них, полностью включена в состав настоящего описания.

Как показано на Фиг. 8Е, процесс приготовления требует выполнения последовательности этапов для множества стадий S₁, S₂, S₃ … S_j … S_n приготовления пищи, как показано в виде временной последовательности 456. Это может потребовать строгого соблюдения линейного/последовательного порядка, либо что-то можно будет выполнить параллельно; в любом случае имеется набор стадий {S₁, S₂, S_i, S_n}, каждая из которых должна быть успешно выполнена для достижения успеха. Если вероятность успеха каждой стадии равна P(s_i) для n стадий, то вероятность успеха оценивается как произведение вероятностей успеха для каждой стадии:

Специалисты в данной области техники должны понимать, что вероятность общего успеха может быть ниже, даже если вероятность успеха отдельных стадий относительно высока. Например, при наличии 10 стадий и вероятности успеха выполнения каждой стадии, равной 90%, вероятность успеха будет составлять: (0,9)¹⁰ = 0,28 или 28%.

Стадия приготовления блюда содержит одну или несколько мини-манипуляций, при этом каждая мини-манипуляция содержит одно или несколько роботизированных действий, приводящих к определенному промежуточному результату. Например, нарезка овоща может представлять собой мини-манипуляцию, включающую в себя захват овоща одной кистью, захват ножа другой кистью, выполнение повторяющихся движений ножом до тех пор, пока нарезка овоща не будет завершена. Стадия приготовления блюда может включать в себя одну или несколько мини-манипуляций по нарезке.

Формула расчета вероятности успеха одинаково хорошо подходит для стадий и для мини-манипуляций, поскольку каждая мини-манипуляция является относительно независимой от других мини-манипуляций.

В одном варианте для смягчения проблемы снижения достоверности успеха из-за потенциальной ошибки смешения, рекомендуется использовать стандартизованные способы для большинства или всех мини-манипуляций на всех стадиях. Стандартизованные операции - операции, которые могут быть заранее запрограммированы, предварительно протестированы и при необходимости предварительно отрегулированы для выбора последовательности операций с наибольшей вероятностью успеха. Таким образом, если вероятность успеха стандартизованных способов, использующих мини-манипуляции на стадиях, является очень высокой, то общая вероятность успеха приготовления блюда за счет предварительной подготовки, выполняемой до доведения всех этапов до идеала и их тестирования, также будет очень высокой. Вернемся к предыдущему примеру: если каждая стадия использует надежные стандартизованные способы, а вероятность ее успеха равна 99% (вместо 90% в предыдущем примере), то общая вероятность успеха будет равна (0,99)¹⁰ = 90,4%, при условии использования 10 стадий, как и раньше. Это гораздо больше 28%-ной вероятности нужного конечного результата.

В соответствии с другим вариантом осуществления для каждой стадии имеется несколько альтернативных способов, при этом при неудачном использовании одного варианта используется другой вариант. В этом случае требуется динамический контроль для определения успеха или неудачи при выполнении каждой стадии и наличие альтернативных вариантов. Вероятность успеха для данной стадии является дополнением до единицы для вероятности неудачного использования всех альтернативных вариантов, что математически может быть выражено следующим образом:

В предыдущем уравнении s_i - стадия, A(s_i) - набор альтернативных вариантов выполнения стадии s_i. Вероятность неудачного использования определенного альтернативного варианта является дополнением до единицы для вероятности успеха данного альтернативного варианта, т.е.

Используя альтернативные варианты, можно оценить общую вероятность успеха как произведение каждой стадии с альтернативными вариантами, т.е.:

При использовании способа альтернатив, если каждая из 10 стадий имеет 4 альтернативы, и ожидается, что вероятность успеха для каждой альтернативы на каждой стадии равна 90%, то общая вероятность успеха будет равна (1-(1-(0,9))⁴)¹⁰=0,99 или 99% по сравнению с 28% для случая, когда альтернативы не используются. Способ, основанный на использовании альтернатив, преобразует исходную проблему из цепи стадий с множеством единичных точек отказа (при неудаче на какой-либо стадии) к одной стадии без отдельных точек отказа, поскольку для того, чтобы стадия завершилась неудачно, все альтернативы должны завершиться неудачно, что позволяет повысить надежность.

В соответствии с другим вариантом осуществления стандартизованные стадии, содержащие стандартизованные мини-манипуляции, и альтернативные средства приготовления пищи на определенных стадиях объединяются, что позволяет дополнительно повысить надежность. В данном случае вероятность успеха может быть очень высока, даже при наличии нескольких альтернатив только для некоторых стадий или мини-манипуляций.

В соответствии с другим вариантом осуществления альтернативы, которые используются в случае неудачи, предусмотрены только для стадий с низкой вероятностью успеха, например, стадий, для которых нет достаточно надежного стандартизованного способа, или для которых имеет место потенциальная изменчивость, например, из-за материалов неправильной формы. Данный вариант позволяет снизить избыточность, связанную с использованием альтернатив на всех стадиях.

На Фиг. 8F представлен график, на котором вероятность общего успеха (ось Y) показана в виде функции от количества стадий, необходимых для приготовления блюда (ось X) для первой кривой 458, соответствующей нестандартизованной кухне 458, и второй кривой 459, соответствующей стандартизованной кухне 50. В данном примере предполагается, что вероятность успеха для каждой отдельной стадии приготовления пищи составляет 90% для нестандартизованной операции и 99% для стандартизованной заранее запрограммированной стадии. Общая погрешность гораздо выше, чем в первом случае, что видно на примере кривой 458 и кривой 459.

На Фиг. 8G представлена блок-схема, иллюстрирующая выполнение рецепта 460 с несколькими стадиями для роботизированного приготовления пищи при помощи мини-манипуляций и элементарных действий. Каждый рецепт 460 для приготовления пищи может быть разделен на несколько стадий приготовления пищи: первая стадия приготовления пищи S₁ 470, вторая стадия приготовления пищи S₂ … n-я стадия приготовления пищи S_n 490, которые выполняются с помощью роботизированных рук 70 и роботизированных кистей 72. Первая стадия приготовления пищи S₁ 470 содержит одну или несколько мини-манипуляций ММ₁ 471, ММ₂ 472 и ММ₃ 473. Каждая мини-манипуляция включает в себя одно или несколько элементарных действий для достижения результата выполнения функции. Например, первая мини-манипуляция ММ₁ 471 включает в себя первое элементарное действие AP₁ 474, второе элементарное действие АР₂ 475 и третье элементарное действие АР₃ 475, необходимые для достижения результата выполнения функции 477. Одна или несколько мини-манипуляций ММ₁ 471, ММ₂ 472, ММ₃ 473 на первой стадии S₁ 470 позволяют достичь результата выполнения стадии 479. Сочетание одной или нескольких стадий приготовления пищи S₁ 470, второй стадий приготовления пищи S₂ и n-ной стадии приготовления пищи S_n 490 позволяет получить практически такой же или аналогичный результат путем воспроизведения процесса приготовления пищи шеф-повара 49, записанного в студии 44 шеф-повара.

Заранее заданная мини-манипуляция позволяет достичь каждого результата выполнения функции (например, яйцо разбито). Каждая мини-манипуляция содержит набор элементарных действий, которые выполняются вместе и позволяют достичь результата выполнения функции. Например, робот может переместить кисть в сторону яйца, прикоснуться к яйцу для определения его положения и проверки его размера, а затем выполнить движения и измерения с помощью датчиков, необходимые для захвата и подъема яйца в известную и заранее заданную конфигурацию.

Несколько мини-манипуляций могут быть собраны в стадии, например, создание соуса, для удобства понимания и организации рецепта. Конечным результатом выполнения всех мини-манипуляций для завершения всех стадий каждый раз должно являться воспроизведение блюда каждый раз с устойчивым результатом.

На Фиг. 9А представлено схематическое изображение примера роботизированной кисти 72 с пятью пальцами и запястьем, имеющей датчик RGB-D, датчики камеры и акустические датчики для обнаружения и перемещения кухонного инструмента, объекта или части кухонного оборудования. Ладонь роботизированной кисти 72 содержит датчик RGB-D 500, датчик с камерой или акустический датчик 504f. В качестве альтернативы ладонь роботизированной кисти 450 может включать в себя датчик с камерой и акустический датчик. Датчик RGB-D 500 или акустический датчик 504f способны обнаружить место расположения, габариты и форму объекта для создания трехмерной модели объекта. Например, датчик RGB-D 500 использует структурированный свет для захвата формы объекта, трехмерного преобразования и определения места расположения, планирования траектории, навигации, распознавания объекта и отслеживания людей. Акустический датчик 504f использует звуковые волны для захвата формы объекта. Вместе с датчиком с камерой 452 и/или акустическим датчиком 454 можно использовать видеокамеру 66, размещенную на роботизированной кухне, например, на рельсе или на роботе, для захвата, следования или направления перемещения кухонного инструмента, используемого шеф-поваром 49, как показано на Фиг. 7А. Видеокамера 66 располагается под углом и на некотором расстоянии от роботизированной кисти 72, обеспечивая таким образом обзор более высокого уровня для захвата объекта роботизированной кистью 72, за счет чего предоставляет высокоуровневый вид захвата или бросания/отпускания объекта роботизированной кистью. В качестве примера датчика RGB-D (красный луч, зеленый луч, синий луч и глубина) можно указать систему Kinect от компании Microsoft, которая оснащена RGB-камерой, датчиком глубины и многонаправленным микрофоном, управляемыми с помощью программного обеспечения, которое позволяет выполнять полноразмерный захват движения в пространстве, распознавание лиц и распознавание голоса.

Роботизированная кисть 72 имеет датчик RGB-D 500, расположенный внутри или рядом с центром ладони, который предназначен для определения размеров и формы объекта и расстояния до объекта, а также для выполнения операций с кухонным инструментом. Датчик RGB-D 500 выдает инструкции для кисти 72 при перемещении роботизированной кисти 72 в сторону объекта и используется при выполнении необходимых регулировок для захвата объекта. Кроме того, акустический датчик 502f и/или тактильный датчик давления расположены рядом с ладонью роботизированной кисти 72 и используются для определения расстояния и формы для последующего контакта с объектом. Акустический датчик 502f также может направлять роботизированную кисть 72 двигаться в сторону объекта. К дополнительным типам датчиков в кисти можно отнести ультразвуковые датчики, лазеры, датчики радиочастотной идентификации (RFID) и другие подходящие датчики. Более того, тактильный датчик давления используется в качестве механизма обратной связи при определении того, должна ли роботизированная кисть 72 продолжать увеличивать давление для захвата объекта в определенной точке, где имеется достаточное давление для безопасного подъема объекта. Кроме того, акустический датчик 502f в ладони роботизированной кисти 72 выполняет функцию тактильного восприятия для захвата и выполнения операций с кухонным инструментом. Например, когда роботизированная кисть 72 захватывает нож для резки говядины, величина давления, которое роботизированная кисть прилагает к ножу и говядине, может быть определена тактильным датчиком при завершении резки, т.е. когда на нож перестает действовать сопротивление, или при удерживании объекта. Распределенное давление может использоваться не только для фиксации объекта, но и для того, чтобы не повредить его (например, яйцо).

Кроме того, каждый палец на роботизированной кисти 72 имеет тактильные датчики вибраций 502а-е и акустические датчики 504а-е на соответствующих кончиках пальцев, как показано в виде первого тактильного вибрационного датчика 502а и первого акустического датчика 504а на кончике большого пальца, второго тактильного вибрационного датчика 502b и второго акустического датчика 504b на кончике указательного пальца, третьего тактильного вибрационного датчика 502с и третьего акустического датчика 504с на кончике среднего пальца, четвертого тактильного вибрационного датчика 502d и четвертого акустического датчика 504d на кончике безымянного пальца, а также пятого тактильного вибрационного датчика 502е и пятого акустического датчика 504е на кончике мизинца. Каждый тактильный вибрационный датчик 502а, 502b, 502с, 502d и 502е может имитировать различные поверхности и эффекты, изменяя форму, частоту, амплитуду, продолжительность и направление вибрации. Каждый акустический датчик 504а, 504b, 504с, 504d и 504е может определять расстояние и форму объекта, определять температуру или влажность, а также генерировать сигнал обратной связи. Дополнительные акустические датчики 504g и 504h размещены на запястье роботизированной кисти 72.

На Фиг. 9В представлено схематическое изображение поворотного устройства 510 с сенсорной камерой 512, которое соединено с парой роботизированных рук и кистей для работы на стандартизованной роботизированной кухне. Поворотное устройство 510 имеет датчик RGB-D 512 для контроля, захвата или обработки информации и трехмерных изображений на стандартизованной роботизированной кухне 50. Поворотное устройство 510 обеспечивает хорошее ситуативное понимание, которое не зависит от движений руки и датчика. Поворотное устройство 510 соединено с парой роботизированных рук 70 и кистей 72 для выполнения процесса приготовления пищи, однако пара роботизированных рук 70 и кистей 72 может создавать помехи для камер. В одном варианте выполнения роботизированное приспособление 75 содержит одну или более роботизированных рук 70 и одну или более роботизированных кистей (или роботизированных захватов) 72.

На Фиг. 9С представлено схематическое изображение сенсорных камер 514 на роботизированных запястьях 73 для выполнения различных операций на стандартизованной роботизированной кухне 50. В одном варианте камеры 514 представляют собой датчик RGB-D, который формирует цветное изображение и обеспечивает восприятие глубины, и установлены на запястьях 73 соответствующей кисти 72. Каждый датчик камеры 514 на соответствующем запястье 73 немного перекрывается рукой, хотя в целом они не перекрываются при захвате объекта роботизированной кистью 72. Однако датчики RGB-D камеры 514 могут закрываться соответствующей роботизированной кистью 72.

На Фиг. 9D представлено схематическое изображение системы «глаз на руке» 518 на роботизированных кистях 72 для выполнения различных операций на стандартизованной роботизированной кухне 50. Каждая кисть 72 имеет датчик, такой как датчик RGB-D для выполнения функции системы «глаз на руке» с помощью роботизированной кисти 72 на стандартизованной роботизированной кухне 50. Система «глаз на руке» 518 с датчиком RGB-D на каждой кисти генерирует высокодетальное изображение с незначительными перекрытиями, создаваемыми соответствующей роботизированной рукой 70 и соответствующей роботизированной кистью 72. Однако для роботизированной кисти 72 с системой «глаз на руке» 518 может возникнуть перекрытие при захвате объекта.

На Фиг. 9E-G представлены наглядные изображения аспектов деформируемой ладони 520 роботизированной кисти 72. Пальцы кисти с пятью пальцами обозначены следующим образом: большой палец - первый палец F1 522, указательный палец - второй палец F2 524, средний палец - третий палец F3 526, безымянный палец - четвертый палец F4 528, мизинец - пятый палец F5 530. Возвышение большого пальца 532 представляет собой выпуклую часть деформируемого материала на радиальной (первый палец F1 522) стороне кисти. Возвышение мизинца 534 представляет собой выпуклую часть деформируемого материала на ульнарной (пятый палец F5 530) стороне кисти. Пястно-фаланговые подушечки (ПФ подушечки) 536 представляют собой выпуклые деформируемые части на нижней (ладонной) стороне пястно-фаланговых (шарнирных) суставов второго, третьего, четвертого и пятого пальцев F2 524, F3 526, F4 528, F5 530. На роботизированную кисть 72 с деформируемой ладонью 520 надевается перчатка с мягкой кожей, имитирующей кожу человека, на наружной стороне.

Вместе возвышение большого пальца 532 и возвышение мизинца 534 обеспечивают приложение больших усилий от руки робота к объекту в рабочей области, при этом приложение данных усилий создает минимальное напряжение на шарнирах кисти робота (на изображении показана скалка). Дополнительные шарниры внутри ладони 520 могут обеспечивать деформацию ладони. Ладонь 520 должна деформироваться таким образом, чтобы обеспечивать создание наклонного углубления в ладони для захвата инструмента так же, как это делает шеф-повар (обычный захват ручки). Ладонь 520 должна деформироваться таким образом, чтобы создавать впадину для подходящего захвата выпуклых объектов, например, блюд и пищевых продуктов так же, как это делает шеф-повар (показано в виде лодочки 542 на Фиг. 9G).

Шарниры внутри ладони 520, которые могут выполнять подобные движения, включают в себя запястно-пястный сустав большого пальца (ЗПС), расположенный на радиальной стороне ладони рядом с запястьем, которая может иметь два разных направления перемещения (сгибание/разгибание и отведение/приведение). Дополнительные шарниры, необходимые для выполнения данных движений, могут включать в себя шарниры на ульнарной стороне ладони рядом с запястьем (ЗПС шарниры четвертого пальца F4 528 и пятого пальца F5 530), которые позволят выполнить сгибание под острым углом для создания чашеобразной формы у возвышения мизинца 534 и образования углубления на ладони.

Роботизированная ладонь 520 может иметь дополнительные/другие шарниры, необходимые для воспроизведения формы ладони, используемой человеком во время приготовления, например, несколько соединенных гибких суставов для формирования дуги 540 между возвышением большого пальца 532 и возвышением мизинца 534 для деформирования ладони 520, как, например, при прикосновении большого пальца F1 522 к мизинцу F5 530, как показано на Фиг. 9F.

Когда ладонь сложена лодочкой, возвышение большого пальца 532, возвышение мизинца 534 и ПФ подушечки 536 образуют неровности вокруг ладонной впадины, что позволяет ладони сомкнуться вокруг небольшого сферического объекта (например, 2 см).

Форма деформируемой ладони будет описана с помощью положений характерных точек относительно зафиксированной системы координат, как показано на Фиг. 9Н и 9I. Каждая характерная точка представляет собой вектор координат x, y и z, изменяющихся с течением времени. Положения характерных точек отмечены на сенсорной перчатке, носимой шеф-поваром, и на сенсорной перчатке, носимой роботом. Как показано на Фиг. 9Н и 9I, на перчатке также отмечена система координат. Характерные точки указаны на перчатке относительно указанной системы координат.

Характерные точки обнаруживаются с помощью откалиброванных камер, установленных в рабочей области, во время выполнения шеф-поваром действий по приготовлению. Траектории характерных точек, перемещающихся с течением времени, используются для сопоставления движения шеф-повара с движением робота, включая сопоставление с формой деформируемой ладони. Траектории движения характерных точек при движении шеф-повара также можно использовать для определения структуры деформируемой ладони робота, включая форму поверхности деформируемой ладони, а также расположение и диапазон перемещения шарниров кисти робота.

В соответствии с вариантом осуществления, изображенным на Фиг. 9Н, характерные точки расположены на возвышении мизинца 534, возвышении большого пальца 532 и ПФ подушечке 536 в шахматном порядке с метками, которые обозначают характерные точки в каждой области ладони. Система координат в области запястья состоит из четырех прямоугольников, которые используются системой координат. Характерные точки (или маркеры) обнаруживаются в соответствующих местах относительно системы координат. В соответствии с данным вариантом осуществления характерные точки и система координат могут быть расположены под перчаткой для обеспечения пищевой безопасности, но быть видимыми через перчатку для обеспечения возможности обнаружения.

На Фиг. 9Н показана кисть робота с визуальным шаблоном, который может быть использован для определения 3D положений характерных точек 550. Положения данных характерных точек формы предоставляют информацию о форме поверхности ладони при перемещении шарниров ладони и при деформировании поверхности ладони в ответ на прилагаемые усилия.

Визуальный шаблон включает в себя поверхностные метки 552 на кисти робота или на перчатке, надетой шеф-поваром. Данные метки поверхности могут быть закрыты прозрачной перчаткой 554 для обеспечения пищевой безопасности, однако поверхностные метки 552 остаются видимыми через перчатку.

Когда поверхностные метки 552 видны на изображениях с камеры, двухмерные характерные точки могут быть идентифицированы на данных изображениях с камеры за счет определения положения выпуклого или вогнутого углов визуального шаблона. Каждый такой угол на одном изображении с камеры представляет собой двухмерную характерную точку.

При идентификации одной характерной точки на нескольких изображениях с камеры пространственное положение данной точки может быть определено в системе координат, зафиксированной относительно стандартизованной роботизированной кухни 50. Данный расчет выполняется на основании двухмерного положения точки на каждом изображении и известных параметров камеры (положение, ориентация, поле обзора и т.д.).

Система координат 556, неподвижная относительно роботизированной кисти 72, может быть получена с помощью визуального шаблона системы координат. В одном варианте система координат 556, неподвижная относительно роботизированной кисти 72, содержит точку отсчета и три ортогональные оси координат. Она идентифицируется с помощью локализации характеристик визуального шаблона системы координат на нескольких камерах и использования известных параметров визуального шаблона системы координат и известных параметров камер для извлечения точки отсчета и осей координат.

Характерные точки трехмерной формы в системе координат станции приготовления пищи могут быть преобразованы в систему координат кисти робота после обнаружения системы координат кисти робота.

Форма деформируемой ладони состоит из вектора характерных точек трехмерной формы, каждая из которых привязана к относительной системе координат, неподвижной относительно кисти робота или шеф-повара.

Как показано на Фиг. 9I, характерные точки 560 в вариантах осуществления представлены в виде датчиков, таких как датчики на эффекте Холла, в различных областях (возвышение мизинца 534, возвышение большого пальца 532 и ПФ подушечка 536 ладони). Положение характерных точек определяется относительно системы координат, которая в данном варианте представляет собой магнит. Магнит создает магнитные поля, регистрируемые датчиками. Датчики в соответствии с данным вариантом осуществления расположены под перчаткой.

На Фиг. 9I показана кисть робота 72 с встроенными датчиками и одним или несколькими магнитами 562, которые могут быть использованы в качестве альтернативного механизма для определения мест расположения характерных точек трехмерной формы. Одна характерная точка формы соответствует встроенному датчику. Локации объемных характерных точек 560 позволяют получить информацию о форме поверхности ладони при перемещении шарниров ладони и при деформации поверхности ладони в ответ на прилагаемые усилия.

Локации объемных характерных точек определяются на основании сигналов от датчиков. Датчики генерируют выходные сигналы, позволяющие рассчитать расстояние в системе координат, привязанной к магниту, который прикреплен к кисти робота или шеф-повара.

Локация каждой объемной характерной точки в пространстве рассчитывается на основании измерений датчика и известных параметров, полученных при калибровке датчика. Форма деформируемой ладони определяется с помощью вектора характерных точек трехмерной формы, положение каждой из которых выражается в относительной системе координат, зафиксированной на кисти робота или шеф-повара. Дополнительная информация о стандартных областях контакта человеческой кисти и о функции захвата приведена в материалах Камакура (Kamakura), Норико (Noriko), Митико Мацу о (Michiko Matsuo), Харуми Исии (Harumi Ishii), Фумико Мицубоси (Fumiko Mitsuboshi) и Ерико Миура (Yoriko Miura) «Patterns of static prehension in normal hands», American Journal of Occupational Therapy 34, no. 7 (1980): 437-445, информация, раскрытая в них, полностью включена в состав настоящего описания.

На Фиг. 10А представлено схематическое изображение примеров записывающих устройств 550 для шеф-повара, которые шеф-повар 49 носит на роботизированной кухне 50 и использует их для записи и захвата его (ее) движений в процессе приготовления пищи по определенному рецепту. Записывающие устройства 550 включают в себя, не ограничиваясь этим, одну или несколько роботизированных перчаток (или роботизированный костюм) 26, мультимодальный датчик 20 и пару роботизированных очков 552. В студии 44 шеф-повара шеф-повар 49 носит роботизированные перчатки 26 для приготовления, записи и захвата движений шеф-повара во время приготовления. В качестве альтернативы шеф-повар 49 может носить роботизированный костюм с роботизированными перчатками, а не только роботизированные перчатки 26. В одном варианте роботизированная перчатка 26 с встроенными датчиками захватывает, записывает и сохраняет положение, давление и другие параметры движения руки, кисти и пальцев шеф-повара относительно системы координат XYZ с временными метками. Роботизированные перчатки 26 сохраняют положение и давление рук и пальцев шеф-повара 18 в трехмерной системе координат в течение некоторого временного периода, от начального момента до конечного момента цикла приготовления определенного блюда. Когда шеф-повар 49 носит роботизированные перчатки 26, все движения, положение кистей, движения захвата и величина оказываемого давления при приготовлении блюда в студии 44 шеф-повара точно записываются с определенным временным интервалом, например, каждые t секунд. Мультимодальный датчик (датчики) 20 может представлять собой видеокамеры, ИК-камеры и дальномеры 306, стереокамеру (стереокамеры) (или даже камеру (камеры) с тринокулярной насадкой) 308 и лазерные сканеры 310 для многомерного сканирования и предоставляет данные многодиапазонных датчиков для основных программных механизмов абстракции 312 (после сбора и фильтрации в модуле 314 сбора и фильтрации данных). Мультимодальный датчик 20 генерирует трехмерную поверхность или текстуру, а также обрабатывает данные модели абстрагирования. Данные используются в модуле интерпретирования рабочей области 316 для выполнения нескольких этапов, включая, без ограничения перечисленным, построение поверхностей геометрических тел высокого и низкого разрешения (лазер: высокое разрешение; стереокамера: низкое разрешение) на рабочем месте, с наложенной информацией о цвете и текстуре в видимом и инфракрасном диапазонах, что позволит алгоритмам обнаружения контуров и обнаружения трехмерных объектов определить, какие элементы находятся в рабочей области, чтобы использовать алгоритмы картирования формы/цвета/текстуры и консистенции для использования обработанных данных при передаче обработанной информации в Модуль 318 Выполнения Операций с Кухонным Оборудованием в Процессе Приготовления. Кроме роботизированных перчаток 76 шеф-повар 49 может носить пару роботизированных очков 552, которые имеют один или несколько роботизированных датчиков 554 вокруг оправы с роботизированными наушниками 556 и микрофоном 558. Роботизированные очки 552 обеспечивают дополнительные возможности визуализации и захвата, например как камера для захвата видео и записи изображений, которые шеф-повар 49 видит во время приготовления пищи. Один или несколько роботизированных датчиков 554 захватывают и записывают температуру и запах приготавливаемой пищи. Наушники 556 и микрофон 558 улавливают и записывают звуки, которые шеф-повар 49 слышит во время приготовления, к которым можно отнести человеческие голоса, звуки, характерные для жарки, приготовления на гриле, помола и т.д. Шеф-повар 49 также может параллельно записывать речевые инструкции и этапы приготовления в режиме реального времени с помощью наушников и микрофона 82. В связи с этим роботизированные записывающие устройства 550 для шеф-повара записывают движения шеф-повара, скорость, температуру и звуковые параметры во время процесса приготовления пищи определенных блюд.

На Фиг. 10В представлена блок-схема, иллюстрирующая один вариант процесса 560 оценки результатов захвата движений шеф-повара для определения поз, движений и усилий робота. В базе данных 561 хранятся заранее заданные (или заранее определенные) позы захвата 562 и заранее заданные движения кисти, выполняемые с помощью роботизированных рук 72 и роботизированных кистей 72, эти данные взвешены по важности 564, а также имеют отмеченные точки контакта 565 и сохраненные усилия контакта 565. На этапе 567 модуль 98 записи движений шеф-повара захватывает движения шеф-повара при приготовлении блюда частично на основании заранее заданных поз захвата 562 и заранее заданных движений кисти 563. На этапе 568 роботизированный механизм приготовления пищи 56 оценивает конфигурацию роботизированного приспособления с точки зрения его способности использования поз, движений и усилий, а также выполнения мини-манипуляций. Следовательно, для конфигурации роботизированного приспособления выполняется итеративный процесс 569 оценки параметров конструкции робота (этап 570), регулировки расчетных параметров для повышения эффективности работы (этап 571) и изменения конфигурации роботизированного приспособления (этап 572).

На Фиг. 11 представлено схематическое изображение вида сбоку роботизированной руки 70 для использования со стандартизованной роботизированной кухонной системой 50 на бытовой роботизированной кухне 48. В других вариантах одна или несколько роботизированных рук 70, например, одна рука, две руки, три руки, четыре руки или больше, могут быть предназначены для работы на стандартизованной роботизированной кухне 50. Один или несколько программных файлов 46 с рецептами из студии 44 шеф-повара, где хранится информация о движениях руки, кисти и пальцев шеф-повара во время приготовления пищи, могут быть выгружены и преобразованы в роботизированные инструкции для управления одной или несколькими роботизированными руками 70 и одной или несколькими роботизированными кистями 72 для имитации движений шеф-повара для приготовления блюд, приготовленного шеф-повар. Роботизированное приспособление управляется с помощью роботизированных инструкций для воспроизведения точных движений шеф-повара при приготовлении определенного блюда. Каждая роботизированная рука 70 и каждая роботизированная кисть 72 также может включать в себя дополнительные особенности и инструменты, такие как нож, вилка, ложка, лопатка, другие типы утвари или инструментов для приготовления пищи, чтобы успешно выполнить процесс приготовления пищи.

На Фиг. 12А-С представлены схематические изображения варианта кухонной ручки 580 для роботизированной руки 72 с ладонью 520. Конструкция кухонной ручки 580 должна быть универсальной (или стандартизованной), чтобы одну кухонную ручку 580 можно было прикрепить к разной кухонной утвари или инструментам, например, ножу, лопатке, скребку, ковшу, шумовке, щипцам для переворачивания пищи и т.д. На Фиг. 12А-В представлены общие виды различных кухонных ручек 580. Роботизированная кисть 72 захватывает кухонную ручку 580, как показано на Фиг. 12С. Без отступления от сущности настоящего изобретения могут быть использованы стандартизованные (или универсальные) кухонные ручки с другой конструкцией.

На Фиг. 13 представлено наглядное изображение примера роботизированной кисти 600 с тактильными датчиками 602 и датчиками 604 распределения давления. Во время процесса приготовления пищи роботизированное приспособление использует сигналы касания, сгенерированные датчиками на концах пальцев и ладонях кистей робота для обнаружения усилия, температуры, влажности и токсичности, при воспроизведении роботом поэтапных движений и сравнивает полученные значения с тактильным профилем программы приготовления в студии шеф-повара. Визуальные датчики помогают роботу идентифицировать окружающие предметы и выполнить соответствующие действия по приготовлению. Роботизированное приспособление анализирует изображение текущих внешних условий от видеодатчиков и сравнивает их с сохранным изображением программы приготовления в студии шеф-повара таким образом, чтобы выполнить соответствующие движения для достижения идентичных результатов. Также роботизированное приспособление использует различные микрофоны для сравнения речевых инструкций шеф-повара с фоновым шумом в процессе приготовления пищи для повышения эффективности распознавания во время приготовления. Дополнительно робот может иметь электронный нос (не показан) для обнаружения запаха или аромата и температуры окружающей среды. Например, роботизированная кисть 600 способна различать настоящие яйца с помощью сигналов о текстуре поверхности, температуре и весе, сгенерированных тактильными датчиками на пальцах и ладони, а также может прилагать необходимые усилия для удержания яйца, не разбивая его, а также выполнять проверку качества путем потрясывания и прослушивания колебаний внутренней жидкости, разбивать яйца, смотреть и нюхать желток и белок для определения свежести. Роботизированная кисть 600 может выполнять действия для выбрасывания плохих яиц или отбора свежих яиц. Датчики 602 и 604 на кистях, руках и голове позволяют роботу двигаться, прикасаться, смотреть и слушать для того, чтобы выполнить процесс приготовления пищи с помощью внешней обратной связи и получить блюдо, которое будет идентично блюду, приготовленному шеф-поваром.

На Фиг. 14 представлено наглядное изображение примера сенсорного костюма 620 для шеф-повара 49, который он носит на роботизированной студии-кухне 50. Во время приготовления блюда в соответствии с программным файлом 46 шеф-повар 49 носит костюм 620 с датчиками для захвата его движений при приготовлении пищи в режиме реального времени, в определенной временной последовательности. Костюм 620 может представлять собой, не ограничиваясь этим, тактильный костюм 622 (показан костюм с одной полноразмерной рукой и кистью), тактильные перчатки 624, мультимодальный датчик (датчики) 626, костюм для головы 628. Тактильный костюм 622 с датчиками способен захватывать данные о движениях шеф-повара и передавать полученные данные на компьютер 16 для записи положений в виде координат XYZ и давления человеческих рук 70 и кистей/пальцев 72 в системе координат XYZ с временными метками. Костюм 620 также выполняет измерения, а компьютер 16 записывает положение, скорость и усилия/крутящие моменты и модели контактирования человеческих рук 70 и кистей/пальцев 72 в конечной точке в системе координат робота, а также сопоставляет их с временными метками системы для связывания с относительными положениями на стандартизованной роботизированной кухне 50 с геометрическими датчиками (лазером, 3D стереодатчиками или видеодатчиками). Тактильные сенсорные перчатки 624 используются для захвата, записи и сохранения сигналов усилий, температуры, влажности и токсичности, полученных с помощью тактильных датчиков в перчатках 624. Костюм 628 для головы может представлять собой устройства обратной связи с видеокамерой, акустическим датчиком, лазером или датчиками радиочастотной идентификации (RFID) и пользовательской парой очков, которые используются для обнаружения, захвата и передачи полученных данных на компьютер 16 для записи и сохранения изображений, которые шеф-повар 49 получает во время приготовления пищи. Кроме того, костюм 628 для головы также включает в себя датчики для обнаружения характерных значений температуры окружающей среды и запаха на стандартизованной роботизированной кухне 50. Более того, костюм 628 для головы также включает в себя звуковой датчик для захвата звуков, которые слышит шеф-повар 49, например, звуковые характеристики жарки, помола, рубки и т.д.

На Фиг. 15А-В представлены наглядные изображения одного варианта тактильной перчатки 630 с тремя пальцами и датчиками для приготовления пищи шеф-поваром 49, а также пример роботизированной кисти 640 с тремя пальцами и датчиками. В представленном варианте осуществления показана упрощенная роботизированная кисть 640 для приготовления пищи, которая имеет меньше пяти пальцев. Соответственно, сложность конструкции упрощенной роботизированной кисти 640 значительно снижается, так же как и стоимость производства упрощенной роботизированной кисти 640. В альтернативных вариантах можно использовать захваты с двумя пальцами или роботизированные кисти с четырьмя пальцами с противопоставленным большим пальцем или без него. В данном варианте движения кисти шеф-повара ограничены по функциональности тремя пальцами: большим пальцем, указательным пальцем и средним пальцем, при этом каждый палец имеет датчик 632 для считывания данных о движениях шеф-повара с учетом усилий, температуры, влажности, токсичности или тактильных ощущений. Тактильная перчатка 630 с тремя пальцами также включает в себя точечные датчики или датчики распределенного давления на ладони тактильной перчатки 630 с тремя пальцами. Движения шеф-повара при приготовлении блюда в тактильной перчатке 630 с тремя пальцами (большой палец, указательный палец и средний палец) записываются в программный файл. Следовательно, роботизированная кисть 640 с тремя пальцами воспроизводит движения шеф-повара из преобразованного программного файла с рецептом в роботизированные инструкции для управления большим пальцем, указательным пальцем и средним пальцем роботизированной кисти 640, а также контролирует датчики 642b на пальцах и датчики 644 на ладони роботизированной кисти 640. Датчики 642 представляют собой датчик усилия, датчик температуры, датчик влажности, датчик токсичности или тактильный датчик, при этом датчики 644 могут быть оснащены точечными датчиками или датчиками распределенного давления.

На Фиг. 15С представлена диаграмма, иллюстрирующая один пример взаимного влияния и взаимодействий между роботизированной рукой 70 и роботизированной кистью 72. Совместимая роботизированная рука 750 имеет меньшую грузоподъемность, большую безопасность, более мягкие движения, но меньшую точность. Антропоморфная роботизированная рука 752 обеспечивает меньшую ловкость, способность обращаться с инструментами человека, ее легче перенаправлять под движения человеческой кисти, она более совместиме, но ее конструкция требует большей сложности, увеличения веса и большей стоимости изготовления. Простая роботизированная кисть 754 легче по весу, менее дорогая, имеет меньшую ловкость и не способна использовать человеческие инструменты непосредственно. Промышленная роботизированная рука 756 более точная, имеет большую грузоподъемность, но в целом не может считаться безопасной для окружающих людей и может потенциально приложить большую силу и причинить вред. В одном варианте выполнения стандартизированной роботизированной кухни 50 используется первая комбинация совместимой руки 750 и антропоморфной кисти 752. Другие три комбинации в целом менее желательны для реализации настоящего изобретения.

На Фиг. 15D представлена диаграмма, иллюстрирующая роботизированную кисть 72 с использованием стандартизированной кухонной ручки 580 для прикрепления к стандартной кухонной посуде, и роботизированная рука 70, прикрепляемая к кухонному оборудованию. По одной методике чтобы захватить кухонный предмет, роботизированная кисть 72 захватывает инструмент 580 стандартизированной кухни для прикрпления к любой обычной кухонной посуде из проиллюстрированного выбора 760а, 760b, 760с, 760d, 760е и других. Например, стандартизированная кухонная ручка 580 прикреплена к обычной ручке лопатки 760е для перемешивания жарящихся ингредиентов в сковородке. В одном варианте, стандартизированная кухонная ручка 580 может удерживаться роботизированной кистью 72 только в одном положении, что минимизирует потенциальную путаницу среди возможных различных путей удерживания стандартизированной кухонной ручки 580. По другой методике, чтобы захватить кухонный предмет, роботизированная рука имеет один или несколько держателей 762, которые могут прикрепляться к кухонному предмету 762, тогда как роботизированная рука 70 может прилагать больше усилий, если необходимо, для надавливания на кухонный предмет 762 в ходе движения роботизированной кисти.

На Фиг. 16 представлено схематическое изображение создающего модуля 650 базы данных библиотек мини-манипуляций, а также исполняющего модуля 660 для базы данных библиотек мини-манипуляций. Создающий модуль 650 базы данных библиотек мини-манипуляций представляет собой процесс создания, тестирования различных возможных сочетаний, а также выбор оптимальных мини-манипуляций для достижения определенного результата выполнения функции. Одной целью создающих модулей 650 является анализ всех возможных сочетаний при выполнении определенных мини-манипуляций и предварительное формирование библиотеки оптимальных мини-манипуляций для последующего выполнения роботизированными руками 70 и роботизированными кистями 72 при приготовлении блюда. Создающий модуль 650 библиотеки мини-манипуляций также можно использовать в качестве способа обучения для роботизированных рук 70 и роботизированных кистей 72 различным функциям приготовления пищи из базы данных библиотек мини-манипуляций. Исполняющий модуль 660 базы данных библиотек мини-манипуляций позволяет выполнять ряд функций для мини-манипуляций, которые роботизированное приспособление может получить и выполнить из базы данных библиотек мини-манипуляций, содержащей первую мини-манипуляцию ММ₁ с первым результатом выполнения функции 662, вторую мини-манипуляцию ММ₂ со вторым результатом выполнения функции 664, третью мини-манипуляцию ММ₃ с третьим результатом выполнения функции 666, четвертую мини-манипуляцию ММ₄ с четвертым результатом выполнения функции 668, а также пятую мини-манипуляцию ММ₅ с пятым функциональным результатом 670 во время приготовления блюда.

На Фиг. 17А представлено схематическое изображение сенсорной перчатки 680, используемой шеф-поваром 49 для захвата его движений во время приготовления блюда. Перчатка 680 имеет множество датчиков 682а, 682b, 682с, 682d, 682е на каждом пальце, а также множество датчиков 682f, 682g на ладони перчатки 680 с датчиками. В одном варианте для захвата и анализа движений шеф-повара во время выполнения манипуляций кистью используется по меньшей мере 5 датчиков давления 682а, 682b, 682с, 682d, 682е внутри мягкой перчатки. В данном варианте в перчатку 680 встроено множество датчиков 682а, 682b, 682с, 682d, 682е, 682f и 682g, которые видны через материал перчатки 680 для осуществления внешнего контроля. Перчатка 680 может иметь характерные точки, соответствующие множеству датчиков 682а, 682b, 682с, 682d, 682е, 682f, 682g, которые характеризуют кривизну (или рельеф) кисти за счет различных относительно высоких и низких точек на перчатке 680. Перчатка 680, надетая на роботизированную кисть 72, изготовлена из мягких материалов, которые имитируют эластичность и форму человеческой кожи. Дополнительное описание, касающееся роботизированной кисти 72, можно найти при описании Фиг. 9А.

Роботизированная кисть 72 включает в себя датчик-камеру 684, такой как датчик RGB-D, датчик изображений или устройство визуального восприятия, расположенный в середине ладони или рядом с ней для определения размеров и формы объекта и расстояния до объекта, а также для выполнения операций с кухонным инструментом. Датчик изображений 682f выдает роботизированной кисти 72 указания для перемещения роботизированной кисти 72 в сторону объекта и выполнения необходимых регулировок для захвата объекта. Кроме того, рядом с ладонью роботизированной кисти 72 может быть расположен акустический датчик, например, тактильный датчик давления, для определения расстояния и формы объекта. Акустический датчик 682f также может управлять роботизированной кистью 72 для ее перемещения в сторону объекта. Каждый акустический датчик 682а, 682b, 682с, 682d, 682е, 682f, 682g может представлять собой ультразвуковые датчики, лазеры, датчики радиочастотной идентификации (RFID) и другие подходящие типы датчиков. Кроме того, каждый акустический датчик 682а, 682b, 682с, 682d, 682е, 682f, 682g используется в качестве механизма обратной связи для определения того, должна ли роботизированная кисть 72 продолжать увеличивать давление для захвата объекта в определенной точке, где имеется достаточное давление для захвата и подъема объекта. Кроме того, акустический датчик 502f в ладони роботизированной кисти 72 выполняет функцию тактильного восприятия для захвата и выполнения операций с кухонным инструментом. Например, когда роботизированная кисть 72 захватывает нож для резки говядины, величина давления, которое роботизированная кисть прилагает к ножу и говядине, может быть определена тактильным датчиком при завершении резки, т.е. когда на нож перестает действовать сопротивление. Распределенное давление может использоваться не только для фиксации объекта, но и для того, чтобы не повредить его (например, яйцо). Более того, каждый палец на роботизированной кисти 72 имеет датчик на кончике пальца, как показано в виде первого датчика 682а на кончике большого пальца, второго датчика 682b на кончике указательного пальца, третьего датчика 682с на кончике среднего пальца, четвертого датчика 682d на кончике безымянного пальца и пятого датчика 682f на кончике мизинца. Каждый датчик 682а, 682b, 682с, 682d, 682е выполняет функцию определения расстояния и формы объекта, определения температуры или влажности, а также генерирует сигналы тактильной обратной связи.

Датчик RGB-D 684 и акустический датчик 682f на ладони и акустические датчики 682а, 682b, 682с, 682d, 682е на кончике каждого пальца, генерируют сигналы обратной связи для роботизированной кисти 72 для захвата нестандартизованного объекта или нестандартизованного кухонного инструмента. Роботизированные кисти 72 могут регулировать давление для обеспечения достаточного захвата нестандартизованного объекта. Библиотека 690 программ, где хранятся шаблонные функции захвата 692, 694, 696 с определенными временными интервалами, которые роботизированная кисть 72 может использовать при выполнении определенных функций захвата, показана на Фиг. 17В. На Фиг. 17В представлено схематическое изображение базы данных 690 библиотек стандартизованных рабочих движениях модуля на стандартизованной роботизированной кухне 50. Стандартизованные рабочие движения, заранее заданные и сохраненные в базе данных 690, включают в себя захват, расположение и работу с кухонным инструментом или элементом кухонного оборудования.

На Фиг. 18А представлено схематическое изображение, иллюстрирующее, что на каждую роботизированную кисть 72 надета перчатка из искусственной мягкой кожи, имитирующей кожу человека. Перчатка 700 из искусственной мягкой кожи, имитирующей кожу человека, имеет множество встроенных датчиков, видимых для кистей робота 72, количество которых достаточно для выполнения мини-манипуляций высокого уровня. В одном варианте перчатка 700 из мягкой кожи имеет десять или более датчиков для воспроизведения движений кисти шеф-повара.

На Фиг. 18В представлено схематическое изображение роботизированных кистей, на которые надеты перчатки из искусственной кожи, имитирующей человеческую кожу, выполняющих мини-манипуляции высокого уровня на основании базы данных 720 библиотек мини-манипуляций, которые предварительно определяются и сохраняются в базе данных библиотек 720. Мини-манипуляции высокого уровня представляют собой последовательность элементарных действий, требующих значительных движений и усилий для взаимодействия, и обеспечивают их контроль. На сопроводительных чертежах представлено три примера мини-манипуляций, которые сохранены в базе данных 720. Первый пример мини-манипуляций - использование пары роботизированных кистей 72 для замешивания теста (722). Второй пример мини-манипуляций - использование пары роботизированных кистей 72 для приготовления равиоли (724). Третий пример мини-манипуляций - использование пары роботизированных кистей 72 для приготовления суши (726). Каждый из трех примеров мини-манипуляций имеет определенную продолжительность и кривую скорости, которые отслеживаются компьютером 16.

На Фиг. 18С представлена диаграмма, иллюстрирующая три типа таксономии манипуляций для приготовления пищи с непрерывной траекторией движения и усилиями роботизированной руки 70 и роботизированной кисти 72, позволяющими достичь желательного конечного состояния. Роботизированная рука 70 и роботизированная кисть 72 выполняют надежный захват и перемещение (730) для фиксации объекта с помощью неподвижного захвата и его переноса в нужное место без необходимости использования сложного взаимодействия. К примерам использования жесткого захвата и перемещения можно отнести установку сковороды на плиту, захват солонки, соление блюда, загрузку ингредиентов в чашу, выливание содержимого контейнера, перемешивание салата и переворачивание блинчиков. Роботизированная рука 70 и роботизированная кисть 72 выполняют надежный захват за счет силового взаимодействия (732), создавая надежный контакт между двумя поверхностями или объектами. К примерам использования жесткого захвата с силовым взаимодействием можно отнести перемешивание содержимого кастрюли, открывание коробки, поворот сковороды и перемещение предметов с разделочной доски в сковороду. В блоке 734 показаны роботизированная рука 70 и роботизированная кисть 72, которые выполняют силовое взаимодействие с деформацией, создавая надежный контакт между двумя поверхностями или объектами для деформирования одной из двух поверхностей, например, нарезание моркови, разбивание яйца или раскатывание теста. Дополнительная информация о функциях человеческой кисти, деформации человеческой ладони и ее роли при захвате приведена в материале И.А. Капанджи (I.A. Kapandji), «The Physiology of the Joints, Volume 1: Upper Limb, 6e», Churchill Livingstone, 6 edition, 2007, информация, раскрытая в нем, полностью включена в состав настоящего описания.

На Фиг. 18D представлена абстрагированная блок-схема, где показан один вариант систематизации манипуляций для приготовления пищи при замешивании теста (740). Замешивание теста может представлять собой мини-манипуляцию, которая была заранее определена в базе данных библиотек мини-манипуляций. Процесс замешивания теста (740) включает в себя последовательность действий (или коротких мини-манипуляций), включающий в себя захват теста (742), размещение теста на поверхности (744) и повторение действий замешивания до получения нужной формы (746).

На Фиг. 19 представлена блок-схема, иллюстрирующая пример структуры 770 базы данных библиотек мини-манипуляций, необходимых для достижения результата «разбивание яйца при помощи ножа». Мини-манипуляция 770 для разбивания яйца включает в себя: как удерживать яйцо в правильном положении (772), как держать нож относительно яйца (774), каков наилучший угол для разбивания яйца при помощи ножа (776) и как открыть разбитое яйцо (778). Чтобы найти наилучший способ выполнения определенного движения проверяются различные возможные параметры для каждого элемента 772, 774, 776 и 778. Например, при удерживании яйца (772) проверяются различные положения, ориентации и способы удерживания яйца, позволяющие определить оптимальный способ удерживания яйца. Во-вторых, роботизированная кисть 72 держит нож в заранее заданном месте. Удерживание ножа (этап 774) анализируется с точки зрения различных положений, ориентации и способов удерживания ножа, позволяя определить оптимальный способ удерживания ножа за ручку. В-третьих, удар ножом по яйцу (этап 776) также проверяется с точки зрения различных сочетаний удара ножа по яйцу для обнаружения лучшего способа удара ножом по яйцу. Следовательно, оптимальный способ выполнения мини-манипуляций по разбиванию яйца при помощи ножа (схема 770) сохраняется в базе данных библиотек мини-манипуляций. Сохраненная мини-манипуляция для разбивания яйца при помощи ножа (770) содержит информацию о лучшем способе удерживания яйца (этап 772), лучшем способе удерживания ножа (774) и лучшем способе удара ножом по яйцу (776).

Для создания мини-манипуляции, позволяющей разбить яйцо при помощи ножа, необходимо проверить несколько сочетаний параметров, что позволит определить набор параметров, которые позволят достичь желаемого результата выполнения функции, т.е. разбивания яйца. В данном примере выбираются параметры для определения способа захвата и удерживания яйца, чтобы оно не треснуло. Во время испытаний выбирается подходящий нож и подходящие положения для пальцев и ладони, чтобы его можно было удерживать во время удара. Движение удара должно позволять успешно разбить яйцо. Движение и/или усилие при открывании определяются таким образом, чтобы можно было успешно раскрыть разбитое яйцо.

Процесс обучения/запоминания для роботизированного приспособления включает в себя несколько циклических испытаний для определения необходимых параметров, позволяющих достичь требуемого конечного результата выполнения функции.

Данные испытания могу быть выполнены по различным сценариям. Например, может изменяться размер яйца. Также может изменяться место, в котором оно разбивается. Нож может находиться в различных местах. При этом мини-манипуляция должна успешно выполняться при любых изменяющихся обстоятельствах.

После завершения процесса обучения результаты сохраняются в виде набора элементарных действий, которые вместе позволяют достичь желаемого результата выполнения функции.

На Фиг. 20 представлена блок-схема, иллюстрирующая пример процесса 800 выполнения рецепта для мини-манипуляции с возможностью регулировок в режиме реального времени. При выполнении рецепта в процессе 800 роботизированные кисти 72 выполняют мини-манипуляцию 770 разбивания яйца при помощи ножа, при этом оптимальный способ выполнения каждого движения при разбивании яйца (772), удержании ножа (774), ударе ножом по яйцу (776) и открывании разбитого яйца (778) выбирается из базы данных библиотек мини-манипуляций. Процесс выполнения оптимального способа для каждого движения 772, 774, 776, 778 гарантирует, что мини-манипуляция 770 позволит достичь (или гарантирует) такого же или практически такого же результата выполнения определенной мини-манипуляции. Мультимодальный трехкоординатный датчик 20 обеспечивает регулировку 112 в режиме реального времени при возможных изменениях одного или нескольких параметров, таких как размер и вес яйца.

В качестве примера взаимосвязь между созданием мини-манипуляции на Фиг. 19 и выполнением мини-манипуляции на Фиг. 20, т.е. определенные переменные, связанных с мини-манипуляцией «разбивание яйца при помощи ножа», включает в себя начальные координаты яйца в системе координат XYZ, начальную ориентацию яйца, размер яйца, форму яйца, начальные координаты XYZ ножа, начальную ориентацию ножа, координаты места разбивания яйца в системе координат XYZ, скорость и продолжительность мини-манипуляций. Идентифицированные переменные мини-манипуляции «разбивание яйца при помощи ножа» определяются на этапе создания, когда данные идентифицируемые переменные могут быть скорректированы роботизированным механизмом 56 приготовления пищи на этапе выполнения соответствующей мини-манипуляции.

На Фиг. 21 представлена блок-схема, иллюстрирующая программную процедуру 782 для захвата движений шеф-повара при приготовлении пищи в модуле стандартизованной кухни для создания программных файлов 46 с рецептами из студии 44 шеф-повара. В студии 44 шеф-повара на этапе 784 шеф-повар 49 подбирает различные компоненты рецепта приготовления еды. На этапе 786 в роботизированный механизм 56 приготовления вводятся название, идентификатор ингредиента и входные измеренные значения для рецепта, который выбрал шеф-повар 49. На этапе 788 шеф-повар 49 перемещает пищевые продукты/ингредиенты в специальную стандартизованную посуду/приспособления для приготовления в специальные положения. Например, шеф-повар 49 может взять две средних луковицы шалота и два средних зубчика чеснока, положить восемь шампиньонов на поверхность для нарезки, а затем положить два листа слоеного теста 20 см × 30 см размораживаться из отсека для замороженных продуктов F02 в холодильнике (морозильнике). На этапе 790 шеф-повар 49 надевает перчатки 26 для захвата или тактильный костюм 622, который имеет датчики, захватывающие данные о движениях шеф-повара и передающие их на компьютер 16. На этапе 792 шеф-повар 49 начинает работать по рецепту, который он или она выбрал (выбрала) на этапе 122. На этапе 794 модуль 98 записи движений шеф-повара захватывает и записывает точные движения шеф-повара, включая измерения усилий, давления, положений в системе координат XYZ и ориентацию рук и пальцев шеф-повара в режиме реального времени на стандартизованной роботизированной кухне 50. Более того, для захвата движений, давления и положений шеф-повара модуль 98 записи движений шеф-повара записывает видео (с изображениями блюда, ингредиентов, процесса и взаимодействия) и звук (человеческий голос, шипение при жарке и т.д.) во время процесса приготовления пищи при использовании определенного рецепта. На этапе 796 роботизированный механизм 56 приготовления сохраняет полученные данные с этапа 794, включающие в себя движения шеф-повара от датчиков на перчатках 26 и от мультимодальных трехкоординатных датчиков 30. На этапе 798 программный модуль 104 абстрагирования рецепта генерирует сценарий рецепта, подходящий для использования системой. На этапе 799 после генерирования и сохранения данных рецепта программный файл 46 с рецептом становится доступным для покупки или подписки через магазин приложений или торговую площадку с компьютера, установленного дома или в ресторане, также для этих целей на мобильные устройства можно установить приложение для рецептов роботизированного приготовления.

На Фиг. 22 представлена блок-схема 800, иллюстрирующая программную процедуру для приготовления пищи с помощью роботизированного приспособления в модуле стандартизованной роботизированной кухни с роботизированным приспособлением на основании одного или нескольких программных файлов 22 с рецептами, полученных от студии 44 шеф-повара. На этапе 802 из студии 44 шеф-повара пользователь 24 с помощью компьютера 16 выбирает рецепт, который был предварительно куплен или на который была оформлена подписка. На этапе 804 роботизированный механизм 56 приготовления пищи на бытовой роботизированной кухне 48 принимает входные сигналы от модуля ввода 51 для выбранного рецепта, по которому будет выполняться приготовление. На этапе 806 роботизированный механизм приготовления пищи 56 на бытовой роботизированной кухне 48 выбранный рецепт выгружается в модуль памяти 102 с программными файлами 46 с рецептами. На этапе 808 роботизированный механизм 56 приготовления пищи на бытовой роботизированной кухне 48 определяет наличие ингредиентов для завершения выбранного рецепта и приблизительное время приготовления, необходимое для приготовления блюда. На этапе 810 роботизированный механизм 56 приготовления пищи на бытовой роботизированной кухне 48 анализирует предварительные условия для выбранного рецепта и решает, имеет ли место недостаточное количество или отсутствие некоторых ингредиентов, или недостаточное время для сервировки блюда в соответствии с выбранным рецептом и правилами сервировки. При несоблюдении предварительных условий на этапе 812 роботизированный механизм 56 приготовления пищи на бытовой роботизированной кухне 48 отправляет предупреждение, указывающее на то, что ингредиенты необходимо добавить в список покупок, или предлагает другой рецепт или правила сервировки. С другой стороны, при соблюдении предварительных условий на этапе 814 роботизированный механизм 56 приготовления пищи подтверждает выбор рецепта. На этапе 816 после подтверждения выбора рецепта пользователь 60 с помощью компьютера 16 перемещает пищевые продукты/ингредиенты в определенные стандартизованные контейнеры в требуемые положения. После помещения ингредиентов в специальные контейнеры в указанные положения на этапе 818 роботизированный механизм 56 приготовления пищи на бытовой роботизированной кухне 48 проверяет наступление времени начала приготовления. На данном этапе бытовой роботизированный механизм 56 приготовления пищи предлагает выполнить вторую проверку соблюдения предварительных условий. Если роботизированный механизм 56 не готов начать процесс приготовления, он продолжает проверять предварительные условия на этапе 820 до наступления времени начала приготовления. Если роботизированный механизм 56 готов начать процесс приготовления, то на этапе 822 модуль 96 проверки качества сырых пищевых продуктов в роботизированном механизме 56 анализирует предварительные условия для выбранного рецепта и сравнивает каждый ингредиент с описанием рецепта (например, одно жаркое из говяжьей вырезки) и условия (например, срок годности/дату покупки, запах, цвет, текстуру и т.д.). На этапе 824 роботизированный механизм 56 устанавливает время на «0» и выгружает программный файл 46 с рецептом на одну или несколько роботизированных рук 70 и роботизированных кистей 72 для воспроизведения движений шеф-повара при приготовлении выбранного блюда в соответствии с программным файлом 46 с рецептом. На этапе 826 одна или несколько роботизированных рук 72 и кистей 74 обрабатывают ингредиенты и используют способ/технику приготовления, идентичные движениям рук, кистей и пальцев шеф-повара 49 с точным давлением, точным усилием и положением в системе координат XYZ, с приращением времени, измеренным при получении и записи движений шеф-повара. В это время одна или несколько роботизированных рук 70 и кистей 72 сравнивают результаты приготовления по контролируемым данным (температура, вес, потери и т.д.) и данным о веществе (цвет, внешний вид, запах, размер частей и т.д.), как показано на этапе 828. После сравнения данных на этапе 830 роботизированное приспособление (включающее в себя роботизированные руки 70 и роботизированные кисти 72) корректирует и выравнивает результаты. На этапе 832 роботизированный механизм 56 управляет роботизированным устройством для перемещения готового блюда на специальные сервировочные блюда и ставит их на поднос.

На Фиг. 23 представлена блок-схема, на иллюстрирующая один вариант программной процедуры для создания, тестирования, проверки и сохранения различных сочетаний параметров для базы данных 840 библиотек мини-манипуляций. База данных 840 использует успешное прохождение одноразовой проверки 840 (например, удерживание яйца), которое сохраняется во временную библиотеку, и проверку сочетания результатов одноразовой проверки 860 (например, все движения для разбивания яйца) в базу данных библиотек мини-манипуляций. На этапе 842 компьютер 16 создает новую мини-манипуляцию (например, разбивание яйца) с набором элементарных действий (или набором дискретных действий по рецепту). На этапе 844 определяется количество объектов (например, яйцо и нож), связанных с новой мини-манипуляцией. На этапе 846 компьютер 16 определяет количество дискретных действий или движений. На этапе 848 компьютер выбирает полный возможный набор ключевых параметров (таких как положение объекта, ориентация объекта, давление и скорость), связанных с конкретной новой мини-манипуляцией. На этапе 850 для каждого ключевого параметра компьютер 16 проверяет и подтверждает каждое значение ключевых параметров со всеми возможными сочетаниями с другими ключевыми параметрами (например, удерживание яйца в одном положении, но тестирование другой ориентации). На этапе 852 компьютер 16 определяет, обеспечивает ли определенный набор сочетаний ключевых параметров достижение надежного результата. Проверка результата может быть выполнена с помощью компьютера 16 или человеком. При получении отрицательного ответа компьютер 16 переходит на этап 856 для поиска других сочетаний ключевых параметров, которые еще не были проверены.

На этапе 858 компьютер 16 увеличивает номер ключевого параметра на единицу при формулировке следующего сочетания параметров для дальнейшего тестирования и оценки следующего сочетания параметров. Если на этапе 852 будет получен положительный ответ, компьютер 16 сохранит набор успешных сочетаний ключевых параметров во временной библиотеке. Во временной библиотеке положений хранится один или несколько наборов успешных сочетаний ключевого параметра (которые успешно прошли испытание или имеют наименьшее количество отрицательных результатов).

На этапе 862 компьютер 16 проверяет и подтверждает определенное успешное сочетание параметров X раз (например, сто раз). На этапе 864 компьютер 16 вычисляет количество не пройденных испытаний во время выполнения многократной проверки определенного успешного сочетания параметров. На этапе 866 компьютер 16 выбирает следующее сочетание успешных параметров, проверенных один раз, из временной библиотеки, после чего процесс возвращается к этапу 862 для проверки X раз следующего сочетания успешных параметров, проверенных один раз. При отсутствии следующего сочетания успешных параметров, проверенных один раз, на этапе 898 компьютер 16 сохраняет результаты проверок для одного или нескольких наборов сочетаний параметров, которые позволяют получить надежный (или гарантированный) результат. При наличии нескольких надежных наборов сочетаний параметров на этапе 870 компьютер 16 определяет лучший или оптимальный набор сочетаний параметров и сохраняет оптимальный набор сочетаний параметров для определенной мини-манипуляции, чтобы использовать его в базе данных библиотек мини-манипуляций с помощью роботизированного приспособления на стандартизованной роботизированной кухне 50 во время выполнения стадий приготовления пищи по рецепту.

На Фиг. 24 представлена блок-схема, иллюстрирующая один вариант программной процедуры 880 для создания задач для мини-манипуляций. На этапе 882 компьютер 16 выбирает определенную роботизированную задачу (например, разбивание яйца при помощи ножа) с помощью роботизированного мини-манипулятора кисти, сохраняемую в базе данных библиотек. На этапе 884 компьютер определяет все возможные ориентации объекта на каждом этапе выполнения мини-манипуляции (например, ориентация яйца и удерживание яйца), на этапе 886 он определяет все положения для удерживания кухонного инструмента относительно объекта (например, удерживание ножа относительно яйца). На этапе 888 компьютер эмпирическим путем определяет все возможные способы удерживания яйца и разбивания яйца при помощи ножа с правильным профилем движения (резки), давлением и скоростью. На этапе 890 компьютер 16 определяет различные сочетания для удерживания и расположения ножа относительно яйца для того, чтобы правильно разбить яйцо. Например, ищет оптимальное сочетание параметров, в т.ч. ориентации, положения, давления и скорости объекта (объектов). На этапе 892 компьютер 16 выполняет обучение и тестирование для обеспечения надежности различных сочетаний, например, тестирование всех изменений, отклонений, и повторяет процесс X раз до достижения заданной надежности для каждой мини-манипуляции. Когда шеф-повар 49 выполняет определенную задачу для приготовления пищи (например, разбивает яйцо при помощи ножа), задача преобразуется в несколько этапов/задач для мини-манипуляций кисти для выполнения части задачи на этапе 894. На этапе 896 компьютер 16 сохраняет различные сочетания мини-манипуляций для определенной задачи в базе данных библиотек. На этапе 898 компьютер 16 определяет, нужно ли анализировать и выполнять дополнительные задачи для мини-манипуляций. При необходимости анализа дополнительных мини-манипуляций выполняется возврат на этап 882. Возможны другие варианты осуществления кухонного модуля, включая автономный кухонный модуль и встроенный кухонный модуль. Встроенный кухонный модуль встраивается в традиционную кухонную зону обычного дома. Кухонный модуль работает по меньшей мере в двух режимах, роботизированном и нормальном (ручном). Разбивание яйца является примером мини-манипуляции. База данных библиотек мини-манипуляций применяется к широкому диапазону задач, например, к использованию вилки для накалывания куска говядины путем приложения правильного давления в правильном направлении на правильную глубину с учетом формы и толщины куска мяса. На этапе 900 компьютер объединяет базу данных библиотек для заранее заданных кухонных задач, где каждая заранее заданная кухонная задача содержит одну или несколько мини-манипуляций.

На Фиг. 25 представлена блок-схема, иллюстрирующая процесс 920 определения и использования библиотеки инструментов стандартизованной кухни, стандартизованных объектов и стандартизованного оборудования на стандартизованной роботизированной кухне. На этапе 922 компьютер 16 присваивает каждому кухонному инструменту, объекту или оборудованию/утвари код (или штрих-код), который предварительно определяет параметры инструмента, объекта или оборудования, такие как его координаты положения в пространстве и ориентацию. Данный процесс позволяет стандартизовать различные элементы на стандартизованной роботизированной кухне 50, включая, но не ограничиваясь этим: стандартизованное кухонное оборудование, стандартизованные кухонные инструменты, стандартизованные ножи, стандартизованные вилки, стандартизованные контейнеры, стандартизованные сковороды, стандартизованные приспособления, стандартизованные рабочие пространства, стандартизованные дополнительные приспособления и другие стандартизованные элементы. При выполнении процесса при приготовлении по рецепту на этапе 924 роботизированный механизм приготовления направляет одну или несколько роботизированных кистей для поиска кухонного инструмента, объекта, части оборудования, утвари или приспособления при выдаче команды доступа к данному определенному кухонному предмету утвари, объекту, оборудованию, посуде или приспособлению, в соответствии с процессом приготовления пищи по определенному рецепту.

На Фиг. 26 представлена блок-схема, иллюстрирующая процесс 926 идентификации нестандартного объекта путем трехмерного моделирования и осмысления. На этапе 928 компьютер 16 обнаруживает нестандартный объект с помощью датчика, например, ингредиент, который может иметь другие размеры, другие габариты и/или другой вес. На этапе 930 компьютер 16 идентифицирует нестандартный объект с помощью датчиков трехмерного моделирования 66 для захвата информации о форме, габаритах, ориентации и положении, а роботизированные кисти 72 выполняют регулировки в режиме реального времени для соответствующей задачи по приготовлению пищи (например, резка или взятие куска стейка).

На Фиг. 27 представлена блок-схема, иллюстрирующая процесс 932 тестирования и запоминания мини-манипуляций. На этапе 934 компьютер выполняет анализ состава задачи по приготовлению пищи, где каждая операция приготовления (например, разбивание яйца при помощи ножа) анализируется, разбирается и добавляется в последовательность элементарных действий или мини-манипуляций. В одном варианте мини-манипуляция относится к последовательности одного или нескольких элементарных действий, которые позволяют достичь основного результата выполнения функции (например, яйцо разбито или овощ нарезан), что позволяет приблизиться к определенному результату приготовления блюда. В данном варианте мини-манипуляция может быть также описана как мини-манипуляция низкого уровня или мини-манипуляция высокого уровня, при этом мини-манипуляция низкого уровня представляет собой последовательность элементарных действий, которые требуют минимальных усилий взаимодействия и используют почти только роботизированное приспособление, а мини-манипуляция высокого уровня представляет собой последовательность элементарных действий, которые требуют большого количества взаимодействий и значительных усилий взаимодействия, а также их контроля. Цикл процесса 936 основан на этапах выполнения мини-манипуляций и обучении и включает в себя проверки, которые повторяются много раз (например, 100 раз), чтобы гарантировать надежность мини-манипуляций. На этапе 938 роботизированный механизм 56 приготовления пищи анализирует информацию обо всех возможных вариантах для выполнения стадии приготовления пищи или мини-манипуляций, при этом каждая мини-манипуляция проверяется с точки зрения ориентации, положений/скоростей, углов, усилий, давлений и скоростей для определенных мини-манипуляций. Мини-манипуляция или элементарное действие может использовать роботизированную кисть 72 и стандартный объект или роботизированную кисть 72 и нестандартный объект. На этапе 940 роботизированный механизм приготовления пищи 56 выполняет мини-манипуляцию и определяет, может быть достигнут успешный результат, или нет. На этапе 942 компьютер 16 выполняет автоматизированный анализ и осмысливание неудачного выполнения мини-манипуляции. Например, мультимодальные датчики могут генерировать сигнал сенсорной обратной связи об успешном или неудачном выполнении мини-манипуляции. На этапе 944 компьютер 16 выполняет регулировки в режиме реального времени и изменяет параметры процесса выполнения мини-манипуляции. На этапе 946 компьютер 16 добавляет новую информацию об успехе или неудаче регулировки параметра в библиотеке мини-манипуляции в качестве механизма обучения для механизма 56 роботизированного приготовления пищи.

На Фиг. 28 представлена блок-схема, иллюстрирующая процесс 950 контроля качества работы роботизированных рук и корректировки процесса. На этапе 952 роботизированный механизм приготовления пищи 56 загружает программный файл 46 воспроизведения с рецептом, созданным человеком-поваром, с помощью модуля ввода 51. Например, программный файл 46 может воспроизводить рецепт приготовления «Венского шницеля» от шеф-повара, отмеченного звездами Мишлен, Арнда Бойхеля. На этапе 954 роботизированное приспособление выполняет задачи с помощью идентичных движений, например, движений торса, кистей, пальцев, с идентичным давлением, усилиями и положением в системе координат XYZ, в том же темпе, с которым были записаны данные рецепта, сохраненные на основании действий человека-повара при приготовлении рецепта в модуле стандартизованной кухни с помощью стандартизованного оборудования по сохраненному сценарию рецепта, включая все данные для воспроизведения движений/перемещений. На этапе 956 компьютер 16 контролирует процесс приготовления пищи с помощью мультимодального датчика, который генерирует необработанные данные, передаваемые для программного абстрагирования, при этом роботизированное приспособление сравнивает выходные данные реального мира с контролируемыми данными на основании данных мультимодальных датчиков (видеодатчиков, звуковых датчиков и любых других сигналов сенсорной обратной связи). На этапе 958 компьютер 16 определяет, имеются ли различия между контролируемыми данными и данными мультимодальных датчиков. На этапе 960 компьютер 16 анализирует, отклоняются ли данные мультимодальных датчиков от контролируемых данных. При обнаружении отклонений на этапе 962 компьютер 16 выполняет регулировку для повторной калибровки роботизированной руки 70, роботизированной кисти 72 или других элементов. На этапе 964 роботизированный механизм приготовления пищи 16 запоминает процесс 964 путем внесения изменений в одно или несколько значений параметров в базе знаний. На этапе 968 компьютер 16 сохраняет обновленные данные в базе знаний для скорректированного процесса, состояния и параметров. При отсутствии отклонений от этапа 958 процесс 950 сразу переходит на этап 970 и завершает выполнение.

На Фиг. 29 представлена таблица, иллюстрирующая один вариант осуществления структуры 972 базы данных библиотек мини-манипуляций с объектами для использования на стандартизованной роботизированной кухне. Структура 972 базы данных библиотек имеет несколько полей для ввода и сохранения информации об определенных мини-манипуляциях, включая: (1) название мини-манипуляции, (2) присвоенный код мини-манипуляции, (3) код (коды) стандартизованного оборудования и инструментов для выполнения данной мини-манипуляции, (4) начальное положение и ориентация (стандартных или нестандартных) объектов (ингредиентов и инструментов), с которыми выполняется манипуляция, (5) параметры/переменные, определенные пользователем (или считанные из записанного рецепта во время выполнения), (6) последовательность движений роботизированной кисти (сигналы управления для всех сервоприводов) и параметры передачи сигналов обратной связи (от любого датчика или системы видеоконтроля) мини-манипуляций на временном графике. Параметры для определенной мини-манипуляции могут отличаться в зависимости от сложности и объектов, необходимых для выполнения мини-манипуляции. В данном примере определено четыре параметра: координаты начального положения XYZ в рабочей области модуля стандартизованной кухни, скорость, размер объекта и форма объекта. Размер объекта и форма объекта могут быть заданы или описаны с помощью нестандартных параметров.

На Фиг. 30 представлена таблица, иллюстрирующая структуру 974 базы данных библиотек стандартизованных объектов для использования на стандартизованной роботизированной кухне. Структура 974 базы данных библиотек для стандартного объекта имеет несколько полей для хранения информации, относящейся к стандартному объекту, включая (1) название объекта, (2) изображение объекта, (3) присвоенный код для объекта, (4) виртуальная трехмерная модель с полными габаритами объекта в матрице координат в системе координат XYZ с предпочтительным заранее заданным разрешением, (5) виртуальная векторная модель объекта (при наличии), (6) определение и маркировка рабочих элементов объекта (элементов, которые могут контактировать с кистями и другими объектами для манипуляции), (7) стандартная начальная ориентация объекта для каждой определенной манипуляции. Образец структуры 974 базы данных электронной библиотеки содержит трехмерные модели всех стандартных объектов (т.е. всего кухонного оборудования, кухонных инструментов, бытовой техники, контейнеров), которые являются частью общего стандартизованного кухонного модуля 50. Трехмерные модели стандартных объектов могут быть визуально захвачены трехмерной камерой и сохранены в структуре 974 базы данных библиотек для последующего использования.

На Фиг. 31 изображено выполнение процесса 980 с применением роботизированной руки 640 с одним или несколькими датчиками 642 для проверки качества ингредиентов, используемых в рамках части процесса воспроизведения рецепта стандартизованной роботизированной кухней. Видеоэлемент мультимодальной системы датчиков может реализовывать процесс 982, который использует обнаружение цвета и спектральный анализ для детектирования изменения цвета, указывающего на возможные признаки порчи. Аналогичным образом использование чувствительных к аммиаку датчиков, встроенных в кухню или являющихся частью мобильного зонда, управляемого роботизированными кистями, также позволяет обнаружить возможные признаки порчи. Дополнительные тактильные датчики в роботизированных кистях и пальцах позволяют проверять свежесть ингредиентов с помощью контактной методики 984, в соответствии с которой выполняется измерение твердости и сопротивления усилиям контакта (величина и скорость прогибания в виде функции расстояния сжатия). В качестве примера цвет рыбы (темно-красный) и содержание влаги в жабрах является признаком свежести, при этом глаза должны быть прозрачными (не замутненными), а температура тела правильно размороженной рыбы не должна превышать 40°F. Дополнительные датчики контакта на концах пальцев позволяют выполнить дополнительную проверку качества (процесс 986) с точки зрения температуры, текстуры и общего веса ингредиента путем прикосновения, трения и удерживания/захвата. Все данные, собранные с помощью данных тактильных датчиков и видеоизображений могут быть использованы в алгоритме обработки для определения свежести ингредиента и принятия решения о возможности его использования или необходимости выбрасывания.

На Фиг. 32 изображен процесс 988 роботизированного воспроизведения сценария рецепта, где голова 20 с мультимодальными датчиками, а также две руки и кисти 72 с несколькими пальцами, удерживающие ингредиенты и утварь, взаимодействуют с кухонным оборудованием 990. Сенсорная голова робота 20 с блоком мультимодальных датчиков используется для непрерывного моделирования и контроля трехмерного пространства для выполнения задачи, в которой работают обе роботизированные руки, при этом данные также подаются на модуль абстрагирования задачи для идентификации инструментов и утвари, приспособлений, их содержимого и переменных в таком виде, чтобы их можно было сравнивать с последовательностью сгенерированных этапов процесса приготовления по рецепту для обеспечения выполнения происходило в соответствии с данными последовательности выполнения рецепта, сохраненной на компьютере. Дополнительные датчики на голове робота 20 с датчиками используются для прослушивания и контроля запахов во время значимых этапов процесса приготовления. Роботизированные кисти 72 и их тактильные датчики используются для правильного выполнения операций с соответствующими ингредиентами, например, с яйцом; датчики на пальцах и ладонях могут определять пригодность яиц с помощью текстуры поверхности, веса (его распределения), а также удерживать и располагать яйца в определенной ориентации без их повреждения. Роботизированные кисти 72 с несколькими пальцами также способны захватывать и выполнять операции с определенной кухонной посудой, в т.ч. чашей (в данном примере), захватывать и выполнять операции с утварью для приготовления (в данном примере показана взбивалка), с правильными движениями и прилагаемыми усилиями таким образом, чтобы правильно выполнить обработку пищевых ингредиентов (например, разбивание яйца, отделение желтков и взбивание яичного белка до получения густой консистенции), как указано в сценарии рецепта.

На Фиг. 33 изображен принцип 1000 системы хранения ингредиентов, где контейнеры 1002 для хранения пищевых продуктов, предназначенные для хранения всех необходимых ингредиентов, которые используются во время приготовления (например, мясо, рыба, дичь, моллюски, овощи и т.д.), имеют датчики для измерения и контроля свежести соответствующего ингредиента. Датчики управления, встроенные в контейнеры 1002 для хранения пищевых продуктов, включают в себя, не ограничиваясь этим, датчики аммиака 1004, датчики летучих органических соединений 1006, датчики температуры 1008 внутри контейнера и датчики влажности 1010. Кроме того, человек-повар или роботизированные кисти и руки могут использовать ручной зонд 1012 с одним или несколькими датчиками для выполнения ключевых измерений (например, температуры) внутри большого ингредиента (например, температуры внутри мяса).

На Фиг. 34 изображен процесс 1040 измерений и анализа в рамках проверки свежести и качества ингредиентов, находящихся в контейнерах 1042 для хранения пищевых продуктов, в которых установлены датчики и устройства обнаружения (например, датчик/игла для измерения температуры). Контейнер может передавать наборы данных с меткой 1044 промежуточных данных, соответствующей идентификатору контейнера, которые могут включать в себя данные о температуре 1046, данные о влажности 1048, данные об уровне аммиака 1050, данные о летучих органических соединениях 1052, по беспроводной сети передачи данных на этапе передачи данных 1056 на главный сервер, на котором механизм контроля качества пищевых продуктов обрабатывает данные о контейнере. Этап обработки 1060 использует данные 1044 о контейнере и сравнивает их с приемлемыми значениями и диапазонами значений, которые хранятся и считываются с носителя 1058 в рамках процесса считывания и сохранения данных 1054. Набор алгоритмов принимает решение о возможности использования ингредиента, передавая результат анализа качества пищевых продуктов в режиме реального времени по сети передачи данных с помощью отдельного процесса обмена данными 1062. Результаты анализа качества затем используются в соответствии с другим процессом 1064, где результаты направляются на роботизированные руки для выполнения дальнейших действий и могут удаленно отображаться на экране (например, на экране смартфона или на другом экране) пользователю, который принимает решение о возможности использования ингредиента для приготовления и последующего употребления или о его выбрасывании.

На Фиг. 35 изображены функции и этапы работы с заранее наполненными контейнерами 1070 для ингредиентов при использовании на стандартизованной кухне, стандартизованной роботизированной кухне или студии шеф-повара. Контейнеры 1070 для ингредиентов имеют различные размеры 1082 и разное назначение, они подходят для обеспечения правильных условий 1080 хранения скоропортящихся продуктов путем охлаждения, замораживания и т.д. при определенных диапазонах температуры хранения. Также используются контейнеры 1070 для хранения ингредиентов, предназначенные для размещения в них различных типов ингредиентов 1072, а также контейнеры с нанесенной маркировкой и контейнеры, заранее наполненные твердыми (соль, мука, рис и т.д.), вязкими/пастообразными (горчица, майонез, марципан, джемы и т.д.) или жидкими (вода, масло, молоко, сок и т.д.) ингредиентами, при этом процессы 1074 дозирования используют множество различных устройств подачи (питатель, желоб, перистальтический дозировочный насос и т.д.) для разных типов ингредиентов с точным дозированием, управляемым компьютером и выполняемым с помощью механизма 1084 управления дозированием, использующим процесс 1076 контроля дозирования для обеспечения подачи правильного количества ингредиентов в нужное время. Следует отметить, что для обеспечения соответствия персональным вкусам или диетам (низкое содержание натрия и т.д.) дозирование при выполнении определенного рецепта регулируется с помощью меню-ориентированного интерфейса или даже с помощью удаленного телефонного приложения. Процесс 1078 определения дозы выполняется с помощью механизма 1084 управления дозированием на основании количества, указанного в рецепте, с дозированием, выполняемым с помощью выдачи команды в ручном режиме или от удаленного компьютера на основании обнаружения определенного дозирующего контейнера у выхода дозатора.

На Фиг. 36 представлена блок-схема, иллюстрирующая структуру 1090 системы приготовления по рецепту, используемой на стандартизованной роботизированной кухне 50. Процесс приготовления пищи разделен на несколько стадий относительно временного графика процесса приготовления, при этом каждая стадия имеет один или несколько блоков необработанных данных для стадии 1092, стадии 1094, стадии 1096 и стадии 1098. Блоки данных могут содержать такие элементы, как видеоизображения, звуковые записи, текстовые описания, а также машиночитаемый и понятный набор инструкций и команд, которые формируют часть программы управления. Набор необработанных данных содержится в структуре рецепта и охватывает каждую стадию приготовления относительно временной последовательности, разделенной на множество стадий последовательных стадий, с изменяющимися временными интервалами и временными последовательностями, от начала процесса воспроизведения рецепта до конца процесса приготовления, или любой подпроцесс каждой стадии.

На Фиг. 37А-С представлены блок-схемы, иллюстрирующие меню поиска рецепта для использования на стандартизованной роботизированной кухне. Как показано на Фиг. 37А, меню 1110 поиска рецепта содержит наиболее популярные категории, такие как вид кухни (например, итальянская, французская, китайская), основные ингредиенты блюда (например, рыба, свинина, говядина, паста) или критерий/диапазон, например, временной диапазон приготовления (например, менее 60 минут, от 20 до 40 минут), а также выполнение поиска по ключевым словам (например, рикотта кавателли, пирог мильяччо). Выбранный персонализированный рецепт может представлять собой рецепт без аллергенных ингредиентов, при этом в персональном пользовательском профиле пользователь может указать аллергенные ингредиенты, которые он не употребляет. На Фиг. 37В показано, что пользователь может выбрать критерий поиска, включая следующие требования: время приготовления менее 44 минут, подача порций на 7 человек, вегетарианские блюда, общее содержание калорий не более 4521 ккал. На Фиг. 37С показаны различные типы блюд 1112, при этом меню 1110 имеет иерархические уровни, с помощью которых пользователь может выбрать категорию (например, тип блюда) 1112, а затем перейти на следующий уровень подкатегорий (например, закуски, салаты, закуски…) для уточнения выбора. Скриншот выполняемого создания и отправки выбранного рецепта показан на Фиг. 37D. Скриншот реализованного сценария создания и загрузки рецепта проиллюстрирован на Фиг. 37D. Другой скриншот, отображающий типы ингредиентов показан на Фиг. 37Е.

Один вариант блок-схем функционирования в качестве фильтра по рецептам, фильтра по ингредиентам, фильтра по оборудованию, доступа с помощью учетной записи и социальных сетей, персональной страницы партнера, страницы корзины, информации о приобретенном рецепте, настроек регистрации, создания рецепта показаны на Фиг. 37F, где изображены различные функции, которые программное обеспечение 14 для роботизированного приготовления пищи может выполнять на основании фильтрации базы данных и предоставления информации пользователю. Как показано на Фиг. 37F, пользователь платформы может получить доступ к разделу рецептов и выбрать желательные фильтры 1130 рецептов для автоматического роботизированного приготовления. К наиболее общим типам фильтров можно отнести фильтрацию по кухням (например, китайская, французская, итальянская), по типу приготовления (например, выпекание, варка, жарка), вегетарианские блюда и диабетические пищевые продукты. Пользователь может просмотреть подробную информацию о рецепте, такую как описание, фотографии, ингредиенты, цену и оценки, для отфильтрованных результатов поиска. На Фиг. 37G показано, как пользователь может выбрать нужные фильтры 1132 ингредиентов, таких как органические ингредиенты, тип ингредиентов или марку ингредиентов для собственных целей. На Фиг. 37G показано, как пользователь может использовать фильтры 1134 по оборудованию для модулей автоматической роботизированной кухни, такие как тип, марка и изготовитель оборудования. После принятия решения пользователь сможет приобрести рецепты, ингредиенты или оборудование непосредственно через портал у соответствующих продавцов. Платформа позволяет пользователям создавать дополнительные фильтры и параметры для собственных целей, чтобы сделать систему настраиваемой и постоянно обновляемой. Фильтры и параметры, добавленные пользователями, появятся в системе после прохождения проверки модератором.

На Фиг. 37Н показано, как пользователь может обратиться к другим пользователям и продавцам с помощью профессиональной социальной сети платформы, войдя в систему с помощью своей учетной записи 1140. Личность пользователя сети может проверяться с помощью реквизитов кредитной карты и адреса. Портал учетных записей также используется как торговая платформа для пользователей, которые хотят совместно использовать или продавать свои рецепты, а также рекламировать их другим пользователям. Пользователь может управлять балансом и оборудованием для своей учетной записи с помощью портала учетных записей.

Пример сотрудничества между пользователями платформы представлен на Фиг. 37J. Один пользователь может предоставить всю информацию и подробности об ингредиентах, а другой пользователь делает то же самое для своего оборудования. Перед добавлением на платформу/ в базу данных сайта вся информация должна быть отфильтрована модератором. На Фиг. 37K показано, как пользователь может просматривать информацию о своих покупках в корзине 1142. Также можно выбрать другие опции, такие как способ доставки и оплаты. Пользователь также может приобрести ингредиенты или оборудование на основании рецептов в своей корзине.

На Фиг. 37L представлена другая информация о приобретенных рецептах, доступ к которой может быть получен со страницы 1144 с рецептами. Пользователь может прочитать, послушать и посмотреть процесс приготовления, а также запустить автоматический процесс роботизированного приготовления. Переписка с продавцами или сотрудниками технической поддержкой по поводу рецептов также может вестись со страницы с рецептами.

На Фиг. 37М представлена блок-схема, иллюстрирующая различные уровни платформы, доступные со страницы «Му account)) (Моя учетная запись) 1136 и страницы «Settings» (Настройки) 1138. На странице «Му account)) пользователь может прочитать профессиональные новости или блоги по готовке, а также может написать публикуемую статью. С помощью страницы с рецептами в меню «Му account)) пользователь может создать собственный рецепт 1146 различными способами, как показано на Фиг. 37N. Пользователь может создать рецепт путем создания сценария автоматического роботизированного приготовления или путем захвата движений шеф-повара при приготовлении или путем выбора последовательности манипуляций из библиотеки программ. Пользователь также может создать рецепт путем простого перечисления ингредиентов/оборудования, затем добавить аудиоданные, видеоданные или изображение. Пользователь может отредактировать все рецепты на странице с рецептами.

На Фиг. 38 представлена блок-схема, иллюстрирующая меню поиска рецепта 1150 выбором различных полей для использования на стандартизованной роботизированной кухне. После выбора категории и критериев или некоторого диапазона поиска пользователю 60 отображается страница, где будут указаны результаты различных рецептов. Пользователь 60 может отсортировать результаты по определенным критериям, например, по оценкам пользователя (например, от высоких к низким), оценкам экспертов (например, от высоких к низким) или продолжительности приготовления пищи (например, от коротких к длинным). На дисплее компьютера могут отображаться фотографии/медиаданные, заголовок, описание, оценки и цена рецепта, а также дополнительная вкладка «read тоге» (подробно), при нажатии на которую отобразится вся страница рецепта, на которой можно будет ознакомиться с подробной информацией о рецепте.

На Фиг. 39 изображена возможная конфигурация стандартизованной роботизированной кухни 50 для использования дополнительной системы датчиков 1152, которая воспроизводит один вариант выполнения мультимодальной трехмерной системы датчиков 20. Дополнительная система датчиков 1152 представляет собой отдельную систему 1854, расположенную на подвижном линейном рельсе с компьютерным управлением, проходящем вдоль всей оси кухни для обеспечения возможности работы во всем видимом трехмерном рабочем пространстве стандартизованной кухни. На стандартизованной кухне 50 показана одна дополнительная система 20 датчиков, расположенная на подвижном линейном рельсе с компьютерным управлением, проходящем вдоль всей оси кухни для эффективного обеспечения возможности работы во всем видимом трехмерном рабочем пространстве стандартизованной кухни

Правильное расположение дополнительной системы 1152, установленной где-то на роботизированной кухне, например, на рельсе с компьютерным управлением или на торсе робота с руками и кистями, позволяет выполнять трехмерное отслеживание и генерирование необработанных данных как во время контроля действий шеф-повара для создания сценария рецепта для системы, так и во время выполнения контроля и успешного завершения выполняемых роботом этапов при воспроизведении блюда на стандартизованной роботизированной кухне 50.

На Фиг. 40 представлена блок-схема, иллюстрирующая модуль стандартизованной кухни 50 с несколькими датчиками камер и/или лазерами 20 для трехмерного моделирования 1160 среды для приготовления пищи в режиме реального времени. Бытовая роботизированная кухня 48 включает в себя трехкоординатный электронный датчик, способный отправлять в режиме реального времени необработанные данные на компьютер, чтобы создать трехмерную модель рабочей среды на кухне. Один возможный вариантпроцесса трехмерного моделирования в режиме реального времени включает в себя использование трехмерного лазерного сканирования. В соответствии с альтернативным вариантом осуществления трехмерное моделирование в режиме реального времени выполняется за счет использования одной или нескольких видеокамер. Третий способ основан на использовании проецируемого оптического изображения, получаемого с помощью камеры, так называемого изображения, полученного с помощью структурированного света. Трехкоординатный электронный датчик сканирует рабочую среду на кухне в режиме реального времени для создания визуального представления (данных о форме и габаритах) 1162 рабочего пространства в кухонном модуле. Например, трехкоординатный электронный датчик может захватывать в режиме реального времени трехмерные изображения с информацией о том, взяла ли роботизированная рука/кисть мясо или рыбу. Трехмерная модель кухни также используется как аналог «человеческого глаза» для внесения регулировок при захвате объекта в случае нестандартных габаритов некоторых объектов. Компьютерная система обработка 16 генерирует компьютерную модель трехмерной геометрии и объектов в рабочем пространстве, а также передает сигналы управления 1164 обратно для стандартизованной роботизированной кухни 50. Например, трехмерное моделирование кухни может использоваться для создания трехмерной сетки с нужным интервалом, например, с интервалом в 1 сантиметр между точками сетки.

Стандартизованная роботизированная кухня 50 показана в другой возможной конфигурации для использования одной или нескольких дополнительных систем датчиков 20. Стандартизованная роботизированная кухня 50 имеет несколько дополнительных систем датчиков 20, расположенных в углах над рабочей поверхностью кухни вдоль всей оси кухни для обеспечения возможности работы во всем видимом трехмерном рабочем пространстве стандартизованной кухни 50.

Правильное расположение дополнительной системы датчиков 20 на стандартизованной роботизированной кухне 50 позволяет выполнять трехмерное считывание, используя видеокамеры, лазеры, акустические датчики и другие двухкоординатные и трехкоординатные системы датчиков для обеспечения помощи при создании обработанных данных из набора необработанных данных в режиме реального времени для динамических моделей формы, места, ориентации и действий роботизированных рук, кистей, инструментов, оборудования и приспособлений для различных этапов в нескольких последовательных стадиях воспроизведения приготовления блюда на стандартизованной роботизированной кухне 50.

На этапе 1162 необработанные данные собираются в каждый момент времени для обеспечения возможности обработки необработанных данных для извлечения данных о форме, габаритах, месте и ориентации всех важных объектов на различных этапах нескольких последовательных стадий воспроизведения блюда на стандартизованной роботизированной кухне 50. Обработанные данные дополнительно анализируются компьютерной системой для обеспечения возможности управления роботизированными траекториями и мини-манипуляциями руки и кисти с помощью контроллера стандартизованной роботизированной кухни путем изменения сигналов управления, заданных в роботизированном сценарии. Адаптация выполнения сценария рецепта и сигналы управления играют важную роль для успешного выполнения каждой стадии воспроизведения определенного блюда, обеспечивая возможность внесения изменений в различные переменные (ингредиенты, температура и т.д.). Процесс выполнения сценария рецепта на основании ключевых измеряемых переменных является важной частью использования дополненной (так называемой мультимодальной) системы датчиков 20 во время воспроизведения этапов для приготовления определенного блюда на стандартизованной роботизированной кухне 50.

На Фиг. 41А приведено схематическое изображение прототипа роботизированной кухни. Прототип кухни имеет три уровня: верхний уровень, имеющий рельсовую систему для перемещения двух рук по нему во время приготовления, съемный кожух для возврата двух роботизированных рук к станции загрузки и обеспечения их защиты при неиспользовании для приготовления или при использовании кухни в ручном режиме. Средний уровень включает в себя раковины, плиту, гриль, печь и рабочую поверхность с доступом к месту хранения ингредиентов. Средний уровень также имеет компьютерный монитор для управления оборудованием, выбора рецепта, просмотра видео и текстовых инструкций, а также для прослушивания голосовых инструкций. Нижний уровень включает в себя автоматическую систему контейнеров для хранения пищевых продуктов/ингредиентов при оптимальных условиях с возможностью автоматической подачи ингредиентов в пространство для приготовления в соответствии с рецептом. Прототип кухни также включает в себя печь, посудомоечную машину, инструменты для приготовления, дополнительные приспособления, подставку для кухонной посуды, ящики и мусорный бак.

На Фиг. 41В представлено схематическое изображение прототипа роботизированной кухни с корпусом из прозрачного материала, который обеспечивает защиту во время выполнения роботизированного приготовления во избежание возможного травмирования окружающих людей. Корпус из прозрачного материала может быть изготовлен из различных прозрачных материалов, таких как стекло, стеклопластик, пластик или любой другой подходящий материал. В одном примере корпус из прозрачного материала оборудован автоматической стеклянной дверью (дверями). В этом варианте автоматические стеклянные двери способны перемещаться сверху вниз или снизу вверх (из нижней секции) для закрывания и обеспечения безопасности во время процесса приготовления с помощью роботизированных рук. В конструкцию корпуса из прозрачного материала могут быть внесены изменения, например предусмотрена возможность перемещения по вертикали вниз, перемещения по вертикали вверх, перемещения по горизонтали слева направо, перемещения по горизонтали справа налево, а также другие способы, позволяющие использовать корпус из прозрачного материала на кухне в качестве защитного механизма.

На Фиг. 41С изображен вариант стандартизованной роботизированной кухни, где объем, ограниченный верней стороной рабочей поверхности и нижней стороной кожуха, имеет горизонтальные раздвижные стеклянные двери 1190, которые могут перемещаться влево или вправо (вручную или с помощью компьютерного управления) для отделения рабочего пространства роботизированных рук/кистей от окружающей области для обеспечения безопасности человека, находящегося рядом с кухней, или для ограничения загрязнения рабочей области кухни и области вокруг нее, а также обеспечивать лучший климат-контроль в закрытом объеме. Автоматические раздвижные стеклянные двери перемещаются слева направо для закрытия и обеспечения безопасности во время приготовления при помощи роботизированных рук.

На Фиг. 41D изображен вариант стандартизованной роботизированной кухни, где рабочая поверхность имеет область с раздвижными дверями 1200 для доступа к объему хранения ингредиентов в нижних ящиках столешницы на роботизированной кухне. Двери могут открываться вручную или с помощью компьютерного управления для обеспечения доступа к контейнерам с ингредиентами. Вручную или с помощью компьютерного управления один или несколько контейнеров могут быть перемещены на уровень столешницы с помощью блока хранения и подачи ингредиентов, что позволит обеспечить доступ (в данном случае для роботизированных рук/кистей) к контейнеру, его крышке и содержимому контейнера. Роботизированные руки/кисти могут открыть крышку, при необходимости проанализировать ингредиент (ингредиенты) и поместить ингредиент (ингредиенты) в соответствующее место (противень, сковорода, кастрюля и т.д.), а затем герметично закрыть контейнер и вернуть его в блок хранения и подачи ингредиентов. Блок хранения и подачи ингредиентов затем перемещает контейнер обратно в соответствующее место внутри блока для последующего использования, чистки или загрузки ингредиентов. Данный процесс перемещения и возврата контейнеров для ингредиентов для доступа к ним роботизированных рук/кистей представляет собой встроенный повторяющийся процесс, который является частью сценария рецепта и описывается в виде отдельных этапов процесса воспроизведения рецепта для одного или нескольких ингредиентов определенного типа, используя стадию выполнения сценария рецепта на стандартизованной роботизированной кухни 50.

Для получения доступа к блоку хранения и подачи ингредиентов часть рабочей поверхности с раздвижными дверями может быть открыта, при этом программа рецепта управляет дверями и перемещает специальные контейнеры и ингредиенты таким образом, чтобы обеспечить доступ к месту, где роботизированная рука (руки) сможет захватить контейнеры, открыть крышку, извлечь ингредиенты из контейнеров и положить их в определенное место, закрыть крышку и переместить контейнеры обратно в отсек хранения. Контейнер перемещается из области доступа назад в исходное место в блоке хранения, после чего новый/следующий контейнер выгружается для выполнения соответствующих операций в области доступа.

На Фиг. 41Е показан альтернативный вариант блока хранения и подачи ингредиентов 1210. Особые или периодически используемые ингредиенты (соль, сахар, мука, масло и т.д.) могут либо дозироваться с помощью механизмов подачи с компьютерным управлением, либо определенное количество каждого ингредиента может подаваться с помощью кисти (человеческой или роботизированной кисти или пальцев). Задание подаваемого количества ингредиентов может осуществляться либо вручную через сенсорную панель с помощью человеческой или роботизированной кисти, либо с помощью компьютерного управления. Дозируемый ингредиент может собираться или подаваться к некоторому элементу кухонного оборудования (чаше, сковороде, кастрюле и т.д.) в любой момент времени во время процесса воспроизведения рецепта. Данный вариант системы подачи и дозирования ингредиентов обеспечивает максимальную экономичность, компактность, упрощение выполнения операций с контейнером, а также сокращение времени, необходимого для перемещения ингредиентов с помощью рук/кистей робота.

На Фиг. 41F представлен вариант стандартизованной роботизированной кухни, который включает в себя область фартука 1220, где установлен виртуальный монитор/дисплей с сенсорным экраном, чтобы человек мог управлять кухней в ручном режиме и взаимодействовать с роботизированной кухней и ее элементами. Проецируемое компьютером изображение и отдельная камера, контролирующая область проекции, могут быть использованы для определения того, где находится кисть и палец человека при осуществлении конкретного выбора на основании локации на проецируемом изображении, после чего система выполняет соответствующие действия. Виртуальный сенсорный экран позволяет получить доступ ко всем функциям управления и контроля всеми типами оборудования на стандартизованной роботизированной кухне 50, считать и сохранить рецепты, полностью или частично просмотреть сохраненные видео для этапов рецепта, выполняемых человеком-поваром, а также прослушать речевые описания и инструкции человека-повара, касающиеся определенного этапа или операции в определенном рецепте.

На Фиг. 41G изображено отдельное жестко автоматизированное роботизированное устройство 1230 или группа таких устройств, которые встроены в стандартизованную роботизированную кухню. Устройство или устройства программируются и управляются удаленно с помощью компьютера, они предназначены для подачи или предоставления доступа к заранее упакованным или заранее дозированным объемам определенных ингредиентов, необходимых для воспроизведения рецепта, таких как специи (соль, перец и т.д.), жидкости (вода, масло и т.д.) или другие сухие ингредиенты (мука, сахар, разрыхлитель и т.д.). Эти роботизированные автоматические устройства 1230 расположены таким образом, чтобы роботизированные руки/кисти могли получить к ним доступ для последующего выполнения соответствующих операций с помощью рук/кистей робота или человека, для настройки и/или запуска выгрузки определенного количества нужного ингредиента на основании сценария рецепта.

На Фиг. 41Н изображено единичное жестко автоматизированное роботизированное устройство 1340 или группа таких устройств, которые встроены в стандартизованную роботизированную кухню. Устройство или устройства программируются и управляются удаленно с помощью компьютера, они предназначены для подачи или предоставления доступа к заранее упакованным или заранее дозированным объемам общих или периодически используемых ингредиентов, необходимых для воспроизведения рецепта, при этом механизм/система управления дозированием способна подавать правильное количество к определенной части оборудования, такой как чаша, кастрюля или сковорода. Данные роботизированные автоматические устройства 1340 расположены таким образом, чтобы роботизированные руки/кисти могли получить к ним доступ для последующего выполнения соответствующих операций с помощью рук/кистей робота или человека, для настройки и/или запуска выгрузки определенного количества нужного ингредиента с помощью механизма дозирования на основании сценария рецепта. Данный вариант системы подачи и дозирования ингредиентов обеспечивает максимальную экономичность, компактность, упрощение выполнения операций с контейнером, а также сокращение времени, необходимого для перемещения ингредиентов с помощью рук/кистей робота.

На Фиг. 41I изображены стандартизованная роботизированная кухня, оборудованная системой 1250 вентиляции для удаления дыма и пара, которые могут образовываться во время автоматизированного приготовления, а также система 1252 автоматического обнаружения дыма/огня и пожаротушения для ликвидации источника вредного дыма и опасного огня, что также создает защитный экран из раздвижных дверей для закрытия стандартизованной роботизированной кухни 50 и локализации соответствующей области.

На Фиг. 41J изображена стандартизованная роботизированная кухня 50 с системой 1260 обработки отходов, которая находится в нижнем ящике, что гарантирует легкое и быстрое удаление перерабатываемых (стекла, алюминия и т.д.) и неперерабатываемых (остатков пищи и т.д.) отходов с помощью набора мусорных контейнеров со съемными крышками, которые имеют уплотнительные элементы (прокладки, кольцевые уплотнения и т.д.) для обеспечения воздухонепроницаемого уплотнения и исключения возможности проникновения запахов за пределы стандартизованной роботизированной кухни 50.

На Фиг. 41K изображена стандартизованная роботизированная кухня 50 с посудомоечной машиной 1270 с вертикальной загрузкой, расположенной в определенном месте кухни для упрощения роботизированной загрузки и выгрузки. Посудомоечная машина имеет герметичную крышку, которая во время выполнения этапа автоматизированного воспроизведения рецепта также может быть использована в качестве разделочной доски или рабочего пространства с встроенным сливным желобом.

На Фиг. 41L изображена стандартизованная кухня с системой 1280 проверки качества ингредиентов с измерительной аппаратурой, состоящей из инструментальной панели с датчиками и зондом для пищи. Данная область включает в себя датчики на фартуке, способные анализировать несколько физических и химических параметров ингредиентов, находящихся в данной области, включая, но не ограничиваясь этим, признаки порчи (датчик аммиака), температуры (термопара), летучих органических соединений (выделяемых при разложении биомассы), а также содержания влаги/влажности (гигрометр). Зонд для пищи, использующий датчик температуры (термопару), также может быть заранее настроен на использование роботизированными руками/кистями для анализа внутренних свойств определенных ингредиентов или элементов (таких как внутренняя температура красного мяса, дичи и т.д.).

На Фиг. 42А изображен вариант стандартизованной роботизированной кухни 50 (в плане), при этом следует понимать, что фактически элементы могут быть расположены по-другому. Стандартизованная роботизированная кухня разделена на три уровня: верхний уровень 1292-1, уровень столешницы 1292-2 и нижний уровень 1292-3.

Верхний уровень 1292-1 содержит несколько ящиков с различными блоками для выполнения определенных кухонных функций с помощью встроенных приспособлений и оборудования. На самом простом уровне имеется полка/ящик 1294 для хранения, ящик 1296, используемый для хранения и доступа к инструментам и утвари для приготовления и другой посуды для приготовления и сервировки (приготовления, выпекания, украшения блюд и т.д.), ящик 1298 для созревания некоторых ингредиентов (например, фруктов, овощей и т.д.), зоны 1300 для хранения в охлажденном виде таких продуктов, как салат-латук и лук, ящик 1302 для хранения в замороженном виде продуктов глубокой заморозки и буфет 1304 для хранения других ингредиентов и редко используемых специй и т.д.

На уровне столешницы 1292-2 имеются не только роботизированные руки 70, но и поверхность 1306 для сервировки, область столешницы с раковиной 1308, дополнительная область столешницы 1310 со съемными рабочими поверхностями (доски для резки/рубки продуктов и т.д.), решетчатый угольный гриль 1312 и многофункциональная область 1314 для других приспособлений для приготовления, включая плиту, варочный аппарат, пароварку и кастрюлю-пашотницу.

На нижнем уровне 1292-3 расположены комбинированная конвекционная печь и микроволновая печь 1316, посудомоечная машина 1318 и большой ящик 1320, в котором находится и хранится дополнительная часто используемая утварь для приготовления и выпекания, а также посуда, упаковочные материалы и столовые приборы.

На Фиг. 42 В изображен общий вид 50 стандартизованной роботизированной кухни, где показаны расположения верхнего уровня 1292-1, уровня столешницы 1292-2 и нижнего уровня 1294-3 в системе координат XYZ с осями X 1322, Y 1324 и Z 1326 для обеспечения правильного геометрического представления о расположении роботизированных рук 34 на стандартизованной роботизированной кухне.

На общем виде роботизированной кухни 50 наглядно показан один из множества возможных вариантов и мест расположения оборудования на всех трех уровнях, включая верхний уровень 1292-1 (буфеты 1304, стандартизованные инструменты и посуда для приготовления 1320, зона созревания 1298, зона 1300 для хранения в охлажденном виде и зона 1302 для хранения в замороженном виде), уровень столешницы 1292-2 (роботизированные руки 70, раковина 1308, область 1310 для резки/рубки, угольный гриль 1312, приспособления 1314 для приготовления и поверхность 1306 для сервировки), а также нижний уровень (посудомоечная машина 1318, печь и микроволновая печь 1316).

На Фиг. 43А изображен вид в плане одного возможного варианта стандартизованной роботизированной кухни, в соответствии с которым кухня встроена в прямой практически прямоугольный горизонтальный отсек с встроенным монитором 1332, с помощью которого пользователь может управлять оборудованием, выбирать рецепт, просматривать видео и прослушивать записанные шеф-поваром инструкции, и с автоматическими прозрачными дверями 1330 с компьютерным управлением, способными перемещаться вправо-влево для закрывания открытых поверхностей стандартизованного роботизированного пространства для приготовления во время работы роботизированных рук.

На Фиг. 43В изображен общий вид одного возможного варианта расположения стандартизованной роботизированной кухни, в соответствии с которым кухня встроена в прямой практически прямоугольный горизонтальный отсек с встроенным монитором 1332, с помощью которого пользователь может управлять оборудованием, выбирать рецепт, просматривать видео и прослушивать записанные шеф-поваром инструкции, и с автоматическими прозрачными дверями 1330 с компьютерным управлением, способными перемещаться вправо-влево для закрывания открытых поверхностей стандартизованного роботизированного пространства для приготовления во время работы роботизированных рук.

На Фиг. 44А изображен вид в плане другого возможного варианта стандартизованной роботизированной кухни, в соответствии с которым кухня встроена в прямой практически прямоугольный горизонтальный отсек с встроенным монитором 1336, с помощью которого пользователь может управлять оборудованием, выбирать рецепт, просматривать видео и прослушивать записанные шеф-поваром инструкции, и с автоматическими прозрачными дверями 1338 с компьютерным управлением, способными перемещаться вверх-вниз для закрывания открытых поверхностей стандартизованного роботизированного пространства для приготовления во время работы роботизированных рук.

На Фиг. 44В изображен общий вид другого возможного варианта расположения стандартизованной роботизированной кухни, в соответствии с которым кухня встроена в прямой практически прямоугольный горизонтальный отсек с встроенным монитором 1340, с помощью которого пользователь может управлять оборудованием, выбирать рецепт, просматривать видео и прослушивать записанные шеф-поваром инструкции, и с автоматическими прозрачными дверями 1342 с компьютерным управлением, способными перемещаться вверх-вниз для закрывания открытых поверхностей стандартизованного роботизированного пространства для приготовления во время работы роботизированных рук.

На Фиг. 45 изображен общий вид расположения телескопического робота 1350 на стандартизованной роботизированной кухне 50, где пара роботизированных рук, запястий и кистей с несколькими пальцами перемещается как единое целое на призматическом (путем линейного ступенчатого удлинения) телескопическом торсе, способном перемещаться вдоль вертикальной оси Y 1351 и горизонтальной оси X 1352, а также вращаться вокруг вертикальной оси Y, проходящей через центральную линию торса робота. В торс встроен один или несколько исполнительных механизмов 1353, при этом верхний уровень позволяет двигаться по прямой и поворачиваться таким образом, чтобы роботизированные руки 72 и роботизированные кисти 70 могли перемещаться в различные места на стандартизованной роботизированной кухне во время всех этапов воспроизведения рецепта, изложенных в сценарии. Данные множественные движения необходимы для обеспечения правильного воспроизведения движений человека-повара 49, выполняемых им в студии шеф-повара во время создания блюда при приготовлении человеком-поваром. Перетаскивающий (поворотный) исполнительный механизм 1354 на телескопическом приводе 1350 в основании левой/правой трансляционной станции позволяет поворачивать роботизированные руки 70, похожим образом, как повар поворачивает свои плечи или торс для ловкости или для целей ориентации - в противном случае приготовление пищи будет ограничено одной плоскостью.

На Фиг. 46А изображен вид в плане одного возможного варианта 1356 стандартизованной роботизированной кухни, в соответствии с которым кухня встроена в прямой практически прямоугольный горизонтальный отсек с набором из двух роботизированных рук с запястьями и кистями с несколькими пальцами, при этом основание каждой руки не установлено ни на набор подвижных рельсов, ни на вращающийся торс, вместо этого оно надежно и неподвижно прикреплено к одной из вертикальных поверхностей роботизированной кухни, что позволяет задать и зафиксировать место расположения и габариты роботизированного торса, а также позволяет обеим роботизированным рукам работать согласованно и дотягиваться до всех поверхностей и оборудования для приготовления.

На Фиг. 46В изображен общий вид одного возможного варианта осуществления 1358 стандартизованной роботизированной кухни, в соответствии с которым кухня встроена в прямой практически прямоугольный горизонтальный отсек с набором из двух роботизированных рук с запястьями и кистями с несколькими пальцами, при этом основание каждой руки не установлено ни на набор подвижных рельсов, ни на вращающийся торс, вместо этого оно надежно и неподвижно прикреплено к одной из вертикальных поверхностей роботизированной кухни, что позволяет задать и зафиксировать место расположения и габариты роботизированного торса, а также позволяет обеим роботизированным рукам работать согласованно и дотягиваться до всех поверхностей и оборудования для приготовления (до печи на задней стенке, варочной поверхности под роботизированными руками и раковины с одной стороны от роботизированных рук).

На Фиг. 46С изображен вид спереди с размерами для одного возможного варианта 1360 стандартизованной роботизированной кухни, где обозначена ее высота вдоль оси Y и ширина вдоль оси X, составляющая 2284 мм.

На Фиг. 46D изображен боковой разрез с размерами одного возможного варианта 1362 стандартизованной роботизированной кухни, где ее высота вдоль оси Y составляет 2164 мм и 3415 мм, соответственно.

На Фиг. 46Е изображен вид сбоку с размерами одного варианта 1364 стандартизованной роботизированной кухни, где ее высота вдоль оси Y равна 2284 мм, а глубина вдоль оси Z составляет 1504 мм.

На Фиг. 46F изображен разрез на виде сверху с размерами одного варианта 1366 стандартизованной роботизированной кухни, включающей в себя пару роботизированных рук 1368, где глубина всего модуля роботизированной кухни вдоль оси Z составляет 1504 мм.

На Фиг. 46G изображено три вида, дополненных поперечным разрезом одного варианта осуществления стандартизованной роботизированной кухни, на котором общая длина вдоль оси X составляет 3415 мм, общая высота вдоль оси Y составляет 2164 мм, а общая глубина вдоль оси Z составляет 1504 мм, при этом общая высота на боковом разрезе обозначена как общая высота вдоль оси Z, составляющая 2284 мм.

На Фиг. 47 представлена блок-схема, иллюстрирующая программируемую система хранения 88 для использования со стандартизованной роботизированной кухней 50. Программируемая система хранения 88 структурирована в стандартизованной роботизированной кухне 50 на основании относительных координат XY в системе хранения 88. В данном примере программируемая система хранения 88 имеет двадцать семь (27; расположенных в виде матрицы 9 X 3) мест хранения, которые расположены в виде девяти столбцов и трех рядов. Программируемая система хранения 88 может использоваться в качестве морозильника или холодильника. В соответствии с данным вариантом осуществления каждое из двадцати семи программируемых мест хранения включает в себя четыре типа датчиков: датчик давления 1370, датчик влажности 1372, датчик температуры 1374 и датчик запаха (обоняния) 1376. С помощью каждого места хранения, распознаваемого по координатам XY, роботизированное приспособление может получить доступ к выбранному программируемому месту хранения, в котором хранится пищевой продукт (продукты), необходимый для приготовления блюд. Компьютер 16 также может контролировать правильность профилей температуры, правильность профилей влажности, правильность профилей давления и правильность профилей запаха в каждом программируемом месте хранения для осуществления контроля и поддержания оптимальных условий хранения определенных пищевых продуктов или ингредиентов.

На Фиг. 48 изображен вид в вертикальном разрезе станции 86 хранения контейнеров, где температура, влажность и относительное содержание кислорода (и другие комнатные условия) могут контролироваться и управляться с помощью компьютера. Такой контейнер для хранения может представлять собой, не ограничиваясь этим, буфет/область сухого хранения 1304, область созревания 1298 с индивидуальным контролем температурой и влажностью (для фруктов/овощей), а также для вина, зона 1300 для хранения в охлажденном виде для продуктов/фруктов/мяса таким образом, чтобы максимально продлить их срок годности, а также зона 1302 для хранения в замороженном виде других продуктов (мяса, хлебобулочных изделий, морепродуктов, мороженого и т.д.).

На Фиг. 49 изображен вид в вертикальном разрезе контейнеров 1380 с ингредиентами для обеспечения доступа человека-повара и роботизированных рук/кистей с несколькими пальцами. Данная часть стандартизованной роботизированной кухни включает в себя, но не обязательно ограничиваясь этим, несколько установок, включая панель (дисплей) 1382 для контроля качества ингредиентов, блок 1384 для компьютеризированных измерений, который включает в себя сканер штрих-кодов, камеру и весы, отдельную рабочую поверхность 1386 с автоматизированными стеллажами для загрузки и выгрузки ингредиентов, а также блок утилизации 1388 для удаления перерабатываемых твердых (стекла, алюминия, металлов и т.д.) и мягких материалов (остатков и отходов пищи и т.д.), пригодных для утилизации.

На Фиг. 50 изображена панель 1390 для контроля качества ингредиентов, которая является дисплеем, управляемым компьютером и может использоваться человеком-поваром. Дисплей позволяет пользователю просматривать несколько важных аспектов для подачи ингредиентов и качества ингредиентов при приготовлении человеком и роботом. Сюда можно отнести общий перечень ингредиентов 1392, в котором будут указаны доступные ингредиенты, выбранные ингредиенты, их пищевая ценность и относительное распределение 1394, количества и требования к хранению в зависимости от категории хранения 1396 (мясо, овощи и т.д.), план 1398, в котором будут указаны истекающие сроки годности, даты пополнения/добавления и наименования продуктов, область для всех типов предупреждений 1400 (обнаружение признаков порчи, ненормальные температуры, неисправности и т.д.), а также опция ввода команд с помощью речевого анализатора 1402, что позволит пользователю взаимодействовать с компьютеризированной системой управления запасами через панель 1390.

На Фиг. 51 представлена таблица, иллюстрирующая базу данных 1410 библиотек параметров рецепта. База данных 1410 библиотек параметров рецепта включает в себя множество категорий: профиль питания 1402, виды кухни 1404, библиотека медиаданных 1406, данные 1408 о рецептах, инструменты и оборудование 1410 на роботизированной кухне, группы ингредиентов 1412, данные 1414 об ингредиентах, техники приготовления 1416. В каждой указанной категории содержится перечень подробных вариантов выбора, доступных при выборе рецепта. Профиль питания включает в себя такие параметры, как возраст, пол, вес, наличие аллергии, принимаемые лекарства и образ жизни. Профиль группировки вида кухни 1404 включают в себя вид кухни по региону, культуре или религии, а профиль группировки типов оборудования 1410 для приготовления включает в себя предметы, такие как сковорода, гриль или печь, а также продолжительность приготовления. Профиль группировки данных 1408 о рецептах содержит такие параметры, как название рецепта, версию, время приготовления и подготовки, необходимые инструменты и приспособления и т.д. Профиль группировки ингредиентов 1412 содержит ингредиенты, сгруппированные по предметам, такие как молочные продукты, фрукты и овощи, крупы и другие углеводороды, жидкости различных типов, а также белки различных типов (мясо, бобы) и т.д. Профиль группировки данных 1414 об ингредиентах содержит описание ингредиентов,1 такое как название, описание, информация о пищевой ценности, инструкции для хранения и выполнения операций и т.д. Профиль группировки техник приготовления 1416 содержит информацию об определенной технике приготовления, разделенной на техники механической обработки (зажарка с поливом, нарезка, измельчение на терке, рубка и т.д.) и техники химической обработки (маринование, засолка, ферментирование, копчение и т.д.).

На Фиг. 52 представлена блок-схема, иллюстрирующая один вариант процесса 1420 для одного варианта записи процесса приготовления пищи шеф-поваром. На этапе 1422 в студии 44 шеф-повара мультимодальные трехкоординатные датчики 20 сканируют пространство кухонного модуля для определения положений и ориентации стандартизованного кухонного оборудования и всех (статических и динамических) объектов в системе координат XYZ. На этапе 1424 мультимодальные трехкоординатные датчики 20 сканируют пространство кухонного модуля для определения положений нестандартизованных объектов, таких как ингредиенты, в системе координат XYZ. На этапе 1426 компьютер 16 создает трехмерные модели всех нестандартизованных объектов и сохраняет их тип и атрибуты (размер, габариты, назначение и т.д.) на запоминающем устройстве компьютера, на вычислительном устройстве или в удаленном облачном хранилище, а также определяет форму, размер и тип нестандартизованных объектов. На этапе 1428 модуль 98 записи движений шеф-повара определяет и захватывает движения руки, запястья и кисти с помощью перчаток шеф-повара для последовательных временных интервалов (предпочтительно, чтобы движения кисти шеф-повара были идентифицированы и классифицированы в соответствии со стандартными мини-манипуляциями). На этапе 1430 компьютер 16 сохраняет обнаруженные и зарегистрированные данные о движениях шеф-повара при приготовлении блюда на запоминающее устройство (устройства) компьютера.

На Фиг. 53 представлена блок-схема, иллюстрирующая порядок работы 1540 одного варианта роботизированного приспособления во время приготовления блюда. На этапе 1542 мультимодальные трехкоординатные датчики 20 на роботизированной кухне 48 сканируют пространство кухонного модуля для определения координат нестандартизованных объектов (ингредиентов и т.д.) в системе координат XYZ. На этапе 1544 мультимодальные трехкоординатные датчики 20 на роботизированной кухне 48 создают трехмерные модели нестандартизованных объектов, обнаруженных на стандартизованной роботизированной кухне 50, и сохраняют форму, размер и тип нестандартизованных объектов на запоминающее устройство компьютера. На этапе 1546 роботизированный модуль ПО приготовления запускает выполнение рецепта в соответствии с преобразованным файлом рецепта путем воспроизведения процесса приготовления пищи шеф-поваром с использованием аналогичной позы, аналогичных движений и аналогичной продолжительности. На этапе 1548 роботизированное приспособление выполняет роботизированные инструкции из преобразованного файла рецепта, используя одну или несколько мини-манипуляций и элементарных действий, в результате чего роботизированное приспособление на роботизированной стандартизованной кухне приготавливает блюдо, идентичное или практически идентичное блюду, приготовленному шеф-поваром 49.

На Фиг. 54 представлена блок-схема, иллюстрирующая один вариант процедуры контроля качества и регулировки работы 1450 для достижения результата при приготовлении блюда с помощью робота, идентичного или практически идентичного результату, который достигается при приготовлении блюда шеф-поваром. На этапе 1452 модуль 96 проверки качества выполняет проверку качества путем контроля и подтверждения правильности воспроизведения рецепта роботизированным устройством с помощью одного или нескольких мультимодальных датчиков, датчиков на роботизированном устройстве, а также использования программного абстрагирования для сравнения выходных данных роботизированного приспособления и проверенных данных из программного файла с рецептом, созданного во время контроля и абстрагирования процессов приготовления, выполняемых человеком-поваром на стандартизованной роботизированной кухне, представляющей собой студию шеф-повара, при приготовлении по такому же рецепту. На этапе 1454 роботизированный механизм 56 приготовления пищи обнаруживает и определяет наличие различия (различий), который могут потребовать от роботизированного устройства внесения регулировок в процесс приготовления пищи, в частности, сюда можно отнести контроль различий в размере, форме или ориентации ингредиента. При наличии различий роботизированный механизм 56 приготовления пищи изменяет процесс приготовления пищи путем регулировки одного или нескольких параметров для определенного этапа обработки блюда на основании необработанных и обработанных входных данных от датчиков. На этапе 1454 выполняется определение влияния на возможные различия между обнаруженным и абстрагированным выполнением процесса по сравнению с сохраненным процессом изменений в сценарии рецепта. Если результаты процесса приготовления на стандартизованной роботизированной кухне идентичны результатам, указанным в сценарии рецепта для определенного этапа процесса, процесс приготовления пищи продолжается в соответствии со сценарием рецепта. При необходимости модификации и адаптации процесса на основании необработанных и обработанных входных данных датчиков используется процесс адаптации 1556, основанный на регулировке параметров для обеспечения соответствия переменных процесса значениям, указанным в сценарии рецепта для данного этапа процесса. После успешного завершения процесса адаптации 1456 процесс приготовления пищи 1458 продолжается, как указано в последовательности сценария рецепта.

На Фиг. 55 представлена блок-схема, иллюстрирующая первый вариант процедуры приготовления блюда 1460 на роботизированной кухне путем воспроизведения движений шеф-повара из записанного программного файла на роботизированной кухне. На этапе 1461 пользователь выбирает с помощью компьютера определенный рецепт, который должен будет использоваться роботизированным приспособлением при приготовлении. На этапе 1462 роботизированный механизм 56 считывает абстрагированный рецепт для выбранного рецепта приготовления блюда. На этапе 1463 роботизированный механизм 56 выгружает выбранный сценарий рецепта в запоминающее устройство компьютера. На этапе 1470 роботизированный механизм 56 определяет доступность ингредиентов и необходимое время приготовления. На этапе 1464 роботизированный механизм 56 выдает предупреждение или уведомление при недостаточном количестве ингредиентов или недостаточном времени для приготовления блюд в соответствии с выбранным рецептом и правилами сервировки. На этапе 1466 роботизированный механизм 56 отправляет предупреждение для добавления отсутствующих или заканчивающихся ингредиентов в список покупок или выбирает альтернативный рецепт. На этапе 1467 пользователь подтверждает выбор рецепта. На этапе 1468 роботизированный механизм 56 проверяет наступление времени начала приготовления по рецепту. Процесс 1460 не выполняется до наступления времени начала приготовления на этапе 1469. На этапе 1470 роботизированное приспособление проверяет свежесть и состояние (например, дату покупки, срок годности, запах, цвет) каждого ингредиента. На этапе 1471 роботизированный механизм 56 отправляет инструкции на роботизированное приспособление для перемещения пищи или ингредиентов из стандартизованных контейнеров в положение для приготовления пищи. На этапе 1472 роботизированный механизм 56 выдает инструкции роботизированному устройству для начала приготовления пищи в начальный момент времени «0» путем воспроизведения действий по приготовлению блюда из программного файла со сценарием рецепта. На этапе 1473 роботизированное приспособление 75 на стандартизованной кухне 50 воспроизводит блюдо с помощью таких же движений рук и пальцев, таких же ингредиентов, такой же позы, таких же стандартизованных кухонных инструментов и оборудования, которые использовал шеф-повар. На этапе 1474 роботизированное приспособление 75 выполняет проверку качества во время приготовления пищи для выполнения необходимых регулировок параметров. На этапе 1475 роботизированное приспособление 75 завершает воспроизведение и приготовление блюда, после чего блюдо может быть украшено и сервировано.

На Фиг. 56 изображен процесс загрузки и идентификации 1480 контейнеров для хранения. С помощью панели для контроля качества на этапе 1482 пользователь выбирает загружаемый ингредиент. На этапе 1484 пользователь сканирует упаковку с ингредиентом на приемной станции или рабочей поверхности. С помощью дополнительных данных сканера штрих-кода, весов, камеры и лазерных сканеров на этапе 1486 роботизированный механизм приготовления обрабатывает данные об ингредиентах и соотносит их с библиотекой ингредиентов и рецептов, а также анализирует наличие угроз аллергии. При обнаружении на этапе 1488 опасности аллергенной реакции на этапе 1490 система принимает решение об уведомлении пользователя и отбраковке ингредиента по соображениям безопасности. Если ингредиент считается приемлемым, то на этапе 1492 он принимается и подтверждается системой. На этапе 1494 пользователь может распаковать (если это еще не сделано) и выложить предмет. На этапе 1496 предмет упаковывается (в фольгу, вакуумную упаковку и т.д.), маркируется с помощью напечатанного на компьютере ярлыка со всеми необходимыми данными об ингредиентах и помещается в контейнер хранения и/или место хранения на основании результатов идентификации. На этапе 1498 роботизированный механизм приготовления обновляет внутреннюю базу данных и отображает доступные ингредиенты на панели для контроля качества.

На Фиг. 57 представлена блок-схема, иллюстрирующая процесс 1500 выгрузки ингредиентов и приготовления. На первом этапе 1502 пользователь выбирает опцию выгрузки ингредиента с помощью панели для контроля качества. На этапе 1504 пользователь выбирает опцию проверки одного продукта, необходимого для одного или нескольких рецептов. После этого компьютеризированная кухня переходит на этап 1506 и перемещает определенный контейнер, содержащий выбранный продукт из места хранения на рабочую поверхность. Если на этапе 1508 пользователь берет продукт, то он выполняет с ним действия на этапе 1510, соответствующие одному или нескольким возможным способам (приготовление, выбрасывание, возврат и т.д.), после чего на этапе 1512 оставшийся продукт (продукты) возвращается в систему, что соответствует завершению взаимодействия пользователя с системой 1514. Если с выгруженным ингредиентом (ингредиентами) работают роботизированные руки на стандартизованной роботизированной кухне, то выполняется этап 1516, на котором руки и кисти проверяют каждый ингредиент в контейнере с точки зрения их идентификационных данных (типа и т.д.) и состояния (срока годности, цвета, запаха и т.д.). На этапе контроля качества 1518 роботизированный механизм приготовления принимает решение о возможном несоответствии предмета или обнаруженного состояния качества. Если предмет не соответствует предъявляемым требованиям, на этапе 1520 выдается предупреждение для того, чтобы механизм приготовления выполнил соответствующее действие. Если ингредиент имеет приемлемый тип и качество, роботизированные руки перемещают продукт (продукты) для использования на следующей стадии процесса приготовления на этапе 1522.

На Фиг. 58 изображен автоматизированный процесс подготовки к приготовлению 1524. На этапе 1530 роботизированный механизм приготовления определяет оставшиеся и/или израсходованные ингредиенты для определенного рецепта. Затем на этапе 1532 роботизированный механизм приготовления ищет все возможные техники и способы для выполнения рецепта, в котором используется каждый ингредиент. На этапе 1534 роботизированный механизм приготовления анализирует и оптимизирует использование ингредиентов и способов с точки зрения времени и потребления энергии, в частности, при приготовлении блюда (блюд), требующего параллельного выполнения нескольких задач. Затем роботизированный механизм приготовления создает многоуровневый план приготовления 1536 для выбранных блюд и отправляет запрос для выполнения приготовления на роботизированную кухонную систему. На следующем этапе 1538 роботизированная кухонная система перемещает необходимые для приготовления ингредиенты и посуду для приготовления/выпекания из автоматизированного стеллажа, собирает инструменты и оборудование и настраивает различные рабочие станции на этапе 1540.

На Фиг. 59 представлена процедура 1542 разработки и записи сценария рецепта на роботизированной кухне. На первом этапе 1544 шеф-повар выбирает определенный рецепт, для которого на этапе 1546 он вводит или изменяет данные о рецептах, включая, но не ограничиваясь этим, название и другие метаданные (предварительные условия, техники и т.д.). На этапе 1548 шеф-повар вводит или изменяет необходимые ингредиенты на основании базы данных и соответствующих библиотек, а также вводит необходимое для рецепта количество (вес/объем/штуки). На этапе 1550 шеф-повар выбирает необходимые техники, используемые при приготовлении рецепта, на основании доступных вариантов в базе данных и соответствующих библиотеках. На этапе 1552 шеф-повар выполняет аналогичные действия, но в этот раз он (она) выбирает способы приготовления, необходимые для выполнения рецепта. На завершающем этапе 1554 система генерирует идентификатор рецепта, который будет использоваться при последующем сохранении и считывании из базы данных.

На Фиг. 60 изображен процесс 1556 выбора рецепта пользователем. На первом этапе 1558 пользователь приобретает рецепт или оформляет подписку на рецепты на торговой онлайн-площадке с помощью компьютера или мобильного приложения, чтобы загрузить воспроизводимый сценарий рецепта. На этапе 1560 пользователь ищет и выбирает в онлайн-базе данных определенный рецепт из рецептов, приобретенных ранее или доступных ему в рамках подписки, на основании персональных настроек предпочтений и имеющихся ингредиентов. На последнем этапе 1562 пользователь вводит время и дату, когда он (она) хочет, чтобы блюдо было готово к сервировке.

На Фиг. 61А изображена блок-схема, иллюстрирующая процедуру 1570 поиска рецепта, приобретения и/или оплаты подписки на портал услуг, так называемую коммерческую платформу с рецептами. На первом этапе 1572 новый пользователь должен зарегистрироваться в системе (выбрать возраст, пол, пищевые предпочтения и т.д., а также общие предпочтительные способы приготовления или виды кухонь), после чего он сможет начать искать и просматривать рецепты путем их загрузки через приложение на портативном устройстве или с помощью телевизора и/или модуля роботизированной кухни. На этапе 1574 пользователь может выполнить поиск по критериям, например, по типу рецепта 1576 (включая рецепты с ручным выполнением операций), или на основании определенных видов кухни или оборудования 1578 (сковорода-вок, пароварка, коптильный аппарат и т.д.). На этапе 1580 пользователь может выбрать или настроить поиск для использования заранее заданных критериев, а затем использовать этап фильтрации 1582 для сужения области поиска и проверки результатов. На этапе 1584 пользователь выбирает рецепт из предлагаемых результатов поиска, информации и рекомендаций. Затем пользователь может поделиться, совместно использовать или обменяться с друзьями или группой в режиме реального времени выбранным рецептом на этапе 1586.

На Фиг. 61В изображено продолжение способа 1590 поиска рецепта, приобретения и/или оплаты подписки на портал услуг с Фиг. 61А. На этапе 1592 пользователю предлагается выбрать определенный рецепт для роботизированного приготовления или рецепт с контролируемыми параметрами. При выборе рецепта с контролируемыми параметрами на этапе 1594 система указывает подробную информацию об оборудовании для таких объектов, как кухонная посуда и приспособления, и требования к роботизированным рукам, а на этапе 1602 выдает информацию об источниках ингредиентов и поставщиков оборудования с подробными инструкциями по заказу. На этапе 1596 портал выполняет проверку типа рецепта, после чего можно будет напрямую загрузить и установить программный файл рецепта на удаленное устройство (этап 1598) или понадобится ввести информацию для оплаты (этап 1600) разовой покупки или подписки, используя один из множества возможных вариантов оплаты (PayPal, BitCoin, кредитная карта и т.д.).

На Фиг. 62 изображен процесс 1610, используемый при создании приложения для работы с рецептами роботизированного приготовления («приложение»). На первом этапе 1612 необходимо создать учетную запись разработчика на Арр Store, Google Play, Windows Mobile или другой аналогичной торговой площадке, указав банковские реквизиты и реквизиты компании. На этапе 1614 пользователю предлагается получить доступ и загрузить последнее обновление документации по интерфейсу прикладных программ (API), специфической для каждого магазина приложений. Затем разработчик должен будет следовать требованиям, прописанным в документации по API и создать программу рецепта на этапе 1618. На этапе 1620 разработчику нужно предоставить название и другие метаданные для рецепта, подходящие и предусмотренные различными площадками (Apple, Google, Samsung и т.д.). На этапе 1622 разработчику требуется загрузить программу рецепта и файлы с метаданными для утверждения. После этого на этапе 1624 соответствующие торговые сайты просмотрят, проверят и одобрят программу рецепта, а затем на этапе 1626 соответствующий сайт (сайты) добавит и сделает программу рецепта доступной для поиска, просмотра и приобретения в режиме реального времени с помощью интерфейса для совершения покупок.

На Фиг. 63 изображен процесс 1628 приобретения определенного рецепта или оформления подписки для получения доступа к рецептам. На первом этапе 1630 пользователь ищет определенный рецепт, который он хочет заказать. Пользователь может использовать просмотр по ключевому слову (этап 1632) и отфильтровать результаты в соответствии с предпочтениями (этап 1634), просмотр с помощью заранее заданных критериев (этап 1636) или просмотр рекламируемых, последних добавленных или заранее заказанных рецептов, а также наблюдать за процессом приготовления шеф-поваром в прямом эфире (этап 1638). На этапе 1640 пользователь сможет просмотреть результаты поиска рецептов. Потом пользователь сможет ознакомиться с указанными рецептами, а также предварительно просмотреть рецепт в виде короткого аудио- или видеоклипа (этап 1642). На этапе 1644 пользователь выбирает устройство и операционную систему и получает ссылку для загрузки с определенной торговой онлайн-площадки (веб-сайта). Если на этапе 1648 пользователь захочет подключиться к площадке нового поставщика, площадка попросит нового пользователя выполнить аутентификацию и принять условия (этап 1650), разрешая площадке загружать и устанавливать специальное интерфейсное программное обеспечение на этапе 1652, чтобы можно было продолжить процесс предоставления рецепта. На этапе 1646 площадка поставщика выдаст пользователю запрос создания списка покупок для роботизированного приготовления, после чего при получении согласия пользователя на этапе 1654 она предложит приобрести определенный рецепт в рамках разовой покупки или подписки, а также указать определенную дату и время подачи блюда. На этапе 1656 будет сформирован и отображен список покупок с необходимыми ингредиентами и оборудованием, включая информацию о самых близких и оперативно работающих поставщиках и их адресах, о наличии ингредиентов и оборудования, а также о соответствующих сроках поставки и ценах. На этапе 1658 пользователю предлагается просмотреть описание каждого продукта и стандартные или рекомендованные источники или марки. После этого на этапе 1660 пользователь сможет просмотреть соответствующую стоимость всех ингредиентов и оборудования из списка, включая все соответствующие цены каждого продукта (доставка, налоги и т.д.). Если на этапе 1662 пользователь или покупатель захочет просмотреть альтернативные варианты для предлагаемого списка покупок, то на этапе 1664 пользователю или покупателю будут предложены ссылки на альтернативные источники, по которым можно будет перейти и просмотреть альтернативные варианты покупки и заказа. Если пользователь или покупатель подтверждает предлагаемый список покупок, система не только сохраняет данные варианты выбора как персональный выбор для будущих покупок (этап 1666) и обновляет текущий список покупок (этап 1668), но и переходит на этап 1670, на котором она выбирает альтернативные варианты из списка покупок на основании дополнительные критериев, таких как местные/ближайшие поставщики, доступность товаров в определенное время года и степень созревания или цен на оборудование у различных поставщиков, которые имеют практически одинаковую производительность, но значительную разницу в стоимости поставки пользователю или покупателю.

На Фиг. 64А-В представлены блок-схемы, иллюстрирующие примеры заранее заданных критериев поиска рецепта 1672. В данном примере заранее заданные критерии поиска рецепта включают в себя такие категории, как основные ингредиенты 1672а, продолжительность приготовления 1672b, кухня по географическим регионам и видам 1672с, имя шеф-повара 1672d, фирменные блюда 1672е и примерная стоимость ингредиентов для приготовления блюда 1672f. Другие возможные поля поиска рецепта включают в себя типы пищи 1672g, специальные диеты 1672h, исключаемые ингредиенты 1672i, типы блюд и способы приготовления 1672j, мероприятия и времена года 1672k, количество просмотров и рекомендации 1672l, а также оценки и рейтинги 672m.

На Фиг. 66 представлено схематическое изображение нескольких заранее заданных контейнеров на роботизированной стандартизованной кухне 50. Каждый контейнер на стандартизованной роботизированной кухне 50 имеет номер или штрих-код контейнера, ссылающийся на специальное содержимое, хранящееся в данном контейнере. Например, в первом контейнере хранятся большие и объемные продукты, такие как белокочанная капуста, краснокочанная капуста, савойская капуста, репа и цветная капуста. В шестом контейнере хранятся большие объемы измельченных твердых продуктов, например, стружка миндаля, семена (подсолнечник, тыква, горчица), курага без косточек, сушеная папайя и урюк. На Фиг. 66 представлена блок-схема, на иллюстрирующая первый вариант роботизированного ресторанного кухонного модуля, имеющего прямоугольную конфигурацию с несколькими парами роботизированных кистей для одновременного приготовления пищи. В соответствии с другим вариантом осуществления настоящего изобретения предлагается многоступенчатая конфигурация из нескольких последовательно или параллельно работающих станций роботизированных рук и кистей в профессиональных условиях или на кухне ресторана, как показано на Фиг. 66. Данный вариант представляет более линейную конфигурацию, хотя может быть использована другая геометрическая форма с несколькими модулями роботизированных рук/кистей, каждый из которых предназначен для создания определенного продукта, блюда или выполнения определенного этапа сценария рецепта (например, шесть пар роботизированных рук/кистей могут выполнять различные роли на коммерческих кухнях, например, помощник шеф-повара, приготовление мяса, жарка/пассирование, контроль запасов, приготовление кондитерских изделий, приготовление супов и соусов и т.д.). Конфигурация роботизированной кухни является таковой, чтобы доступ/взаимодействие с любым человеком или между соседними модулями рук/кистей осуществлялась вдоль одной передней поверхности. Структура может управляться компьютером, позволяя всей роботизированной кухне с несколькими руками/кистями выполнять соответствующие задачи воспроизведения приготовления независимо от того, выполняют ли руки/кисти роботизированного модуля один рецепт последовательно (конечный продукт одной станции поступает на следующую станцию для выполнения следующего этапа в сценарии рецепта) или несколько рецептов/этапов параллельно (например, подготовка полуфабрикатов/ ингредиентов для последующего использования в ходе воспроизведения блюда для работы в жестких временных рамках во время наплыва клиентов).

На Фиг. 67 представлено схематическое изображение второго варианта модуля роботизированной кухни ресторана, имеющего U-образную форму, с несколькими парами роботизированных кистей для одновременного приготовления пищи. В еще одном варианте осуществления настоящего изобретения используется другая многоступенчатая конфигурация для нескольких последовательно или параллельно работающих станций роботизированных рук и кистей для использования в профессиональной среде или на кухне ресторана, как показано на Фиг. 67. В данном варианте кухня имеет прямоугольную конфигурацию, хотя может быть использована и другая геометрическая форма с несколькими модулями роботизированных рук/кистей, каждый из которых предназначен для создания определенного продукта, блюда или выполнения определенного этапа сценария рецепта. Конфигурация роботизированной кухни такова, чтобы доступ/взаимодействие с любым человеком или между соседними модулями рук/кистей осуществлялись вдоль U-образного набора направленных наружу поверхностей и вдоль центральной части U-образной формы, за счет чего модули рук/кистей смогут пройти/достать до противоположных рабочих областей и взаимодействовать с противоположными модулями рук/кистей во время выполнения разных стадий воспроизведения рецепта. Система может иметь компьютерное управление, что позволит всей роботизированной кухне с несколькими руками/кистями выполнять задачи воспроизведения приготовления независимо от того, выполняют ли руки/кисти роботизированного модуля один рецепт последовательно (конечный продукт одной станции поступает на следующую станцию по U-образной траектории для выполнения следующего этапа в сценарии рецепта) или несколько рецептов/этапов параллельно (например, подготовка полуфабрикатов/ ингредиентов для последующего использования в ходе воспроизведения блюда для работы в жестких временных рамках во время наплыва клиентов, с возможным хранением приготовленных ингредиентов в контейнерах или приспособлениях (морозильнике и т.д.), установленных в оснований кухни U-образной формы).

На Фиг. 68 изображен второй вариант роботизированной системы 1680 приготовления пищи. Студия 44 шеф-повара со стандартизованной роботизированной кухонной системой 50 подразумевает участие человека-повара 49, который готовит или выполняет действия по рецепту, при этом датчики на кухонном оборудовании 1682 записывают важные переменные (температуру и т.д.) в течение некоторого периода времени и сохраняют их в компьютерной памяти 1684 в виде кривых данных датчиков и параметров, которые являются частью файла с необработанными данными для сценария рецепта. Эти сохраненные файлы кривых данных датчиков и данных о параметрах из студии 44 шеф-повара передаются на стандартизованную (удаленную) роботизированную кухню при разовой покупке или оформления подписки 1686. Бытовая стандартизованная роботизированная кухня 50 подразумевает участие пользователя 48 и включает в себя управляемую компьютером систему 1688 для обеспечения работы оборудования автоматизированной и/или роботизированной кухни на основании принятых необработанных данных из файлов с кривыми измеренных данных датчиков и с данными о параметрах.

На Фиг. 69 изображен другой вариант стандартизованной роботизированной кухни 50. Компьютер 16, который управляет (программным) роботизированным механизмом 56 приготовления, включающим в себя модуль 1692 управления процессом приготовления, который обрабатывает записанные, проанализированные и абстрагированные данные датчиков из сценария рецепта, а также соответствующий накопитель и память 1684 для хранения программных файлов, которые состоят из кривых данных датчиков и данных о параметрах, взаимодействует с несколькими внешними устройствами. Данные внешние устройства могут представлять собой, не ограничиваясь этим, датчики для ввода необработанных данных 1694, убирающийся защитный экран 68 с компьютерным управлением, отсек хранения 88 с компьютерным контролем и управлением, набор датчиков, передающих информацию о качестве и подаче сырых пищевых продуктовт 198, жестко автоматизированные модули 82 для дозирования ингредиентов, стандартизованные контейнеры 86 с ингредиентами, варочные приспособления с датчиками 1696, а также «умную» кухонную посуду 1700, оснащенную датчиками.

На Фиг. 70 изображена «умная» кухонная посуда 1700 (в данном случае соусник), которая имеет встроенные температурные датчики, работающие в режиме реального времени, которые способны генерировать и передавать по беспроводному каналу связи температурный профиль для нижней поверхности посуды по меньшей мере (но не ограничиваясь этим) для трех плоских зон, например, для зоны 1 1702, зоны 2 1704 и зоны 3 1706, границы которых представляют собой концентрические окружности на всей нижней поверхности кухонной посуды. Каждая из этих трех зон способна передавать по беспроводному каналу связи данные 1 1708, данные 2 1710 и данные 3 1712 соответственно от подключенных датчиков 1716-1, 1716-2, 1716-3, 1716-4 и 1716-5.

На Фиг. 71 изображен стандартный набор кривых 220 показаний датчиков с записанными температурными профилями для данных 1 1708, данных 2 1710 и данных 3 1712, при этом каждый профиль относится к температуре в каждой из трех зон на нижней стороне кухонной посуды. В качестве единиц измерения времени (от начала до конца приготовления) используются минуты (независимая переменная), а температура выражается в градусах Цельсия (зависимая переменная).

На Фиг. 72 изображен множественный набор кривых 1730 показаний датчиков с записанными профилями температур 1732 и влажности 1734, полученными на основании показаний каждого датчика, т.е. данных 1 1708, данных 2 1710 и т.д. до данных N 1712. Массивы необработанных данных направляются на рабочий блок управления 1736 и обрабатываются им. В качестве единиц измерения времени (от начала до конца приготовления) используются минуты (независимая переменная), а температура и влажность выражаются в градусах Цельсия и процентах относительной влажности соответственно (зависимые переменные).

На Фиг. 73 изображена система 1700 контроля температуры в режиме реального времени с помощью «умной» сковороды (для жарки). Источник питания 1750 использует три отдельных блока управления (однако их количество может быть другим), включая блок управления 1 1752, блок управления 2 1754 и блок управления 3 1756, для активного нагрева ряда индукционных катушек. Фактически управление осуществляется на основании температуры для каждой (из трех) зоны 1702 (зона 1), 1704 (зона 2) и 1706 (зона 3) сковороды, при этом датчики температуры 1716-1 (датчик 1), 1716-3 (датчик 2) и 1716-5 (датчик 3) по беспроводному каналу связи передают данные о температуре в виде потока данных 1708 (данные 1), 1710 (данные 2) и 1712 (данные 3) обратно рабочему блоку управления 274, который, в свою очередь, выдает команду источнику питания 1750 для независимого контроля блоков управления 1752, 1754 и 1756 для нагревательных элементов в отдельных зонах. Это необходимо для достижения и воспроизведения желаемых кривых температуры от времени, когда данные кривых датчиков зарегистрированы во время выполнения определенного этапа (жарки) человеком-поваром при приготовлении блюда.

На Фиг. 74 изображена «умная» печь и система компьютерного управления 1790, подключенная к рабочему блоку управления 1792, что позволяет контролировать температурный профиль печи 1790 в режиме реального времени на основании заранее сохраненной кривой показаний датчиков (температуры). Рабочий блок управления 1792 может управлять дверями (открывать/закрывать) печи, повторять температурный профиль с помощью кривой показаний датчиков, а также выполнять соответствующие процедуры после приготовления и самостоятельную чистку. Температура и влажность внутри печи контролируются с помощью встроенных температурных датчиков 1794 в различных местах, генерирующих поток данных 268 (данные 1), в частности, датчиком температуры, который представляет собой зонд, вставляемый в приготавливаемый ингредиент (мясо, дичь и т.д.) для контроля температуры приготовления путем определения степени готовности, и дополнительные датчики влажности 1796 (данные 2), создающие поток данных. Температура 1797 может быть использована для помещения внутрь мяса или блюда для определения температуры умной печи 1790. Рабочий блок управления 1792 принимает все эти показания датчиков и регулирует параметры печи для правильного повторения кривых показаний датчиков, описанных в заранее сохраненном и загруженном наборе кривых для обеих (зависимых) переменных.

На Фиг. 75 изображена управляемая компьютером система 1798 поджига и управления для блока управления 1800, который изменяет электрическую мощность, подаваемую на угольный гриль для правильного повторения сенсорной кривой для одного или нескольких датчиков температуры и влажности, размещенных внутри гриля. Блок 1800 управления мощностью получает данные о температуре 1802, которые включают в себя температурные данные 1 (1802-1), 2 (1802-2), 3 (1802-3), 4 (1802-4) и 5 (1802-5), а также данные о влажности 1804, которые включают в себя данные о влажности 1 (1804-1), 2 (1804-2), 3 (1804-3), 4 (1804-4) и 5 (1804-5). Блок 1800 управления мощностью использует электронные сигналы управления 1806, 1808 для различных управляющих функций, включя включение гриля и электронной системы поджига 1810, для регулировки расстояния между поверхностью гриля и углем и подачи водяного тумана на уголь 1812, распылить воду 1814 на уголь, отрегулировать температуру и влажность подвижной корзины (вверх/вниз) 1816, соответственно. Блок управления 1800 основывает свои выходные сигналы 1806,1808 на наборе потоков данных 1804 (здесь показано пять потоков) для параметров влажности 1804-1, 1804-2, 1804-3, 1804-4, 1804-5 от набора распределенных датчиков влажности (1-5) 1818, 1820, 1822, 1824 и 1826 внутри гриля, а также для потока данных 1802 для измерений температуры 1802-1, 1802-2, 1802-3, 1802-4 и 1802-5 от распределенных температурных датчиков (1-5) 1828, 1830, 1832, 1834 и 1836.

На Фиг. 76 изображен водопроводный кран 1850 с компьютерным управлением, позволяющий компьютеру управлять скоростью потока, температурой и напором воды из водопроводного крана в раковину (или кухонную посуду). Водопроводный кран управляется с помощью блока управления, который принимает отдельные потоки данных 1862 (данные 1), 1864 (данные 2) и 1866 (данные 3), от датчика скорости потока воды 1868, собирающего данные 1, датчика температуры 1870, собирающего данные 2, и датчика напора воды 1872, собирающего данные 3, соответственно. Блок управления контролирует подачу холодной воды 1874 (с соответствующей температурой и напором холодной воды, отображаемыми в виде числовых значений на дисплее 1876) и горячей воды 1878 (с соответствующей температурой и напором горячей воды, отображаемыми в виде числовых значений на дисплее 1880) для достижения желаемого напора, расхода и температуры воды, выходящей из крана.

На Фиг. 77 изображен вид в плане сверху одного варианта роботизированной кухни 50 с полным набором измерительной аппаратуры. Стандартизованная роботизированная кухня разделена на три уровня: верхний уровень 1292-1, уровень столешницы 1292-2 и нижний уровень 1292-3, при этом каждый уровень содержит оборудование и приспособления, которые имеют полностью встроенные датчики 1884а, 1884b, 1884с и блоки 1886а, 1886b, 1886с компьютерного управления.

Верхний уровень 1292-1 содержит несколько ящиков с различными блоками для выполнения определенных кухонных функций с помощью встроенных приспособлений и оборудования. На самом простом уровне имеется полка/ящик 1304 для хранения с жестко автоматизированным источником ингредиентов 1305, ящик 1296, используемый для хранения и доступа к инструментам и утвари для приготовления и другой посуды для приготовления и сервировки (приготовления, выпекания, украшения блюд и т.д.), ящик 1298 для созревания некоторых ингредиентов (например, фруктов, овощей и т.д.), зона 1300 для хранения в охлажденном виде таких продуктов, как салат-латук и лук, ящик 1302 для хранения в замороженном виде продуктов глубокой заморозки и буфет 1304 для хранения других ингредиентов и редко используемых специй и т.д. Каждый модуль на верхнем уровне содержит датчики 1884а, передающие данные для одного или нескольких блоков управления 1886а (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На уровне столешницы 1292-2 имеются не только контролирующие датчики 1884b и блоки управления 1886b, но и поверхность 1306 для сервировки, область столешницы с раковиной 1308, дополнительная область столешницы 1310 со съемными рабочими поверхностями (доски для резки/рубки продуктов и т.д.), решетчатый угольный гриль 1312 и многофункциональная область 1314 для других приспособлений для приготовления, включая плиту, варочный аппарат, пароварку и кастрюлю-пашотницу. Каждый модуль на уровне столешницы содержит датчики 1884b, передающие данные для одного или нескольких блоков управления 1886b (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На нижнем уровне 1292-3 имеется комбинированная конвекционная печь и микроволновая печь, а также пароварка, кастрюля-пашотница и гриль 1316, посудомоечная машина 1318 и большой ящик 1320, в котором находится и хранится дополнительная часто используемая утварь для приготовления и выпекания, а также посуда, упаковочные материалы и столовые приборы. Каждый модуль на нижнем уровне содержит датчики 1884 с, передающие данные для одного или нескольких блоков управления 1886 с (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На Фиг. 78 изображен общий вид одного варианта роботизированной кухни 50 для приготовления с тремя различными уровнями, расположенными друг над другом, при этом каждый из них имеет несколько распределенных сенсорных блоков 1892, которые передают данные либо напрямую на один или несколько блоков управления 1894, либо на один или несколько центральных компьютеров, которые, в свою очередь, используют и обрабатывают данные датчиков для последующей выдачи команд для одного или нескольких блоков управления для выполнения определенных действий.

Верхний уровень 1292-1 содержит несколько ящиков с различными блоками для выполнения определенных кухонных функций с помощью встроенных приспособлений и оборудования. На самом простом уровне имеется полка/ящик 1294 для хранения, ящик 1296, используемый для хранения и доступа к инструментам и утвари для приготовления и другой посуды для приготовления и сервировки (приготовления, выпекания, украшения блюд и т.д.), ящик 1298 для созревания некоторых ингредиентов (например, фруктов, овощей и т.д.), зона 88 для хранения в охлажденном виде таких продуктов, как салат-латук и лук, ящик 1302 для хранения в замороженном виде продуктов глубокой заморозки и буфет 1294 для хранения других ингредиентов и редко используемых специй и т.д. Каждый модуль на верхнем уровне содержит датчики 1892, передающие данные для одного или нескольких блоков управления 1894 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На уровне столешницы 1292-2 имеются не только контролирующие датчики 1892 и блоки управления 1894, но и область столешницы 1308 с раковиной и водопроводным краном с компьютерным управлением, дополнительная область столешницы 1310 со съемными рабочими поверхностями (доски для резки/рубки продуктов и т.д.), решетчатый угольный гриль 1312 и многофункциональная область 1314 для других приспособлений для приготовления, включая плиту, варочный аппарат, пароварку и кастрюлю-пашотницу. Каждый модуль на уровне столешницы содержит датчики 1892, передающие данные для одного или нескольких блоков управления 1894 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На нижнем уровне 1292-3 имеется комбинированная конвекционная печь и микроволновая печь, а также пароварка, кастрюля-пашотница и гриль 1316, посудомоечная машина 1318, жестко автоматизированные дозаторы ингредиентов 1305 и большой ящик 1310, в котором находится и хранится дополнительная часто используемая утварь для приготовления и выпекания, а также посуда, столовые приборы, утварь (взбивалки, ножи и т.д.). Каждый модуль на нижнем уровне содержит датчики 1892, передающие данные для одного или нескольких блоков управления 1894 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На Фиг. 79 представлена блок-схема, иллюстрирующая второй вариант 1900 процесса приготовления блюда на роботизированной кухне на основании одной или нескольких предварительно записанных кривых параметров на стандартизованной роботизированной кухни. На этапе 1902 пользователь выбирает с помощью компьютера определенный рецепт, который должен будет использоваться роботизированным приспособлением при приготовлении. На этапе 1904 роботизированный механизм приготовления пищи считывает абстрагированный рецепт для выбранного рецепта приготовления блюда. На этапе 1906 роботизированный механизм приготовления пищи выгружает выбранный сценарий рецепта в запоминающее устройство компьютера. На этапе 1908 роботизированный механизм приготовления пищи решает, имеет ли место недостаточное количество или отсутствие некоторых ингредиентов для приготовления блюда в соответствии с выбранным рецептом и правилами сервировки. На этапе 1912 роботизированный механизм приготовления пищи отправляет предупреждение для добавления отсутствующих или заканчивающихся ингредиентов в список покупок или выбирает альтернативный рецепт. На этапе 1914 пользователь подтверждает выбор рецепта. На этапе 1916 роботизированный механизм приготовления пищи отправляет роботизированные инструкции пользователю для помещения пищи или ингредиентов в стандартизованные контейнеры и их перемещения в положение для приготовления пищи. На этапе 1918 пользователь может вывести видеопроекцию в режиме реального времени на специальный монитор или голографическую лазерную проекцию для просмотра каждого этапа воспроизведения рецепта на основании всех движений и процессов, выполняемых шеф-поваром во время записи для последующего использования. На этапе 1920 роботизированный механизм приготовления пищи позволяет пользователю запустить процесс приготовления пищи в начальный момент времени «0» после выбора соответствующей опции и включения компьютерной системы управления для стандартизованной роботизированной кухни. На этапе 1922 пользователь выполняет воспроизведение всех действий шеф-повара при отображении всего рецепта создания процесса человеком-поваром на мониторе/проекционном экране, с помощью которого полуфабрикаты перемещаются в специальную кухонную посуду и приспособления или промежуточные контейнеры хранения для последующего использования. На этапе 1924 роботизированное приспособление на стандартизованной кухне выполняет отдельные этапы обработки в соответствии с кривыми данных датчиков или на основании параметров приготовления, записанных во время выполнения шеф-поваром аналогичного этапа в процессе приготовления по рецепту на стандартизованной роботизированной кухне в студии шеф-повара. На этапе 1926 компьютер для роботизированного приготовления пищи управляет всеми настройками кухонной посудой и приспособлений, т.е. температурой, давлением и влажностью, таким образом, чтобы воспроизводить необходимые кривые данных в течение всего времени приготовления на основании данных, зарегистрированных и сохраненных во время приготовления блюда шеф-поваром по рецепту на стандартизованной роботизированной кухни в студии шеф-повара. На этапе 1928 пользователь выполняет все простые движения таким образом, чтобы воспроизвести этапы и движения шеф-повара в соответствии с аудио- и видеоинструкциями, передаваемыми пользователю с помощью монитора или проекционного экрана. На этапе 1930 механизм приготовления роботизированной кухни предупреждает пользователя, когда будет завершен определенный этап приготовления на основании кривой данных датчиков или набора параметров. Когда взаимодействие пользователя и компьютерного органа управления приведет к завершению всех этапов приготовления в рецепте, на этапе 1932 роботизированный механизм приготовления отправит запрос завершения части процесса воспроизведения, управляемого компьютером. На этапе 1934 пользователь либо убирает готовое блюдо и тарелки для сервировки, либо продолжает выполнять оставшиеся этапы приготовления или процессы вручную.

На Фиг. 80 изображен процесс 1936 регистрации сенсорных данных в студии шеф-повара. На первом этапе 1938 шеф-повар создает или разрабатывает рецепт. На следующем этапе 1940 шеф-повар должен ввести в роботизированный механизм приготовления название, ингредиенты, значения измеряемых параметров и описания процесса для рецепта. На этапе 1942 шеф-повар сначала загружает все необходимые ингредиенты в специальные стандартизованные контейнеры для хранения и приспособления, а затем выбирает соответствующую кухонную посуду. На следующем этапе 1944 шеф-повар настраивает начальный момент времени и включает системы датчиков и системы обработки для записи всех полученных необработанных данных и их обработки. После того как шеф-повар начнет приготовление на этапе 1946, все встроенные управляющие датчики и приспособления будут собирать и отправлять необработанные данные в центральную компьютерную систему для обеспечения записи всех соответствующих данных в режиме реального времени в рамках всего процесса приготовления (этап 1948). На этапе 1950 дополнительные параметры приготовления и голосовые комментарии шеф-повара также записываются и сохраняются в виде необработанных данных. (Программный) механизм абстрагирования роботизированного приготовления обрабатывает все необработанные данные, включая двух- и трехмерные данные о движении геометрических объектов и данные о распознавании объекта, для создания машиночитаемого и исполняемого сценария рецепта в рамках этапа 1952. После завершения создания рецепта в студии шеф-повара и процесса приготовления шеф-поваром роботизированный механизм приготовления генерирует программу моделирования и визуализации 1954 для воспроизведения движений и медиаданных при последующем воспроизведении рецепта с помощью удаленной стандартизованной роботизированной кухонной системе. На основании необработанных и обработанных данных, а также подтверждения результатов моделирования и визуализации рецепта шеф-поваром выполняется разработка и интегрирование приложений для аппаратных средств в различные (мобильные) операционные системы, а также их отправка в магазины приложений и/или торговые площадки (этап 1956), после чего пользователи смогут напрямую приобрести один рецепт или несколько рецептов по подписке.

На Фиг. 81 изображен процесс и блок-схема процесса 1960 роботизированного приготовления в домашних условиях. На первом этапе 1962 пользователь выбирает рецепт и запрашивает рецепт в цифровом формате рецепта. На этапе 1964 роботизированный механизм приготовления принимает сценарий рецепта, содержащий машиночитаемые команды для приготовления по выбранному рецепту. На этапе 1966 рецепт выгружается в роботизированный механизм приготовления со сценарием, хранящемся на запоминающем устройстве. После сохранения на этапе 1968 выполняется расчет необходимого количества ингредиентов и определение их доступности. На этапе принятия решения 1970 система определяет, нужно ли на этапе 1972 предупредить пользователя, отправить ему предложение добавления недостающих ингредиентов в список покупок или предложить ему альтернативный рецепт, в котором используются имеющиеся ингредиенты, или имеется же имеющееся количество ингредиентов достаточно. После того, как на этапе 1974 будет подтверждена доступность необходимых ингредиентов, на этапе 1976 система подтвердит выбор рецепта и выдаст запрос пользователю для размещения необходимых ингредиентов в специальных стандартизованных контейнерах в положения, в которых они находились в начале процесса создания рецепта шеф-поваром (в студии шеф-повара). Пользователю предлагается указать время начала процесса приготовления и настроить систему приготовления для перехода на этап 1978. После запуска роботизированная система приготовления начинает выполнение процесса приготовления 1980 в режиме реального времени в соответствии с кривыми данных датчиков и данных о параметрах приготовления, указанных в файлах данных о сценарии рецепта. Во время приготовления на этапе 1982 компьютер управляет всеми приспособлениями и оборудованием на основании файлов кривых данных датчиков и данных о параметрах, изначально зарегистрированных и сохраненных во время создания рецепта в студии шеф-повара. После завершения процесса приготовления на этапе 1984 роботизированный механизм приготовления отправляет напоминание об обнаружении завершения процесса приготовления. После этого роботизированный механизм приготовления отправляет запрос завершения 1986 в компьютерную систему управления для завершения всего процесса приготовления, затем на этапе 1988 пользователь убирает блюдо с поверхности для сервировки или выполняется оставшиеся этапы приготовления вручную.

На Фиг. 82 изображен другой вариант стандартизованной роботизированной кухни 50 для приготовления пищи, с модулем 190 визуального наблюдения. Компьютер 16, который управляет (программным) роботизированным механизмом приготовления 56, включающим в себя модуль 1692 управления процессом приготовления, который обрабатывает записанные, проанализированные и абстрагированные данные датчиков из сценария рецепта, а также модуль 190 визуального контроля, соответствующий накопитель и память 1684 для хранения программных файлов, состоящих из кривых показаний датчиков и данных о параметрах, взаимодействует с несколькими внешними устройствами. Данные внешние устройства могут представлять собой, не ограничиваясь этим, кухонную столешницу 90 с измерительной аппаратурой, убирающийся защитный экран 68, водопроводный кран 92 с измерительной аппаратурой, приспособления для приготовления с встроенными датчиками 74, кухонную посуду 1700 с встроенными датчиками (хранящуюся на полке или в ящике), стандартизованные контейнеры и блоки хранения ингредиентов 78, отсек хранения 88 с компьютерным контролем и управлением, несколько датчиков 1694, передающих информацию о качестве и подаче сырых пищевых продуктов, жестко автоматизированные модули 82 для дозирования ингредиентов, а также рабочий блок управления 1692.

На Фиг. 83 изображен вид в плане сверху варианта полностью оборудованной роботизированной кухни 2000 с одной или несколькими роботизированными руками 70. Стандартизованная роботизированная кухня разделена на три уровня: верхний уровень 1292-1, уровень столешницы 1292-2 и нижний уровень 1292-3, при этом каждый уровень содержит оборудование и приспособления, которые имеют полностью встроенные датчики 1884а, 1884b, 1884с и блоки 1886а, 1886b, 1886с компьютерного управления.

Верхний уровень 1292-1 содержит несколько ящиков с различными блоками для выполнения определенных кухонных функций с помощью встроенных приспособлений и оборудования. На самом простом уровне имеется ящик 1296, используемый для хранения и доступа к инструментам и утвари для приготовления и другой посуды для приготовления и сервировки (приготовления, выпекания, украшения блюд и т.д.), ящик 1298 для созревания некоторых ингредиентов (например, фруктов, овощей и т.д.), жестко автоматизированные управляемые дозаторы 1305 ингредиентов, зона 1300 для хранения в охлажденном виде таких продуктов, как салат-латук и лук, ящик 1302 для хранения в замороженном виде продуктов глубокой заморозки и буфетную зону 1304 для хранения других ингредиентов и редко используемых специй и т.д. Каждый модуль на верхнем уровне содержит датчики 1884а, передающие данные для одного или нескольких блоков управления 1886а (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На уровне столешницы 1292-2 имеются не только датчики контроля 1884 и блоки управления 1886, но и одна или несколько роботизированных рук, запястий и кистей 72 с несколькими пальцами, поверхность 1306 для сервировки, область столешницы 1308 с раковиной, дополнительная область столешницы 1310 со съемными рабочими поверхностями для резки/рубки продуктов на доске и т.д., решетчатый угольный гриль 1312 и многофункциональная область 1314 для других приспособлений для приготовления, включая плиту, варочный аппарат, пароварку и кастрюлю-пашотницу.

В данном варианте пара роботизированных рук 70 и кистей 72 выполняет специальные задачи под контролем одного или более центральных или распределенных управляющих компьютеров, чтобы обеспечить выполнение операций под компьютерным контролем.

На нижнем уровне 1292-3 имеется комбинированная конвекционная печь и микроволновая печь, а также пароварка, кастрюля-пашотница и гриль 1316, посудомоечная машина 1318, и большой ящик 1320, в котором находится и хранится дополнительная часто используемая утварь для приготовления и выпекания, а также посуда, столовые приборы, утварь (взбивалки, ножи и т.д.). Каждый модуль на нижнем уровне содержит датчики 1884 с, передающие данные для одного или нескольких блоков управления 1886 с (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На Фиг. 84 изображен перспективный вид варианта полностью оборудованной роботизированной кухни 2000 с наложенной системой координат, имеющей ось X 1322, ось Y 1324 и ось Z 1326, в которой все движения и положения будут определяться относительно начала отсчета (0,0,0). Стандартизованная роботизированная кухня разделена на три уровня: верхний уровень, уровень столешницы и нижний уровень, при этом каждый уровень содержит оборудование и приспособления, которые имеют полностью встроенные датчики 1884 и блоки 1886 компьютерного управления.

Верхний уровень содержит несколько ящиков с различными блоками для выполнения определенных кухонных функций с помощью встроенных приспособлений и оборудования.

На самом простом уровне имеется ящик 1294, используемый для хранения и доступа к стандартизованным инструментам и утвари для приготовления и другой посуды для приготовления и сервировки (приготовления, выпекания, украшения блюд и т.д.), ящик 1298 для созревания некоторых ингредиентов (например, фруктов, овощей и т.д.), зона 1300 для хранения в охлажденном виде таких продуктов, как салат-латук и лук, ящик 1302 для хранения в замороженном виде продуктов глубокой заморозки и буфет 1304 для хранения других ингредиентов и редко используемых специй и т.д. Каждый модуль на верхнем уровне содержит датчики 1884а, передающие данные для одного или нескольких блоков управления 1886а (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На уровне столешницы имеются не только датчики контроля 1884 и блоки управления 1886, но и одна или несколько роботизированных рук, запястий и кистей 72 с несколькими пальцами, область столешницы 1308 с раковиной и водопроводным краном с компьютерным управлением, дополнительная область столешницы 1310 со съемными рабочими поверхностями (доски для резки/рубки продуктов и т.д.), решетчатый угольный гриль 1312 и многофункциональная область 1314 для других приспособлений для приготовления, включая плиту, варочный аппарат, пароварку и кастрюлю-пашотницу. Пара роботизированных рук 70 и соответствующих ассоциированных роботизированных кистей выполняет специальную задачу как указано одним или несколькими центральными или распределенными компьютерными системами управления для выполнения операций под управлением компьютера.

На нижнем уровне имеется комбинированная конвекционная печь и микроволновая печь, а также пароварка, кастрюля-пашотница и гриль 1315, посудомоечная машина 1318, жестко автоматизированные дозаторы ингредиентов 82 (не показаны) и большой ящик 1310, в котором находится и хранится дополнительная часто используемая утварь для приготовления и выпекания, а также посуда, столовые приборы, утварь (взбивалки, ножи и т.д.) и сервизы. Каждый модуль на нижнем уровне содержит датчики 1884 с, передающие данные для одного или нескольких блоков управления 1886 с (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На Фиг. 85 изображен вид сверху варианта полностью оборудованной роботизированной кухни 50 с управляющим модулем или устройством 1990 визуального контроля. Стандартизованная роботизированная кухня разделена на три уровня: верхний уровень, уровень столешницы и нижний уровень, при этом верхний и нижний уровни содержат оборудование и приспособления, которые имеют полностью встроенные датчики 1884 и блоки 1886 компьютерного управления, а уровень столешницы оборудован одним или несколькими устройствами 2022обработки команд и визуального контроля.

Верхний уровень 1292-1 содержит несколько ящиков с различными блоками для выполнения определенных кухонных функций с помощью встроенных приспособлений и оборудования. На самом простом уровне имеется ящик 1296, используемый для хранения и доступа к стандартизованным инструментам и утвари для приготовления и другой посуды для приготовления и сервировки (приготовления, выпекания, украшения блюд и т.д.), ящик 1298 для созревания некоторых ингредиентов (например, фруктов, овощей и т.д.), зона 1300 для хранения в охлажденном виде таких продуктов, как салат-латук и лук, ящик 1302 для хранения в замороженном виде продуктов глубокой заморозки и буфетная зона 1304 для хранения других ингредиентов и редко используемых специй и т.д. Каждый модуль на верхнем уровне содержит датчики 1884, передающие данные для одного или нескольких блоков управления 1886 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На уровне столешницы 1292-2 имеются не только датчики контроля 1884 и блоки управления 1886, но и устройства визуального контроля 1316, поверхность 100 для сервировки, а также область столешницы 1308 с раковиной, дополнительная область столешницы 1310 со съемными рабочими поверхностями (доски для резки/рубки продуктов и т.д.), решетчатый угольный гриль 1312 и многофункциональная область 1314 для других приспособлений для приготовления, включая плиту, варочный аппарат, пароварку и кастрюлю-пашотницу. Каждый модуль на уровне столешницы содержит датчики 1884, передающие данные для одного или нескольких блоков управления 1886 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера. Дополнительно на уровне столешницы установлено одно или несколько устройств визуального контроля 1990 для контроля визуальных операций человека-повара в кухонной студии и роботизированных рук или рук человека на стандартизованной роботизированной кухне, где данные подаются на одну или несколько центральных или распределенных компьютерных систем управления для обработки и последующей корректирующей или подкрепляющей обратной связи и команд, отправляемых обратно на роботизированную кухню для отображения и выполнения сценария.

На нижнем уровне 1292-3 имеется комбинированная конвекционная печь и микроволновая печь, а также пароварка, кастрюля-пашотница и гриль 1316, посудомоечная машина 1318, жестко автоматизированные дозаторы ингредиентов 86 (не показаны) и большой ящик 378, в котором находится и хранится дополнительная часто используемая утварь для приготовления и выпекания, а также посуда, столовые приборы, утварь (взбивалки, ножи и т.д.) и сервизы. Каждый модуль на нижнем уровне содержит датчики 374, передающие данные для одного или нескольких блоков управления 378 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера. В данном варианте жестко автоматизированный дозатор ингредиентов 1305 расположен на нижнем уровне 1292-3.

На Фиг. 86 изображен перспективный вид варианта полностью оборудованной роботизированной кухни 2020. Стандартизованная роботизированная кухня разделена на три уровня: верхний уровень, уровень столешницы и нижний уровень, при этом верхний и нижний уровни содержат оборудование и приспособления, которые имеют полностью встроенные датчики 1884 и блоки 1886 компьютерного управления, а уровень столешницы оборудован одним или несколькими устройствами 2022 обработки команд и визуального контроля.

Верхний уровень содержит несколько ящиков с различными блоками для выполнения определенных кухонных функций с помощью встроенных приспособлений и оборудования. На самом простом уровне имеется ящик 1296, используемый для хранения и доступа к стандартизованным инструментам и утвари для приготовления и другой посуды для приготовления и сервировки (приготовления, выпекания, украшения блюд и т.д.), ящик 1298 для созревания некоторых ингредиентов (например, фруктов, овощей и т.д.), зона 1300 для хранения в охлажденном виде таких продуктов, как салат-латук и лук, ящик 1302 для хранения в замороженном виде продуктов глубокой заморозки и буфетная зона 1304 для хранения других ингредиентов и редко используемых специй и т.д. Каждый модуль на верхнем уровне содержит датчики 1884, передающие данные для одного или нескольких блоков управления 1886 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На уровне столешницы 1292-2 имеются не только датчики контроля 1884 и блоки управления 1886, но и устройства визуального контроля 1990, а также область столешницы 1308 с раковиной и водопроводным краном с компьютерным управлением, дополнительная область столешницы 1310 со съемными рабочими поверхностями (доски для резки/рубки продуктов и т.д.), («умный») решетчатый угольный гриль 1312 и многофункциональная область 1314 для других приспособлений для приготовления, включая плиту, варочный аппарат, пароварку и кастрюлю-пашотницу. Каждый модуль на уровне столешницы содержит датчики 1884, передающие данные для одного или нескольких блоков управления 1886 (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера. Дополнительно на уровне столешницы установлено одно или несколько устройств визуального контроля (не показаны) для контроля визуальных операций человека-повара в кухонной студии и роботизированных рук или рук человека на стандартизованной роботизированной кухне, где данные подаются на одну или несколько центральных или распределенных компьютерных систем управления для обработки и последующей корректирующей или подкрепляющей обратной связи и команд, отправляемых обратно на роботизированную кухню для отображения и выполнения сценария.

На нижнем уровне 1292-3 имеется комбинированная конвекционная печь и микроволновая печь, а также пароварка, кастрюля-пашотница и гриль 1316, посудомоечная машина 1318, жестко автоматизированные дозаторы ингредиентов 86 (не показаны) и большой ящик 1309, в котором находится и хранится дополнительная часто используемая утварь для приготовления и выпекания, а также посуда, столовые приборы, утварь (взбивалки, ножи и т.д.) и сервизы. Каждый модуль на нижнем уровне содержит датчики 1307, передающие данные для одного или нескольких блоков управления (напрямую или с помощью одной или нескольких центральных или распределенных компьютерных систем управления) для выполнения операций под управлением компьютера.

На Фиг. 87А изображен другой вариант стандартизованной роботизированной кухни 48. Компьютер 16, который управляет (программным) роботизированным механизмом 56 и запоминающим устройством 52 для хранения программных файлов, которые состоят из данных сценария рецепта, кривых данных датчиков и данных о параметрах, взаимодействует с несколькими внешними устройствами. Данные внешние устройства могут представлять собой, не ограничиваясь этим, станции роботизированной кухни 2030 с измерительной аппаратурой, станции сервировки 2032 с измерительной аппаратурой, станцию мойки и чистки 2034 с измерительной аппаратурой, кухонную посуду 2036 с измерительной аппаратурой, устройства для приготовления 2038 с компьютерным управлением и контролем, специальные инструменты и утварь 2040, станцию автоматического стеллажа 2042, станцию хранения 2044 с измерительной аппаратурой, станцию извлечения ингредиентов 2046, интерфейс пользовательского пульта 2048, две роботизированные руки 70 и роботизированные кисти 72, жестко автоматизированные модули 1305 для дозирования ингредиентов, а также устройства записи действий шеф-повара 2050.

На Фиг. 87В представлен вид в плане одного варианта стандартизованной роботизированной кухни 2060, на которой человекоподобный робот 2056 (или шеф-повар 49, персональный или коммерческий пользователь 60) может получить доступ к различным станциям приготовления с нескольких (в данном примере показано четыре) сторон, причем человекоподобный робот ходит вокруг кухонной системы 2060 приготовления пищи, как показано на Фиг. 87В, и получает доступ к полкам вокруг роботизированного кухонного модуля 2058. Центральная станция хранения 2062 создает различные области хранения для разных пищевых продуктов, хранящихся при различных температурах ((например, глубокая заморозка, заморозка, охлаждение и другие настройки влажности, давления, освещенности, кислорода, контроля стерилизации и наилучшей стабильности продуктов/ингредиентов) для обеспечения свежести и предоставления доступа со всех сторон. В данных областях хранения имеются различные температурные датчики и контролирующее оборудование. Перемещаясь вдоль периметра квадратной системы, соответствующей данному варианту осуществления, человекоподобный робот 2052, шеф-повар 49 или пользователь 60 может получить доступ к различным областям приготовления с модулями, которые могут представлять собой, не ограничиваясь этим, пульт пользователя/шеф-повара 2064, представляющий собой интерфейс ля планирования блюд, персональных настроек, обзора и управления рецептами; станцию доступа 2066 к ингредиентам, включая сканер, камеру, датчик, упаковочную линию, утилизацию для инспектирования, идентификации, упаковки и уничтожения продуктов/ингредиентов, а также перемещения объектов в назначенные им зоны хранения; а также другие системы идентификации ингредиентов, систему автоматического стеллажа 2068 для кухонной посуды/посуды для выпекания/столовых приборов, сервировочной утвари, обеденной утвари, которые можно автоматически перемещать для легкого доступа; станцию мойки и чистки 2070, включающую в себя, по меньшей мере, раковину, и посудомоечную машину и устройства для самоочистки; станцию для специализированных инструментов и утвари 2072 для использования определенных методик приготовления пищи или ингредиентов (использование блендера, ножа, лопаток, взбивалок, соковыжималок, открывалок); станцию подогрева 2074 для нагрева или охлаждения подаваемых блюд и станцию 2076 для приспособлений для приготовления, состоящую из нескольких устройств, включая, но не ограничиваясь этим, печь, плиту, гриль, пароварку, фритюр, микроволновую печь, блендер, сушилку и т.д.

На Фиг. 87С изображен общий вид такого же варианта осуществления роботизированной кухни 2058, на которой человекоподобный робот 2056 (или шеф-повар 49 или пользователь 60) может получить доступ к нескольким станциям и оборудованию для приготовления по меньшей мере с четырех различных сторон. Центральная станция хранения 2062 создает различные области хранения для разных пищевых продуктов, хранящихся при различных температурах (в охлажденном/замороженном виде) для обеспечения свежести и предоставления доступа со всех сторон, при этом она расположена на верхнем уровне. Система автоматического стеллажа 2068 для кухонной посуды/утвари для выпекания/столовых приборов расположена на среднем уровне под центральной станцией хранения 2062. На нижнем уровне расположены станции и оборудование для приготовления, которые включают в себя, не ограничиваясь этим, пульт пользователя/шеф-повара 2064 для просмотра рецепта и контроля процессов, станцию доступа 2060 к ингредиентам, включая сканер, камеру и другие системы идентификации ингредиентов, систему автоматического стеллажа 2068 для кухонной посуды/посуды для выпекания/столовых приборов, станцию мойки и чистки 2070, включающую в себя, по меньшей мере, раковину и посудомоечную машину, станцию для специализированных инструментов и утвари 2072 для использования определенных техник для приготовления пищи или ингредиентов, станцию нагрева 2074 для нагрева или охлаждения подаваемых блюд и станцию 2076 для приспособлений для приготовления, состоящую из нескольких устройств, включая, но не ограничиваясь этим, печь, плиту, гриль, пароварку, фритюр, микроволновую печь, блендер, сушилку и т.д.

На Фиг. 88 представлена блок-схема, иллюстрирующая библиотеку 2100 электронной интеллектуальной собственности (IP) для робота, имитирующего человека. Библиотека 2100 электронной IP использует различные концепции, в которых роботизированное приспособление 75 используется для воспроизведения определенного набора навыков человека. В частности, роботизированное приспособление 75, которое включает в себя пару роботизированных кистей 72 и роботизированных рук 70, может быть предназначено для воспроизведения набора навыков человека. В некоторых случаях переход от навыков человека к роботизированному исполнению может быть осуществлен за счет использования человеческих кистей; после этого роботизированное приспособление 75 воспроизводит точные записанные движения для достижения идентичного результата. Библиотека 2100 IP включает в себя роботизированный механизм 56, воспроизводящий навыки человека в кулинарии, роботизированный механизм 2102 воспроизведения навыков человека в живописи, роботизированный механизм 2104 воспроизведения навыков человека в музыке, роботизированный механизм 2106 воспроизведения навыков человека для медицинского ухода, роботизированный механизм 2108 распознавания эмоций человека, роботизированный механизм 2110 воспроизведения действий человека, модуль ввода / вывода 2112 и модуль связи 2114. Роботизированный механизм распознавания эмоций человека 2106 подробно описан со ссылкой на Фиг. 89, 90, 91, 92 и 93.

На Фиг. 89 представлен роботизированный механизм распознавания (или реакции) эмоций человека 2108, который включает в себя блок обучения, подключенный к функциональному блоку с помощью шины 2120. Блок обучения содержит модуль входного сигнала 2122 от человека, модуль датчиков 2124, модуль реакции на эмоции человека (на входной сигнал) 2126, модуль записи реакции на эмоции 2128, модуль проверки качества 2130, а также модуль машинного обучения 2132. Функциональный блок содержит модуль анализа входного сигнала 2134, модуль датчиков 2136, модуль генерирования реакции 2138, а также модуль регулировки обратной связи 2140.

На Фиг. 90 представлена блок-схема, на которой показан процесс и логика работы роботизированной системы 2150 для работы с эмоциями человека. На первом этапе 2151 (программный) механизм принимает входной сигнал датчика из нескольких источников, аналогично органам чувств человека, включая визуальные данные, звуковые данные, тактильные данные и данные о запахе от датчиков из внешних условий. На этапе 2152 принимается решение относительно того, нужно ли генерировать реакцию на движение, инициируя ответное движение 2153, или перейти на этап 2154 (при отсутствии необходимости выполнения ответного движения), на котором специфическая входная информация и/или шаблоны распознаются на основании информации или шаблонов, сохраненных на запоминающем устройстве, а потом преобразуются в абстрагированное или символическое представление. Абстрагированная и/или символическая информация обрабатывается с помощью интеллектуальной системы, например, на основании опытных данных. На другом этапе 2156 принимается решение о том, нужно ли генерировать реакцию 2157 на движение на основании известной и заранее заданной модели поведения; при получении отрицательного ответа выполняется этап 2158. На этапе 2158 абстрагированная и/или символическая информация обрабатывается с помощью систем поведения для реагирования на эмоции и настроение с входными данными из внутренней среды, которая может быть сформирована в ходе обучения. Эмоция преобразуется в математическую формулу и программируется внутри робота с помощью механизмов, которые могут быть описаны, с величинами, которые могут быть измерены и проанализированы (например, путем захвата выражений лица, скорости появления улыбки и ее продолжительности для различения искренней и вежливой улыбки или путем обнаружения эмоции на основании особенностей голоса говорящего, когда компьютер измеряет тон, силу и громкость голоса, а также колебания громкости и тона в течение некоторого времени). Это позволит задать определенные обнаруживаемые и измеряемые характеристики для эмоционального выражения, при этом данные характеристики поведения животного или голоса говорящего или поющего человека будут иметь идентифицируемые и измеряемые атрибуты эмоций. На основании данных идентифицируемых и измеряемых характеристик эмоциональный механизм может принимать решение (этап 2159), касающееся необходимой модели поведения (запомненной ранее или сохраняемой как новая). Используемое или исполняемое поведение и его эффективный результат обновляются на запоминающем устройстве и добавляются в базу данных о выражаемых эмоциях человека и естественном поведении 2160. На следующем этапе 2161 данные о выражаемых эмоциях человека преобразуются в более понятную для человека информацию, которая впоследствии позволит выполнить ожидаемое или конечное движение на этапе 2162.

На Фиг. 91А-С представлены блок-схемы, иллюстрирующие процедуру 2180 сравнения профиля эмоций человека с совокупностью профилей эмоций на основании набора гормонов, набора феромонов и т.д. На Фиг. 91А показан процесс использования профиля эмоций, в котором на этапе 2182 параметры эмоций человека контролируются и считываются из общего профиля пользователя 2184, после чего на основании входного сигнала значение параметра меняется с базисного значения, выведенного из отдельного временного графика, взятого и сравненного со значениями для больших групп при аналогичных условиях. Роботизированный механизм 2108 распознавания эмоций выполнен с возможностью извлекать параметры из общего профиля эмоций среди существующих групп в центральной базе денных. Путем отслеживания параметров эмоций человека при определенных условиях: при подаче стимулирующего воздействия, значения каждого параметра изменяются от базового до текущего основного значения, происходящего из сегмента временной шкалы. Данные пользователя сравнивают с существующим профилем, полученны на основании большой группы, находящейся под действием того же самого профиля эмоций или услоий, что в ходе процесса разгруппировки позволяет определить эмоцию и уровень ее интенсивности. Некоторые потенциальные применения включают в себя робота-компаньона, службу свиданий, выявление оскорблений, признание рынка продуктов, дети, переносящие боль, электронное обучение и дети с аутизмом. На этапе 2186 выполняется разгруппировка первого уровня на основании параметров одного или нескольких критериев (например, разгруппировка на основании скорости изменения состояния для людей с похожими параметрами эмоций). Затем процесс продолжается выполнением разгруппировки и разделения параметров эмоций на дополнительных этапах сравнения параметров эмоций, как показано на Фиг. 92А, которые могут включать в себя дополнительные уровни, основанные на наборе феромонов, наборе микровыражений лица 2223, частоте сердечных сокращений и потоотделении человека 2225, расширении зрачка 2226, наблюдаемых рефлективных движений 2229, повышении температуры тела 2224, а также субъективном восприятии нагрузки или рефлективных движений 2229. Затем разгруппированные параметры эмоций используются для сравнения при определении аналогичных параметров 1815. В альтернативном варианте, процесс разгруппировки может быть еще уточнен как показано на втором уровне разгруппировки 2187, основанном на втором одном или нескольких параметрах критериев, и третьем уровне разгруппировки 2188, основанном на третьем одном или нескольких параметрах критериев.

На Фиг. 91В изображены все отдельные группы эмоций, включая немедленные эмоции 2190, такие как гнев, вторичные эмоции 2191, такие как страх, всего до N существующих эмоций 2192. На следующем этапе 2193 в каждой группе анализируется реальная эмоция (эмоции) в соответствии с соответствующими данными профиля эмоций, после чего выполняется оценка уровня интенсивности эмоционального состояния (этап 2194), на основании которой механизм может выбрать соответствующее действие 2195.

На Фиг. 91С изображен автоматизированный процесс 2200 разработки и запоминания крупной группы профилей эмоций. Процесс включает в себя получение нового профиля эмоций из разных источников 2202 и входных состояний из разных источников и соответствующую проверку качества профиля/изменение данных о параметрах (этап 2208). На этапе 2204 происходит сохранение множества данных для профилей эмоций, используя различные техники 2206 машинного обучения 2210, и выполняется итерационный цикл (этап 2210) анализа и классификации каждого профиля и набора данных в различных группах с совпадающими (под-) наборами в центральной базе данных.

На Фиг. 92А представлено схематическое изображение, на котором показано обнаружение эмоций и анализ эмоционального состояния человека 2220 на основании контроля набора гормонов, набора феромонов и других ключевых параметров. Эмоциональное состояние человека может быть определено путем контроля и анализа физиологических показателей человека по определенному состоянию с внутренними и/или внешними входными сигналами, а также оценки того, как данные физиологические показатели меняются в течение определенного временного периода. Один вариант процесса разгруппировки основан на одном или нескольких параметров критериев (например, разгруппировка может выполняться на основании скорости изменения состояния для людей с похожими параметрами эмоций).

В одном вариантепрофиль эмоций может быть обнаружен с помощью способов машинного обучения на основании статистических классификаторов, где в качестве входов используются измеренные уровни феромонов, гормонов или других показателей, в т.ч. визуальные или звуковые признаки. Если набор особенностей: {х₁, х₂, х₃, … x_n} представляют собой вектор, а у представляют собой эмоциональное состояние, то общую форму статистического классификатора обнаружения эмоций можно описать следующим образом:

где функция f - дерево решений, нейросеть, логистический регрессор или другой статистический классификатор, описанный в литературе по машинному обучению. Первый член минимизирует эмпирическую ошибку (погрешность, обнаруженную при обучении классификатора), а второй член минимизирует сложность - например, бритва Оккама, поиск простейшей функции и набор параметров p для такой функции, который позволяет получить желаемый результат.

Кроме того, для того чтобы определить, какие феромоны или другие особенности дают наибольшую разницу (являются наиболее ценными) для определения эмоционального состояния, может быть добавлен критерий активного обучения, который в общем виде можно описать следующим образом:

где L - «функция потерь», f - аналогичный статистический классификатор, как и в предыдущем уравнении, а у с крышкой - известный результат. Это позволяет определить, работает ли статистический классификатор лучше (функция меньших потерь) при добавлении новых признаков: если да, то его нужно оставить, в противном случае - убрать.

Параметры, значения и величины которых возникают с течением времени, могут быть оценены для создания профиля эмоций человека путем обнаружения изменений или преобразования для разных моментом времени. Для эмоционального выражения имеются идентифицируемые качества. Робот с эмоциями в ответ на внешние условия может принять более быстрые и более эффективные решения, например, когда робот мотивирован страхом, весельем или желанием, он может принять лучшие решения и достичь поставленных целей более эффективным и эффектным способом.

Механизм роботизированных эмоций воспроизводит эмоции, на которые влияют гормоны, и/или эмоции, на которые влияют феромоны человека. Эмоции, на которые влияют гормоны, определяют, как изменяется уровень гормонов внутри человеческого тела и как это влияет на эмоции человека. Эмоции, на которые влияют феромоны, определяют, как изменяется уровень феромонов снаружи человеческого тела, такие как запах, и как это влияет на эмоции человека. Профиль эмоций человека может быть построен путем определения и анализа эмоций, на которые влияют гормоны и феромоны. Механизм роботизированных эмоций пытается понять эмоции человека, такие как гнев и страх, за счет использования датчиков для определения профиля гормонов и феромонов человека.

Существует девять ключевых параметров физиологических показателей, измеряемых для того, чтобы составить профиль эмоций человека: (1) наборы гормонов 2221, которые выделяются внутри и используют различные биохимические пути, которые оказывают определенное влияние, например, адреналин и инсулин являются гормонами, (2) наборы феромонов 2222, которые выделяются снаружи и оказывают влияние на другого человека аналогичным способом, например, андростенол, андростенон и андростадиенон, (3) микровыражение лица 2223, которое представляет собой непродолжительное непроизвольное выражение лица, появляющееся у людей в соответствии с испытываемыми эмоциями, (4) частота сердечных сокращений 2224 или биения сердца, например, при увеличении частоты сердечных сокращений человека, (5) потоотделение 2225 (например, гусиная кожа), например, румянец на лице и потливость ладоней в состоянии возбуждения или нервозности, (6) расширение зрачка 2226 (а также мышца радужной оболочки, ресничная мышца), например, расширение зрачка на короткий период времени в ответ на страх, (7) рефлекторное движение 2227, т.е. движение/действие, контролируемое спинальной дугой, в ответ на внешние входные сигналы, например, челюстной рефлекс, (8) температура тела 2228, (9) давление 2229. Анализ 2230 того, как данные параметры изменяются в течение определенного времени 2231 может помочь определить эмоциональное состояние и профиль человека.

На Фиг. 92В представлена блок-схема, иллюстрирующая процедуру 2240 оценки и запоминания роботом эмоционального поведения человека. Значения параметров анализируются и делятся на эмоциональные и/или неэмоциональные реакции, с внутренними входными сигналами (2242) и/или внешними входными сигналами (2244), например, зрачковый световой рефлекс только на уровне спинного мозга, размер зрачка может меняться, когда человек зол, испытывает боль или влюблен, при этом непроизвольные реакции в целом задействуют также головной мозг. К расширению зрачков может привести использование средств, стимулирующих центральную нервную систему, и некоторых галлюциногенных наркотиков.

На Фиг. 93 представлено схематическое изображение соединительного устройства 2230, имплантируемое в организм человека для обнаружения и записи профиля эмоций человека. При обнаружении изменений физиологических показателей человек может контролировать и записывать профиль эмоций за некоторый временной период путем нажатия на кнопку для задания первой метки времени, когда началось изменение эмоции, и повторного нажатия на кнопку для задания второй метки времени, когда закончилось изменение эмоции. Данный процесс позволит компьютеру проанализировать и запомнить профиль эмоций человека на основании изменения параметров эмоции. На основании данных/информации, собранной у большого количества пользователей, компьютер классифицирует все изменения, связанные с каждой эмоцией и математически находит значимые и специфические изменения параметров, которые относятся к определенным характеристикам эмоций.

Когда пользователь испытывает эмоции или перепады настроения, физиологические параметры, такие как уровень гормонов, частота сердечных сокращений, потоотделение, уровень феромонов можно обнаружить и записать с помощью соединительного устройства, соединенного с человеческим телом (установленного на коже и введенного в вену). Моменты начала и завершения изменения настроения могут быть определены самим человеком во время смены эмоционального состояния человека. Например, человек испытывает четыре эмоциональных цикла и создает четыре временных графика в течение недели, при этом, по мнению человека, между началом и концом отсчета времени для первого цикла проходит 2,8 часа. Для второго цикла проходит 2 часа, для третьего цикла - 0,8 часа, а для четвертого цикла - 1,6 часа.

На Фиг. 94А показан роботизированный интеллектуальный механизм 2250, имитирующий человека. В механизме воспроизведения имеется две основных блока, включая блок обучения и функциональный блок, оба этих блока содержат несколько дополнительных модулей, соединенных друг с другом с помощью общей межмодульной шины связи 2252. Блок обучения интеллектуального механизма робота, имитирующего человека, содержит дополнительные модули, включая, но не ограничиваясь этим, модуль ввода 2522 для датчиков, модуль входного сигнала 2254 от человека, модуль реакции 2256 робота, имитирующего человека, который реагирует на входной сигнал, интеллектуальный модуль записи реакции 2258, модуль проверки качества 2260 и модуль машинного обучения 2262. Функциональный блок интеллектуального механизма робота, имитирующего человека, содержит дополнительные модули, включая, но не ограничиваясь этим, модуль анализа входных сигналов 2264, модуль ввода 2266 для датчиков, модуль генерирования реакции 2268 и модуль регулировки обратной связи 2270.

На Фиг. 94В изображена архитектура интеллектуальной системы 2108 робота, имитирующего человека. Система разделена на когнитивный агент робота и модуль воспроизведения навыков человека. Оба модуля используют обнаруженные данные обратной связи 1482, полученные данные 2280 о движении, а также смоделированные данные 2282 о движении. Модуль когнитивного агента робота включает в себя, не обязательно ограничиваясь этим, модули, которые представляют собой базу знаний 2284, соединенную с модулем регулировки и корректировки 2286, которые совершенствуются с помощью модуля обучения 2288. Существующие знания 2290 передаются на модуль контроля выполнения 2292, а существующие знания 2294 передаются на модуль автоматизированного анализа и принятия решений 2296, при этом оба набора пополняются данными датчиков обратной связи 1482 от модуля воспроизведения навыков человека, при этом они оба передают информацию на модуль обучения 2288. Модуль воспроизведения навыков человека включает в себя модуль управления 2209, который выдает сигналы управления для сбора и обработки нескольких источников обратной связи (визуальной и звуковой), и модуль 2230 со стандартизованным оборудованием, инструментами и дополнительными приспособлениями робота.

На Фиг. 95А изображена архитектура роботизированной системы рисования 2102. Она включает в себя студию роботизированной системы рисования 2332 и коммерческую роботизированную систему рисования 2334, соединенные с помощью линии связи 2336 для обеспечения передачи программных файлов или приложений для роботизированного рисования из студии роботизированной системы рисования 2332 в коммерческую роботизированную систему рисования 2334 на основании разовых покупок или оформленной подписки. Студия роботизированной системы рисования 2332 подразумевает участие художника (человека) 2337 и использование компьютера 2338, подключенного к устройствам обнаружения движений и действий и датчикам захвата на мольберте для захвата и записи движений и действий художника, а также хранит программные файлы для рисования в памяти 2340. Коммерческая роботизированная система рисования 2334 подразумевает участие пользователя 2342 и использование компьютера 2344 с роботизированным механизмом рисования, способным взаимодействовать и управлять роботизированными руками для воспроизведения движений художника 2337 во время рисования в соответствии с программными файлами или приложениями для рисования с визуальной обратной связью для калибровки модели моделирования.

На Фиг. 95В изображена архитектура роботизированной системы рисования 2350. Она включает в себя компьютер 2374, который соединен/взаимодействует с несколькими внешними устройствами, включая, но не ограничиваясь этим, устройства ввода для обнаружения движения и сенсорный экран 2354, стандартизованную рабочую станцию 2356, включающую в себя мольберт 2384, палитру 2360 для смешивания красок, скамью 2362 для рисования, отдел для хранения 2634 и контейнеры с материалами 2366 (краска, растворители и т.д.), а также стандартизованные инструменты и дополнительные приспособления (кисти, краски и т.д.) 2368, устройства ввода визуальных данных (камера и т.д.) 2370, а также одну или несколько роботизированных рук 70 и роботизированных кистей (или по меньшей мере один захват) 72.

Компьютерный модуль 2374 включает в себя модули, к которым можно отнести, не ограничиваясь этим, роботизированный механизм рисования 2376, подключенный к устройству воспроизведения движений рисования 2378, модуль управления рисованием 2380, который использует визуальную обратную связь для рисования, модуль запоминающего устройства 2382 для хранения программных файлов для рисования, алгоритмов 2384 для запоминания выбора и использования соответствующих инструментов для рисования, а также дополнительный модуль проверки воспроизведения и калибровки 2386.

На Фиг. 95С изображен роботизированный механизм воспроизведения навыков человека 2102 в живописи. В механизме воспроизведения 2102 имеется несколько дополнительных модулей, соединенных друг с другом с помощью общей межмодульной шины связи 2393. Механизм воспроизведения 2102 содержит дополнительные модули, включая, но не ограничиваясь этим, модуль ввода 2392, модуль 2394 записи движений при рисовании, модуль 2396 записи для вспомогательных/дополнительных данных датчиков, модуль 2398 программирования движений при рисовании, модуль памяти 2399 с программными файлами для рисования, модуль 2400 выполнения процедур, который генерирует выполнение команд на основании записанных данных датчиков, модуль 2402, содержащий стандартизованные параметры рисования, модуль вывода 2404, а также модуль (выходной) проверки качества 2403, каждый из которых контролируется программным модулем обслуживания 2406.

Ниже описан один вариант стандартизованной платформы для рисования. Сначала определяются стандартизованное положение и ориентация (в системе координат XYZ) художественных инструментов любого типа (кистей, красок, холстов и т.д.) на платформе для рисования. Во-вторых, определяются стандартизированные размеры и архитектура рабочей области для каждой платформы для рисования. В-третьих, определяется стандартизованной набор инструментов для рисования для каждой платформы для рисования. В-четвертых, определяются параметры стандартизованных роботизированных кистей и рук с помощью библиотеки манипуляций для каждой платформы для рисования. В-пятых, определяются стандартизованные устройства трехмерного зрения для формирования динамических трехмерных визуальных данных для записи, выполнения отслеживания и проверки качества процесса рисования для каждой платформы для рисования. В-шестых, определяются стандартизованный тип/изготовитель/маркировка всех красок, используемых во время написания определенной картины. В-седьмых, определяются стандартизованный тип/изготовитель/маркировка/размер всех холстов, используемых во время написания определенной картины.

Одной основной целью стандартизованной платформы для рисования является достижение результата процесса рисования, идентичного результату, полученному художником (т.е. идентичной картины), путем воспроизведения роботизированной платформой для рисования. Несколько основных моментов, на которые делается упор при использовании стандартизованной платформы для рисования: (1) идентичная временная последовательность (идентичная последовательность манипуляций, идентичное время начала и завершения выполнения каждой манипуляции, идентичная скорость перемещения объекта между манипуляциями) для художника и робота; (2) выполнение проверок качества (трехмерное зрение, датчики) во избежание получения плохого результата после выполнения каждой манипуляция во время рисования. Данный подход позволяет снизить риск недостижения идентичного результата при выполнении рисования с помощью стандартизованной платформы для рисования. Использование нестандартизованной платформы для рисования приведет к увеличению риска недостижения идентичного результата (т.е. неидентичной картины) из-за необходимости использования алгоритмов регулировки, когда в роботизированной платформе для рисования нужно получить картину другого размера, использовать другие инструменты для рисования, использовать другие краски или другой холст по сравнению со студией художника.

На Фиг. 96А изображен процесс 2410 функционирования системы в студии для рисования и коммерческой системы. На первом этапе 2451 человек-художник вводит параметры для картины, создаваемой в студии роботизированной системы рисования, которые включают в себя ответы на такие вопросы, как объект, композиция, среда, инструменты и оборудование и т.д. На этапе 2452 художник вводит все эти данные в роботизированный механизм рисования, после чего на этапе 2453 художник настраивает стандартизованную рабочую станцию, инструменты, оборудование, дополнительные приспособления и материалы, а также устройства ввода движений и визуальной информации в соответствии с требованиями и инструкциями по процедуре установки. На этапе 2454 художник устанавливает точку начала процесса и запускает систему рисования в студии, после чего художник приступает к этапу рисования 2455. На этапе 2456 система рисования в студии записывает движения и видео с движениями художника в режиме реального времени в известной системе координат XYZ в течение всего процесса рисования. После этого данные, собранные в студии для рисования, сохраняются на этапе 2457, что позволяет роботизированному механизму рисования сгенерировать программу имитации 2458 на основании сохраненных данных о движениях и медиаданных. Файлы выполнения роботизированного рисования или приложения для создания картин разрабатываются и интегрируются для использования различными операционными системами и мобильными системами, а также отправляется в магазины приложений или другие торговые площадки, после чего пользователи смогут напрямую приобрести один рецепт или несколько рецептов по подписке.

На Фиг. 96В изображена логическая схема работы 2460 роботизированного механизма рисования. Сначала на этапе 2461 пользователь выбирает название картины, после этого на этапе 2462 роботизированный механизм рисования получает введенную информацию. На этапе 2463 роботизированный механизм рисования выгружает программные файлы для выполнения рисования во встроенное запоминающее устройство, после чего выполняется переход на этап 2464, на котором определяются необходимые инструменты и дополнительные приспособления. На этапе принятия решения 2465 определяется, имеет ли место нехватка инструментов или дополнительных приспособлений и материалов; при обнаружении недостаточного количества на этапе 2466 система отправляет предупреждение или предложение пользователю добавить соответствующие позиции в список покупок или выбрать другую картину. При достаточном количестве на этапе 2467 механизм подтверждает выбор, переходит на этап 2468, включающий в себя настройку стандартизованной рабочей станции, устройств ввода движений и визуальных данных с помощью поэтапных инструкций, указанных в программных файлах выполнения рисования. После завершения данных операций роботизированный механизм рисования переходит на этап проверки 2469, где проверяется правильность настроек; при обнаружении ошибки на этапе 2470 механизм отправляет предупреждение об ошибке (этап 2472) пользователю, предлагает ему повторно проверить настройки и исправить возможные неточности. При прохождении проверки без ошибок механизм подтверждает настройки на этапе 2471, после чего на этапе 2473 пользователю будет предложено указать начальную точку и включить систему воспроизведения, визуальной обратной связи и управления. На этапе 2474 роботизированная рука (руки) выполнят этапы, указанные в программном файле выполнения рисования, включая движения, использование инструментов и оборудования в соответствующих позах, как указано в файлах выполнения программы рисования. На этапе визуальной обратной связи 2475 выполняется контроль процесса воспроизведения рисования по контролируемым данным параметров, которые определяют успешное выполнение процесса рисования и достижение желаемых результатов. На этапе 2476 роботизированный механизм рисования также выполняет проверку модели имитации для повышения качества процесса воспроизведения и достижения процессом воспроизведения идентичного конечного состояния, которое было захвачено и сохранено студийной системой рисования. После завершения рисования на этапе 2477 пользователь получает уведомление с указанием времени высыхания и закрепления нанесенных материалов (краска, паста и т.д.)

На Фиг. 97А изображен роботизированный механизм воспроизведения навыков человека 2104 в музыке. В механизме воспроизведения 2104 имеется несколько дополнительных модулей, соединенных друг с другом с помощью общей межмодульной шины связи 2478. Механизм воспроизведения содержит дополнительные модули, включая, но не ограничиваясь этим, звуковой (цифровой) модуль 2480 ввода аудиоданных, модуль записи движений человека 2482, играющего на музыкальном инструменте, вспомогательный/дополнительный модуль 2484 записи данных датчиков, модуль 2486 программирования движений при игре на музыкальных инструментах, модуль памяти 2488, содержащий программные файлы для выполнения процедуры, модуль 2490 выполнения процедуры, который генерирует выполняемые команды на основании записанных данных датчиков, модуль 2492, содержащий стандартизованные параметры игры на музыкальном инструменте (например, поза, давление, углы и т.д.), модуль вывода 2494 и (выходной) модуль проверки качества 2496, каждый из которых контролируется программным модулем обслуживания 2498.

На Фиг. 97В изображен процесс выполнения и логическая схема механизма 2104 воспроизведения навыков человека в музыке. Сначала на этапе 2501 пользователь выбирает название музыкального произведения и/или имя композитора, а затем на этапе 2502 получает запрос, нужно ли сделать выбор с помощью роботизированного механизма или путем взаимодействия с человеком. Если на этапе 2503 пользователь позволяет выбрать название/композитора роботизированному механизму, то на этапе 2512 механизм 2104 использует собственное интерпретирование креативности, предлагая на этапе 2504 пользователю ввести входные данные для процесса выбора. Если человек отказывается вводить данные, то на этапе 2519 роботизированный механизм 2104 воспроизведения навыков человека в музыке использует настройки, такие как ручные входные данные о тональности, тоне и исполнении, а также изменениях мелодии, для получения нужных входных данных на этапе 2520, чтобы на этапе 2521 сгенерировать и выгрузить выбранные программные файлы игры на музыкальных инструментах, после чего на этапе 2523 пользователь сможет использовать предпочтительные настройки, подтвержденные роботом-музыкантом на этапе 2522. На этапе 1504 выбор, сделанный человеком, сохраняется в качестве персонального выбора в базе данных персональных профилей. Если на этапе 2513 человек решает ввести собственные данные, то на этапе 2514 он может ввести дополнительные эмоциональные данные для выбора (выражения лица, фотографии, новостные статьи и т.д.). Информация, введенная на этапе 2514, принимается роботом-музыкантом на этапе 2515, позволяя перейти к этапу 2516, на котором механизм выполняет анализ эмоций, относящихся ко всем доступным входным данным, и выгружает выбор музыки на основании настроения, стиля и соответствующих входных данных об эмоциях человека. После подтверждения выбранной выгружаемой музыки на этапе 2517 с помощью робота-музыканта пользователь может нажать на кнопку «start» (пуск), чтобы запустить воспроизведение выбранного программного файла на этапе 2518.

Если человек хочет самостоятельно выбрать название/композитора, то на этапе 2503 система выводит на экран перечень исполнителей для выбранного названия. На этапе 2504 пользователь выбирает нужного исполнителя, после чего на этапе 2505 выбранный вариант передается в систему. На этапе 2506 робот-музыкант генерирует и выгружает программные файлы исполнения произведения на музыкальном инструменте, после чего на этапе 2507 он сравнивает возможные функциональные ограничения между человеком и роботом-музыкантом на определенном инструменте, чтобы рассчитать вероятность возникновения различий в результате. На этапе 2508 принимается решение о том, существуют ли данные различия. При наличии различий на этапе 2509 система предлагает выбрать другой вариант на основании профиля предпочтений пользователя. При отсутствии различий в эффективности на этапе 2510 робот-музыкант подтверждает выбор и переходит на этап 2511, на котором пользователь может нажать на кнопку «start» (пуск) для начала воспроизведения выбранного программного файла.

На Фиг. 98 изображен роботизированный механизм 2106 воспроизведения навыков человека для медицинского ухода. В механизме воспроизведения 2106 имеется несколько дополнительных модулей, соединенных друг с другом с помощью общей межмодульной шины связи 2521. Механизм воспроизведения 2106 содержит дополнительные модули, включая, но не ограничиваясь этим, модуль 2520 ввода, модуль 2522 записи движений для осуществления медицинского ухода, вспомогательный/ дополнительный модуль 2524 записи данных датчиков, модуль 2526 программирования движений для осуществления медицинского ухода, модуль памяти 2528, содержащий программные файлы для выполнения процедуры, модуль 2530 выполнения процедур, который генерирует выполняемые команды на основании записанных данных датчиков, модуль 2532, содержащий стандартизованные параметры медицинского ухода, модуль вывода 2534, (выходной) модуль проверки качества 2536, каждый из которых контролируется программным модулем обслуживания 2538.

На Фиг. 99А изображен процесс работы роботизированной системы 2550 воспроизведения навыков человека для осуществления медицинского ухода. На первом этапе 2551 пользователь (лицо, нуждающееся в уходе, или семья/друзья) создает учетную запись для лица, нуждающегося в уходе, с указанием персональных данных (имени, возраста, идентификационного номера и т.д.). Этап настройки биометрических данных 2552 включает в себя набор персональных данных, включая изображения лица, отпечатки пальцев, речевые шаблоны и т.д. На этапе 2553 пользователь вводит контактную информацию для вызова скорой помощи. На этапе 2554 роботизированный механизм получает все указанные входные данные и использует их для заполнения учетной записи и профиля пользователя. Если пользователь не участвует в программе дистанционного мониторинга здоровья, что определяется на этапе 2555, роботизированный механизм отправляет сообщение с подтверждением создания учетной записи и самостоятельно загружаемый файл/приложение на планшет, телевизор, смартфон или другое устройство пользователя для будущего взаимодействия посредством сенсорного экрана или речевого управления в рамках этапа 2561. Если пользователь участвует в программе дистанционного мониторинга здоровья, на этапе 2556 роботизированный механизм запрашивает разрешение для доступа к медицинским картам. В рамках этапа 2557 роботизированный механизм подключается к базам данных больницы пользователя и кабинетов врачей, лабораторий и организаций медицинского страхования для получения информации о медицинских картах, предписаниях, курсах лечения и назначениях для пользователя и генерирования программы осуществления медицинского ухода, а затем сохраняет ее в файле пользователя. На следующем этапе 2558 роботизированный механизм подключается ко всем носимым медицинским устройствам пользователя (например, к тонометру, датчикам пульса и датчикам уровня кислорода в крови), или даже к системе подачи лекарств с электронным управлением (перорально или путем инъекций) для обеспечения непрерывного контроля. На этапе 2559 роботизированный механизм получает входные данные из файла с медицинскими данными и от датчиков, на основании которых он генерирует один или несколько программных файлов для осуществления медицинского ухода в соответствии с учетной записью пользователя. Следующий этап 2560 включает в себя создание защищенного облачного хранилища для пользовательской информации, ежедневных действий, соответствующих параметров, а также всех выполненных или запланированных медицинских процедур или назначений. Как и ранее на этапе 2561, роботизированный механизм отправляет сообщение с подтверждением создания учетной записи и самостоятельно загружаемый файл/приложение на планшет, телевизор, смартфон или другое устройство пользователя для будущего взаимодействия посредством сенсорного экрана или речевого управления.

На Фиг. 99В изображено продолжение процесса 2550 функционирования роботизированной системы воспроизведения навыков человека для осуществления медицинского ухода, начинающегося на Фиг. 99А, но который относится к физическим операциям, выполняемым роботом пользовательской среде. На первом этапе 2562 пользователь включает робота с конфигурацией и местом по умолчанию (например, на станции зарядки). На этапе 2563 робот принимает команды пользователя посредством сенсорного экрана или речевого управления для выполнения одной или нескольких команд или действий. На этапе 2564 робот выполняет определенные задачи и действия на основании взаимодействия с пользователем, используя команды распознавания голоса и лица, условные сигналы, реакцию или модель поведения пользователя, основываясь на таких факторах, как срочность и приоритетность выполнения задачи на основании знаний об определенных или общих ситуациях. На этапе 2565 робот выполняет стандартные операции для выбора, захвата и транспортировки одного или нескольких предметов, выполняя задачи на основании алгоритмов распознавания обнаруженных объектов и внешних условий, определения места и преобразования с целью оптимизации движений по произвольной траектории, возможно, даже для отображения видеообраза человека во время аудио-/видеоконференции для пользователя, а также для взаимодействия с любым контролируемым домашним устройством. На этапе 2568 робот непрерывно контролирует медицинское состояние пользователя на основании входных данных датчиков и данных профиля пользователя и следит за возможным проявлением симптомов потенциально опасного медицинского состояния, а также может проинформировать сотрудников неотложной помощи или членов семьи о любой возможной ситуации, требующей немедленного вмешательства (этап 2570). На этапе 2566 робот непрерывно проверяет наличие незавершенных или оставшихся задач и всегда находится в состоянии готовности отреагировать на входные данные пользователя, полученные на этапе 2562.

В обобщенном случае способ захвата и анализа движения для роботизированных систем включает в себя определение последовательности движений человека с помощью множества роботизированных датчиков при приготовлении человеком продукта с помощью технологического оборудования; обнаружение в данной последовательности мини-манипуляций, представляющих собой последовательности движений, выполняемых на каждой стадии приготовления продукта; преобразование полученной последовательности данных в машиночитаемые инструкции для управления роботизированным устройством, способным выполнять последовательности мини-манипуляций; хранение, по меньшей мере, последовательности инструкций для мини-манипуляций на электронном носителе для продукта. Данная процедура может быть повторно выполнена для нескольких продуктов. Предпочтительно, чтобы последовательность мини-манипуляций для продукта хранилась в виде электронного документа. Мини-манипуляции могут представлять собой абстрагированные части многоступенчатого процесса, такие как резка объекта, нагрев объекта (в печи или на плите, с маслом или водой) и т.д. Способ также может включать в себя передачу электронного документа для продукта на роботизированное приспособление, способное воспроизводить последовательность сохраненных мини-манипуляций, соответствующих оригинальным действиям человека. Более того, способ также может включать в себя выполнение последовательности инструкций для мини-манипуляций с продуктом при помощи роботизированного приспособления для получения результата, практически идентичного результату, полученному человеком.

В соответствии с другим обобщенным аспектом можно использовать способ работы робототехнического устройства, включающий в себя создание последовательности заранее запрограммированных инструкций для стандартных мини-манипуляций, в которых каждая мини-манипуляция будет приводить к достижению по меньшей мере одного идентифицируемого результата на стадии приготовления продукта; определение последовательности данных, соответствующих движениям человека, с помощью множества роботизированных датчиков при приготовлении человеком с использованием оборудования; обнаружение стандартных мини-манипуляций в последовательности данных, при этом мини-манипуляция соответствует одному или нескольким результатам наблюдений, а последовательность мини-манипуляций соответствует приготовлению продукта; преобразование последовательности данных в роботизированные инструкции с помощью программного обеспечения, использующего способы распознавания последовательностей заранее запрограммированных стандартных мини-манипуляций на основании обнаруженных последовательностей движений человека, при этом каждая мини-манипуляция содержит последовательность роботизированных инструкций, а роботизированные инструкции включают в себя динамическое обнаружение и роботизированные действия; сохранение последовательности мини-манипуляций и соответствующих роботизированных инструкций на электронном носителе. Предпочтительно, чтобы последовательность инструкций и соответствующих мини-манипуляций для продукта хранилась в виде электронного документа для приготовления продукта. Данная процедура может быть повторена для нескольких продуктов. Способ также может включать в себя передачу последовательности инструкций (предпочтительно в виде электронного документа) на роботизированное приспособление, способное воспроизводить и выполнять последовательность роботизированных инструкций. Способ также может включать в себя выполнение роботизированных инструкций для продукта с помощью роботизированного приспособления для достижения результата, практически идентичного результату, полученному человеком. При повторении способа для нескольких продуктов способ может дополнительно включать в себя создание библиотеки с электронными описаниями для одного или нескольких продуктов, включающую название продукта, ингредиенты продукта и способ (в т.ч. рецепт) приготовления продукта из ингредиентов.

Другой обобщенный аспект относится к способу работы роботизированного приспособления, включающему в себя получение набора инструкций для приготовления продукта, который состоит из нескольких указаний по мини-манипуляциям, соответствующим оригинальным действиям человека, при этом каждое указание содержит последовательность роботизированных инструкций, включающих в себя операции динамического определения и роботизированные операции; передачу набора инструкций для роботизированного приспособления, способного воспроизвести последовательность мини-манипуляций; выполнение последовательности инструкций для мини-манипуляций с продуктом при помощи роботизированного приспособления для достижения результата, практически идентичного результату, достигнутому человеком.

В виде еще одного обобщенного аспекта может быть рассмотрен дополнительный обобщенный способ работы роботизированного приспособления, включающий в себя выполнение сценария роботизированных инструкций для дублирования рецепта, состоящего из множества движений для приготовления продукта; определение того, может ли каждое движение для приготовления идентифицироваться как стандартное действие захвата стандартного инструмента или стандартного объекта, стандартная манипуляция с кистью или объект, или нестандартный объект; для каждого движения приготовления выполняется одно или несколько действий: выдача инструкций роботизированному устройству управления процессом приготовления для получения доступа к первой базе данных библиотек, если движение приготовления включает в себя стандартное действие захвата стандартного объекта; выдача инструкций роботизированному устройству управления процессом приготовления для получения доступа ко второй базе данных библиотек, если движение для приготовления пищи включает в себя стандартную манипуляцию с кистью или объект; выдача инструкций роботизированному устройству управления процессом приготовления для создания трехмерной модели нестандартного объекта, если движение для приготовления пищи касается нестандартного объекта. Этапы определения и/или выдачи инструкций могут, в частности, использоваться или управляться компьютерной системой. Компьютерная система может иметь процессор и запоминающее устройство.

Другой аспект может относиться к способу приготовления продукта с помощью роботизированного приспособления 75, включающему в себя воспроизведение рецепта для приготавливаемого продукта (блюда) с помощью роботизированного приспособления 75, при этом рецепт разделен на одну или нескольких стадий приготовления, каждая стадия приготовления разделена на последовательность мини-манипуляций и элементарные действия, а каждая мини-манипуляция разделена на последовательность элементарных действий. Предпочтительно, чтобы каждая мини-манипуляция была (успешно) проверена для получения оптимального результата выполнения мини-манипуляции с точки зрения изменения положения, ориентации, формы используемого объекта, а также одного или нескольких используемых ингредиентов.

Еще один аспект может относиться к способу создания сценария рецепта, содержащего прием отфильтрованных необработанных данных датчиков в модуле стандартизованных рабочих внешних условий, например, на кухне; генерирование последовательности данных сценария от отфильтрованных необработанных данных; преобразование последовательности данных сценария в машиночитаемые и исполняемые команды для приготовления продукта, машиночитаемые и исполняемые команды включают в себя команды для управления парой роботизированных рук и кистей с целью выполнения определенной функции. Данная функция может представлять собой одну или несколько стадий приготовления, одну или несколько мини-манипуляций, а также одно или несколько элементарных действий. Система создания сценария рецепта, содержащая аппаратное обеспечение и/или программное обеспечение, способна работать в соответствии с данным способом.

В соответствии со всеми аспектами необходимо учитывать следующее. При приготовлении продуктов обычно используются ингредиенты. Выполнение инструкций обычно включает в себя определение свойств ингредиентов, используемых для приготовления продукта. Продукт может представлять собой блюдо в соответствии с рецептом (для приготовления пищи) (который может храниться в виде электронного описания), а человек может быть шеф-поваром. Технологическое оборудование может включать в себя кухонное оборудование. Данные способы могут быть использованы в сочетании с любой одной или несколькими другими особенностями, описанными в настоящем документе. Одна, несколько или все особенности аспектов могут быть объединены таким образом, чтобы объединить особенность одного аспекта с особенностью другого аспекта. Каждый аспект может быть выполнен компьютером и может иметь компьютерную программу для выполнения каждого способа с помощью компьютера или процессора. Каждая компьютерная программа может быть сохранена на машиночитаемом носителе. В качестве дополнения или альтернативы программы могут быть частично или полностью выполнены при помощи аппаратных средств. Аспекты могут быть объединены. Также можно использовать роботизированные системы для работы в соответствии со способом, описанным со ссылкой на любые указанные аспекты.

В соответствии с другим аспектом можно использовать роботизированные системы, содержащие: мультимодальные системы датчиков, способные следить за движениями человека и генерировать данные о движении человека в первой среде с измерительной аппаратурой; процессор (который может представлять собой компьютер), соединенный и способный обмениваться данными с мультимодальными системами датчиков, для записи данных о движениях человека, полученных от мультимодальных систем датчиков, и обработки данных о движениях человека для извлечения элементарных движений, предпочтительно, чтобы элементарные движения соответствовали операциям роботизированных систем. Элементарные движения могут представлять собой мини-манипуляции, описанные в настоящем документе (например, в предыдущих абзацах), и могут иметь стандартный формат. Элементарное движение может задавать определенные типы действий и параметры типа действий, например, действие толкания с определенными начальной точкой, конечной точкой, усилием и типом захвата. Кроме того, может быть предусмотрено роботизированное приспособление, соединенное и способное обмениваться данными с процессором и/или мультимодальной системой датчиков. Робототехнические приспособления могут быть способны использовать элементарные движения и/или данные о движениях человека для воспроизведения обнаруженных движений человека во второй среде с измерительной аппаратурой.

В соответствии со следующим аспектом могут использоваться роботизированные системы, содержащие следующие элементы: процессор (который может представлять собой компьютер) для приема элементарных движений, задающих операции роботизированных систем, при этом элементарные движения основаны на данных о движениях человека, полученных в результате захвата движений человека; роботизированная система, соединенная и способная обмениваться данными с процессором, который может использовать элементарные движения для воспроизведения движений человека в среде с измерительной аппаратурой. Следует понимать, что данные аспекты могут быть объединены.

Дополнительный аспект может относиться к робототехническим системам, содержащим: первую и вторую роботизированные руки; первую и вторую роботизированные кисти, при этом каждая кисть имеет запястье, соединенное с соответствующей рукой, каждая кисть имеет ладонь и несколько пальцев с шарнирами, каждый палец с шарнирами на соответствующей кисти имеет по меньшей мере один датчик; первую и вторую перчатки, при этом каждая перчатка надета на соответствующую кисть с множеством встроенных датчиков. Предпочтительно, чтобы роботизированная система представляла собой роботизированную кухонную систему.

Также можно рассмотреть отличный, но связанный аспект, относящийся к системе захвата движений, содержащей: модуль стандартизованной рабочей среды, предпочтительно кухни; множество мультимодальных датчиков, включая первый тип датчиков контактирующих с человеком, и второй тип датчиков, расположенных на некотором расстоянии от человека. Возможно использование одного или нескольких следующих вариантов: первый тип датчиков может быть предназначен для измерения позы человеческих конечностей и для обнаружения данных о движениях человеческих конечностей; второй тип датчиков может быть предназначен для пространственной регистрации трехмерных конфигураций среды, объектов, движений и/или положений человеческих конечностей; второй тип датчиков может быть предназначен для определения данных о действиях; стандартизованная рабочая среда может иметь соединители для взаимодействия со вторым типом датчиков; первый тип датчиков и второй тип датчиков обнаруживают данные о движении и данные о действиях, а также отправляют данные о движении и данные о действиях на компьютер для хранения и выполнения обработки при приготовлении продукта (пищи).

В качестве дополнения или альтернативы аспект может относиться к роботизированной кисти, на которую надета перчатка с датчиками, содержащей: пять пальцев; ладонь, соединенную с пятью пальцами, ладонь с внутренними шарнирами и деформируемым поверхностным материалов в трех областях; при этом первая деформируемая область расположена на радиальной стороне ладони и рядом с основанием большого пальца; вторая деформируемая область расположена на ульнарной стороне ладони, удаленной от радиальной стороны; третья деформируемая область расположена на ладони и проходит поперек основания пальцев. Предпочтительно, чтобы сочетание первой деформируемой области, второй деформируемой области, третьей деформируемой области и внутренних шарниров использовалось для выполнения мини-манипуляций, в частности, для приготовления пищи.

В отношнии любых описанных выше аспектов систем, устройств или приспособлений, также могут быть использованы аспекты способов, включающих в себя этапы для выполнения функций системы. В качестве дополнения или альтернативы на основании одной или нескольких отличительных особенностей, описанных в настоящем документе со ссылкой на другие аспекты, могут быть обнаружены дополнительные особенности.

На Фиг. 100 представлена блок-схема, иллюстрирующая общее (или универсальное) предназначение системы 2700 воспроизведения навыков человека роботом с системой 2710 записи движений автора и коммерческой роботизированной системой 2720. Система 2700 воспроизведения навыков человека может использоваться для захвата движений или манипуляций соответствующего эксперта или автора 2711. Автором 2711 может являться эксперт в соответствующей области и профессионал или лицо, обладающее необходимыми навыками для выполнения утонченных специфических задач, например, для приготовления пищи, рисования, медицинской диагностики или игре на музыкальном инструменте. Система 2710 записи движений автора включает в себя компьютер 2712 со входами для датчиков, например, со входами для датчиков регистрации движений, модуль памяти 2713 для хранения файлов имитаций и библиотеку тем/навыков 2714. Система 2710 записи движений автора может представлять собой специальный или обычный компьютер с возможностью записи и захвата движений автора 2711, анализа и поэтапной детализации этих движений с последующей обработкой на компьютере 2712 и сохранением в модуле памяти 2713. Датчики могут быть визуальными, ИК, тепловыми, бесконтактными, температурными, давления или любого другого типа, способные собирать данные для доработки и усовершенствования мини-манипуляций, необходимых роботизированной системе для выполнения поставленной задачи. Модулем памяти 2713 может являться любое дистанционное или локальное запоминающее устройство в любой системе хранения данных, включая магнитную, оптическую и любую другую известную электронную систему хранения данных. Модулем памяти 2713 может быть публичная или частная облачная система, организованная локально или третьей стороной. Библиотекой тем/навыков 2714 может являться компиляция или коллекция предварительно записанных и захваченных мини-манипуляций, организованная или категоризованная согласно любому логическому или реляционному порядку, например, по задачам, компонентам робота или навыкам.

Коммерческая роботизированная система 2720 включает в себя пользователя 2721, компьютер 2722 с робототехническим исполняющим движком и библиотекой мини-манипуляций 2723. Компьютер 2722 является компьютером общего или специального назначения с набором процессоров и/или других стандартных вычислительных устройств. Компьютер 2722 включает в себя робототехнический исполняющий движок для управления элементами робота, например, руками/кистями или человекоподобным роботом в целом для воссоздания движений, захваченных системой записи. Компьютер 2722 может также работать со стандартными предметами (например, инструментами и оборудованием) автора 2711 согласно программным файлам или данным, захваченным системой записи. Компьютер 2722 может также работать с трехмерными моделями для симуляции калибровки модели и внесения настроек в режиме реального времени. В библиотеке мини-манипуляций 2723 хранятся захваченные мини-манипуляции, загружаемые из системы 2710 записи движений автора в коммерческую роботизированную систему 2720 по каналу связи 2701. Данные библиотеки мини-манипуляций 2723 могут храниться на локальном или дистанционном носителе информации согласно предварительно определенной или реляционной основе. Канал связи 2701 обеспечивает передачу программных файлов или приложений для (целевого) навыка человека в коммерческую роботизированную систему 2720, предоставляемых после покупки, загрузки или согласно оформленной подписке. Во время работы, система 2700 воспроизведения навыков человека роботом позволяет автору 2711 выполнять задачу или серию задач, которые регистрируются компьютером 2712 и сохраняются в модуле памяти 2713 с созданием соответствующих файлов или библиотек мини-манипуляций. Файлы мини-манипуляций могут быть переданы в коммерческую роботизированную систему 2720 по каналу связи 2701 с последующим исполнением на компьютере 2722, что приведет к тому, что руки и кисти робота или человекоподобный робот повторят движения автора 2711. Таким образом, движения автора 2711 воспроизводятся роботом для выполнения требуемой задачи.

На Фиг. 101 представлена схема программного комплекса, иллюстрирующая механизм 2800 имитации роботом навыков человека с различными модулями. Механизм воспроизведения навыков человека роботом 2800 может включать входной модуль 2801, модуль 2802 записи движений автора, программный модуль 2803 движений автора, модуль 2804 записи данных с датчиков, модуль 2805 проверки качества, модуль памяти 2806 для хранения исполняемых файлов для работы программного обеспечения, модуль 2807 процедуры исполнения навыков, который может основываться на полученных данных с датчиков, модуль 2808 стандартных навыков движения и параметров объектов, модуль 2809 мини-манипуляций движения и параметров объекта, модуль обслуживания 2810 и выходной модуль 2811. Входной модуль 2801 может включать стандартное устройство вода, например, клавиатуру, мышь или другое устройство ввода, и может использоваться для ввода данных в механизм 2800 воспроизведения навыков человека роботом. Модуль 2802 записи движений автора записывает и регистрирует все движения и действия автора 2711, механизм 2800 воспроизведения навыков человека роботом записывает движения или мини-манипуляции автора 2711. Модуль 2802 записи может записывать входные данные в любом известном формате и разбивать движения автора на небольшие инкрементные отрезки для создания основного движения. Модуль 2802 записи движений автора может включать аппаратные или программные средства и любое число/комбинацию логических схем. Программный модуль 2803 движений автора позволяет автору 2711 программировать движения и исключать регистрацию и транскрибирование движений системой. Программный модуль 2803 движений автора может предусматривать ввод инструкций и зарегистрированных параметров, полученных в результате наблюдения за автором 2711. Модуль 2803 записи движений автора может включать аппаратные или программные средства, и может быть организован с использованием любого числа или комбинации логических схем. Модуль 2804 записи данных с датчиков используется для записи данных с датчиков, полученных во время процесса записи. Модуль 2804 записи данных с датчиков может включать аппаратные или программные средства, и может быть организован с использованием любого числа или комбинации логических схем. Модуль 2804 записи данных с датчиков может использоваться во время выполнения задачи автором 2711 под контролем датчиков, например, движения, ИК, звука или аналогичных. Модуль 2804 записи данных с датчиков регистрирует все данные, полученные с датчиков, которые могут использоваться для создания мини-манипуляции выполняемой задачи. Модуль 2805 проверки качества может использоваться для контроля входящих данных с датчиков, состояния всего механизма воспроизведения, датчиков и любого компонента или модуля системы. Модуль 2805 проверки качества может включать в себя аппаратные или программные средства, и может быть организован с использованием любого числа или комбинации логических схем. Модуль памяти 2806 может быть запоминающим устройством любого типа для хранения исполняемых файлов для работы программного обеспечения. Он может включать в себя локальное или дистанционное запоминающее устройство для кратковременного, постоянного или временного хранения данных. Для реализации модуля памяти 2806 можно использовать любые виды магнитной, оптической или механической памяти. Модуль 2807 процедуры исполнения навыков используется для реализации специальных навыков на основании применения данных с датчиков. Модуль 2807 процедуры исполнения навыков может использовать данные с датчиков для исполнения серии шагов или мини-манипуляций для решения задачи полностью или частично, при условии, если эта задача была зарегистрирована механизмом для воспроизведения. Модуль 2807 процедуры исполнения навыков может включать в себя аппаратные или программные средства, и может быть организован с использованием любого числа или комбинации логических схем.

Модуль 2802 стандартных навыков движения и параметров объектов может являться модулем, реализованным программными или аппаратными средствами для определения стандартных движений объектов и/или основных навыков. Модуль может включать целевые параметры, обеспечивающие механизм воспроизведения робота информацией о стандартных объектах, которые необходимо использовать во время реализации робототехнической процедуры. Он также может содержать инструкции и/или данные, относящиеся к стандартным навыкам движения, не являющимся уникальными для мини-манипуляций. Модуль обслуживания 2810 может являться любой программой или аппаратным средством для контроля и выполнения профилактического обслуживания системы и механизма воспроизведения робота. Модуль обслуживания 2810 обеспечивает контроль, обновление, регулирование, поиск и устранение неисправностей в других модулях или системах, подключенных к механизму воспроизведения навыков человека роботом. Модуль обслуживания 2810 может включать в себя аппаратные или программные средства и может быть организован с использованием любого числа или комбинации логических схем. Выходной модуль 2811 обеспечивает связь механизма 2800 воспроизведения навыков человека роботом с другими компонентами системы или модулями. Выходной модуль 2811 можно использовать для экспорта, передачи или захвата мини-манипуляций в коммерческой роботизированной системе 2720 или передачи данных в устройство для хранения. Выходной модуль 2811 может включать в себя аппаратные или программные средства, и может быть организован с использованием любого числа или комбинации логических схем. Шина 2812 соединяет все модули механизма воспроизведения навыков человека роботом и может являться параллельной шиной, последовательной шиной, синхронной или асинхронной. Она поддерживает любые виды связи, используя последовательные данные, пакеты данных или любые другие известные способы передачи данных.

Модуль 2809 мини-манипуляций движения и параметров объекта можно использовать для хранения и/или категоризации захваченный мини-манипуляций и движений автора. Модуль может подключаться к механизму воспроизведения, а также роботизированной системе под контролем пользователя.

На Фиг. 102 представлена блок-схема, иллюстрирующая один из вариантов выполнения роботизированной системы 2700 воспроизведения навыков человека. Система 2700 воспроизведения навыков человека роботом включает в себя компьютер 2712 (или компьютер 2722), устройства 2825 регистрации движений, стандартизованные объекты 2826, нестандартные объекты 2827.

Компьютер 2712 включает в себя механизм 2800 воспроизведения навыков человека роботом, модуль 2820 управления движением, модуль памяти 2821, эмулятор 2822 навыков движения, модуль 2823 оценки и калибровки расширенной симуляции и стандартные объектные алгоритмы 2824. Как описано со ссылкой на Фиг. 102, механизм 2800 воспроизведения навыков человека роботом состоит из нескольких модулей, позволяющих осуществлять захват движений автора 2711 для создания и регистрации мини-манипуляций во время исполнения задачи. Захваченные мини-манипуляции конвертируются из данных с датчиков в данные библиотеки управления роботом, которые могут быть использованы для завершения задачи или комбинироваться последовательно или параллельно с другими мини-манипуляциями для создания необходимых входных данных для роботизированных рук/кистей или человекоподобного робота 2830 для завершения задачи полностью или частично.

Механизм 2800 воспроизведения навыков человека роботом соединен с модулем 2820 управления движениями, который может использоваться для регулирования или настройки движения различных робототехнических компонентов на основании визуальных, звуковых, тактильных или других данных обратной связи, получаемых с робототехнических компонентов. Модуль памяти 2821 может быть подключен к компьютеру 2712 и имеет необходимые компоненты для хранения программных файлов для реализации навыков. Программный файл для реализации навыка содержит необходимые инструкции для компьютера 2712 для выполнения серии инструкций, обеспечивающих завершение задачи или серии задач робототехническими компонентами. Эмулятор 2822 навыков движения соединен с механизмом 2800 воспроизведения навыков человека роботом и может быть использован для эмуляции навыков автора без учета фактических данных с датчиков. Эмулятор 2822 навыков движения является альтернативным источником входных данных для механизма 2800 воспроизведения навыков человека роботом для создания программы реализации навыка без использования автора 2711, предоставляющего входные данные с датчиков. Модуль 2823 оценки и калибровки расширенной симуляции может подключаться к механизму 2800 воспроизведения навыков человека роботом и обеспечивать расширенные входные данные с регулировкой в режиме реального времени для роботизированных движений на основании трехмерного моделирования и обратной связи в режиме реального времени. Компьютер 2712 содержит стандартные объектные алгоритмы 2824, используемые для управления роботизированными руками 72/кистями 70 или человекоподобным роботом 2830 для выполнения задач с использованием стандартных объектов. К стандартным объектам могут относиться инструменты или кухонная посуда или стандартное оборудование, например, печь или ЭКГ-аппарат. Алгоритмы 2824 предварительно компилируются и не требуют отдельного обучения с использованием воспроизведения навыков человека роботом.

Компьютер 2712 подключается к одному или нескольким устройствам 2825 регистрации движений. Устройствами 2825 регистрации движений могут являться видеодатчики движения, ИК-датчики движения, датчики системы слежения, лазерные датчики движения или любые другие вводные или записывающие устройства, позволяющие компьютеру 2712 отслеживать положение контролируемого устройства в трехмерном пространстве. Устройство 2825 регистрации движений может включать в себя один или несколько одноточечных датчиков, парных передатчиков и приемников, парных маркерных устройств и датчиков или пространственных датчиков любого типа. Система 2700 воспроизведения навыков человека роботом может включать стандартизованные объекты 2826. Стандартизованным объектом 2826 является любой стандартный объект, находящийся в стандартном положении в пределах досягаемости системы 2700 воспроизведения навыков человека роботом. Такими объектами могут являться стандартизованные инструменты или приспособления со стандартизованными рукоятками или захватами 2826-а, стандартное оборудование 2826-b или стандартизованное рабочее пространство 2826-с. Возможные стандартизированные инструменты 2826-а показаны на Фиг. 12А С и 152-162S, к ним также могут относиться стандартные инструменты, например, нож, кастрюля, шпатель, скальпель, термометр, скрипичный смычок или любое другое оборудование, которое можно использовать в особой рабочей среде. Стандартным оборудованием 2826-b может являться любое стандартное кухонное оборудование, например, печь, жарочный шкаф, микроволновая печь, миксер и т.д. или любое стандартное медицинское оборудование, например, пульсоксиметр и т.д., рабочим пространством 2826-с может являться кухонный модуль, модули восстановления или лечения травм, а также модуль игры на фортепиано. Благодаря использованию стандартных инструментов, оборудования и рабочих пространств, роботизированные руки/кисти или человекоподобные роботы могут быстрее регулировать и обучаться выполнению желаемой функции в стандартизованном пространстве.

Также система 2700 воспроизведения навыков человека роботом может использовать нестандартные объекты 2827. Нестандартными объектами являются, например, ингредиенты для приготовления пищи, например, мясо и овощи. Эти объекты разных размеров, форм и пропорций могут находиться на стандартных местах и со стандартным ориентированием, например, в шкафах или лотках, и могут отличаться друг от друга.

Устройства ввода данных от оптических, звуковых и тактильных датчиков 2829 могут подсоединяться к компьютеру 2712 и являться частью системы 2700 воспроизведения навыков человека роботом. Устройствами ввода данных от оптических, звуковых и тактильных датчиков 2829 могут являться камеры, лазеры, стереооптические приборы, тактильные датчики, датчики массы или любые другие датчики или устройства ввода данных, позволяющие компьютеру 2712 определять тип объекта и его положение в трехмерном пространстве. Устройства могут также обеспечивать обнаружение поверхности объекта и определять свойства объектов на основании звука при прикосновении, плотности и веса.

Роботизированные руки/кисти или человекоподобный робот 2830 могут напрямую подключаться к компьютеру 2712 или при помощи проводного/беспроводного соединения к механизму 2800 воспроизведения навыков человека роботом. Роботизированные руки/кисти или человекоподобный робот механизма 2830 способны манипулировать или воспроизводить любое движение автора 2711 или алгоритмы для обращения со стандартным объектом.

На Фиг. 103 представлена блок-схема, иллюстрирующая человекоподобного робота 2840 с контрольными точками для процесса исполнения навыков или воспроизведения со стандартизированными рабочими инструментами, позициями и ориентировками, а также стандартизированным оборудованием. Как видно на Фиг. 103 человекоподобный робот 2840 располагается в поле действия датчика 2841, как часть системы воспроизведения навыков человека роботом 2700. Человекоподобный робот 2840 может быть покрыт сетью контрольных точек или сенсорных точек для захвата движений или манипуляций, совершаемых во время выполнения задачи. Также система 2700 воспроизведения навыков человека роботом может включать в себя стандартные инструменты 2843, стандартное оборудование 2845 и нестандартные объекты 2842, располагающиеся в стандартном начальном положении и ориентации 2844. Каждый этап реализации навыка записывается сенсорным полем 2841. Начиная с начальной позиции, человекоподобный робот 2840 способен выполнять последовательность шаг 1-шаг n, все шаги будут регистрироваться для создания воспроизводимого результата, который может быть реализован парой роботизированных рук или человекоподобным роботом. Информацию, полученную во время записи движений автора в сенсорном поле 2841, можно конвертировать в серию отдельных шагов 1-n или в последовательность событий, необходимых для выполнения задачи. По причине того, что все стандартные и нестандартные объекты располагаются и ориентируются в стандартной исходной позиции, робототехнический компонент, реплицирующий движения человека, способен с точностью и последовательно выполнить записанную задачу.

На Фиг. 104 представлена блок-схема, иллюстрирующая вариант выполнения модуля 2880 алгоритма конверсии между движениями человека или автора и движениями, реплицируемыми роботом. Модуль 2884 данных воспроизведения движения переводит полученные данные движения человека в специальном записывающем костюме 2874 на машиночитаемый и машиноисполняемый язык 2886 для подачи команд на роботизированные руки и кисти повторять навыки человеческого движения в робототехнической репликационной среде 2878. Компьютер 2812 осуществляет захват и регистрацию движений человека в записывающем костюме 2874 и перчатках на основании данных с датчиков, представленных множеством датчиков S₀, S₁, S₂, S₃, S₄, S₅, S₆…S_n в вертикальных столбцах и временных точек t₀, t₁, t₂, t₃, t₄, t₅, t₆…t_конц в горизонтальных строках, указанных в таблице 2888. В момент t₀ компьютер 2812 осуществляет запись XYZ координат на основании данных с датчиков S₀, S₁, S₂, S₃, S₄, S₅, S₆…S_n. В момент t₁ компьютер 2812 осуществляет запись XYZ координат на основании данных с датчиков S₀, S₁, S₂, S₃, S₄, S₅, S₆…S_n. В момент t₂ компьютер 2812 осуществляет запись XYZ координат на основании данных с датчиков S₀, S₁, S₂, S₃, S₄, S₅, S₆…S_n. Этот процесс продолжается до полного завершения реализации навыка в момент t_конц. Продолжительность отрезков времени t₀, t₁, t₂, t₃, t₄, t₅, t₆…t_конц является одинаковой. Результатом зарегистрированных и записанных данных является то, что в таблице 2888 отображаются все XYZ-координаты движений, полученные с датчиков S₀, S₁, S₂, S₃, S₄, S₅, S₆…S_n, расположенных в перчатке, благодаря которым можно определить разницу между XYZ-координатами для одного особого значения времени относительно к другим XYZ-координатам следующего особого значения времени. Фактически, в таблице 2888 записываются изменения движения человека со временем при реализации навыка, начиная со старта t₀ и до завершения t_конц. Иллюстрация в этом варианте исполнения может быть расширена до множества датчиков на одежде человека для захвата движений во время реализации навыка. В стандартизированной среде 2878 роботизированные руки и кисти воспроизводят навык, записанный по данным с записывающего костюма 2874, который затем конвертируется в инструкции для робота и имитируется роботизированными руками и кистями согласно временной шкале 2894. Роботизированные руки и кисти реализуют навык, используя такие же XYZ-координаты, значения скорости и шаги по времени, начиная со старта t₀ и до завершения t_конц, как показано на временной шкале 2894.

В некоторых вариантах выполнения человек реализует один и тот же навык множество раз, тем самым создавая показания датчиков и параметры в соответствующих инструкциях для робота, которые могут отличаться время от времени. Набор показаний для каждого датчика благодаря множеству повторений навыка определяет распределение со средним значением, стандартное отклонение, минимальное и максимальное значения. Соответствующие изменения в инструкциях робота (также называемые эффекторными параметрами) при многократной реализации одного и того же навыка человеком также определяют распределения со средним значением, стандартное отклонение, максимальные и минимальные значения. Эти распределения можно использовать для определения правильности (или точности) последовательных навыков, реализуемых роботом.

В одном из вариантов выполнения расчетная средняя точность реализации навыка роботом имеет следующий вид:

Где С - набор человеческих параметров (с 1 до n), R - набор параметров робототехнического приспособления 75 (соответственно, (с 1 до n). Числитель определяет разницу между робототехническими и человеческими параметрами (т.е. погрешность), а знаменатель нормализует максимальную разницу). Полученной значение представляет общую нормализованную кумулятивную погрешность (т.е.

Другой способ расчета точности взвешивает параметры важности, где каждый коэффициент (каждый αi) представляет собой важность i-го параметра, нормализованную кумулятивную погрешность

На Фиг. 105 представлена блок-схема, иллюстрирующая запись движений автора и воспроизведение человекоподобным роботом на основании полученных данных с датчиков, размещенных на авторе. Автор в записывающем костюме 3000 может использовать различные датчики на теле D1-Dn для захвата навыка с сохранением данных 3001 с датчиков в таблицу 3002. В этом примере автор выполняет задачу, используя инструмент. Эти элементарные действия автора регистрируются датчиками и могут образовать мини-манипуляцию 3002, осуществляемую в промежутках времени 1, 2, 3 и 4. Модуль 2884 данных воспроизведения навыка движения сконфигурирован для конвертирования навыков, записанных при помощи костюма 3000 автора, в инструкции для робототехнических компонентов, например, рук и кистей в части 1063 реализации навыков человека роботом согласно инструкциям 3004 программного обеспечения робота. Робототехнические компоненты реализуют навык по контрольным сигналам 3006 для мини-манипуляциями, как предварительно установлено в библиотеке 116 мини-манипуляций из базы данных 3009 библиотеки мини-манипуляций для реализации навыка с использованием инструмента, робототехнические компоненты реализуют навык, используя такие же XYZ-координаты 3005 и выполняя регулирование в реальном времени, создавая временную трехмерную модель 3007 навыка с устройства регулирования в реальном времени.

Умелый мастер понимает, что для обеспечения работы механического робототехнического механизма, подобного описанным в настоящем документе, необходимо решить массу проблем, связанных с механической частью и управлением, в этом помогают книги по робототехнике. Обеспечение статической и/или динамической стабильности роботизированной системы являются важным условием. Динамическая стабильность является важным желаемым условием робототехнических манипуляций для предотвращения действий, которые не были предусмотрены или запрограммированы.

На Фиг. 106 приведена иллюстрация общей платформы ЗОЮ управления человекоподобным роботом с описанием функций высокого уровня в соответствии с настоящим изобретением. Универсальная шина связи 3002 служит каналом для передачи данных, включая показания с внутренних и внешних датчиков 3014, переменных величин и их текущих значений 3016, соответствующих актуальному состоянию робота, например, допуски по движениям, точное положение рук и т.д., а также информацию 3018, связанную с рабочей средой, например, информацию по местонахождению робота или объектов, для которых планируются мини-манипуляции. Эти данные позволяют человекоподобному роботу осознавать происходящее вокруг и, таким образом, выполнять задачи, начиная с прямых команд 3020 исполнительного механизма низкого уровня до робототехнических схем реализации задач высокого уровня, взятых из планировщика 3022 задач, который может пользоваться большими электронными библиотеками мини-манипуляций 3024, которые, затем интерпретируются для определения возможности реализации приложения на основании предварительных условий и конвертируются в машиноисполяемый код из модуля 3026 робототехнической интерпретации с последующей передачей в виде фактических последовательностей команд и восприятий в исполнительный модуль 3028 робота.

В дополнение к робототехническому планированию, восприятию и действию, платформа управления роботом может также взаимодействовать с людьми посредством иконок, языков, жестов и т.д. модуля 3030 человеко-машинного интерфейса, и может обучаться новым мини-манипуляциям, наблюдая за людьми, выполняющими задачи со строительными блоками, соответствующими мини-манипуляциями, обобщая многократные наблюдения в мини-манипуляции, т.е. в надежные, воспроизводимые последовательности восприятий и действий с входящими и выходящими условиями, определяемыми модулем 3032 обучения.

На Фиг. 107 представлена блок-схема, иллюстрирующая компьютерную архитектуру 3050 (или схему) для создания, передачи, реализации и использования библиотек мини-манипуляций в рамках процесса воспроизведения задач человекоподобным роботом. Настоящее изобретение относится к объединению программных систем, включающих множество ядер программного обеспечения, наборов данных и библиотек, которые, благодаря комбинированию с библиотеками и системами управления, реализуют подход к абстрагированию и рекомбинированию автоматизированных описаний для исполнения задач, чтобы позволить человекоподобному роботу реплицировать выполнение задач человека, а также самостоятельно ассемблировать исполнительные последовательности для реализации любой требуемой последовательности задач. Конкретные элементы настоящего изобретения относятся к генератору 3051 мини-манипуляций (ММ), который создает библиотеки мини-манипуляций (БММ), воспринимаемые контроллером 3056 человекоподобного робота для создания последовательностей команд для выполнения задач высокого уровня, реализуемых контроллером низкого уровня, расположенном в человекоподобном роботе.

Компьютерная архитектура 3050 для выполнения мини-манипуляций включает в себя комбинацию алгоритмов контроллера и связанных значений усиления контроллера, а также специальных профилей времени для позиции/скорости, усилия/крутящего момента для любого блока движения/приведения в действие, а также контроллеров (исполнительных механизмов) низкого уровня (представленных программными и аппаратными элементами), реализующих эти алгоритмы управления и использующих сенсорную обратная связь для обеспечения точности указанных профилей действия/взаимодействия, содержащихся в соответствующих наборах данных. Они также подробно описаны ниже с указанием цветовой кодировки на Фиг. 107.

Генератор 3051 БММ является программной системой, включающей в себя множество ядер программного обеспечения GG2, создающей наборы данных GG3 по мини-манипуляциям (ММ), которые, в свою очередь, используются, как часть одной или нескольких баз данных GG4 для БММ.

Генератор 3051 БММ содержит вышеупомянутые ядра 3052 программного обеспечения, использующие сенсорные и пространственные данные, а также программные модули рассуждений высокого уровня для создания наборов параметров, описывающих соответствующие манипуляционные задачи, тем самым, позволяя системе формировать завершенные наборы 3053 данных ММ на разных уровнях. Построитель иерархии библиотеки ММ (БММ) основывается на программных модулях, позволяющих системе выполнять разбивку всего набора действий, необходимых для реализации задачи, на серию последовательных или параллельных элементарных действий, распределяемых по уровням от низкого до высокого согласно сложности и абстракции действия. Иерархическая разбивка затем используется построителем базы данных ББМ для построения полной базы данных 3054 ББМ.

Упомянутые ранее наборы 3053 параметров включают в себя множество форм вводов и данных (параметры, переменные величины и т.д.), алгоритмов, включая показатели реализации задачи для успешного завершения определенной задачи, алгоритмов управления для использования исполнительными системами человекоподобного робота, а также разбивку последовательности реализации задачи и связанные наборы параметров, на основании задействованного аппаратного объекта/подсистемы человекоподобного робота, а также соответствующие этапы мини-манипуляций, требуемые для успешного выполнения задачи. Кроме того, наборы данных для определения усилений контроллера для особых алгоритмов управления включают набор особых исполнительных параметров человекоподобного робота, а также профили записи по времени для значений движения/скорости и усиления/крутящего момента для каждого исполнительного механизма, задействованного в реализации задачи.

База данных 3054 БММ состоит из множества модулей данных и программного обеспечения от низкого до высокого уровней, необходимых человекоподобному роботу для завершения особого задания от низкого до высокого уровней сложности. Библиотеки не только содержат ранее сформированные наборы данных ММ, но также и другие библиотеки, например, текущей функциональности контроллера, относящиеся к динамическому управлению (KDC), машинному зрению (OpenCV), а также и другие библиотеки по взаимодействиям/внутренним процессам (ROS и т.д.). Контроллер 3056 человекоподобного робота также представляет собой программную систему, включающую ядро программного обеспечения контроллера 3057 высокого уровня, использующий описания выполнения задач высокого уровня для передачи машиноисполняемых инструкций контроллеру 3059 низкого уровня для исполнения платформой человекоподобного робота.

Ядро 3057 программного обеспечения контроллера высокого уровня создает наборы инструкций для робота для реализации определенных задач, которые, в свою очередь, поступают в ядро программного обеспечения определителя последовательности команд, создающий машиночитаемые команды и последовательности управления для передачи в исполнитель команд GG8. Ядро 3052 программного обеспечения разбивает командную последовательность на целевые движения и действия, и разрабатывает схемы исполнения (как по времени, так и в соответствии с уровнями исполнения), что позволяет создавать профили последовательных по времени движений (положения и скорости) и взаимодействий (усилия и крутящие моменты), передаваемых в контроллер 3059 низкого уровня для исполнения соответствующими отдельными контроллерами 3060 исполнительных механизмов на платформе человекоподобного робота, которые, в свою очередь, включают собственный контроллер двигателя, силовые аппаратные средства, программные средства и датчики обратной связи.

Контроллер низкого уровня включает в себя контроллеры исполнительных механизмов, использующие цифровой контроллер, электронный силовой привод и сенсорные аппаратные средства для подачи программных алгоритмов с требуемыми установками позиции/скорости и усилия/крутящего момента, которые контроллер должен точно реплицировать согласно установленной последовательности с привязкой по времени, опираясь на сигналы с датчиков обратной связи, чтобы обеспечить требуемую точность исполнения. Контроллер продолжает работать для обеспечения соблюдения всех установок со временем и завершения требуемого шага/профиля движения/взаимодействия. В это время также осуществляется контроль точности выполнения задачи программным модулем более высокого уровня в исполнителе 3058 команды, что приводит к внесению потенциальных изменений в профили движения/взаимодействия от высокого до низкого уровней, передаваемые в контроллер низкого уровня для обеспечения результатов выполнения при соблюдении соответствующих норм и специальных показателей исполнения.

В контроллере 3061 обучения и воспроизведения, робот реализует набор профилей движения, которые хранятся с синхронизацией по времени и воспроизводятся контроллером низкого уровня, обеспечивающим точное следование всех приводимых в действие элементов предварительно записанным профилям движения. Такие виды управления и реализации требуются для управления роботом, некоторые из них предоставляются на коммерческой основе. В то время, как описанное изобретение использует контроллер низкого уровня для исполнения человекоподобным роботом машиночитаемых профилей движения/взаимодействия с синхронизацией по времени, некоторые варианты его исполнения направлены на реализацию технологий, являющихся более многофункциональными, автоматизированными, исчерпывающими и более комплексными, позволяющими более эффективно и рентабельно создавать и исполнять большее количество простых и сложных задач.

На Фиг. 108 отображены различные категории 3070 датчиков и их связанные типы для категорий и типов ввода студийных сенсорных данных и сенсорных данных робота, которые могут создаваться как на этапе записи в студии автора, так и во время исполнения роботом соответствующей задачи. Эти наборы сенсорных данных формируют основу для построения библиотек мини-манипуляций посредством многоконтурного комбинирования различных контрольных действий на основании специфических данных и/или для получения значений специфических данных для получения желаемого конечного результата, будь то подпрограмма с высокой фокусировкой (захват ножа, нажатие на клавишу фортепиано, рисование линии на холсте и т.д.) или более универсальная подпрограмма ММ-действие (приготовить салат, исполнить пятый концерт Шуберта на фортепиано, нарисовать сельский пейзаж и т.д.); последнее достигается путем связывания множества последовательных и параллельных комбинаций ММ-подпрограмм.

Датчики делятся на три категории на основании их расположения и части специфического взаимодействия, которое необходимо контролировать. Три вида датчиков (внешний 3071, внутренний 3073 и интерфейсный 3072) передают данные в процесс костюма 3074, который направляет данные по соответствующему протоколу и каналу связи в механизм 3075 обработки данных и/или управления роботом.

Внешние датчики 3071 включают в себя датчики, обычно расположенные/используемые снаружи торса двурукого

робота/человекоподобного робота и стремятся смоделировать местоположение и конфигурацию отдельных систем. К датчикам таких костюмов относятся простые контактные датчики (дверные и т.д.), электромагнитные (ЭМ) спектральные датчики для однокоординатных измерений (ИК-датчики и т.д.), видеокамеры для генерирования двухкоординатных данных (форма, местоположение и т.д.) и трехкоординатные датчики, используемые для формирования данных по местоположению в пространстве и конфигурации, используя бинокулярные/тринокулярные камеры, сканирующие лазеры, структурированное освещение и т.д.).

Ко внутренним датчикам 3073 относятся датчики, устанавливаемые внутри торса робота/человекоподобного робота, используемые в основном для определения переменных величин внутренней оснастки, например, положений и скорости движения рук/конечностей/шарниров, силы тока исполнительного механизма, картезианских усилий и крутящих моментов, тактильных переменных величин (звук, температура, вкус и т.д.), двоичные переключатели (ограничения хода и т.д.), а также другие специальные переключатели наличия оборудования. Дополнительные одно-/двух- и трехкоординатные датчики (например, в руках) могут измерять диапазон/дистанцию, определять двухмерную топологию, используя видеокамеру, и встроенные оптические приборы для сопровождения цели (например, сенсорная головка, устанавливаемая в торсе).

Интерфейсные датчики 3072 используются для предоставления информации по высокоскоростным контактным и взаимодействующим движениям, усилиям/крутящим моментам, когда двуручный/человекоподобный робот взаимодействует с реальным миром во время выполнения своих первых задач. Эти датчики являются критически важными, так как они используются для реализации критически важных ММ подпрограмм, например, для правильного нажатия на клавишу фортепиано (длительность, усилие, скорость нажатия и т.д.) или реализации особой последовательности движений пальцев для захвата и обеспечения безопасного захвата ножа для его ориентирования и решения особой задачи (порезать помидор, разбить яйцо, раздавить головку чеснока и т.д.). Эти датчики (в порядке приближения) определяют контактное расстояние между приспособлениями робота, связанное емкостное сопротивление/индуктивность между оконечным устройством и средой, измеряемых непосредственно перед контактом, фактическое наличие контакта и местоположение, свойства связанной поверхности (проводимость, соответствие условиям и т.д.), а также связанные параметры взаимодействия (усилие, трение и т.д.) и любые другие важные тактильные переменные величины (звук, температура, запах и т.д.).

На Фиг. 109 представлена блок-схема, иллюстрирующая топологию 3080 торса и двух рук системной ММ-библиотеки для системы 3082 двуручного торса/человекоподобного робота с двумя отдельными идентичными руками 1 (3090) и 2 (3100), соединенными торсом 3110. Каждая рука (3090 и 3100) подразделяется на кисть (3091, 3101) и секцию конечности-соединения 3095 и 3105. Каждая кисть (3091, 3101) в свою очередь состоит из одного или нескольких пальцев (3092 и 3102), ладони (3093 и 3103) и запястья 3094 и 3104. Каждая из секций 3095 и 3105 конечности-соединения состоит из предплечья-конечности 3096 и 3106, локтя-соединения 3097 и 3107, плеча-конечности 3098 и 3108, а также плеча-соединения 3099 и 3109.

Такая топология, как показано на Фиг. 109, соответствует факту, что ММ-действия можно легко поделить на действия, выполняемые в большинстве случаев определенными частями кисти или конечности/соединения, тем самым значительно снижая количество параметров, необходимых для обеспечения управления и адаптации/оптимизации во время процесса обучения и воспроизведения. Это графическое представление физического пространства, к которому может быть отнесена определенная подпрограмма или основные мини-манипуляционные (ММ) действия с соответствующими переменными величинами/параметрами, необходимыми для описания каждой мини-манипуляции (ММ) в качестве минимальной/необходимой и достаточной.

Разбивка физической пространственной области также предусматривает более простую разбивку ММ-действия для реализации особой задачи на типовые мини-манипуляционные подпрограммы, сильно упрощающие построение более комплексных и сложных ММ-действий, используя комбинации последовательных/параллельных типовых мини-манипуляционных подпрограмм действий. Нужно отметить, что такая разбивка физической пространственной области для быстрого создания элементарных элементов ММ-действия (и/или подпрограмм) является одним из двух комплементарных подходов, предусматривающих упрощенное описание параметров мини-манипуляционных подпрограмм для создания возможности построения набора типовых и специализированных мини-манипуляционных подпрограмм или элементарных движений для построения полного набора библиотек движений.

Фиг. 110 иллюстрирует систему человекоподобного робота с торсом и двумя руками 3120 в виде набора этапов реализации манипуляционных функций, связанных с любым манипуляционным действием, вне зависимости от необходимой задачи, для комбинаций манипуляций-этапов ММ библиотеки и переходов для последовательностей 3120 специализированных действий.

Поэтому, чтобы построить более комплексный набор подпрограмм элементарных ММ-действий более высокого уровня, используя набор типовых подпрограмм, мини-манипуляция высокого уровня (ММ) может рассматриваться как переход между различными этапами любой мини-манипуляции, что предусматривает простое связывание ММ-подпрограмм для разработки ММ-подпрограммы более высокого уровня (элементарное движение). Нужно отметить, что каждый этап манипуляции (подход, захват, маневр и т.д.) самостоятельно является собственной манипуляцией низкого уровня, описываемой набором параметров, задействованных в управлении движениями и усилиями/крутящими моментами (внутренние, внешние и интерфейсные переменные величины) одного или нескольких объектов физической пространственной области (палец(-ы), ладонь, запястье, конечности, соединения [локоть, плечо и т.д.), торс и т.д.].

Рука 1 3131 двуручной системы может использовать внешние и внутренние датчики, как это определено на Фиг. 108, для достижения определенного положения 3131 оконечным устройством с данной конфигурацией 3132 до приближения к определенной цели (инструмента, предмета кухонной посуды, поверхности и т.д.), используя интерфейсные датчики для направления системы во время фазы 3133 достижения и во время любой фазы 3035 захвата (если требуется); последующая фаза 3136 обращения/маневрирования позволит оконечному устройству осуществить захват инструмента (для перемешивания, рисования и т.д.). Это описание также применимо для руки 2 3140, которая может выполнять аналогичные действия и последовательности.

Нужно отметить, что если подпрограммное ММ-действие не будет выполнено успешно (потребуется повторный захват), все что потребуется от устройства определения последовательности ММ-действий это вернуться обратно к начальному этапу и выполнить действия заново (возможно с измененным набором параметров для достижения успешного результата). Более комплексные наборы действий, например, нажатие последовательности клавиш фортепиано с использованием разных пальцев, задействует серию повторяемых переходов между фазами приближения 3133, 3134 и контакта 3134, 3144, предусматривая нажатие различных клавиш через различные интервалы времени с различным эффектом (плавное/сильное, короткое/длительное нажатие и т.д.); перемещение к разным октавам звукоряда фортепиано просто требует возврата к фазе конфигурации 3132 для смены положения руки или, возможно даже торса 3140 полностью, путем перемещения и/или поворота для достижения другой ориентации 3151 руки и торса.

Рука 2 3140 может выполнять аналогичные действия параллельно и независимо от руки 3130, или совместно и согласовано с рукой 3130 и торсом 3150, с учетом фазы координирования движения 3152 (например, во время движения руки и торса дирижера с палочкой) и/или контрольной фазы 3153 контакта и взаимодействия, например, во время замеса теста на столе.

Один из аспектов, изображенных на Фиг. 110, указывает на то, что мини-манипуляции, начиная с подпрограммы нижнего уровня и до элементарных движений более высокого уровня, или более комплексных последовательностей движений и абстракций, могут генерироваться с использованием наборов различных движений, связанных с определенным этапом, который, в свою очередь, имеет точный и хорошо определенный набор параметров (для выполнения измерения, управления и оптимизации посредством процесса обучения). Наборы параметров меньшего размера предусматривают более простую отладку и подпрограммы, что позволяет образовывать ММ-программы более высокого уровня на основе хорошо определенных и успешных ММ-подпрограмм более низкого уровня.

Можно обратить внимание, что связывание мини-манипуляционной (под-)программы не только с набором параметров, которые должны регулироваться и контролироваться во время определенной фазы движения, как показано на Фиг. 110, но и связываться с особым аппаратным (набором) единиц, как показано на Фиг. 109, предусматривает очень мощный набор представлений, обеспечивающий создание интуитивных элементарных ММ-движений и их компилирование в набор типовых и специализированных ММ-библиотек движений/действий.

На Фиг. 111 отображена принципиальная схема процесса 3160 создания библиотеки мини-манипуляций как для типовых, так и специализированных элементарных движений в части генерирования, сбора и анализа студийных данных. Этот рисунок показывает процесс обработки сенсорных данных набором программных механизмов для создания набора библиотек мини-манипуляций, содержащих наборы данных со значениями параметров, архивы с привязкой по времени, командные последовательности, показатели выполнения, контрольные показатели и т.д. для обеспечения результата элементарных мини-манипуляционных движений при выполнении робототехнических задач от низкого до комплексного уровней сложности.

Более подробное рассмотрение определяет принципы фильтрования и ввода сенсорных данных в последовательность механизмов обработки для появления в наборе библиотек типовых и специализированных элементарных ММ-действий. Обработка сенсорных данных 3162, определенная на Фиг. 108, включает в себя этап фильтрования 3161 с группированием посредством механизма 3163 определения взаимосвязей, где данные привязываются к аппаратным системным элементам, как показано на Фиг. 109, а также ММ-этапам, как показано на Фиг. 110, потенциально позволяя обеспечивать ввод данных 3164 с последующей обработкой двумя программными ММ-механизмами.

Механизм 3165 обработки и структуризации ММ-данных создает промежуточную библиотеку элементарных движений на основании определения последовательностей 3165-1 движений, сегментированных групп ММ-шагов 3165-2, а затем этапа 3165-3 абстрагирования этих движений в набор значений параметров для каждого ММ-шага, где элементарные движения связаны с набором предварительно определенных элементарных действий 3165-5 от низкого до высокого уровней и сохранены в промежуточной библиотеке 3165-4. Как пример, процесс 3165-1 может определять последовательность движений посредством набора данных для захвата объекта и повторения движений назад и вперед, относящихся к действиям студийного шеф-повара, берущего нож и приступающего к нарезке продуктов. Такая последовательность движения впоследствии разбивается в 3165-2 на связанные действия нескольких аппаратных элементов (пальцы и конечности/соединения), показанных н Фиг. 109 с набором переходов между множеством этапов манипулирования одного или нескольких рук и торса (например, контроль пальцев для захвата ножа, правильное ориентирование, перемещение рук и кистей для осуществления разреза, контролирование контакта и связанных с ним усилий для осуществления разреза вдоль плоскости, повторная установка ножа в исходное положение по свободной траектории с повтором процесса обеспечения контакта/регулирования усилия/траектории для разреза продукта питания и получения другой толщины/угла нарезки). Параметры, связанные с каждой частью этапа манипулирования, впоследствии извлекаются с присвоением числовых значений в 3165-3 и связываются со специальными простейшими действиями, предлагаемыми 3165-5 с мнемоническими дескрипторами, например, «захват», «выравнивание предмета кухонной посуды», «резка», «индексирование» и т.д.

Данные 3165-4 из промежуточной библиотеки передаются в механизм 3166 обучения и настройки, где данные из других студийный сеансов 3168 используются для извлечения аналогичных мини-манипуляционных действий и их результатов 3166-1 с сопоставлением наборов данных 3166-2, что позволяет осуществлять настройку параметров 3166-3 внутри каждой ММ-группы, используя одну или несколько стандартных технологий для обучения машины/настройки параметров в итеративном режиме 3166-5. Дальнейший процесс структуризации 3166-4 осуществляет разбивку элементарных ММ-движений на типовые подпрограммы низкого уровня и мини-манипуляции более высокого уровня, создаваемые последовательностью (последовательных и параллельных комбинаций) подпрограммных элементарных действий.

После чего построитель 3167 библиотек организует все типовые мини-манипуляционные программы в набор типовых элементарных ММ-действий различных уровней со всеми связанными данными (команды, наборы параметров и ожидаемые/требуемые контрольные показателя), являющийся частью одной типовой ММ-библиотеки 3167-2. Также выполняется построение отдельной библиотеки в виде специализированной библиотеки 3167-1, которая предусматривает связывание любой последовательности типовых элементарных ММ-действий со специальной задачей (приготовление пищи, рисование и т.д.), что позволяет включить специализированные наборы данных, связанные с задачей (например, параметры и данные кухни, параметры инструмента и т.д.), требуемые для воспроизведения студийных действий дистанционной роботизированной системой.

Отдельный диспетчер 3169 доступа к ММ-библиотеке отвечает за проверку правильности библиотек и связанных с ними наборов данных (параметры, архивы с привязкой по времени, контрольные показатели выполнения и т.д.) 3169-1 для передачи в дистанционную систему воспроизведения робота, а также проверку обновленных элементарных ММ-движений (параметры, контрольные показатели выполнения и т.д.) 3169-2 на основании исполнения выученных и оптимизированных мини-манипуляций одной или несколькими аналогичными/различными дистанционными роботизированными системами. Это гарантирует постоянное развитие библиотеки и ее оптимизация посредством растущего числа дистанционных роботизированных исполнительных платформ.

Фиг. 112 - блок-схема, иллюстрирующая процесс использования дистанционной роботизированной системой ММ-библиотеки для дистанционной воспроизведения специальной задачи (приготовление пищи, рисование и т.д.), выполняемой экспертом в студии, где осуществляется запись действий эксперта, анализ и перевод в машиноисполняемые наборы массивы ММ-данных с иерархической структурой (команды, параметры, контрольные показатели, архивы с привязкой по времени и т.д.), которые, при их загрузке и правильном анализе, предусматривают точную репликацию роботизированной системой (в этом случае - система человекоподобного робота с двумя руками на торсе) действий эксперта с достаточной точностью для обеспечения конечного результата, аналогичного результату эксперта в студии.

На высоком уровне это достигается путем загрузки библиотек, описывающих задачи, содержащих полный набор массивов мини-манипуляционных данных, требуемых роботизированной системой, с передачей в контроллер робота для исполнения. Контроллер робота генерирует требуемые последовательности команд и движений, которые интерпретируются и реализуются модулем исполнения при приеме обратных сигналов из системы для обеспечения соблюдения профилей, установленных для положений конечностей и соединений, скоростей, а также (внутренних и внешних) усилий и крутящих моментов. Параллельный процесс контроля выполнения использует функциональные контрольные показания, описывающие задачу для отслеживания и обработки действий робота для обеспечения требуемой точности реализации задачи. Мини-манипуляционный процесс обучения и адаптации позволяет принимать любые наборы ММ-параметров и изменять их в случае неудачи реализации определенной функции, чтобы обеспечить успешное выполнение роботом каждой задачи или элементарного движения. Обновленные данные параметров затем используются для повторного построения измененного набора ММ-параметров, а также для обновления/повторного построения особой ММ-программы с последующим обратным предоставлением в программы оригинальной библиотеки в виде измененной/заново настроенной библиотеки для использования в будущем другими роботизированными системами. Система отслеживает все этапы мини-манипуляций до получения конечного результата и, после завершения, покидает контур робототехнического исполнения и начинает ожидать дальнейших команд или ввода данных.

Процесс, описанный выше, можно детализировать в виде последовательностей, описанных ниже. Доступ к ММ-библиотеке 3170, содержащей как типовые так и специализированные ММ-библиотеки, осуществляется через диспетчер 3171 доступа к ММ-библиотеке, который обеспечивает доступность всех специализированных наборов 3172 данных, необходимых для исполнения и проверки промежуточного/конечного результата для особой задачи. Набор данных включает без ограничения все необходимые кинематические/динамические и контрольные параметры, архивы соответствующих переменных величин с привязкой по времени, функциональные и исполнительные контрольные показатели и значения для осуществления проверки, а также все ММ-библиотеки движения, относящиеся к определенной задаче.

Все специализированные наборы 3172 данных передаются на контроллер 3173 робота. Определитель 3174 последовательности команд создает правильные последовательности параллельных/последовательных движений с назначенным индексным значением «I» для общего числа этапов «i=N» с передачей каждой команды (данных) на выполнение последовательного/параллельного движения к исполнителю 3175 команд. Исполнитель 3175 команд принимает каждую последовательность команд и, в свою очередь, разбирает ее на набор командных сигналов от высокого до низкого уровня для систем приведения в действия и восприятия, позволяя контроллерам этих систем правильно реализовывать в виде функции времени профили движения в соответствии с требуемым положением/скоростью и усилием/крутящим моментом. Обратные сенсорные данные 3176, поступающие из (роботизированной) системы человекоподобного робота/с торсом и двумя руками, используются функции реализации профиля для обеспечения фактических значений, максимально близких к желаемым/командным значениям.

Процесс 3177 отслеживания отдельного и параллельного выполнения измеряет результаты функционального выполнения во время исполнения каждого отдельного ММ-действия и сопоставляет их с контрольными показателями выполнения, связанными с каждым ММ-действием и предоставленными в наборе специализированных ММ-данных, имеющемся в 3172. Если функциональный результат будет в пределах приемлемых допусков для требуемых значений контрольных параметров, робот сможет продолжить выполнение задачи путем увеличения значения ММ-индекса до передавая это значение и возвращая управления обратно процессу 3174 устройства определения последовательностей команд, позволяя продолжить весь процесс по повторяющемуся контуру. Если, однако, контрольные показатели выполнения будут отличаться, приводя к расхождению значений функциональных результатов, то произойдет запуск процесса 3178 изменения отдельных задач.

Процесс 3178 изменения ММ-задач используется для изменения параметров, описывающих любую специализированную манипуляцию, тем самым обеспечивая, чтобы изменения этапов исполнения задачи приводили к приемлемому функциональному результату выполнения. Это достигается взятием набора параметров из «нарушающего» этапа ММ-действия и использованием одного или нескольких множественных технологий для оптимизации параметров, общих в области машинного обучения, для повторного построения измененного MM_i-этапа или MM_i-последовательности из особого MM_i-этапа или MM_i-последовательности*. Измененный этап или последовательность MM_i затем используется для повторного построения новой последовательности команд, которая будет возвращена назад в исполнитель 3175 команд для повторного исполнения. Измененный этап или последовательность MM_i* далее передается на перестроение, где выполняется повторная сборка конечной версии набора ММ-данных, которая приведет к успешному получению требуемого функционального результата, который можно будет передать в процесс 3179 отслеживания параметров и задач.

Процесс 3179 отслеживания параметров и задач отвечает за проверку успешного завершения каждого ММ-этапа или последовательности, а также за создание конечного/правильного набора ММ-данных для получения требуемых уровней выполнения и функционального результата. Функции контроля реализуются устройством 3174 определения последовательности команд до завершения выполнения задачи. После успешного исполнения всех последовательностей полностью, включающих «i=N», происходит завершение процесса (система ожидает дальнейших команд или ввода данных пользователем). Задача 3179 отслеживания также направляет для каждого значения последовательности «i» сумму всех перестроенных наборов ММ-параметров ∑(MM_i*) обратно в диспетчер 3171 доступа к ММ-библиотеке, чтобы предусмотреть обновление специализированных библиотек в дистанционной ММ-библиотеке 3170, показанной на Фиг. 111. После чего дистанционная библиотека обновляет собственное внутреннее специализированное ММ-представление [установка ∑(MM_i,нов.)=∑(MM_i*)], тем самым делая доступной оптимизированную ММ-библиотеку для будущего использования роботами.

На Фиг. 113 показана блок-схема, иллюстрирующая автоматизированный механизм 3180 построения набора ММ-параметров для элементарного ММ-движения, связанного со специальной задачей. Это является графическим представлением того, как осуществляется процесс построения (под-)программы для специальной мини-манипуляции специальной задачи на основании применения группировок аппаратной системы и различных этапов манипулирования, где ММ-программа более высокого уровня может быть построена с использованием множества элементарных ММ низкого уровня (в основном подпрограмм, включающих небольшие и простые движений, а также контролируемые действия замкнутого типа), например, захват, захват инструмента и т.д. Этот процесс приводит к формированию последовательности (изначально матрицы, индексированные по задаче и времени) значений параметров, хранящихся в многомерных векторах (массивах), которые применяются поэтапно на основании последовательностей простых маневров и этапов/действий. По существу, этот рисунок иллюстрирует пример создания последовательности ММ-действий со связанными параметрами, отражая действия из механизма 3160 обработки и структуризации ММ-библиотеки из Фиг. 112.

Пример, изображенный на Фиг. 113, показывает фрагмент того, как программный механизм переходит к анализу сенсорных данных для извлечения множественных этапов из конкретного набора студийных данных. В данном случае показан процесс захвата инструмента (например, ножа), переход к станции нарезки для захвата или удержания конкретного пищевого продукта (например, булки хлеба) и выравнивание ножа для начала нарезки. Система фокусируется на руке 1 на этапе 1, где происходит захват инструмента (ножа) путем определения конфигурации для осуществления захвата (1.а), приближения к ножу, находящемуся в держателе или на поверхности (1.b), выполнения предварительно определенного набора движений по захвату (включая определение контакта и управление усилием, не показанных, но учтенных в ММ-этапе ЗАХВАТА 1.с) для получения инструмента и перемещения кисти в свободном пространстве для обеспечения правильного выравнивания кисти/запястья и выполнения нарезки. Таким образом, система будет способна заполнить векторы параметров (от 1 до 5) для осуществления функций робототехнического контроля в будущем. Система переходит к следующему этапу, в котором задействуется торс на этапе 2, состоящему из мини-манипуляций низкого уровня для обращения с рабочей поверхностью (резка) (2.а), выравнивания двуручной системы (2.b) с переходом к следующему этапу (2.с). На следующем этапе 3, рука 2 (не держащая инструмент/нож) получает команду на выравнивание кисти (3.а) для захвата объекта большего размера, приближается к пищевому продукту (3.b), для этого возможно задействуются все конечности и соединения, а также запястье; (3.с), действие выполняется до установления контакта с продуктом (3.с), после чего выполняется его захват с приложением достаточного усилия (3.d) до выравнивания инструмента (3.f), чтобы предусмотреть резку после возврата (3.g) и переход к следующему этапу (4 и так далее).

Пример выше иллюстрирует процесс построения ММ-программы на основании простых подпрограммных движений (также являющихся мини-манипуляциями), используя как картирование реальных объектов, так и манипуляционный подход, которые могут быть легко различены и параметризированы компьютером, используя внешние/внутренние/ интерфейсные сенсорные обратные данные, полученные в процессе студийной записи. Этот процесс построения ММ-библиотеки для параметров процесс создает «векторы параметров», полностью описывающие успешные ММ-действия (или их набор), так как векторы параметров включают сенсорные данные, архивы ключевых переменных с привязкой по времени, а также данные выполнения и контрольные показатели, позволяющие дистанционной роботизированной системе воспроизведения выполнять требуемые задачи. Этот процесс также является типовым, в части того, что он является агностическим для выполняемой задачи (приготовление пищи, рисование и т.д.), он реализует простое построение ММ-действий на основании набора типовых элементарных движений и действий. Возможно добавить на любом уровне простые пользовательские данные и другие предопределенные дескрипторы элементарных действий для обеспечения более общего описания конкретной последовательности действий и создания более типовой последовательности для применения в будущем или специализированной последовательности для конкретного применения. Векторы параметров в наборах ММ-данных также предусматривают непрерывную оптимизацию процесса посредством обучения, где возможна адаптация к параметрам для повышения точности конкретной мини-манипуляции на основании полевых данных, созданных во время процесса воспроизведения действий роботом при задействовании (и оценки) ММ-программ в одной или нескольких типовых и/или специализированных библиотеках.

На Фиг. 114А представлена блок-схема, иллюстрирующая информационно-центрирующий вид архитектуры робота (или роботизированной системы) с центральным робототехническим модулем управления в центральном блоке с фокусировкой на архивах данных. Центральный робототехнический модуль 3191 управления включает рабочее запоминающее устройство, необходимое для реализации всех процессов, раскрытых в «указать». В частности, центральный робототехнический модуль управления определяет рабочий режим робота, например, будь то наблюдение за действиями внешнего наставника, обучение новым мини-манипуляциям или выполнение задачи.

Рабочая память 1 3192 содержит все показания датчиков за период времени до настоящего момента: от нескольких секунд до нескольких часов - в зависимости от объема памяти, обычно в памяти сохраняется около 60 секунд. Показания датчиков поступают от внутренних и внешних датчиков робота и могут включать сигналы с видеокамер, ладара, сонара, датчиков усилий и давления (тактильных), датчиков звука и/или любых других датчиков. Показания датчиков имеют косвенную или прямую привязку ко времени или последовательности (последнее означает порядок, согласно которому выполнялось получение показаний).

Рабочая память 2 3193 содержит все команды исполнительного механизма, генерируемые центральным робототехническим модулем управления, и, либо передаваемые исполнительным механизмам или устанавливаемые в очередь для передачи исполнительным механизмам в определенный момент времени, или срабатывающие при возникновении определенного события (например, робот завершает предыдущее действие). К ним относятся все необходимые значения параметров (например, дистанция для движения, значение прилагаемого усилия и т.д.).

Первая база данных (база данных 1) 3194 содержит библиотеку всех мини-манипуляций (ММ), известную роботу, включая три условия для каждой ММ, где PRE={s₁, s₂, …, s_n} представляет собой набор элементов общего состояния, которые должны быть верными перед перед выполнением ACT=[a₁, a₂, …, a_k] действий, а результат внесения изменений общего состояния определяется POST={p₁, р₂, …, p_m}. В предпочтительном варианте исполнения ММ индексируются по цели, задействуемым датчикам и исполнительным механизмам, а также другим факторам, упрощающим доступ и применение. В предпочтительном варианте каждый POST-результат связан с возможностью получения желаемого результата исполнения ММ. Центральный робототехнический модуль управления получает доступ к ММ-библиотеке для поиска и исполнения ММ, обновляет ее, например, в режиме обучения для добавления новых ММ.

Вторая база данных (база данных 2) 3195 содержит библиотеку сценариев, где каждый сценарий представляет собой последовательность мини-манипуляций для выполнения конкретной задачи, например, приготовления определенного блюда или перенос предмета из другой комнаты. Каждый сценарий содержит переменные величины (например, предмет для переноса, дистанция движения и т.д.) и конечные результаты (например, привело ли выполнение сценария к желаемому результату, насколько он был близок к оптимальному - насколько быстро и без побочных ли эффектов был выполнен сценарий и т.д.). Центральный робототехнический модуль управления получает доступ к библиотеке сценариев для определения наличия известной последовательности действий для выполнения текущей задачи, и обновляет библиотеку сценариев, путем внесения конечных результатов после завершения задачи. Центральный робототехнический модуль управления добавляет новые сценарии в библиотеку сценариев или удаляет неэффективные сценарии.

Третья база данных (база данных 3) 3196 представляет собой хранилище объектов, в основном содержащее информацию об известных роботу внешних объектах, перечень объектов с указанием их типов и свойств. Например, нож относится к типу «инструмент» и «кухонная принадлежность», обычно находится в ящике или столешнице, относится к определенному размерному ряду, может выдерживать любую силу захвата и т.д. Яйцо имеет тип «пища», относится к определенному размерному ряду, обычно находится в холодильнике, может выдерживать определенную силу захвата без нарушения целостности и т.д. Информация по объекту уточняется во время формирования нового плана роботизированного действия, для определения свойств объектов, распознавания объектов и т.д. Хранилище объектов может также обновляться при вводе новых объектов, хранилище может обновлять содержащуюся информацию о существующих объектах, их параметры или диапазоны параметров.

Четвертая база данных (база данных 4) 3197 содержит информацию об окружающей среде, где действует робот, включая местоположение робота, размер рабочего пространства (например, комнаты в доме), схему размещение, расположение и количество конкретных объектов, находящихся в пределах рабочей зоны. Опрос базы данных 4 происходит каждый раз, когда роботу необходимо обновить параметры объекта (например, местонахождение, ориентировку) или переместиться в пределах рабочей зоны. Обновление выполняется довольно часто при перемещении и поглощении объектов, а также появлении новых объектов извне (например, когда человек возвращается из кладовой или супермаркета).

На Фиг. 114В представлена блок-схема, иллюстрирующая примеры различных форматов данных мини-манипуляций согласно составу, связям и конверсии данных мини-манипуляционного поведения робота. По составу, описания ММ-поведения высокого уровня на специальном/абстрактном языке программирования основываются на применении простейших ММ-действий, которые, в свою очередь могут быть описаны еще более рудиментарными ММ для обеспечения возможности построения характеров поведения, используя более комплексные характеры поведения.

Примером чрезвычайно рудиментарного поведения может являться «сгибание пальца», с примитивным действием, относящимся к «захвату», когда все 5 пальцев огибают объект, с поведением высокого уровня «принести инструмент», когда кисть перемещается в соответствующее место с последующим захватом инструмента пятью пальцами. Каждое из элементарных поведений (включая также более рудиментарные) имеет корреляционный функциональный результат и связанные калибровочные переменные для описания и контролирования поведения.

Установление связи позволяет связывать данные поведения с данными реального мира, включающими данные по аппаратной системе (параметры робота, геометрию окружающей среды и т.д.), контроллере (тип и значения усиления/параметры), используемом для выполнения движения, с сенсорными данными (визуальные, динамические/статические и т.д.) для осуществления отслеживания и управления, а также с другими процессам, связанным с исполнением программного цикла (связь, обработка ошибок и т.д.).

Процесс конверсии берет все связанные ММ-данные из одной или нескольких баз данных и, используя программный механизм, называющийся «генератор и переводчик кодов управляющих команд для исполнительных механизмов, создает машиноисполняемый код команды (низкого уровня) для контроллера каждого из исполнительных механизмов (от А1 до An) (которые самостоятельно исполняют широкополосный контрольный цикл в отношении положения/скорости и/или усилия/крутящего момента) для каждого периода времени (от t1 до tm), тем самым позволяя системе робота исполнять управляющую команду с непрерывным набором вложенных циклов.

На Фиг. 115 представлена блок-схема, иллюстрирующая один вид различных уровней двунаправленных абстракций 3200 между концепциями 3206 робототехнических аппаратных средств, концепциями 3208 робототехнических программных средств, концепциями 3202 робототехнической деловой деятельности и математическими алгоритмами 3204 для реализации робототехнических концепций. Если рассмотреть робототехническую концепцию настоящего изобретения в виде вертикально и горизонтально расположенных концепции, то концепция робототехнической деловой деятельности будет включать коммерческие применения роботизированной кухни и находится на верхнем уровне 3202, математический алгоритм 3204 робототехнической концепции будет располагаться на нижнем уровне, а концепции 3206 робототехнических аппаратных средств и концепции 3208 робототехнических программных средств будут находиться между концепцией 3202 робототехнической деловой деятельности и математическим алгоритмом 3204. В сущности, каждый из уровней концепции робототехнических аппаратных средств, концепции робототехнических программных средств, математического алгоритма и деловой деятельности взаимодействуют со всеми уровнями двунаправленно, как показано на Фиг. 115. Например, процессор для обработки программных мини-манипуляций из базы данных для приготовления кулинарного блюда посредством направления управляющих команд к исполнительным механизмам для регулирования движений каждого роботизированного элемента для получения оптимального функционального результата при приготовлении этого кулинарного блюда. Подробные горизонтальные виды концепций аппаратных и программных средств приведены в настоящем раскрытии информации, например, на Фиг. 100-114.

На Фиг. 116 приведена блок-схема, иллюстрирующая пару 3210 роботизированных рук с пятипалыми кистями. Каждая роботизированная рука 70 может иметь шарниры на локте 3212 и на запястье 3214. Каждая кисть 72 может иметь пять пальцев для воспроизведения движений и мини-манипуляций автора изобретения.

На Фиг. 117А приведена схема, иллюстрирующая один из вариантов выполнения человекоподобного робота 3220. Человекоподобный робот 3220 может иметь голову 3222 с установленной камерой для получения изображений внешней среды, способной обнаруживать и определять местоположение целевого объекта и траекторию его движения. Человекоподобный робот 3220 может иметь торс 3224 с датчиками на теле для определения угла наклона тела и движения, которые могут включать датчик глобального позиционирования или другие датчики положения. Человекоподобный робот 3220 может иметь одну или несколько кистей 72 с гибкими возможностями, пальцы и ладони с различными датчиками (лазерные, стереоскопического видения), встроенными в кисть и пальцы. Кисти 72 способны точно удерживать, захватывать, отпускать, сжимать пальцы для воспроизведения навыков человека, таких как приготовление пищи, игра на музыкальном инструменте, рисование и т.д. Человекоподобный робот 3220 при необходимости может иметь ноги 3226 с исполнительным механизмом, чтобы контролировать скорость работы. Каждая нога 3226 имеет несколько степеней свободы (СС) для выполнения человеческой ходьбы, бега и прыжков. Аналогичным образом человекоподобный робот 3220 может иметь ступню 3228, оснащенную функцией перемещения по различным условиям местности и внешние условия.

Кроме того человекоподобный робот 3220 может иметь шею 3230, с несколькими степенями свободы для движения вперед/назад, вверх/вниз, влево/вправо и для поворота. Он может иметь плечо 3232 с несколькими степенями свободы для движения вперед/назад, для вращения, локоть с несколькими степенями свободы для движения вперед/назад и запястья 314 с несколькими степенями свободы для движения вперед/назад и вращения. Человекоподобный робот 3220 может иметь бедра 3234 с несколькими степенями свободы для движения вперед/назад, влево/вправо и для вращения, колени 3236 с несколькими степенями свободы для движения вперед/назад и лодыжки 3236 с несколькими степенями свободы для движения вперед/назад и влево/вправо. Человекоподобный робот 3220 может иметь батарею 3238 или другой источник питания, которые позволяют ему свободно двигаться в пределах рабочего пространства. Батарея 3238 может быть перезаряжаемой или может быть любого типа или любого типа источника питания.

На Фиг. 117В представлена блок-схема, иллюстрирующая один из вариантов выполнения человекоподобного робота 3220 со множеством гироскопов 3240, установленных в корпус робота рядом или в месте соответствующих соединений. Также как и датчик ориентации, поворотный гироскоп 3240 показывает различные углы, при которых человекоподобный робот выполняет движения под углом высокой степени сложности, например, останавливается или садится. Комплект гироскопов 3240 позволяет механизму алгоритма работы и обратной связи поддерживать динамическую стабильность всего человекоподобного робота 3220, а также отдельных его частей. Гироскопы 3240 могут обеспечивать выходные данные в режиме реального времени, такие как: углы Эйлера, кватернион углового положения, магнитометр, акселерометр, гироскоп данных, высоту, местоположение и скорость по GPS.

На Фиг. 117С приведена графическая схема, иллюстрирующая записывающие устройства на человекоподобном роботе, в том числе костюм с датчиками, экзоскелет руки, головную гарнитуру и перчатки с датчиком автора изобретения. В одном варианте осуществления, чтобы создать навык и зафиксировать движения человека, автор может надеть костюм с датчиками или экзоскелет 3250. Костюм может включать в себя головную гарнитуру 3252, экзоскелет для нижних конечностей 3254 и перчатки 3256. Экзоскелеты могут быть покрыты сенсорной сетью 3258 с несколькими точками измерения и точками привязки. Эти точки измерения и точки привязки позволяют записывающему устройству 3260 захватить движения автора с сенсорной сети 3258 в течение периода, когда автор остается в пределах области действия записывающих устройств 3260. В частности, если автор двигает рукой, когда надета перчатка 3256, положение в трехмерном пространстве будет захвачено несколькими точками данных D1, D2…Dn датчика. Благодаря нательному костюму 3250 или головной оснастке 3252, движение автора не ограничивается одной лишь головой и охватывает и движение всего тела. Таким образом, каждое движение можно разделить и классифицировать как мини-манипуляцию, которая является частью навыка.

На Фиг. 118 представлена блок-схема, иллюстрирующая экспертную роботизированную электронную библиотеку 2100 мини-манипуляций навыков человека как его интеллектуальной собственности. Библиотека 2100 объектов/навыков включает любое количество навыков по манипуляции в файле или структуре папок. Библиотека может быть организована разными способами, включая, без ограничения перечисленным, разбиение по навыкам, по профессиям, по классификации, по виду окружающей среды или по другим каталогом или таксономии. Также библиотека может быть классифицирована с использованием двумерных файлов или реляционным образом, и может включать неограниченное количество папок и подпапок, и практически неограниченное количество библиотек и мини-манипуляций. Как видно на Фиг. 118, библиотека включает в себя несколько библиотек воспроизведения навыков человека 56, 2102, 2104, 2106, 3270, 3272, 3274, охватывающих такие темы, как человеческие кулинарные навыки 56, человеческие навыки рисования 2102, человеческие навыки игры на музыкальном инструменте 2104, человеческие навыки по медицинскому уходу 2106, человеческие навыки по уборке помещения 3270 и человеческие навыки по реабилитации/терапевтическому лечению 3272. Дополнительно и/или в качестве альтернативы, библиотека 2100 манипуляций объекта электронной интеллектуальной собственности роботизированных навыков человека может также включать основные навыки движения человека, такие как, ходьбу, бег, прыжки, подъем на лестницу и т.д. Несмотря на то, что не сам по себе навык, на основании которого создаются библиотеки мини-манипуляций основных движений человека 3274, позволяет человекоподобному роботу функционировать и взаимодействовать с реальным миром более простым человекоподобным образом.

На Фиг. 119 представлена блок-схема, иллюстрирующая процесс создания электронной библиотеки общих мини-манипуляций 3280 для замены движений кисти на основании движений кисти человека. На данной иллюстрации одна общая мини-манипуляция 3290 описана со ссылкой на Фиг. 119. Мини-манипуляция ММ1 3292 приводит к функциональному результату 3294 для данной конкретной мини-манипуляции (например, успешный удар первым объектом по второму объекту). Каждая мини-манипуляция может быть разбита на под- манипуляции или этапы, например, ММ1 3292 включает в себя одну или несколько мини-манипуляций (под-мини-манипуляций), мини-манипуляция ММ1.1 3296 (например, поднять и удержать объект 1), мини-манипуляция ММ1.2 3310 (например, поднять и удерживать второй объект), мини-манипуляция ММ1.3 3314 (например, ударить первый объект вторым объектом), мини-манипуляция ММ1.4n 3318 (например, открыть первый объект). Дополнительные под-мини-манипуляции могут быть добавлены или удалены так, чтобы они подходили для конкретной мини-манипуляции, которая достигает определенного функционального результата. Определение мини-манипуляции зависит частично от того, как она определена и степени детализации, используемой для такой манипуляции, т.е. охватывает ли конкретная мини-манипуляция несколько под-мини-манипуляций или может ли действие, охарактеризованное как под-мини-манипуляция, определяться как более широкая мини-манипуляция в другом контексте. Каждая из под-мини-манипуляций имеет соответствующий функциональный результат, где под-мини-манипуляция ММ1.1 3296 получает субфункциональный результат 3298, под-мини-манипуляция 3310 ММ1.2 получает субфункциональный результат 3312, под-мини-манипуляция ММ1.3 3314 получает субфункциональный результат 3316 и под-мини-манипуляция ММ1.4n 3318 получает субфункциональный результат 3294. Аналогичным образом определение функционального результата частично зависит от того, как он определен, охватывает ли конкретный функциональный результат нескольких функциональных результатов, или может ли действие, охарактеризованное как субфункциональный результат определяться как более широкий функциональный результат в другом контексте. Коллективно, под-мини-манипуляция ММ1.1 3296, под-мини-манипуляция ММ1.2 3310, под-мини-манипуляция ММ1.3 3314, под-мини-манипуляция ММ1.4п 3318 выполняет общий функциональный результат 3294. В одном варианте исполнения, общий функциональный результат 3294 такой же как и функциональный результат 3319, связанный с последней под-мини-манипуляцией 3318.

Различные возможные параметры для каждой мини-манипуляции 1.1-1.n тестируются для того, чтобы найти лучший способ выполнения конкретного движения. Например, к мини-манипуляции 1.1 (ММ1.1) может относится удержание объекта или игра аккорда на фортепиано. Для этого этапа общей мини-манипуляции 3290 рассматриваются все различные под-мини-манипуляции и параметры, завершающие этап 1.1. То есть тестируются различные позиции, ориентации и способы фиксации объекта с тем, чтобы найти оптимальный способ для удержания объекта. Как роботизированная рука, кисть или человекоподобный робот держат свои пальцы, ладони, ноги или любые другие роботизированные части во время операции. Тестируются все различные положения фиксации и ориентации. Далее роботизированная рука, кисть или человекоподобный робот, может поднять второй объект для завершения мини-манипуляции 1.2. Второй объект, то есть, нож, может быть поднят, и все различные позиции, ориентации и способ удержания объекта могут быть протестированы и исследованы, чтобы выявить оптимальный способ использования объекта. Это продолжается до тех пор, пока мини-манипуляция 1.n не будет завершена, а все различные перестановки и комбинации для выполнения всех мини-манипуляций не будут использованы. Следовательно, оптимальный способ выполнения мини манипуляции 3290 хранится в базе данных библиотеки мини-манипуляций, которые разделены на под-мини-манипуляции 1.1-1.n. Сохраненные мини-манипуляции затем составляют наилучший способ выполнения шагов требуемой задачи, то есть, наиболее оптимальный вариант удерживания первого объекта, наиболее оптимальный вариант удерживания второго объекта, наиболее оптимальный вариант удара первого объекта вторым и т.д. Эти главные комбинации сохраняются как наиболее оптимальные варианты выполнения всей мини-манипуляции 3290.

Для создания мини-манипуляции, которая приведет к завершению задачи оптимальным способом, тестируется несколько комбинаций параметров для определения общего набора параметров, которые гарантируют, что желаемый функциональный результат будет достигнут. Процесс обучения для роботизированного устройства 75 включает в себя несколько и повторяющихся тестов, чтобы определить необходимые параметры для достижения желаемого окончательного функционального результата.

Эти тесты могут выполняться с использованием различных сценариев. Например, размер объекта может варьироваться. Расположение, в котором объект находится в пределах рабочей области, может меняться. Второй объект может быть в разных местах. Мини-манипуляция должна быть успешной во всех этих переменных условиях. После того, как процесс обучения будет завершен, результаты сохраняются в виде группы простых элементов действий, которые вместе предназначены для достижения желаемого функционального результата.

На Фиг. 120 представлена блок-схема, иллюстрирующая выполнение задачи 3330 роботом во время выполнения нескольких этапов 3331-3333 с общими мини-манипуляциями. Если планам действий требуются последовательности мини-манипуляций, как показано на Фиг. 119, то в одном варианте выполнения расчетная средняя точность робототехнического плана с точки зрения достижения желаемого результата определяется по формуле:

где G - набор реальных (или «целевых») параметров (с 1 до n), P - набор параметров робототехнического устройства 75 (соответственно, (с 1 до n)). Числитель определяет разницу между робототехническими и целевыми параметрами (т.е. погрешность), а знаменатель нормализует максимальную разницу). Полученное значение представляет общую нормализованную кумулятивную погрешность (т.е.

В другом варианте выполнения, расчет точности определяет параметры важности, где каждый коэффициент (каждый αi) представляет собой важность параметра i, нормализованную кумулятивную погрешность

На Фиг. 120 задача 3330 может быть разделена на этапы, которые по отдельности должны быть завершены до начала следующего этапа. Например, этап 3331 должен обеспечить результат этапа 3331d до перехода к этапу 3332. Кроме того и/или в качестве альтернативы этапы 3331 и 3332 могут выполняться одновременно. Каждая мини-манипуляция может быть разделена на ряд простейших действий, которые приведут к функциональному результату, например, на этапе S₁ все простейшие действия в первой определенной мини-манипуляции 3331а должны быть завершены и должны привести к функциональному результату 3331а' до того, как перейти ко второй предварительно определенной мини-манипуляции 3331b (ММ1.2). Это в свою очередь формирует функциональный результат 3331b' и т.д. до тех пор, пока не будет достигнут желаемый результат 3331d на этапе. После завершения этапа 1 можно перейти к этапу S₂ 3332. На данном этапе завершены простейшие действия для этапа S₂, переход продолжается далее, пока не будет завершена задача 3330. Благодаря возможности повтора выполнения этапов обеспечивается возможность прогнозируемого и повторяемого выполнения желаемой задачи.

На Фиг. 121 представлена блок-схема, иллюстрирующая возможность регулировки параметров в режиме реального времени во время выполнения мини-манипуляций в соответствии с настоящим изобретением. Для выполнения конкретной задачи может потребоваться корректировка сохраненных мини-манипуляций для воспроизведения фактических навыков и движений человека. В одном из вариантов исполнения могут быть необходимы регулировки в режиме реального времени для внесения изменений в объекты. Кроме того и/или в качестве альтернативы для координации левой и правой руки, кисти или движений других частей робота могут потребоваться корректировки. Более того, изменения объекта, требующие мини-манипуляции правой кистью, могут влиять на мини-манипуляцию левой кистью или ладонью. Например, если роботизированная рука пытается очистить фрукт от кожуры, который она держит в правой кисти, на мини-манипуляции, выполняемые левой рукой, будут воздействовать изменения объекта, который удерживается правой рукой. Как видно на Фиг. 120, для каждого параметра, чтобы завершить мини-манипуляцию для достижения функционального результата, могут потребоваться различные параметры для левой руки. В частности каждое изменение параметра, воспринимаемое правой рукой в результате изменения параметра в первом объекте, влияет на параметры, используемые левой рукой, и на параметры объекта в левой руке.

В одном из вариантов выполнения для завершения мини-манипуляций 1.1-1.3, чтобы получить функциональный результат, правая и левая руки должны распознавать объект и получать обратную связь от него, получать данные об изменении состояния объекта в руке или в ладони или на ноге. Изменение такого состояния восприятия может привести к корректировке параметров, определяющих мини-манипуляцию. Каждое изменение параметра может привести к изменению каждого последующего параметра и каждой последующей необходимой мини-манипуляции до достижения необходимого результата задачи.

На Фиг. 122 представлена блок-схема, иллюстрирующая набор мини-манипуляций для приготовления суши в соответствии с настоящим изобретением. Как видно на Фиг. 122, функциональный результат по приготовлению суши Нигири можно разделить на ряд мини-манипуляций 3351-3355. Каждая мини-манипуляция может быть разделена на ряд под-мини-манипуляций. В этом варианте исполнения изобретения для функционального результата потребуется приблизительно пять мини-манипуляций, для которых, в свою очередь, потребуются дополнительные под-мини-манипуляции.

На Фиг. 123 представлена блок-схема, иллюстрирующая первый тип мини-манипуляций 3351 по нарезке рыбы из набора мини-манипуляций для приготовления суши в соответствии с настоящим изобретением. Для каждого типа мини-манипуляций 3351а и 3351b должны быть захвачены и зарегистрированы время, позиция и расположения стандартных и нестандартных объектов. Начальные значения в задаче могут быть захвачены в процессе выполнения задач или могут определяться автором или посредством трехмерного пространственного сканирования процесса в режиме реального времени. На Фиг. 122, для выполнения первой мини-манипуляции - взять кусок рыбы из контейнера и положить его на разделочную доску - требуется определить время начала выполнения, положение и время начала выполнения для левой и правой рук для извлечения рыбы из контейнера и расположения на разделочной доске. Для этого требуется регистрация положения, нажатия, направление пальца и взаимосвязь с другими пальцами, ладонью и другой рукой для получения скоординированного движения. Также требуется определение положения и направления как стандартных, так и нестандартных объектов. Например в этом варианте исполнения, филе рыбы нестандартный объект и его кусочки могут быть различных размеров, текстуры, твердости и веса. Положение внутри контейнера для хранения или местоположения могут варьироваться и быть нестандартными. К стандартным объектам относятся нож, его позиция и положение, разделочная доска, контейнер и их соответствующие позиции.

Второй под-мини-манипуляцией на этапе 3351 может быть 3351b. Этап 3351b требует размещение стандартного ножа с правильным ориентированием и приложение правильного давления, осуществления захвата и ориентирования для нарезки рыбы на доске. Одновременно с этим, левая рука, нога, ладонь и т.д. должны выполнять координирующие этапы и координировать завершение под-мини-манипуляции. Все эти исходные позиции, время, обратные связи и сигналы по датчиками должны быть зафиксированы и оптимизированы для обеспечения успешного внедрения элементарных действий для завершения под-мини-манипуляций.

На Фиг. 124-127 приведены блок-схемы, иллюстрирующие второй-пятый типы манипуляций, которые необходимы для выполнения задачи по приготовлению суши с мини-манипуляциями 3352а, 3342b на Фиг. 124, с мини-манипуляциями 3353а, 3353b на Фиг. 125, с мини-манипуляциями 3354 на Фиг. 126, с мини-манипуляциями 3355 на Фиг. 127. К мини-манипуляциям для завершения функциональной задачи относятся: взятие риса из контейнера, взятие куска рыбы, формирование риса и рыбы в необходимую форму, придавливание рыбы к рису для приготовления суши в соответствии с настоящим изобретением.

На Фиг. 128 представлена блок-схема, иллюстрирующая набор мини-манипуляций 3361-3365 для игры на фортепиано 3360, реализуемых в любой последовательности или комбинации одновременно для получения функционального результата 3266. Для выполнения такой задачи, как игра на фортепиано, может потребоваться координация между телом, руками, кистями, пальцами, ногами и ступнями. Все эти мини-манипуляции могут быть выполнены отдельно, коллективно, последовательно и/или одновременно.

Мини-манипуляции, которые необходимы для завершения данной задачи, могут быть разделены на ряд техник для тела и для каждой руки и ноги. Например, может быть ряд мини-манипуляций для правой руки, которая успешно нажимает и удерживает несколько клавиш фортепиано согласно исполнительской технике 1-n игры. Аналогично, может быть ряд мини-манипуляций для левой руки, которая успешно нажимает и удерживает несколько клавиш фортепиано согласно исполнительской технике 1-n. Также может быть ряд мини-манипуляций, которые используются для успешного нажатия педали фортепиано правой или левой ногой. Как будет понятно специалисту, каждый тип манипуляций для правой и левой руки и ноги, может быть в дальнейшем разделен на под-мини-манипуляции для получения необходимого функционального результата, например, игры музыкальной композиции на фортепиано.

На Фиг. 129 представлена блок-схема, иллюстрирующая первый тип мини-манипуляции 3361 для правой кисти и второй тип мини-манипуляции 3362 для левой кисти из набора мини-манипуляций, которые происходят одновременно во время игры на фортепиано из набора мини-манипуляций для игры на фортепиано в соответствии с настоящим изобретением. Чтобы создать библиотеку мини-манипуляций для данного действия, фиксируется время начала и конца нажатия каждого пальца на клавиши. Клавиши фортепиано могут быть определены как стандартные объекты, так как они не изменяются от случая к случаю. Кроме того количество техник нажатия для каждого периода времени (период однократного нажатия клавиши или время удержания) - можно определить как конкретное время цикла, где время цикла может быть такой же или другой длительности.

На Фиг. 130 представлена блок-схема, иллюстрирующая третий тип мини-манипуляций 3363 для правой ноги и четвертый тип мини-манипуляций для левой ноги 3364 из набора мини-манипуляций, которые происходят одновременно из набора мини-манипуляций для игры на фортепиано в соответствии с настоящим изобретением. Чтобы создать библиотеку мини-манипуляций для данного действия, фиксируется время начала и конца нажатия каждой ступни на педаль. Педали могут быть определены как стандартные объекты. Количество техник нажатия для каждого периода времени (период однократного нажатия клавиши или время удержания) - можно определить как конкретное время цикла, где время цикла может быть такой же или другой длительности для каждого движения.

На Фиг. 131 представлена блок-схема, иллюстрирующая пятый тип мини-манипуляций 3365, которые могут потребоваться для игры на фортепиано. Мини-манипуляции, проиллюстрированные на Фиг. 131, относятся к движению тела, которое происходит одновременно с одной или несколькими мини-манипуляциями из набора мини-манипуляций по игре на фортепиано в соответствии с настоящим изобретением. Например, начальные и конечные положения тела могут быть зафиксированы так же, как промежуточные положения, которые были зафиксированы в определенные периоды времени.

На Фиг. 132 представлена блок-схема, иллюстрирующая набор мини-манипуляций 3370 по ходьбе человекоподобного робота в любой последовательности или в любой комбинации одновременно в соответствии с настоящим изобретением. Как видно, мини-манипуляцию, показанную на Фиг. 132, можно разделить на несколько сегментов. Сегмент 3371, передний толчок 3372, наступание ногой, сегмент 3373 продвижение, сегмент 3374 вытягивание и сегмент 3375, толчок другой ногой. Каждый сегмент является отдельной мини-манипуляцией, которая приводит к функциональному результату и обеспечивает устойчивость человекоподобного робота во время ходьбы по неровному полу, по ступенькам, наклонной плоскости или уклонах. Каждый индивидуальный сегмент или мини-манипуляция можно описать движением части ноги и ступни во время реализации этого сегмента. Эти отдельные мини-манипуляции могут быть зафиксированы, запрограммированы или заданы для человекоподобного робота и каждая мини-манипуляция может быть оптимизирована на основании конкретных обстоятельств. В одном из вариантов исполнения изобретения, библиотека мини-манипуляций создается путем наблюдения за действиями автора. В другом варианте исполнения мини-манипуляция создается из ряда команд.

На Фиг. 133 представлена блок-схема, иллюстрирующая первый тип мини-манипуляций переднего толчка 3371 левой и правой ногами из набора мини-манипуляций по ходьбе человекоподобного робота в соответствии с настоящим изобретением. Как можно видеть, левая и правая ноги, колени и ступни расположены в начальной целевой XYZ-позиции. Такая позиция основывается на расстоянии до поверхности пола между ступней и поверхностью пола, угле сгиба коленей по отношению к поверхности пола, а также общей высоте ног в зависимости от техники шагового движения и любых потенциальных препятствий. Данные начальные параметры регистрируются и захватываются как для правой, так и левой ноги, коленей и ступней в начале мини-манипуляции. Мини-манипуляция создается и захватываются все промежуточные позиции, которые завершают передний толчок для мини-манипуляции 3371. Захват дополнительной информации, например, о положении тела, центре тяжести и совместных векторах может потребоваться для сбора данных, необходимых для завершения мини-манипуляции.

На Фиг. 134 представлена блок-схема, иллюстрирующая второй тип мини-манипуляций переднего толчка 3372 левой и правой ногами из набора мини-манипуляций по ходьбе человекоподобного робота в соответствии с настоящим изобретением. Как можно видеть, левая и правая ноги, колени и ступни расположены в начальной целевой XYZ-позиции. Такая позиция основывается на расстоянии до поверхности пола между ступней и поверхностью пола, угле сгиба коленей по отношению к поверхности пола, а также общей высоте ног в зависимости от техники шагового движения и любых потенциальных препятствий. Данные начальные параметры регистрируются и захватываются как для правой, так и левой ноги, коленей и ступней в начале мини-манипуляции. Мини-манипуляция создается, и захватываются все промежуточные позиции, которые завершают наступление ногой для мини-манипуляции 3372. Захват дополнительной информации, например, о положении тела, центре тяжести и совместных векторах может потребоваться для сбора данных, необходимых для завершения мини-манипуляции.

На Фиг. 135 представлена блок-схема, иллюстрирующая третий тип мини-манипуляций по продвижению 3373 левой и правой ногами из набора мини-манипуляций по ходьбе человекоподобного робота в соответствии с настоящим изобретением. Как можно видеть, левая и правая ноги, колени и ступни расположены в начальной целевой XYZ-позиции. Такая позиция основывается на расстоянии до поверхности пола между ступней и поверхностью пола, угле сгиба коленей по отношению к поверхности пола, а также общей высоте ног в зависимости от техники шагового движения и любых потенциальных препятствий. Данные начальные параметры регистрируются и захватываются как для правой, так и левой ног, коленей и ступней в начале мини-манипуляции. Мини-манипуляция создается, и захватываются все промежуточные позиции, которые завершают продвижение для мини-манипуляции 3373. Захват дополнительной информации, например, о положении тела, центре тяжести и совместных векторах может потребоваться для сбора данных, необходимых для завершения мини-манипуляции.

На Фиг. 136 представлена блок-схема, иллюстрирующая четвертый тип мини-манипуляций заднего толчка 3374 левой и правой ногами из набора мини-манипуляций по ходьбе человекоподобного робота в соответствии с настоящим изобретением. Как можно видеть, левая и правая ноги, колени и ступни расположены в начальной целевой XYZ-позиции. Такая позиция основывается на расстоянии до поверхности пола между ступней и поверхностью пола, угле сгиба коленей по отношению к поверхности пола, а также общей высоте ног в зависимости от техники шагового движения и любых потенциальных препятствий. Данные начальные параметры регистрируются и захватываются как для правой, так и левой ноги, коленей и ступней в начале мини-манипуляции. Мини-манипуляция создается, и захватываются все промежуточные позиции, которые завершают задний толчок для мини-манипуляции 3374. Захват дополнительной информации, например, о положении тела, центре тяжести и совместных векторах может потребоваться для сбора данных, необходимых для завершения мини-манипуляции.

На Фиг. 137 представлена блок-схема, иллюстрирующая пятый тип мини-манипуляций переднего толчка 3375 (для другой ноги) левой и правой ногами из набора мини-манипуляций по ходьбе человекоподобного робота в соответствии с настоящим изобретением. Как можно видеть, левая и правая ноги, колени и ступни расположены в начальной целевой XYZ-позиции. Такая позиция основывается на расстоянии до поверхности пола между ступней и поверхностью пола, угле сгиба коленей по отношению к поверхности пола, а также общей высоте ног в зависимости от техники шагового движения и любых потенциальных препятствий. Данные начальные параметры регистрируются и захватываются как для правой, так и левой ноги, коленей и ступней в начале мини-манипуляции. Мини-манипуляция создается, и захватываются все промежуточные позиции, которые завершают передний толчок для другой ноги для мини-манипуляции 3375. Захват дополнительной информации, например, о положении тела, центре тяжести и совместных векторах может потребоваться для сбора данных, необходимых для завершения мини-манипуляции.

На Фиг. 138 представлена блок-схема, иллюстрирующая робототехнический модуль 3381 для осуществления медицинского ухода с трехкоординатной системой изображения в соответствии с настоящим изобретением. Робототехнический модуль 3381 для осуществления медицинского ухода может быть любого размера и предназначен для одного пациента, нескольких пациентов, для пациентов, требующих интенсивную терапию или для пациентов, нуждающихся в простой помощи. Модуль 3381 для осуществления медицинского ухода может быть интегрирован в учреждение сестринского ухода или может быть установлен в доме престарелых или в домашнюю среду. Модуль 3381 для осуществления медицинского ухода может включать трехмерные (3D) системы зрительного очувствления, устройства медицинского мониторинга, компьютеры, медицинские принадлежности, устройства выдачи лекарств или любое другое медицинское оборудование или оборудование для мониторинга. Модуль 3381 для осуществления медицинского ухода может включать другое оборудование и системы хранения 3382 для другого медицинского оборудования, оборудования мониторинга, роботизированного оборудования управления. Модуль 3381 для осуществления медицинского ухода может включать один или несколько наборов роботизированных рук и кистей, или может включать роботизированных человекоподобных роботов. Роботизированные руки могут быть установлены на направляющую в верхней части модуля 3381 для осуществления медицинского ухода или могут быть смонтированы на стены или пол. Модуль 3381 для осуществления медицинского ухода состоит из системы 3383 трехмерного зрения или другой чувствительной системы, которая может отслеживать и контролировать пациента и/или роботизированные движения в пределах модуля.

На Фиг. 139 представлена блок-схема, иллюстрирующая роботизированный модуль 3381 для осуществления медицинского ухода со стандартизованными шкафами 3391 в соответствии с настоящим изобретением. Как показано на Фиг. 138, модуль 3381 для осуществления медицинского ухода включает в себя систему 3383 трехмерного зрения, а также в дальнейшем может включать в себя шкафы 3391 для хранения мобильных медицинских тележек с компьютерами, и/или оборудование для визуализации, которые могут быть заменены другой стандартизованной лабораторией или экстренными тележками. Шкафы 3391 могут использоваться для размещения и хранения другого медицинского оборудования, которое было стандартизировано для использования роботом, например, инвалидные коляски, ходунки, костыли и т.д. Модуль 3381 для осуществления медицинского ухода может вмещать стандартизированную кровать различных размеров с пультами управления для оборудования, такой как пульт управления 3392 для регулировки изголовья кровати. Прикроватная консоль 3392 может включать любой аксессуар, который можно найти в помещении больницы, включая, но не ограничиваясь отводом медицинского газа, выключателем непосредственного/опосредованного управления, ночником, электрическими розетками, гнездами заземления, кнопками вызова медсестры, приборами для отсасывания и т.д.

На Фиг. 140 представлена блок-схема, иллюстрирующая роботизированный модуль 3381 для осуществления медицинского ухода с использованием одного или нескольких стандартизованных устройств для хранения 3402, стандартизованного экрана 3403 и стандартизованного гардероба 3404 в соответствии с настоящим изобретением. И дополнительно, на Фиг. 139 изображена направляющая 3401 для движения рук робота и отсек для хранения/зарядки рук/кистей робота, когда активирован ручной режим работы. Направляющая 3401 обеспечивает горизонтальное движение в любом направлении: влево/вправо и вперед/назад. Это может быть любой тип направляющей или рельсы и может вмещать одну или более рук робота. В направляющую 3401 могут быть встроены системы подачи управляющих сигналов и сигналов питания, также может включать в себя провода и другие кабели управления, которые необходимы для управления или манипуляции установленных роботизированных рук. Стандартизированные устройства для хранения 3402 могут быть любого размера и могут быть расположены в любом стандартизированном положении в модуле 3381. Стандартизированные устройства для хранения 3402 могут использоваться для хранения лекарств, медицинского оборудования и принадлежностей, или может использоваться для других устройств и/или оборудования пациента. Стандартизованный экран 3403 может быть специальным или многофункциональным. Он может использоваться для подключения к сети Интернет, для мониторинга оборудования, развлечения, видео-конференций и т.д. В модуле 3381 для осуществления медицинского ухода может быть установлен один или несколько экранов 3403. Стандартизированный гардероб 3404 может быть использован для размещения личных вещей пациента или для хранения медицинского или другого экстренного оборудования. Дополнительный модуль 3405 может быть присоединен или иным образом размещен рядом с модулем 3381 для осуществления медицинского ухода и может включать роботизированный или ручной модуль ванны, модуль кухни или любой другой скомпонованный модуль, который может понадобиться для лечения или размещения пациента в помещении 3381 для осуществления ухода. Направляющая 3401 может подключаться между модулями или может быть отделена, чтобы позволить одной или нескольким роботизированным рукам перемещаться в горизонтальном направлении между модулями.

На Фиг. 141 представлена блок-схема, иллюстрирующая роботизированный модуль 3381 для осуществления медицинского ухода с телескопическим подъемником или корпусом 3411 с парой роботизированных рук 3412 и парой роботизированных кистей 3413 в соответствии с настоящим изобретением. Роботизированные руки 3412 подсоединены к плечу 3414 с телескопическим корпусом 3411, которое передвигается вертикально (вверх и вниз) и горизонтально (влево и вправо), так же как и перемещаются роботизированные руки 3412 и кисти 3413. Телескопический корпус 3411 можно укоротить или удлинить или переместить на направляющей, чтобы увеличить/уменьшить длину роботизированных кистей и рук. Рука 1402 и плечо 3414 могут перемещаться вдоль направляющей 3401 между любыми позициями в пределах помещения для ухода 3381. Роботизированные кисти 3412, руки 3413 могут двигаться вдоль рельсы 3401 и телескопической системы 3411, чтобы получить доступ к любой точке в пределах помещения для ухода 3381. Таким образом роботизированные руки и кисти могут достать до кровати, шкафов, медицинских тележек для лечения или до инвалидных кресел. Роботизированные кисти 3412 и руки 3413 совместно с телескопическим корпусом 3411 и рельсой 3401 могут помочь пациенту сесть, переместить из сидячего положения в стоячее, или могут помочь посадить пациента в инвалидное кресло или в другой медицинский аппарат.

На Фиг. 142 представлена блок-схема, иллюстрирующая первый пример выполнения роботизированного модуля по медицинскому уходу с различными движениями с целью оказания помощи пожилому человеку в соответствии с настоящим изобретением. Шаг (а) может выполняться в заданное время или может быть инициирован пациентом. Роботизированные кисти 3412 или роботизированные руки 3413 могут забирать лекарства или другое испытательное оборудование из назначенного стандартизованного местоположения (например, из места складирования 3402). Во время шага (b) роботизированные кисти 3412, руки 3413, и плечи 3414 движутся к постели по направляющей 3401 и к нижнему уровню и могут повернуться, чтобы увидеть пациента в постели. Во время выполнения шага (с) роботизированные кисти 3412 и руки 3413 выполняют запрограммированную/необходимую мини-манипуляцию по оказанию помощи в приеме лекарства пациентом. Так как пациент может двигаться и не относится к стандартизированным объектам, для обеспечения успешного результата можно использовать трехмерную регулировку в режиме реального времени на основании стандартных/нестандартных положений объектов и ориентации пациента. Таким образом, трехмерная система визуализации в режиме реального времени позволяет осуществлять регулировку стандартизованных мини-манипуляций.

На Фиг. 143 представлена блок-схема, иллюстрирующая второй пример выполнения роботизированного модуля по медицинскому уходу с погрузкой и выгрузкой инвалидного кресла в соответствии с настоящим изобретением. В положении (а) роботизированные кисти 3412 и руки 3413 выполняют мини-манипуляции по перемещению и подъему пожилого человека/пациента со стандартного объекта, такого как инвалидное кресло, и помещение его на другой стандартный объект, такой как кровать, с использованием трехмерной регулировки в режиме реального времени на основании положения стандартных/нестандартных объектов, ориентации пациента с целью обеспечения успешного результата. Во время шага (b) роботизированные кисти/руки/плечи могут повернуться и переместить инвалидное кресло обратно в шкаф для хранения после того, как пациент будет поднят.Дополнительно и/или в качестве альтернативы, если имеется в наличии более одного комплекта кистей/рук, то шаг (b) можно выполнить с использованием одного комплекта, при этом завершить шаг (а). Шкаф. Во время шага (с) роботизированные кисти/руки открывают дверцу шкафа (стандартный объект), задвигают инвалидное кресло обратно в шкаф и закрывают дверцу.

На Фиг. 144 представлено изображение человекоподобного робота 3500, выступающего в качестве помощника между лицом А 3502 и В 3504. В этом варианте исполнения человекоподобный робот выступает в качестве помощника между людьми, которые находятся в разных помещениях. В данном варианте исполнения, Лица А 3502 и В 3504 могут быть расположены на расстоянии друг от друга. Они могут находиться в разных помещениях в том же здании, например, в офисном здании или в больнице, а могут находиться в разных странах. Лицо А 3502 может находиться с человекоподобным роботом (не показан) либо одно. Лицо В 3504 может также находится в одном помещении с роботом 3500. Во время сеанса связи между Лицом А 3502 и Лицом В 3504, человекоподобный робот 3500 может имитировать движения и поведения Лица А 3502. На Лице А 3502 может быть надета одежда или костюм, где установлены датчики, которые переносят движения Лица А 3502 на движения человекоподобного робота 3500. Например, в данном варианте исполнения, Лицо А может надеть костюм, оснащенный датчиками, которые определяют движения рук, торса, головы, ноги, кисти и ступни. Когда Лицо В 3504 входит в помещении на расстоянии, Лицо А 3502 может подняться из положения сидя и протянуть руку, чтобы пожать руку Лицу В 3504. Движения Лица А 3502 захватываются датчиками и информация может передаваться посредством проводного или беспроводного соединения в систему, подключенную к сети WAN, такую как Интернет. Эти данные от датчика затем могут передаваться в режиме реального времени или почти в режиме реального времени посредством проводного или беспроводного подключения к 3500 независимо от его физического местонахождения в отношении Лица А 3500, на основании полученных данных от датчика можно выполнить эмуляцию движения Лица А 3502 в присутствии Лица В 3504. В данном варианте исполнения Лицо А 3502 и Лицо В 3504 могут пожать друг другу руки посредством человекоподобного робота 3500. Таким образом, Лицо В 3504 может почувствовать такое же сжатие и соприкосновение с рукой Лица А посредством роботизированной руки человекоподобного робота 3500. Согласно оценке специалистов, человекоподобный робот 3500 не ограничивается рукопожатием и может быть использован для проверки зрения, слуха, речи или других движений. Он может оказать помощь Лицу В 3504 таким же образом, которым это смогло бы сделать лицо А 3502, если бы оно присутствовало в помещении с Лицом В 3504. В данном варианте исполнения человекоподобный робот 3500 имитирует движения Лица А 3502, используя мини-манипуляции Лица В, чтобы почувствовать ощущения Лица А 3502.

На Фиг. 145 приведено изображение человекоподобного робота 3500, выступающего в качестве терапевта 3508 и оказывающего услуги Лицу В, 3504 находясь под прямым управлением Лица А 3502. В этом варианте исполнения человекоподобный робот 3500 выступает в качестве терапевта и оказывает услуги Лицу В на основании фактического реального времени или захваченных движений Лица А. В данном варианте исполнения, Лицо А 3502 может быть терапевтом, Лицо В 3504 - пациентом. В данном варианте исполнения Лицо А выполняет сеанс терапии для Лица В, надев костюм с датчиками. Сеанс терапии может быть захвачен датчиками и передан в библиотеку мини-манипуляций, которая будет использоваться позже человекоподобным роботом 3500. В качестве альтернативного варианта исполнения, Лица А 3502 и В 3504 могут быть расположены на расстоянии друг от друга. Лицо АЮ, одетое в костюм с датчиками и являющееся терапевтом, может выполнять терапию, находясь над пациентом или человекоподобным роботом с анатомически правильной человеческой фигурой. Движения Лица А 3502 могут быть захвачены датчиками и переданы человекоподобному роботу 3500 посредством записывающего или сетевого оборудования 3506. Захваченные и зарегистрированные движения затем передаются на человекоподобный робот 3500 для последующего применения на Лице В 3504. Таким образом Лицо В может получить терапию от человекоподобного робота 3500 на основании предварительно записанных сеансов терапии, выполненных либо Лицом А, либо в режиме реального времени на расстоянии от Лица А 3502. Лицо В будет чувствовать тоже ощущение руки Лица А 3502 (терапевта) (например, сильное сжатие или легкое сжатие) через руку человекоподобного робота 3500. Терапию можно запланировать для одного пациента в различное время/день (например, через день) или на разных пациентах (Лицо С, D), но с одним файлом с предварительно записанной программой. В одном варианте исполнения человекоподобный робот 3500 имитирует движения Лица А 3502 мини-манипуляциями для Лица В 3504 для проведения сеанса терапии.

На Фиг. 146 представлена блок-схема, иллюстрирующая первый тип варианта размещения моторов по отношению к роботизированной руке и кисти с максимальным крутящим моментом, требующим перемещения руки, а на Фиг. 147 представлена блок-схема, иллюстрирующая второй тип варианта размещения моторов по отношению к роботизированной руке и кисти с минимальным крутящим моментом, требующим перемещения руки. Преимуществом в роботизированной конструкции является максимальное снижение массы и, следовательно, веса, особенно на роботизированных манипуляторов (роботизированных рук), где требуется максимальное усилие для движения и генерируется максимальный крутящий момент в общей системе. Электромоторы придают больший вес конечностям манипуляторов. Изобретение и конструирование новых легких мощных электромоторов является одним из способов решения этой проблемы. Другим и предпочтительным способом, учитывая текущую технологию двигателей, является изменение положения двигателей таким образом, чтобы они располагались как можно дальше от конечностей, но при этом передавали энергию движения на роботизированный манипулятор

В одном варианте выполнения требуется установка мотора 3510, который контролирует положение роботизированный руки 72, не на запястье, куда он будет установлен рядом с рукой, а ближе к роботизированной кисти 70, преимущественно чуть ниже локтя 3212. В данном варианте выполнения преимущество установки мотора ближе к локтю 3212 можно рассчитать следующим образом, начиная с исходного крутящего момента руки 72 из-за веса руки.

где вес w_i=gm_i (постоянная силы тяжести g, умноженная на массу объекта i) и горизонтальное расстояние d_h = длина (рука, локоть) cosθ_ν для вертикального угла тета. Однако если двигатель установлен ближе (Эпсилон вдали от шарнира), тогда значение нового крутящего момента:

Так как электромотор 3510 располагается рядом с локтевым шарниром 3212, на крутящий момент роботизированной руки влияет только Эпсилон, крутящий момент новой системы определяется весом руки с учетом веса удерживаемого предмета. Преимуществом данной новой конфигурации является то, что рука может поднять больший вес с использованием того же мотора, так как сам мотор не влияет на крутящий момент.

Специалисту в данной области понятно преимущество данного изобретения и он также отдает себе отчет в том, что требуется небольшой поправочный коэффициент для учета массы устройства, используемого для передачи силы, приложенной двигателем к руке - такое устройство может представлять собой набор небольших осей. Следовательно, значение нового максимального крутящего момента с учетом данного небольшого поправочного коэффициента будет:

где вес оси производит половину крутящего момента, так как его центр тяжести находится между рукой и локтем. Обычно вес осей гораздо меньше, чем вес двигателя.

На Фиг. 148А приведены наглядные изображения, иллюстрирующие роботизированные руки, спускающиеся с подвесного крепления для работы на роботизированной кухне. Следует иметь в виду, что роботизированные руки могут перемещаться в любом направлении вдоль верхней направляющей и могут быть подняты и опущены для выполнения необходимых мини-манипуляций.

На Фиг. 148В приведены наглядные изображения, иллюстрирующие роботизированные руки, спускающиеся с подвесного крепления для работы на роботизированной кухне. Как видно на Фиг. 148А-В, размещение оборудования может быть стандартизовано. В частности, в данном варианте исполнения, духовка 1316, варочная поверхность 3520, раковина 1308 и посудомойка 356 расположены таким образом, что роботизированные руки и кисти знают их точное расположение в пределах роботизированной кухни.

На Фиг. 149А представлены наглядные изображения, иллюстрирующие роботизированные руки, спускающиеся с подвесного крепления для работы на роботизированной кухне. На Фиг. 149В приведен вид сверху варианта выполнения, показанного на Фиг. 149А. На Фиг. 149А-В представлено альтернативное осуществление основной схемы расположения кухни, изображенной на Фиг. 148А-В. В данном варианте выполнения используется духовка с телескопической выдвижной дверцей 1491. Это предполагает больше места на столешнице и на окружающих поверхностях, чтобы повесить контейнеры стандартизованных объектов. Она может иметь те же габариты, что модуль кухни, изображенной на Фиг. 149А-В

На Фиг. 150А приведены наглядные изображения, иллюстрирующие роботизированные руки, спускающиеся с подвесного крепления для работы на роботизированной кухне. На Фиг. 150В показан вид сверху варианта выполнения, изображенного на Фиг. 150А. В данном варианте те же внешние размеры, что и в модуле кухни, изображенном на Фиг. 147А-В и 148А-В, но с установленной духовкой с телескопической выдвижной дверцей 3522. Кроме того, в данном варианте выполнения установлены дополнительные «выдвижные шкафы для хранения» 3524 и 3526 по обе стороны. Холодильник, изготовленный по индивидуальному заказу (не показан), может быть установлен в один из «выдвижных шкафов для хранения» 3524 и 3526.

На Фиг. 151А приведены наглядные изображения, иллюстрирующие роботизированные руки, спускающиеся с подвесного крепления для работы на роботизированной кухне. На Фиг. 151 В представлены наглядные изображения, иллюстрирующие роботизированные руки, спускающиеся с подвесного крепления для работы на роботизированной кухне. В данном варианте выполнения, отсеки выдвижного шкафа для хранения могут быть включены в модуль кухни. Как показано на Фиг. 151А-В, «выдвижные шкафы для хранения» 3524 могут быть установлены по обе стороны кухонного модуля. В данном варианте исполнения габаритные размеры остаются такими же, как и те, которые изображены на Фиг. 148-150. В варианте исполнения, холодильник, изготавливаемый по заказу, может быть установлен в один из «выдвижных шкафов для хранения» 3524. Специалистам понятно, что существует много схем и много вариантов выполнения, которые могут быть внедрены в любой стандартизованный роботизированный модуль. Эти варианты не ограничиваются кухней или помещениями для ухода за больными, но могут использоваться для строительства, производства, сборки, производства продуктов питания и т.д., в пределах объема изобретения.

На Фиг. 152-161 представлены наглядные изображения различных вариантов выполнения устройств роботизированного захвата в соответствии с настоящим изобретением. На Фиг. 162A-S приведены наглядные изображения, иллюстрирующие различную кухонную утварь со стандартизованными ручками, пригодными для роботизированных рук. В данном варианте осуществления ручка 580 для кухонной утвари предназначена для использования роботизированной рукой 72. Стандартизированная ручка 580-1 имеет одну или несколько бороздок, чтобы позволить роботизированной руке осуществлять захват ручки в одном и том же положении и свести к минимуму проскальзывания и чрезмерный захват. Ручка для кухонной утвари 580 является универсальной (или стандартизованной), то есть ее можно крепить к любому типу кухонной утвари или другим инструментам, например, ножу, медицинскому щупу, отвертке, швабре или другому изделию, которое необходимо захватить роботизированной руке. Другие типы стандартизованных (или универсальных) ручек могут быть разработаны для применения с настоящим изобретением.

На Фиг. 163 приведено наглядное изображение части блендера для применения на роботизированной кухне. Специалистам понятно, что любое количество инструментов, оборудования или устройств может быть стандартизовано и спроектировано для управления и использования роботизированными руками и кистями для выполнения любого количества задач. После создания мини-манипуляции для использования какого-либо инструмента или единицы оборудования, роботизированные руки и кисти смогут многократно и слаженно использовать оборудование одинаковым и надежным способом.

На Фиг. 164А-С приведены наглядные изображения различных кухонных держателей для использования на роботизированной кухне. Любой или все держатели могут быть стандартизованы и предназначены для использования в других средах. Следует иметь в виду, что медицинское оборудование, такое как держатель для клейкой ленты, колбы, бутылки, банки для хранения образцов, контейнеры для перевязочных материалов и т.д., которые могут быть разработаны и внедрены для использования роботизированными руками и кистями. На Фиг. 165A-V представлены блок-схемы, иллюстрирующие примеры манипуляций без ограничения настоящего изобретения.

Данный вариант осуществления настоящего изобретения иллюстрирует универсальное роботизированное устройство на базе операционной системы Android, которое характеризуется следующими функциями и включает следующие компоненты. Роботизированный программный механизм, такой как роботизированный механизм для приготовления пищи 56 сконфигурирован для воспроизведения любого типа движений рук человека и продукции в инструментальной или стандартизованной среде. Конечный продукт роботизированной воспроизведения может быть (1) материальным, таким как кулинарное блюдо, рисунок, художественное произведение и т.д. и (2) нематериальным, например, исполнение пьесы на музыкальном инструменте, оказание медицинской помощи и т.д.

Несколько важных элементов в универсальном роботизированном устройстве на базе Android (или другой ОС) могут включать некоторые или все особенности, указанные ниже, или их комбинацию. Во-первых, роботизированная операционная или инструментальная среда управляет роботизированным устройством, обеспечивая стандартизованные (или «стандартные») размеры рабочего объема или архитектуру для автора и роботизированных студий. Во-вторых, роботизированная операционная среда обеспечивает стандартизированные положения и ориентации (xyz) для любых видов стандартизированных объектов (инструменты, оборудование, приборы и т.д.), работающих в среде. В-третьих, к стандартизированным особенностям относятся без ограничения комплект стандартизованного вспомогательного оборудования, комплект стандартизированных вспомогательных инструментов и приборов, две стандартизованные роботизированные кисти и две роботизированные руки, которые напоминают человеческие руки с доступом к одной или нескольким библиотеками мини-манипуляций, и стандартизированные трехмерные приборы наблюдения для создания динамической виртуальной трехмерной модели рабочего объема. Эти данные могут использоваться для захвата движений руки и для распознавания функционального результата. В-четвертых, перчатки с датчиками предназначены для захвата точных движений автора. В пятых, роботизированная операционная среда обеспечивает стандартизованный тип/объем/размер/вес необходимых материалов и ингредиентов во время процесса создания или воспроизведения каждого отдельного продукта (автором). В-шестых, один или несколько типов датчиков используются для захвата и записи стадий процесса по воспроизведению.

Программная платформа в роботизированной операционной среде включает в себя следующие подпрограммы. Программный механизм (например, роботизированный механизм 56 для приготовления пищи) захватывает и записывает сценарий/подпрограмму движений кистей и рук во время процесса создания человеком в перчатках с датчиками. Создается одна или несколько подпрограмм функциональных библиотек мини-манипуляций. Операционная или инструментальная среда регистрирует трехмерную динамическую подпрограмму модели виртуального тома, основанную на хронологии событий движения рук человеком (или роботом) во время процесса создания. Программный механизм конфигурируется для распознавания каждой функциональной мини-манипуляции из библиотечной подпрограммы во время создания задачи человеческими руками. Программный механизм определяет связанные переменные величины (или параметры) мини-манипуляций для каждого процесса создания задач человеческими руками для последующего воспроизведения робототехническим приспособлением. Программный механизм регистрирует данные от датчиков в операционной среде. Процедура проверки качества может быть внедрена для проверки точности воспроизведения движений рук автора роботом. Программный механизм включает подпрограмму наладки алгоритмов, чтобы приспособиться к любой нестандартизованной ситуации (такой как, объект, объем, оборудование, инструменты или размеры), при этом выполняется преобразование нестандартизованных параметров в стандартизованные для облегчения выполнения сценария для создания задачи (или продукта). Программный механизм хранит подпрограммы (подпрограмму ПО) движений рук автора (которые отражают продукт интеллектуальной собственности автора) для генерации файла сценария ПО для последующего воспроизведения роботизированным устройством. Программный механизм включает поисковый механизм для продукта или рецепта для эффективного поиска желаемого продукта. Для персонализации конкретных требований к поиску обеспечиваются фильтры поискового механизма. Платформа электронной коммерции также обеспечивается для обмена, покупки и продажи любого сценария интеллектуальной собственности (например, программные файлы рецептов), пищевых ингредиентов, инструментов и оборудования, доступных на выделенном веб-сайте для коммерческой продажи. Платформа электронной коммерции также предоставляет страницу в социальной сети для пользователей для обмена информацией об интересующих продуктах или областях интересов.

Целью воспроизведения роботизированным устройством является получение аналогичного или близкого результата, например, создание блюда, картины, музыкального произведения, текста и т.д., аналогичного созданному руками автора. Высокая степень стандартизации в операционной или инструментальной среде обеспечивает платформу, при минимизации изменений между рабочей средой автора и рабочей средой роботизированного устройства, благодаря которой роботизированное устройство способно получать практически такой же результат, что и автор, с некоторыми дополнительными факторами, которые необходимо учитывать. Процесс воспроизведения имеет такую же или частично такую же хронологию событий с такой же последовательностью мини-манипуляций, таким же начальным периодом запуска, длительностью и временем окончания каждой мини-манипуляции, тогда как роботизированное устройство работает в автономном режиме на одной скорости для движения объекта между мини-манипуляциями. На стандартизованной кухне и стандартизованном оборудовании используется одинаковая программа выполнения задачи и такой же режим работы во время записи и выполнения мини-манипуляции. Механизм проверки качества, такой как трехмерная система искусственного зрения и датчики, может использоваться для минимизации или исключения любого отрицательного результата, а также позволять определить, какие изменения в параметры или переменные необходимо внести для приспособления к нестандартизованным ситуациям. Упущение, связанное с неиспользованием стандартизованной среды (то есть, другой размер кухни, другие кухонные инструменты, другие ингредиенты, используемые в студии автора и на роботизированной кухней), повышает риск получения отрицательного результата, когда роботизированное устройство пытается воспроизвести движения автора в надежде получить тот же результат.

Роботизированная кухня может работать, по крайней мере, в двух режимах: компьютерный и ручной. Во время ручного режима используются кнопки, расположенные на рабочей консоли кухонного оборудования (без необходимости распознавать информацию от цифрового дисплея или без необходимости ввода любых контрольных данных посредством сенсорного экрана, чтобы избежать ввода ошибочных данных во время записи или выполнения). В случае использования сенсорного экрана, на роботизированной кухне может использоваться трехмерная система технического зрения для распознавания текущей информации на экране во избежание выбора неправильного действия. Программный механизм работает с различным кухонным оборудованием, различными кухонными инструментами и кухонными устройствами в стандартизованной кухонной среде. Движения автора ограничены теми движениями кистей в перчатках с датчиками, которые могут быть воспроизведены роботизированным устройством во время выполнения мини-манипуляций. Таким образом, в данном варианте исполнения, библиотека (или библиотеки) мини-манипуляций, которые могут быть выполнены роботизированным устройством, определяет функциональные ограничения для движений автора. Программный механизм создает электронную библиотеку трехмерных стандартизованных объектов, включая кухонное оборудование, кухонные инструменты, кухонные контейнеры, кухонные приборы и т.д. Предварительно сохраненные размеры и характеристики каждого трехмерного стандартизованного объекта сохраняют ресурсы, сокращают время, необходимое для генерации трехмерной модели объектов из электронной библиотеки и исключают потребность в создании трехмерной модели в режиме реального времени. В данном варианте исполнения, универсальное роботизированное устройство на операционной системе Android способно создавать множество функциональных результатов. Выполнение манипуляций робототехническим приспособлением, таких как ходьба, бег, прыжки человекоподобного робота, игра музыкальной композиции человекоподобным роботом (или роботизированным устройством), рисование картины человекоподобным роботом (или роботизированным устройством) и приготовление пищи человекоподобным роботом (или роботизированных устройством) приводит к функциональным или оптимальным результатам. Мини-манипуляции могут выполняться последовательно, параллельно, или при условии, что одна предшествующая мини-манипуляция должна быть завершена до начала следующей мини-манипуляции. Чтобы человек чувствовал себя более комфортно с человекоподобным роботом, человекоподобный робот должен выполнять те же движения (или практически те же), что и человек и такими темпами, которые будут комфортны окружающим людям. Например, если человеку нравится как ходит какой-либо голливудский актер или модель, человекоподобный робот может осуществлять мини-манипуляции, которые будут отражать характерные особенности движения голливудского актера (например, Анджелины Джоли). Человекоподобный робот может также отражать стандартизованный тип человека, включая определенный цвет кожного покрова, пол, физические характеристики и характерные черты лица и форму тела. Покров человекоподобного робота может быть выполнен, используя трехмерную технологию печати на дому.

Одним из примеров рабочей среды для человекоподобного робота является дом человека, при этом некоторые среды являются фиксированными, а другие нет. Чем больше среда дома является стандартизированной, тем меньше риск использования человекоподобного робота. Если человекоподобному роботу дали указание принести книгу, которая не относится к интеллектуальной собственности/интеллектуальному мышлению автора (IP), требуется функциональный результат без IP, то человекоподобный робот будет перемещаться по предварительно определенной домашней среде и выполнять одну или несколько мини-манипуляций, чтобы принести книгу и отдать ее человеку. Некоторые трехмерные объекты, такие как диван, были ранее созданы в стандартной домашней среде, когда человекоподобный робот выполнил первое сканирование или трехмерную проверку качества. Для человекоподобного робота может потребоваться создание трехмерной модели объекта, которую он не распознал или которая ранее не была определена.

Типы образцов кухонного оборудования проиллюстрированы в форме Таблицы А на Фиг. 166A-L и включают в себя приспособления для кухни, кухонные приборы, кухонные таймеры, термометры, мельницы для специй, измерительную утварь, миски, наборы для нарезки и резки продуктов, ножи, открывалки, стенды и держатели, приспособления для чистки и резки, пробки, сита, солонку и перечницу, сушилки для посуды, столовые аксессуары, украшения и коктейли, формы, сосуды для измерений, кухонные ножницы, посуду для складских помещений, прихватки, рейлинг с крюками для тряпок, силиконовые коврики, терки, прессы, измельчители, точилки для ножей, хлебницу, посуду для алкоголя, посуду для стола, посуду для чая, кофе, десертов, столовые приборы, кухонные приборы, детскую посуду, перечень данных об ингредиентах, перечень данных об оборудовании и перечень данных о рецепте.

На Фиг. 167A-167V проиллюстрированы типы образцов ингредиентов в таблице В, включая мясо, мясные продукты, баранину, телятину, говядину, свинину, птицу, рыбу, морепродукты, овощи, фрукты, бакалейные товары, молочные продукты, яйца, грибы, сыр, орехи, сухофрукты, напитки, алкоголь, зелень, травы, злаковые, бобовые, муку, специи, приправы и готовые продукты.

Примерный список продуктов для приготовления пищи, способы, оборудования и кухонь проиллюстрированы в Таблице С на Фиг. 168A-168Z, с большим количеством образцов, проиллюстрированных на Фиг. 169A-Z15. Фиг. 170А-170С иллюстрируют различные примеры кухонь и блюд из Таблицы D. Фиг. 171А-Е иллюстрируют перечень роботизированных систем для приготовления пищи.

На Фиг. 172А-С иллюстрируются примеры мини-манипуляций робота, приготавливающего суши, робота, играющего на фортепиано, робота, передвигающего другого робота с первой позиции (Позиция А) на вторую (Позиция В), робота, передвигающего другого робота, перебегая с одной позиции на вторую, робота, прыгающего с первой позиции на вторую, человекоподобного робота, берущего книгу с книжной полки, человекоподобного робота, приносящего сумку с первой позиции на вторую, робота, открывающего банку и робота, помещающего корм в кошачью миску для кормления.

На Фиг. 173A-I иллюстрируются примеры многоуровневых мини-манипуляций для осуществления роботом, включая медицинские измерения, лаваж, обеспечение дополнительного кислорода, поддержание температуры тела, катетеризацию, физиотерапию, гигиенические процедуры, кормление, взятие проб для анализов, уход за стомами и катетерами, уход за ранами, и способы введения лекарств.

На Фиг. 174 проиллюстрирован пример многоуровневых мини-манипуляций робота для интубации, реанимации/сердечно-легочной реанимации, восполнения потерь крови, остановки кровотечения, выполнения операций в чрезвычайных условиях на трахее, при переломе кости, и для закрытия раны (без швов). Перечень медицинского оборудования и медицинских приборов проиллюстрирован на Фиг. 175.

На Фиг. 176А-В проиллюстрирован пример ухода с мини-манипуляциями. Еще один примерный перечень оборудования проиллюстрирован на Фиг. 177.

На Фиг. 178 представлена блок-схема, на которой показан пример компьютерного устройства, обозначенного ссылочной позицией 3624, на который могут быть установлены и выполнены инструкции, исполняемые компьютером для осуществления подходов, описанных в настоящем документе. Как было сказано выше, различные компьютерные устройства, описанные со ссылкой на настоящее изобретение, могут использовать общие атрибуты. Все компьютерных устройства 16 способны выполнять набор инструкций для выполнения компьютерным устройством одной или нескольких методик, описанных в настоящем документе. Некоторые или все компьютерные устройства 16 могут представлять собой сервер или любое сетевое интерфейсное устройство. Более того, при использовании термина «система» для одной системы подразумевается набор систем, которые отдельно или вместе друг с другом способны выполнить набор (или несколько наборов) инструкций для осуществления одной или нескольких методик, описанных в настоящем документе. Компьютерная система 3624 может представлять собой процессор 3626 (например, центральный процессор (ЦП) и/или графический процессор (ГП)), основное запоминающее устройство 3628 и статическое запоминающее устройство 3630, которые могут обмениваться данными друг с другом с помощью шины 3632. Компьютерная система 3624 также может включать в себя видеодисплей 3634 (например, жидкокристаллический дисплей (ЖК-дисплей)). Компьютерная система 3624 также включает в себя устройство буквенно-цифрового ввода 3636 (например, клавиатуру), устройство контроля положения курсора 3638 (например, мышь), дисковый накопитель 3640, генератор сигналов 3642 (например, динамик), а также сетевое интерфейсное устройство 3648.

Дисковый накопитель 3640 включает в себя машиночитаемый носитель 244, на котором хранятся один или несколько наборов инструкций (например, программное обеспечение 3646) для осуществления одной или нескольких методик или функций, описанных в настоящем документе. Программное обеспечение 3646 может полностью или, по меньшей мере, частично храниться на основном запоминающем устройстве 3644 и/или внутри процессора 3626 во время ее выполнения в компьютерной системе 3624, основном запоминающем устройстве 3628 и процессоре для хранения инструкций 3626 с машиночитаемым носителем. Программное обеспечение 3646 также может быть передано и принято по сети 3650 с помощью сетевого интерфейсного устройства 3648.

Хотя в иллюстративном варианте осуществления машиночитаемый носитель 3644 показан в виде одного носителя, термин «машиночитаемый носитель» должен включать в себя один носитель или несколько носителей (например, централизованная или распределенная база данных и/или соответствующие кэши и серверы), на которых хранится один или несколько наборов инструкций. Термин «машиночитаемый носитель» относится к любому материальному носителю, способному хранить набор инструкций, выполняемых компьютером, с помощью которых система осуществляет одну или несколько методик в соответствии с настоящем изобретении. Термин «машиночитаемый носитель» включают в себя, не ограничиваясь этим, твердотельную память, оптические носители и магнитные носители.

В общем случае, роботизированная платформа управления включает в себя один или несколько робототехнических датчиков; один или несколько робототехнических исполнительных механизмов; робототехническую механическую конструкцию, включающую, по меньшей мере, голову с датчиками на шарнирной шее, две роботизированные руки с исполнительными механизмами и датчиками усиления; базу электронных библиотек мини-манипуляций, связанную с робототехнической механической конструкцией, где каждая мини-манипуляция включает последовательность этапов для достижения предварительно-определенного функционального результата, где каждый этап включает воспринимающее действие или параметризованное действие исполнительного механизма; и модуль робототехнического планирования, соединенный по каналу связи с робототехнической механической конструкцией и базой электронной библиотеки, сконфигурированный для комбинирования множества мини-манипуляций для одного или нескольких специализированных применений; робототехнический модуль интерпретирования, соединенный по каналу связи с робототехнической механической конструкцией и базой электронной библиотеки, сконфигурированный для чтения этапов мини-манипуляций в библиотеки и конвертирования в машинный код; и роботизированный модуль исполнения, соединенный по каналу связи с робототехнической механической конструкцией и базой электронной библиотеки, сконфигурированный для выполнения этапов мини-манипуляций роботизированной платформой для получения функционального результата, связанного с этапами мини-манипуляций.

Другой обобщенный аспект представляет собой человекоподобного робота с контроллером, управляемого командами операционной системой робота (ROS), включая базу данных со множеством электронных библиотек мини-манипуляций, где каждая электронная библиотека мини-манипуляций включает множество мини-манипуляционных элементов. Электронные библиотеки мини-манипуляций можно совмещать для создания одного или нескольких наборов специализированных команд, которые будут исполняться машиной, мини-манипуляционные элементы в электронной библиотеке мини-манипуляций также можно совмещать для создания одного или нескольких наборов команд для специализированного применения, которые будут исполняться машиной; конструкция робота включает верхний и нижний корпуса, соединенные с головой при помощи шарнирной шеи; верхний корпус включает торс, плечи, руки и кисти; а также систему управления, соединенную с возможностью связи с базой данных, систему очувствления, систему интерпретации данных, полученных с датчиков, планировщик перемещений, исполнительные устройства и связанные с ними контроллеры; система управления исполняет специализированные наборы команд для управления конструкцией робота.

Еще один обобщенный компьютеризированный способ эксплуатации робототехнической конструкции посредством использования дополнительных контроллеров, датчиков и исполнительных механизмов для выполнения одной или нескольких задач включает базу данных со множеством электронных библиотек мини-манипуляций, где каждая электронная библиотека включает множество мини-манипуляционных элементов, электронные библиотеки мини-манипуляций можно комбинировать для создания одного или нескольких машиноисполняемых специализированных наборов команд, мини-манипуляционные элементы внутри электронной библиотеки мини-манипуляций можно комбинировать для создания одного или нескольких машиноисполняемых специализированных наборов команд; исполнения наборов специализированных инструкций для того, чтобы робототехническая конструкция выполняла команду, робототехническая конструкция имеет верхний корпус, соединяемый с головой шарнирной шей, верхний корпус включает торс, плечи, руки и кисти; отправки команд высокого уровня с индексацией по времени для определения позиции, скорости, усиления и крутящего момента для одной или нескольких аппаратных частей робототехнической конструкции; и приема сенсорных данных с одного или нескольких датчиков для факторизации с командами высокого уровня с индексацией по времени для создания команд низкого уровня для управления одной или несколькими аппаратными частями робототехнической конструкции.

Еще один обобщенный компьютеризированный способ создания и исполнения робототехнической задачи включает создание множества мини-манипуляций в комбинации с наборами параметрических мини-манипуляционных данных, где каждая мини-манипуляция связана, как минимум, с одним определенным набором параметрических ММ-данных, который определяет требуемые постоянные величины, переменные величины и профиль временной последовательности, связанные с каждой мини-манипуляцией; создания базы данных со множеством электронных библиотек мини-манипуляций, множество электронных библиотек мини-манипуляций включает с наборы ММ-данных, последовательности исполнения ММ-команд, одну или несколько библиотек управления, одну или несколько библиотек технического зрения, а также одну или более библиотек связи внутренних процессов; исполнения робототехнических команд высокого уровня контролером высокого уровня для выполнения специальной робототехнической задачи путем выбора, группирования и организации множества электронных библиотек мини-манипуляций из базы данных, тем самым создавая набор специализированных контрольных команд, этап исполнения включает разбивку последовательностей команд высокого уровня, связанных с набором специализированных управляющих команд, на одну или несколько отдельных машиноисполняемых робототехнических последовательностей команд для каждого исполнительного механизма робота; и исполнения робототехнических команд низкого уровня, выполняемых контроллером низкого уровня, для исполнения отдельных машиноисполняемых последовательностей команд для каждого исполнительного механизма робота, отдельные машиноисполняемые последовательности команд совместно используются исполнительными механизмами робота для выполнения специальных задач.

Обобщенный компьютеризированный способ управления роботом включает один или несколько наборов мини-манипуляционных данных характера поведения, где каждый набор мини-манипуляционных данных характера поведения включает одно или несколько элементарных мини-манипуляционных действий для построения одного или нескольких более комплексных характеров поведения, каждый набор мини-манипуляционных данных характера поведения включает корреляционный функциональный результат и связанные с ним калибровочные переменные величины для описания и регулирования каждого набора мини-манипуляционных данных характера поведения; связи одного или нескольких наборов данных характера поведения с данными физической среды из одной или нескольких баз данных для создания связанных мини-манипуляционных данных, данные физической среды включают данные физической системы, данные контроллера для совершения роботизированных движений, а также сенсорные данные для отслеживания и управления роботом 75; и конверсии связанных мини-манипуляционных данных (высокого уровня) из одной или нескольких баз данных в машиноисполняемый командный код (низкого уровня) для контроллера каждого исполнительного механизма (от A₁ до A_n) для любого периода времени (от t₁ до t_m) для направления команд роботу для исполнения одной или нескольких командных инструкций с непрерывным набором вложенных циклов.

В любом из этих аспектов нужно учитывать следующее. Обычно для приготовления продукта используются ингредиенты. Во время выполнения команд обычно учитываются физические свойства ингредиентов, используемых для приготовления продукта. Продуктом может являться кулинарное блюдо, соответствующее (кулинарному) рецепту (который может содержаться в электронном описании), а автором может являться шеф-повар. К рабочему оборудованию может относиться кухонное оборудование. Указанные способы могут использоваться в сочетании с одним или несколькими другими описанными особенностями. Одна, несколько или все особенности аспектов могут использоваться в сочетании, например, особенность одного аспекта может комбинироваться с другим аспектом. Каждый аспект может быть компьютеризированным и включать программу, настроенную на выполнение каждого из способов при управлении от компьютера или процессора. Каждая программа может храниться на машиночитаемом носителе. Дополнительно или в качестве альтернативы, программы можно частично или полностью внедрять на основании аппаратных средств. Аспекты можно комбинировать. Также может предоставляться роботизированная система, сконфигурированная для работы в соответствии с описанными способами, учитывая любые из указанных аспектов.

В другом аспекте может предоставляться роботизированная система, включающая в себя: мультимодальную систему очувствления, способную наблюдать за движениями человека и создавать соответствующие данные в первой инструментальной среде; и процессор (которым может являться компьютер), соединенный каналом связи с мультимодальной системой очувствления для записи данных по движениям человека, принимаемым из мультимодальной системы очувствления, с последующей обработкой этих данных для извлечения элементарных движений, предпочтительно таких, которые смогли бы определять действия роботизированной системы. Элементарные движения могут являться мини-манипуляциями, описанными в настоящем документе (например, в предшествующих параграфах), и иметь стандартный формат. Элементарное действие может определять конкретные виды действий и параметры определенного вида действия, например, действие по вытягиванию с определенной точкой начала, точкой завершения, усилием и типом захвата. Дополнительно может также предоставляться робот, соединенный каналом связи с процессором и/или мультимодальной системой очувствления. Робот может применять элементарные движения и/или данные движения человека для воспроизведения записанных движений человека во второй инструментальной среде.

В еще одном аспекте может предоставляться роботизированная система, включающая в себя: процессор (которым может являться компьютер) для приема элементарных движений, определяющих работу роботизированной системы, элементарные движения основываются на данных движения человека, захваченных в результате наблюдения за движениями человека; и роботизированную систему, соединенную каналом связи с процессором, способную использовать элементарные действия для воспроизведения движений человека в инструментальной среде. Следует учесть, что указанные аспекты могут комбинироваться в дальнейшем.

Еще один аспект роботизированной системы включает в себя: первую и вторую роботизированные руки; первую и вторую роботизированные кисти, каждая из кистей крепится к руке при помощи запястья, каждая кисть имеет ладонь и множество шарнирных пальцев, каждый шарнирный палец соответствующей кисти имеет, как минимум, один датчик; и первую и вторую перчатки, каждая перчатка надевается на соответствующую кисть и содержит множество встроенных датчиков. Предпочтительной системой является роботизированная кухонная система.

Также в другом, но связанном аспекте дополнительно может предоставляться система захвата движений, состоящая из: стандартизованного модуля рабочей среды, предпочтительно кухонной; множество мультимодальных датчиков, где датчики первого типа размещаются на человеке, а датчики второго типа располагаются на расстоянии от человека. Возможно следующее: датчики первого типа могут использоваться для определения положения конечностей человека и регистрации информации о движениях человека; датчики второго типа могут применяться для пространственной регистрации трехмерных конфигураций одного или нескольких сред, объектов, движений и положений конечностей человека; датчики второго типа могут настраиваться для определения данных активности; в стандартизованной рабочей среде могут размещаться разъемы для подключения датчиков второго тип; датчики первого и второго типов определяют данные движений и активности и направляют их в компьютер для хранения и обработки информации для приготовления продукта (например, кулинарного блюда).

Можно учитывать дополнительный или альтернативный аспект для роботизированной кисти в перчатке с датчиками, включающий: пять пальцев; ладонь, соединенную с пятью пальцами, ладонь имеет внутренние шарниры и мягкую (допускающую деформацию) внешнюю поверхность в трех местах; первая мягкая часть располагается на радиальной стороне ладони, рядом с основанием большого пальца; вторая мягкая часть находится на локтевой стороне ладони, отделенной от радиальной части; а третья мягкая часть перекрывает основание пальцев. Предпочтительно, чтобы первая, вторая и третья мягкая часть ладони, а также внутренние шарниры работали совместно для выполнения мини-манипуляции, особенно для приготовления пищи.

В отношении любого аспекта указанных выше систем, устройств или приспособлений также могут быть предложены способы, содержащие этапы исполнения функциональности системы. Дополнительно или в качестве альтернативы, могут быть применены опциональные характеристики на основании одного или более признаков, описанных выше в отношении других аспектов.

Описание настоящего изобретения приведено применительно к возможным вариантам осуществления. Специалистам в данной области должно быть понятно, что изобретение может быть реализовано в виде других вариантов. Конкретные названия компонентов, использование заглавных букв в словах, атрибуты, структуры данных и любые другие аспекты программирования или структурные аспекты не являются обязательными или существенными, а механизмы, с помощью которые реализуется изобретение или его особенности, могут иметь другие названия, форматы или протоколы. Система может быть реализована с помощью комбинации аппаратного и программного обеспечения, как описано в настоящем документе, полностью аппаратным способом или полностью программным способом. Разделение функциональности между различными компонентами системы, описанными в настоящем документе, представлено лишь в качестве примера и не является обязательным; функции, выполняемые одним компонентом системы, могут вместо этого выполняться несколькими компонентами, а функции, выполняемые несколькими компонентами, могут вместо этого выполняться с помощью одного компонента.

В соответствии с различными вариантами осуществления настоящее изобретение может быть реализовано в виде системы или способа для выполнения вышеописанных техник, отдельно или в любом сочетании. Любые отдельные особенности, описанные в настоящем документе, также могут быть объединены, даже если такое сочетание не было описано в явном виде. В соответствии с другим вариантом осуществления настоящее изобретение может быть реализовано в виде компьютерного программного продукта, хранящегося на машиночитаемом носителе, и компьютерного программного кода, хранящегося на носителе, для выполнения вышеописанных техник процессором в компьютерном устройстве или другом электронном устройстве.

Используемые в данном документе ссылки на «один из вариантов осуществления» или «вариант осуществления» означают, что конкретный элемент, особенность, структура или характеристика, описанные в отношении такого варианта, характерны по меньшей мере для одного варианта осуществления. Фраза «в одном из вариантов осуществления», присутствующая в различных местах в описании, необязательно относится к одному варианту осуществления.

Некоторые части приведенного выше описания представлены в виде алгоритмов и символических представлений операций с битами данных на запоминающем устройстве компьютера. Данные описания и представления алгоритмов используется специалистами в обработке данных для передачи сути их работы другим специалистам в соответствующих областях. Алгоритм в целом выступает в роли самостоятельной последовательности этапов (инструкций), позволяющих достичь желаемого результата. Этапы требуют выполнения физических манипуляций определенное количество раз. Обычно, хотя это и не обязательно, данные количества выражаются в виде электрических, магнитных или оптических сигналов, которые могут быть сохранены, переданы, объединены, сравнены, преобразованы и иным образом использованы. В данном случае для понимания общего принципа удобно обозначать данные сигналы как биты, значения, элементы, символы, знаки, термины, числа и т.д. Более того, их удобно использовать при описании определенных сочетаний этапов, требующих выполнения физических манипуляций с физическими величинами при помощи механизмов или устройств кодирования, без нарушения их применимости.

Однако следует помнить, что все указанные и аналогичные термины относятся к соответствующим физическим величинам и представляют собой удобные обозначения для данных величин. Если иное явно не указано или не следует из приведенного описания, следует понимать, что при использовании в описании таких терминов, как «обработка», «вычисление», «расчет», «отображение» или «определение» и т.д., они относятся к действиям и процессам в компьютерной системе или аналогичном электронном вычислительном модуле и/или устройстве, которые используют и преобразовывают данные как физические (электронные) величины в памяти компьютерной системы, регистрах, другом носителе информации, устройстве передачи или отображения.

Отдельные аспекты настоящего изобретения включают в себя этапы и инструкции способа, описанные в настоящем документе в виде алгоритма. Следует отметить, что этапы и инструкции способа, соответствующего настоящему изобретению, могут быть реализованы с помощью программного обеспечения, аппаратно-программного обеспечения и/или аппаратного обеспечения, при этом в случае их реализации с помощью программного обеспечения они могут быть загружены для хранения и обработки на различных платформах, используемых разными операционными системами.

Настоящее изобретение также относится к устройству для выполнения операций, описанных в настоящем документе. Данное устройство может иметь специальную конструкцию для выполнения требуемых функций или может включать в себя стандартный компьютер, выборочно включаемый или перенастраиваемый с помощью компьютерной программы, которая хранится на компьютере. Такая компьютерная программа может храниться на машиночитаемом носителе, включая, но не ограничиваясь этим, любой тип дисков, включая гибкие диски, оптические диски, компакт-диски, магнитно-оптические диски, постоянные запоминающие устройства (ПЗУ), оперативные запоминающие устройства (ОЗУ), стираемые программируемые постоянные запоминающие устройства, электрически стираемые программируемые постоянные запоминающие устройства, магнитные или оптические платы, специализированные интегральные схемы, или любые носители, подходящие для хранения электронных инструкций, при этом все они подключены к шине компьютерной системы. Более того, компьютеры и/или другие электронные устройства, относящиеся к настоящему описанию, могут включать в себя один процессор или могут представлять собой архитектуры, использующие несколько процессоров для повышения вычислительных возможностей.

Алгоритмы и изображения экранов, представленные в настоящем документе, не относятся к определенному компьютеру, виртуальной системе или другим устройствам. В соответствии с настоящим документом программы также могут использовать различные стандартные системы, либо удобным может оказаться создание более специализированного устройства для выполнения определенных этапов способа. Структура, необходимая для различных систем, станет очевидной после ознакомления с описанием, приведенным в настоящем документе. Настоящее изобретение не ссылается на определенный язык программирования. Следует понимать, что для осуществления положений настоящего изобретения, как описано в данном документе, могут быть использованы различные языки программирования, при этом все ссылки на определенные языки программирования приведены исключительно для раскрытия возможных вариантов и оптимального способа осуществления настоящего изобретения.

В соответствии с различными вариантами осуществления настоящее изобретение может быть реализовано в виде программного обеспечения, аппаратного обеспечения и/или других элементов для управления компьютерной системой, компьютерным устройством, другими электронными устройствами или любым их сочетанием. Электронное устройство может включать в себя, например, процессор, устройство ввода (в т.ч. клавиатуру, мышь, сенсорную панель, трекпад, джойстик, шаровой указатель, микрофон и/или любое их сочетание), устройство вывода (в т.ч. экран, динамик и/или их аналоги), запоминающее устройство, долговременного хранения (в т.ч. магнитный носитель, оптический носитель и/или их аналоги), и/или сетевое соединение, в соответствии с технологиями, известными из уровня техники. Такие электронные устройства могут быть портативными или непортативными. В качестве примеров электронных устройств, которые могут быть использованы для осуществления изобретения, можно привести мобильный телефон, карманный персональный компьютер, смартфон, терминал, настольный компьютер, ноутбук, электронное потребительское устройство, телевизор, телевизионную приставку и т.д. Электронное устройство для реализации настоящего изобретения может работать под управлением таких операционных систем, как iOS компании Apple Inc., Купертино, штат Калифорния, Android компании Google Inc., Маунтин-Вью, штат Калифорния, Microsoft Windows компании Microsoft Corporation, Редмонд, штат Вашингтон, webOS компании Palm, Inc., Саннивейл, штат Калифорния, или других операционных систем, адаптированных для использования на устройстве. В соответствии с некоторыми вариантами осуществления электронное устройство для осуществления настоящего изобретения включает в себя функции для обмена данными по одной или нескольким сетям, включая, например, сотовую телефонную сеть, беспроводную сеть и/или компьютерную сеть, в т.ч. Интернет.

Некоторые варианты осуществления могут быть описаны с использованием выражения «соединенный» или «связанный», а также его производных. Следует понимать, что такие термины не являются синонимами друг друга. Например, некоторые варианты осуществления могут быть описаны с использованием термина «связанный» с целью указать, что два или более элемента находятся в прямой физической или электрической связи друг с другом. В другом примере некоторые варианты осуществления могут быть описаны с использованием термина «соединенный» с целью указать, что два или более элемента находятся в прямой физической или электрической связи. Тем не менее, термин «соединенный» может означать, что два или более элемента не находятся в прямой связи друг с другом, но при этом взаимодействуют друг с другом. Варианты осуществления не ограничиваются данным контекстом.

Используемые в данном документе термины «включает в себя», «включающий в себя», «содержит», «содержащий», «имеет», «имеющий» или любые их варианты предназначены для неисключительного использования. Например, процесс, способ, предмет или аппаратура, включающие в себя перечень элементов, не обязательно ограничиваются только этими элементами, а могут содержать другие элементы, не перечисленные явно или не имеющие связи с данным процессом, способом, предметом или аппаратурой. Кроме того, если обратное явно не указано, «или» обозначает «включающее или» и «не исключающее или». Например, условие А или В выполняется в одном из перечисленных случаев: А верно (или присутствует) и В неверно (или отсутствует), А неверно (или отсутствует) и В верно (или присутствует), а также А и В верны (или присутствуют).

Используемые в настоящем документе термины «некоторый» относятся к одному или нескольким предметам. Используемый в данном документе термин «совокупность» относится к двум предметам или более. Используемый в данном документе термин «другой» относится, как минимум, ко второму предмету или более.

Среднему специалисту не должно потребоваться никаких дополнительных объяснений при разработке способов и систем, описанных в данном документе, но, возможно, существуют какие-либо полезные инструкции по подготовке данных способов и систем в стандартных исходниках в соответствующей области техники.

Хотя описание настоящего изобретения приведено для ограниченного количества вариантов осуществления, специалисты в данной области техники после ознакомления с приведенным описанием должны понять, что другие варианты осуществления могут быть реализованы без отступления от объема настоящего изобретения, описанного в данном документе. Следует отметить, что язык, используемый в описании, выбран для обеспечения читаемости и предоставления инструкций и не может рассматриваться как определение границ или ограничения сущности изобретения. Используемые термины не должны рассматриваться как ограничение определенными вариантами осуществления, раскрытыми в настоящем описании и формуле изобретения, при этом они должны включать в себя все способы и системы, работающие в соответствии с формулой изобретения, приведенной ниже. Таким образом, изобретение не ограничивается настоящим описанием, напротив, его сущность полностью определяется с помощью следующей формулы изобретения.

Реферат

Изобретение относится в целом к комплексным отраслям робототехники и искусственного интеллекта, а более конкретно к компьютеризированным роботизированным системам, использующим электронные библиотеки мини-манипуляций с трансформированными инструкциями для воспроизведения движений, процессов и методик с электронными корректировками в режиме реального времени. Настоящее изобретение позволяет обеспечить для человекоподобного робота комплексные робототехнические движения, действия и взаимодействия с инструментами и рабочей средой, автоматически формируя человекоподобные движения, действия и характер поведения робота на основании программно-закодированного набора простейших элементов действий и робототехнических движений. Простейшие действия определяются движениями/действиями различной шарнирной степени свободы, различающимися по сложности от простой до повышенной, и которые можно комбинировать в любой последовательно-параллельной форме. Эти простейшие движения названы мини-манипуляциями, каждая из которых имеет точную индексированную по времени структуру ввода команд, а также профиль результирующего поведения/исполнения и направлена на выполнение определенной функции. Мини-манипуляции представляют собой новый способ создания общей платформы программирования по примеру для антропоморфных роботов. Одна или несколько электронных библиотек мини-манипуляций обеспечивают большой выбор воспринимающих и исполняющих последовательностей действий, являющихся общими строительными блоками для решения сложных задач, таких как приготовление пищи, уход за инвалидами, или других задач, выполняемых антропоморфными роботами следующего поколения. 7 з.п. ф-лы, 178 ил.

Формула