Оптический тактильный датчик и способ восстановления распределения вектора силы с использованием указанного датчика - RU2358247C2

Чертежи

Показать все 12 чертежа(ей)

Описание

Область техники, к которой относится изобретение

Настоящее изобретение относится к оптическому тактильному датчику, и, более точно, к тактильному датчику, который используется для руки робота.

Предшествующий уровень техники

При рассмотрении понятия контактного состояния контактной поверхности с использованием тактильного датчика имеют в виду вектор с тремя компонентами, представляющими величину и направление силы, действующей в каждой точке контактной поверхности. Это представлено как f(x,y) в системе координат (фиг.1). Здесь f является вектором, и поэтому фактически имеет три компоненты x, y и z в каждой точке. При подробном выражении каждой компоненты это можно представить как f(x,y)=[fx(x,y),fy(x,y),fz(x,y)]. Была предложена конструкция оптического тактильного датчика, который может измерять трехмерное распределение вектора силы (см., например, заявку WO 02/188923). Принцип работы оптического тактильного датчика будет объяснен со ссылкой на фиг.2. Оптический тактильный датчик содержит прозрачный гибкий корпус и телекамеру на приборах с зарядовой связью. Путем фотографирования сферических маркеров, расположенных в прозрачном гибком корпусе, с помощью телекамеры на приборах с зарядовой связью измеряется информация о внутренней деформации гибкого корпуса, когда сила прикладывается к поверхности гибкого корпуса и восстанавливается распределение вектора силы из полученной информации.

Получают изображения сферических маркеров с помощью телекамеры на приборах с зарядовой связью в z-направлении, при этом поверхность гибкого корпуса рассматривается как плоскость x-y, а направление, перпендикулярное к плоскости x-y, является осью z. Перемещение точки, которое измеряется, когда прикладывается сила, вычисляется как вектор перемещения в плоскости x-y. Однако трудно восстановить распределение вектора силы на основе информации о деформации, потому что количество информации является недостаточным. Следовательно, N×N красных сферических маркеров и синих сферических маркеров располагают на различной глубине в гибком корпусе в качестве точек, которые должны быть измерены, для получения двух наборов двумерных векторов перемещения с различной глубиной в качестве двух частей различной информации, что позволяет увеличить количество информации для восстановления распределения вектора силы.

В основном используется оптический тактильный датчик, имеющий плоскую поверхность. Так как поверхность фотографируется с получением информации в виде двумерного изображения, естественным выбором может быть применение плоской поверхности, которая соответствует информации в виде двумерного изображения. Также в случае датчика с плоской поверхностью проще восстановить распределение вектора силы.

Такой тип оптического датчика имеет преимущества, состоящие в том, что он может измерять трехмерное распределение вектора силы и имеет гибкий корпус, создающий гибкую поверхность, с которой контактирует объект. Например, в ситуации, когда оптический тактильный датчик размещают в руке человекоподобного робота, необходимо удерживать стекло, оберегая его от падения и разбивания. Для предотвращения падения стекла необходимо определять силу, действующую в направлении, параллельном поверхности стекла. Это возможно осуществлять с помощью упомянутого выше оптического тактильного датчика. При рассмотрении применений этого типа оптического тактильного датчика для различных целей необходимо сконструировать тактильный датчик с произвольной искривленной поверхностью, а не с плоской поверхностью. Однако трудно восстановить распределение вектора силы при произвольной искривленной поверхности. Тактильный датчик с произвольной искривленной поверхностью раскрыт в «Development of arbitrary curved type tactile sensor using pressure conductive rubber», Shimojo et al., Robotics Society of Japan, 1 G24, 2002. Однако невозможно получить распределение вектора силы с помощью этого датчика.

Сущность изобретения

Технической задачей настоящего изобретения является создание оптического тактильного датчика с произвольной искривленной поверхностью.

Другой задачей настоящего изобретения является восстановление распределения вектора силы, приложенной к произвольной искривленной поверхности на основе информации о маркере.

Еще одной задачей настоящего изобретения является создание оптического тактильного датчика, который можно использовать как тактильный датчик для руки робота или интерфейса компьютера.

Еще одной задачей настоящего изобретения является создание способа получения передаточной функции, с помощью которой вычисляется распределение вектора силы при использовании информации о маркере.

Настоящее изобретение относится к оптическому тактильному датчику, имеющему тактильную часть и фотографирующее устройство. Тактильная часть содержит прозрачный гибкий корпус и множество групп маркеров, расположенных внутри гибкого корпуса, причем каждая группа маркеров содержит множество окрашенных маркеров, при этом маркеры, составляющие различные группы маркеров, имеют различную окраску в каждой группе. Гибкий корпус имеет произвольную искривленную поверхность (неплоскую поверхность). Фотографирующее устройство формирует изображение окрашенных маркеров в прозрачном гибком корпусе для получения информации о маркерах в виде изображения, когда объект касается поверхности гибкого корпуса. Датчик дополнительно содержит устройство восстановления распределения вектора силы, которое восстанавливает распределение вектора силы из информации о поведении маркеров (векторов перемещения маркеров). Информация о поведении маркеров может быть получена на основе информации о маркерах в виде изображения.

По меньшей мере одна из характеристик: смещение, деформация и наклон окрашенных маркеров в том случае, когда гибкий корпус касается объекта, наблюдается при фотографировании поведения окрашенных маркеров. Информацию о деформации внутри прозрачного гибкого корпуса получают из информации о поведении окрашенных маркеров, когда вступающий в контакт объект касается датчика, при этом получают информацию о форме вступающего в контакт объекта на основании информации о деформации, а также о силе, действующей на контактной границе раздела (включая поверхность гибкого корпуса и поверхность вступающего в контакт объекта). В соответствии с настоящим изобретением возможно по отдельности собирать множество видов информации с помощью простого метода, называемого «цветовое кодирование», и при этом возможно получать множество видов тактильной информации с помощью оптической системы. В соответствии с настоящим изобретением независимую наблюдаемую информацию, число наблюдаемых величин которой равно или больше числа неизвестных, получают при использовании цветового кодирования, и возможно оценить и восстановить векторы силы путем решения обратной задачи.

Окрашенные маркеры фотографируют с помощью фотографического устройства, в предпочтительном примере - телекамеры на приборах с зарядовой связью, и осуществляют обработку изображения с помощью процессора. Например, изображение во время контакта корпуса с объектом и изображение в предыдущем состоянии (т.е. состоянии, когда внешняя сила не действует на прозрачный гибкий корпус) сравнивают и определяют величину смещения маркеров (вектор перемещения). С другой стороны, маркеры размещены в прозрачном гибком корпусе так, что обычно они не могут быть распознаны (в состоянии, когда внешняя сила не действует на прозрачный гибкий корпус), и конфигурация такова, что маркеры распознают в ответ на деформацию смещения и наклон маркеров, вызванный деформацией вблизи от положений, в которых существует каждый маркер в том случае, когда объект контактирует с прозрачным гибким корпусом, и информацию детектируют при появлении окрашенных маркеров. В другом предпочтительном аспекте поведение маркеров (например, ступенчатых полосовых маркеров) может быть получено на основе изменения интенсивности маркера.

Устройство восстановления распределения вектора силы содержит передаточную функцию, в соответствии с которой векторы сил или распределение векторов сил, приложенных к поверхности гибкого корпуса, восстанавливаются на основе информации, касающейся поведения маркеров (например, векторов перемещения каждого маркера, когда объект вступает в контакт с поверхностью), полученной с помощью устройства фотографирования. Передаточная функция представляет собой функцию, которая связывает информацию о силе, приложенной к поверхности датчика, с информацией, касающейся поведения маркеров (например, вектора перемещения). Информацию об изображении маркеров получают путем фотографирования окрашенных маркеров, когда объект контактирует с чувствительной поверхностью гибкого корпуса, и информацию, касающуюся поведения маркеров, получают из информации об изображении маркеров. В одном аспекте информацию, относящуюся к поведению маркеров, получают путем сравнения информации о маркере, если датчик находится в состоянии контакта, когда объект контактирует с гибким корпусом, и информации о маркере, если датчик находится в нормальном состоянии, когда гибкий корпус не контактирует с объектом. В одном случае информация о маркере при нормальном состоянии датчика может сохраняться в памяти устройства в форме цифровой информации, такой как информация о расположении или информация об интенсивности. Информация, касающаяся поведения маркеров, может быть получена на основе информации о маркерах в виде изображения в состоянии контакта и предварительной сохраненной информации о маркере в нормальном состоянии.

Вектор силы получается на выходе при введении полученной информации в передаточную функцию. Количество наблюдаемых величин информации, относящейся к поведению маркеров, которые вводятся в передаточную функцию, больше, чем число полученных векторов силы. Устройство для восстановления распределения вектора силы содержит компьютер, имеющий устройство памяти и процессор. Передаточная функция сохраняется в устройстве памяти, и вычисление осуществляется с помощью процессора. В одном аспекте устройство для восстановления распределения вектора силы содержит первый процессор для вычисления информации, относящейся к поведению маркеров, на основе информации об изображении маркера, и второй процессор для вычисления вектора силы на основе информации, относящейся к поведению маркеров. В одном случае первый процессор представляет собой локальный процессор, а второй процессор представляет собой центральный процессор.

Передаточная функция, в зависимости от формы гибкого корпуса, может получаться на основе уравнения, полученного из теории упругости. Однако, когда поверхность гибкого корпуса является произвольно искривленной поверхностью, передаточная функция предпочтительно получается путем измерения или моделирования. Передаточная функция, полученная путем измерения или моделирования, может формироваться на основе информации (векторов перемещения), касающейся поведения маркеров, когда силы в x-направлении, y-направлении и z-направлении, имеющие заданную величину, прикладываются к пробным точкам, расположенным на поверхности датчика.

Способ получения передаточной функции с помощью измерения содержит следующие этапы. Множество пробных точек дискретно располагают на поверхности датчика. Получается информация, относящаяся к поведению маркеров, когда сила заданной величины прикладывается в каждой пробной точке в каждом из заданных направлений. В одном предпочтительном аспекте заданные направления включают x-направление, y-направление и z-направление. Передаточная функция может быть получена на основе силы, имеющей заданную известную величину, приложенной в каждой пробной точке в каждом из заданных направлений: x-направлении, y-направлении и z-направлении, и полученной информации, относящейся к поведению маркеров.

В предпочтительном аспекте оптический тактильный датчик с произвольной искривленной поверхностью представляет собой тактильный датчик в форме пальца, который содержит прозрачный гибкий корпус, составляющий мускул кончика пальца, поверхность которого является поверхностью датчика. Более предпочтительно датчик дополнительно содержит ногтеподобную основу, расположенную на задней части гибкого корпуса и фиксирующую гибкий корпус. В одном предпочтительном аспекте фотографирующее устройство, например камера, закреплено на ногтеподобной основе. В другом предпочтительном варианте датчик содержит локальный процессор и центральный процессор. Локальный процессор вычисляет информацию, относящуюся к поведению маркеров, на основе видеоинформации о маркерах, и центральный процессор вычисляет распределение вектора силы на основе информации, относящейся к поведению маркеров, с помощью передаточной функции. Предпочтительно локальный процессор закреплен на обратной стороне руки или ладони робота.

В другом аспекте оптический тактильный датчик с произвольной искривленной поверхностью содержит интерфейс компьютера. Неограничивающим примером интерфейса компьютера служит моделирующий инструмент для конструирования трехмерной графики. В одном предпочтительном аспекте оптический тактильный датчик, используемый для интерфейса, содержит сферический гибкий корпус или частично сферический корпус, имеющий сферическую или частично сферическую поверхность.

В одном предпочтительном аспекте устройство формирования изображения расположено на стороне, противоположной стороне контакта с объектом прозрачного гибкого корпуса. В случае, когда существует множество окрашенных маркеров, имеющих различную окраску, требуется проводить удобную обработку после формирования изображения путем выбора маркеров только определенного цвета и наблюдения за ними по отдельности. Выбор маркера определенного цвета производится, например, с использованием цветного светофильтра. Требуется создать светоэкранирующий слой на чувствительной поверхности для стабилизации изображения маркеров.

В одном предпочтительном варианте реализации множество групп маркеров размещены в прозрачном гибком корпусе, причем каждая группа маркеров состоит из большого числа маркеров. Маркеры, составляющие различные группы маркеров, имеют различную окраску в каждой группе, и группы маркеров имеют различное пространственное расположение. Примером такого различного пространственного расположения служит множество групп маркеров, расположенных в виде слоев внутри гибкого корпуса. Примером маркеров, расположенных в виде слоев, составляющих группы маркеров, являются микроскопические сферические частицы и сферические маркеры, составляющие группу маркеров для каждого слоя и имеющие окраску, отличную друг от друга. Другим примером такого различного пространственного расположения служит множество групп маркеров, расположенных так, что они пересекаются друг с другом. Еще одним примером такого различного пространственного расположения служит вариант, когда каждая группа маркеров представляет собой плоскую группу, содержащую множество плоскостей, проходящих в одном и том же направлении, но эти направления и окраска являются различными для каждой группы маркеров. Форма окрашенных маркеров особо не ограничивается, и предпочтительными примерами может быть сферическая, цилиндрическая, колоновидная, полосовидная или плоская форма.

Краткое описание чертежей

В дальнейшем изобретение поясняется описанием предпочтительных вариантов воплощения со ссылками на сопровождающие чертежи, на которых:

фиг.1 изображает распределение векторов сил, приложенных между тактильным датчиком и объектом, находящимся с ним в контакте;

фиг.2 - принцип действия оптического тактильного датчика;

фиг.3 - схему датчика согласно изобретению;

фиг.4 - распределение вектора силы, приложенной к контактной поверхности, и перемещения маркеров согласно изобретению;

фиг.5 - способ получения передаточной функции, используемой при восстановлении распределения вектора силы с помощью измерения согласно изобретению;

фиг.6 - вариант реализации тактильного датчика с полусферической поверхностью согласно изобретению;

фиг.7 - вариант реализации тактильного датчика, имеющего форму пальца, согласно изобретению;

фиг.8 - другой вариант реализации тактильного датчика в форме пальца согласно изобретению;

фиг.9 - схематичный вид, показывающий еще один вариант реализации тактильного датчика в форме пальца согласно изобретению;

фиг.10 - вариант реализации конфигурации маркера согласно изобретению;

фиг.11 - другой вариант реализации конфигурации маркера согласно изобретению;

фиг.12 - еще один вариант реализации конфигурации маркера согласно изобретению;

фиг.13 - еще один дополнительный вариант реализации конфигурации маркера согласно изобретению.

Подробное описание предпочтительных вариантов реализации изобретения

Оптический тактильный датчик согласно настоящему изобретению содержит прозрачный гибкий корпус 1 (фиг.3), изготовленный из прозрачного эластичного материала, и искривленную поверхность 2 или поверхность для считывания. Прозрачный гибкий корпус 1 снабжен множеством окрашенных маркеров 3, 4, введенных в прозрачный гибкий корпус 1 вблизи от поверхности 2 и вдоль искривленной поверхности 2. Чувствительная часть состоит из прозрачного гибкого корпуса 1 и окрашенных маркеров 3, 4, расположенных внутри гибкого корпуса.

Окрашенные маркеры 3, 4 содержат две группы окрашенных маркеров, и две группы маркеров размещены соответственно на различной глубине от поверхности 2. Окрашенные маркеры 3, составляющие одну группу маркеров, и окрашенные маркеры 4, составляющие другую группу маркеров, имеют различную окраску. Например, одна группа маркеров состоит из множества синих маркеров 3, и другая группа маркеров состоит из множества красных маркеров 4.

Когда объект 5 контактирует с прозрачным гибким корпусом 1, окрашенные маркеры 3, 4, расположенные внутри прозрачного гибкого корпуса 1, смещаются благодаря внутренней деформации гибкого корпуса. Датчик также снабжен камерой 6 в качестве фотографирующего устройства и источником света 7. Оптическая камера 6 расположена на стороне, противоположной стороне контакта с объектом 5, поэтому прозрачный гибкий корпус 1 расположен между оптической камерой 6 и объектом 5, и поведение или перемещение маркеров 3, 4 фотографируется камерой 6. Источник света 7 может передавать световое излучение по волноводу, например по оптическому волокну. Изображения маркеров 3, 4, полученные с помощью камеры 6 как средства формирования изображения, передаются на компьютер 8 устройства для восстановления распределения вектора силы. Устройство для восстановления распределения вектора силы содержит процессор, устройство памяти, устройство дисплея, входное устройство, выходное устройство и другие устройства, которые обычно установлены в универсальном компьютере. Процессор вычисляет информацию о маркере (векторы перемещения), касающуюся перемещения или движения маркера на изображении. Кроме того, процессор восстанавливает распределение сил, приложенных к поверхности 2 со стороны объекта 5, используя информацию о маркере (информацию о перемещении) и передаточную функцию, которая сохраняется в устройстве памяти.

Прозрачный гибкий корпус 1 предпочтительно изготовлен из силиконовой резины, но также он может быть выполнен из другого эластичного материала, из другого типа резины или эластомера. Маркеры предпочтительно изготовлены из эластичного материала и более предпочтительно из того же материала, что и прозрачный гибкий корпус 1. В одном предпочтительном варианте реализации они формируются добавлением пигмента к силиконовой резине. Так как деформация гибкого корпуса не должна подавляться маркерами, маркеры также предпочтительно изготавливаются из эластичного материала (предпочтительно имеющего такую же постоянную упругости, как и гибкий корпус). Материал маркеров особо не ограничивается, поскольку расстояние, до которого деформация гибкого корпуса подавляется, является достаточно малым. Также возможно, чтобы маркеры составляли часть гибкого корпуса.

В настоящем изобретении множество оптических маркеров распределены внутри прозрачного гибкого корпуса 1, и информация о поведении (перемещениях) маркеров внутри гибкого корпуса, полученная за счет контакта, фиксируется фотографирующим устройством, причем перемещения маркеров появляются из-за деформации гибкого корпуса 1 как результат контакта объекта и гибкого корпуса 1. На фиг.3 показаны две группы маркеров, но количество групп маркеров не ограничивается, и три группы маркеров могут располагаться в виде слоев вдоль поверхности 2.

Камера как фотографирующее устройство является цифровой камерой, а именно камерой для вывода данных изображения в виде электрических сигналов, и в одном предпочтительном варианте реализации она представляет собой телекамеру на приборах с зарядовой связью. Также возможно применять, например, цифровую камеру, использующую датчик изображения типа КМОП (C-MOS). Если три типа маркеров представляют собой красные, зеленые и синие маркеры, существует два способа восприятия этих трех цветов по отдельности. Первый способ состоит в использовании для выделения цветных светофильтров, при этом каждый маркер может рассматриваться как индивидуально сфотографированный при рассмотрении сигнала «красный-зеленый-синий», выходящего из камеры. Второй способ представляет собой способ, когда элементы формирования изображения воспринимают только интенсивность света, и изготавливаются световые источники «красный-зеленый и синий». Когда красный светится, свет отражается только от красных маркеров, в то время как красный свет поглощается маркерами двух других цветов, и поэтому камера эффективно воспринимает только красные маркеры. Если это также осуществляется в течение отдельного времени для зеленого и синего цвета, может быть получена информация, эквивалентная той, которая получается при использовании первого способа.

Для получения распределения вектора силы, приложенной к поверхности датчика, на основе информации, полученной от оптического тактильного датчика (векторов перемещения маркеров), касающейся поведения маркеров, требуется преобразование информации М (информации о перемещении), касающейся поведения маркеров, в информацию F о силе. Преобразование информации М о поведении маркеров в информацию F о силе производится на основе уравнения F=HM. Ниже описан способ восстановления распределения вектора силы (фиг.4) на основе информации о маркерах, в основе которого лежит метод получения распределения вектора силы на основе векторов перемещения маркеров. На фиг.4 четыре стрелки, начинающиеся от контактной поверхности, представляют векторы сил, и восемь горизонтальных стрелок представляют наблюдаемые векторы перемещения маркеров. Для упрощения рассматривается только двумерное сечение (направление вдоль оси y исключается), алгоритм является таким же для общего трехмерного пространства.

Обозначение f относится к вектору силы, приложенной к контактной поверхности, и обозначения m и n относятся к вектору перемещения синего маркера и вектору перемещения красного маркера в элементе телекамеры на приборах с зарядовой связью. Рассматриваются дискретные конечные точки (четыре точки на фиг.4). Как упоминалось выше, распределение вектора силы имеет три компоненты (x компоненту, y компоненту и z компоненту), но рассматриваются только две компоненты (x компонента и z компонента). В общем, получение изображения с помощью камеры означает проецирование трехмерного объекта на пиксельную плоскость двумерной плоскости таким образом, что на плоскость проецируется только перемещение маркеров в горизонтальном направлении (x компонента и y компонента). Перемещение маркера наблюдается только в x направлении.

Восемь компонент f=[fx(1), fx(2), fx(3), fx(4), fz(1), fz(2), fz(3), fz(4)] представляют собой распределение полученных векторов сил, где m=[m(1), m(2), m(3), m(4)] и n=[n(1), n(2), n(3), n(4)] являются векторами перемещения, которые измеряются. Векторы m и n представлены как Х. А именно X=[m(1), m(2), m(3), m(4), n(1), n(2), n(3), n(4)]. Векторы перемещения m и n наблюдаются, когда единичная сила (величина равна 1) в направлении x прикладывается в точке 1, они представлены как Mx(1).

А именно Mx(1)=[m(1), m(2), m(3), m(4), n(1), n(2), n(3), n(4)], когда f=[1,0,0,0,0,0,0,0]. Аналогично, вектор смещения каждого маркера, когда единичная сила в z-направлении приложена в точке 1, представляется как Mz(1), вектор перемещения каждого маркера, когда единичная сила в x-направлении приложена в точке 2, представляется как Mx(2), и т.д. В случае линейного гибкого корпуса, когда соотношение линейной суммы сохраняется между приложенными силами и деформациями (большинство гибких корпусов удовлетворяют этим характеристикам), векторы перемещения представляются как

X=Mx(1)×fx(1)+Mz(1)×fz(1)+ Mx(2)×fx(2)+...+Mz(4)×fz(4),

где заданы общие силы f=[fx(1), fx(2), fx(3), fx(4), fz(1), fz(2), fz(3), fz(4)]. Наоборот, тот факт, что векторы перемещения могут быть представлены, как упомянуто выше, означает, что суперпозиция сил сохраняется, следовательно, гибкий корпус является линейным гибким корпусом.

Когда уравнение представляется в матричной форме, X=H×f, где H=[Mx(1); Mx(2); …; Mz(4)], H называется передаточной функцией, потому что H представляет собой отображение, которое преобразует силу f в деформацию x. Форма матрицы, записанной с элементами, является следующей:

где Hmx(x1,x2) представляет собой величину смещения в направлении x маркера m на определенной глубине с координатой x=x1 с единичной силой в направлении x, приложенной к поверхности в точке с координатой x=x2. Аналогично, Hnz(x1, x2) представляет величину смещения в направлении z маркера n на определенной глубине с координатой x=x1 с единичной силой в направлении z, приложенной к поверхности в точке с координатой x=x2.

Это простое перемножение матриц, где x соответствует матрице 1×8, Н соответствует квадратной матрице 8×8 и f содержит 1×8 компонент. Таким образом, f может быть получена при умножении наблюдаемой х на обратную матрицу Н. А именно f=inv(H)×Х (уравнение 1), где inv представляет собой обратную матрицу (обратную обобщенную матрицу).

Форма матрицы, записанной с элементами, является следующей:

где Imx(1,1) и т.п. представляют каждый элемент inv(H), а также вклад m(1) для вычисления fx(1).

Важный момент состоит в том, что количество наблюдаемых данных должно быть равно или больше количества неизвестных при определении неизвестных с использованием обратной матрицы, определяемой передаточной функцией. Если требования не выполнены, довольно трудно получить обратную матрицу, т.к. число неизвестных избыточно, и неизвестные не могут быть получены точно. В примере, показанном на фиг.4, если существует только один слой маркеров, компоненты векторов силы не могут быть точно определены, потому что наблюдаются только четыре компоненты вектора перемещения, в то время как должно быть получено распределение восьми векторов сил (это случай с традиционным типом распределения по поверхности тактильного датчика). Для решения этой проблемы в настоящем изобретении используются два слоя различно окрашенных групп маркеров для того, чтобы увеличить число независимых наблюдаемых данных до восьми путем наблюдения перемещения каждого маркера в двух группах маркеров, расположенных в виде слоев.

В случае трехмерного пространства (где к чертежу добавляется ось y) в точке вектор силы имеет три степени свободы, и вектор горизонтального перемещения маркеров имеет две степени свободы. Если число пробных точек равно четырем, количество неизвестных равно двенадцати, где f=[fx(1), fy(1), fz(1), fx(2), fy(2), fz(2), fx(3), fy(3), fz(3), fx(4), fy(4), fz(4)], при этом количество наблюдаемых векторов перемещения равно восьми и является несущественным, где m=[mx(1), my(1), mx(2), my(2), mx(3), my(3), mx(4), my(4)].

За счет использования двух слоев маркеров возможно получить шестнадцать наблюдаемых данных путем наблюдения маркеров, расположенных в виде слоев, и определить двенадцать неизвестных. Из-за избыточности количества полученной информации может осуществляться устойчивая интерполяция. При использовании перечисленных выше алгоритмов векторы силы экстраполируются на основе изображения, созданного телекамерой на приборах с зарядовой связью. Даже при использовании других способов измерения настоящего изобретения, в которых применяются другие типы конфигураций маркеров (фиг.10 и 13), способы измерения по существу остаются теми же самыми.

Из приведенного выше описания ясно, что для оптического тактильного датчика настоящего изобретения особенно важно получить передаточную функцию (матрицу Н), представляющую соотношение между поверхностным напряжением и внутренней деформацией гибкого корпуса. В этом отношении оптический тактильный датчик настоящего изобретения по сути отличается от традиционных тактильных датчиков матричного типа. Хотя традиционный тактильный датчик матричного типа (датчик Shimojo, например) содержит слоистый гибкий корпус, расположенный на элементе датчика, он меряет только силу, приложенную к каждому расположенному упорядоченным образом элементу датчика, и не вычисляет распределение вектора силы, приложенной к поверхности гибкого корпуса.

Ниже описан способ получения передаточной функции. Основой теории упругости является уравнение, которое устанавливает связь между силой, приложенной к поверхности (x=0, x, y=0, y, z=0, z) внутренней микроскопической области (микрокуб xyz), и деформацией микроскопической области (dx/dx, dy/dx, dz/dx, dx/dy, dy/dy, dz/dy, dx/dz, dy/dz, dy/dz). Весь гибкий корпус состоит из неограниченного числа микроскопических областей (проинтегрированных по пространству).

В гибком корпусе, имеющем характеристическую форму (полубесконечный гибкий корпус) в качестве функции, определяющей силу, приложенную к поверхности, и внутреннюю деформацию, функции, в которой упомянутое выше уравнение, которое действует в микроскопической области, может выполняться в любых областях внутренней части гибкого корпуса, было найдено численное уравнение. В этом случае матрица H может быть получена введением в аргумент функции координат разделенных поверхностей гибкого корпуса и координат внутренних маркеров.

Численное уравнение представляет собой функцию G, с помощью которой может быть получена внутренняя деформация на основе поверхностного напряжения в форме m(x2, y2)=G(f(x1), x2, y2), где f(x1) представляет собой поверхностное напряжение и m(x2, y2) представляет внутреннюю деформацию. Например, когда сила приложена в точке 1 (фиг.4), смещение маркера 2 может быть получено с помощью выражения m(2, y2)=G(f(1), 2, y2), где y2 представляет собой известную глубину маркера.

Однако такая характеристическая форма является редкой, например даже для сферического корпуса функция для соотношения между поверхностным напряжением и внутренней деформацией не может быть найдена. В соответствии с рассматриваемым оптическим тактильным датчиком получается матрица Н, использующая упомянутое выше уравнение, в предположении, что гибкий корпус имеет полубесконечную форму. Было найдено, что поверхностное напряжение не может быть правильно получено, когда уравнение для полубесконечного гибкого корпуса применяется для произвольной искривленной поверхности, такой как полусферическая поверхность. Следовательно, необходимо связать поверхностное напряжение со внутренней деформацией любым другим способом.

Первый способ состоит в определении связи между поверхностным напряжением и внутренней деформацией с помощью численного моделирования. В соответствии с доступным программным обеспечением для моделирования упругости путем разделения гибкого корпуса на ячейки возможно численно рассчитать упругую деформацию, которая поддерживает соотношение между поверхностным напряжением и деформацией каждой ячейки (упомянутой выше микроскопической области), и соотношение между соседними ячейками, где силы, имеющие одну и ту же величину, приводятся в действие на границе раздела. Следовательно, путем разделения поверхности датчика на ячейки возможно вычислить величину перемещения маркеров, когда единичная сила прикладывается к каждой ячейке в x-направлении, y-направлении и z-направлении, путем моделирования.

Второй способ состоит в реальном приложении силы к поверхности (фиг.5). Силы F1, F2, F3, F4, …, Fn, имеющие известную величину, прикладываются к произвольной искривленной поверхности гибкого корпуса. Векторы перемещения (перемещения маркеров, вызванные каждой известной силой) M1, M2, M3, M4, …, Mn маркеров, относящиеся к каждой приложенной силе, измеряются и сохраняются. F1 представляет три вектора F1x, F1y, F1z, и векторы перемещения соответствующих маркеров получаются как M1x, M1y, M1z, когда эти силы прикладываются. Матрица Н получается на основе сил, имеющих известную величину, и полученной информации (вектор перемещения). Передаточная функция Н получается при использовании каждого перемещения маркера Mn. Второй способ будет объяснен подробно.

Во-первых, многочисленные пробные точки расположены дискретно на поверхности гибкого корпуса. В одном предпочтительном варианте реализации пробные точки расположены таким образом, чтобы покрывать всю площадь поверхности. В другом варианте реализации многочисленные дискретные пробные точки расположены (концентрическим образом на виде сверху) в соответствии с криволинейными координатами. В другом аспекте пробные точки размещены так, что создают сетчатую структуру на виде сверху.

В каждой пробной точке получается информация, которая связывает силы, имеющие известную величину, приложенные в x-направлении, y-направлении и z-направлении, с соответствующими векторами перемещения маркеров, когда прикладываются силы. В одном предпочтительном способе силы, имеющие предварительно заданную величину, независимо прикладываются в каждой пробной точке в x-направлении, y-направлении и z-направлении, и каждый вектор перемещения маркеров измеряется и сохраняется. Ориентации векторов сил в x-направлении, y-направлении и z-направлении, приложенных в пробных точках, не ограничиваются, поскольку произвольная сила, приложенная к поверхности, может быть представлена с помощью этих векторов сил.

В одном случае в пробной точке создается тангенциальная плоскость, x-направление и y-направление определяются в ортогональном направлении по отношению друг у другу в этой плоскости, и z-направление определяется как ортогональное по отношению к плоскости. С другой стороны, плоскость x-y определяется независимо от формы поверхности, и z-направление определяется как ортогональное по отношению к плоскости x-y.

Силы, приложенные в каждой пробной точке, имеют известную величину, и в предпочтительном варианте силу постоянной величины, например 100 гс, прикладывают в пробной точке в x-направлении, y-направлении и z-направлении соответственно, и измеряются векторы перемещения для каждого варианта. Не является необходимым, чтобы силы, приложенные в каждой пробной точке, имели одну и ту же величину, поскольку величина каждой силы известна. Вектор смещения маркеров может измеряться на основе сил, имеющих различные величины, и затем величина вектора смещения может быть нормирована.

Поскольку в итоге получается информация, связывающая силы в x-направлении, y-направлении и z-направлении с перемещением векторов маркеров направления сил, направления сил, приложенных в каждой точке образца, не ограничиваются x-направлением, y-направлением и z-направлением. Предполагая, что гибкий корпус представляет собой линейный гибкий корпус, также рассматривается следующий способ. Во-первых, приложение силы в точке в z-направлении и величину перемещения каждого маркера измеряют и сохраняют. Далее, приложение силы в точке в xy-направлении и компонента в x-направлении могут быть получены путем вычитания компоненты силы в z-направлении из компоненты в xz-направлении. То же осуществляют и для y-направления.

Это будет объяснено с использованием уравнения.

Полагая, что Mz(n,m) представляет перемещение маркера, когда сила прикладывается в точке с координатами n, m в z-направлении, Mx(n,m) представляет перемещение маркера, когда сила прикладывается в точке с координатами n, m в x-направлении, Mxz(n,m) представляет перемещение маркера, когда сила прикладывается в точке с координатами n, m в xz-направлении, можно считать, что Mxz(n,m)=Mx(n,m)+Mz(n,m), и Mx(n,m) может быть вычислено , если Mz(n,m) и Mxz(n,m) известны.

Это аналогично и для ситуации, когда сила прикладывается во множестве координатных точек, а не в одной точке, и приложенная сила может разделяться.

Как упомянуто выше, матрица Н может быть получена путем моделирования или измерения, причем матрица Н представляет собой передаточную функцию, которая связывает информацию о силе F с информацией М, относящейся к поведению маркера (информация о перемещении). Оптический тактильный датчик содержит устройство памяти и процессор. Матрицу Н сохраняют в устройстве памяти. Изображение маркера получают с помощью устройства для фотографирования, когда объект вступает в контакт с прозрачным гибким корпусом и к поверхности датчика прикладывают произвольную силу. Вектор перемещения маркера измеряют на основе полученного изображения маркера с помощью процессора. Измеренный вектор перемещения маркера является входным для матрицы Н и вычисляется с помощью процессора, таким образом давая на выходе вектор силы, которая прикладывается к поверхности гибкого корпуса.

Будут описаны варианты реализации оптического тактильного датчика с произвольной искривленной поверхностью.

На фиг.6 показан тактильный датчик с полусферической поверхностью. Прозрачный гибкий корпус 1, составляющий тактильную часть тактильного датчика, имеет форму полусферы и содержит поверхность в форме полусферы и круглую нижнюю плоскость. Поверхность в форме полусферы составляет поверхность 2. Прозрачный гибкий корпус 1 представляет собой корпус в виде полусферы, имеющей радиус 25 мм, изготовленный из силикона. На поверхности 2 размещен черный светоэкранирующий слой, чтобы стабилизировать изображение маркера, полученное с помощью телекамеры на приборах с зарядовой связью.

Синие сферические маркеры 3 расположены на глубине 2 мм от чувствительной поверхности 2, вдоль искривленной поверхности 2 таким образом, что образуют группу синих сферических маркеров. Красные сферические маркеры 4 расположены на глубине 3, 5 мм от поверхности 2, вдоль группы синих сферических маркеров так, чтобы образовать группу красных сферических маркеров. Интервал между маркерами составляет 4 мм. Маркеры 3, 4 представляют собой окрашенные сферические тела из пластика. Нижняя плоскость прозрачного гибкого корпуса прикреплена к прозрачной акриловой пластинке 9. Телекамера на приборах с зарядовой связью расположена напротив нижней плоскости через прозрачную акриловую пластинку 9. Источник света (не показан) расположен вблизи телекамеры на приборах с зарядовой связью. Перемещения маркеров внутри гибкого корпуса 1 фотографируются телекамерой на приборах с зарядовой связью через акриловую пластинку 9. Изображение в соответствии с национальным телевизионным стандартным кодом передается к компьютеру через блок сбора данных, использующий USB-соединение.

Хотя показана тактильная часть полусферической формы, тактильная часть может содержать, по существу, сферическую поверхность или часть сферической поверхности. Часть сферической поверхности может иметь такую форму, при которой чувствительная часть может быть, по существу, сферической формы или частично сферической формы. Если форма тактильной части близка к сферической, для фотографирующего устройства требуется более широкий угол обзора. Неограничивающим примером такого фотографирующего устройства является фотографирующее устройство, использующее линзу «рыбий глаз».

В одном предпочтительном аспекте тактильный датчик, имеющий поверхность сферической или частично сферической формы, образует входное устройство, такое как мышь или клавиатура, и другой интерфейс компьютера. Более конкретно, тактильный датчик, имеющий поверхность сферический или частично сферической формы, может содержать интерфейс для моделирующего инструмента, который создает трехмерную графику, подобно обрабатыванию глины, на экране компьютера. Путем сжатия, прищипывания или натирания поверхности датчик определяет силы, приложенные к поверхности, и полученная информация передается к процессору компьютера так, чтобы деформировать форму объекта, показанного на экране, или отполировать поверхность объекта.

На фиг.7 показан оптический датчик в форме пальца. Тактильный датчик в форме пальца имеет форму, которая аналогична форме кончика пальца человека. Часть, соответствующая подушечке пальца или мускулу кончика пальца, образована прозрачным гибким корпусом 1, а часть, соответствующая поверхности кончика пальца, образует поверхность 2. Поверхность, противоположная поверхности мускула кончика пальца, создается ногтеподобным элементом 10, изготовленным из алюминия. Тактильный датчик в форме пальца имеет полный размер в высоту 23 мм, по вертикали 35 мм и поперечный размер 23 мм. Прозрачный гибкий корпус 1 изготовлен из силикона. Поверхность 2 прозрачного гибкого корпуса 1 имеет искривленную поверхность, аналогичную поверхности или контуру реальной подушечки пальца.

В прозрачном гибком корпусе 1, образующем мускул кончика пальца, ряд синих сферических маркеров расположен на глубине 2 мм от искривленной поверхности 2 и вдоль искривленной поверхности 2 с интервалом 3 мм, и синие сферические маркеры 3 образуют группу сферических маркеров. Ряд красных сферических маркеров 4 расположен на глубине 3 мм от искривленной чувствительной поверхности 2 и вдоль группы синих сферических маркеров с интервалом 2 мм, при этом красные сферические маркеры 4 образуют группу красных сферических маркеров. Поверхность 2 снабжена черным светоэкранирующим слоем. За счет создания светоэкранирующего слоя можно стабилизировать изображение маркера, полученное с помощью телекамеры на приборах с зарядовой связью.

Конец ногтеподобного основания 10 снабжен наклонной частью 11, расположенной напротив поверхности 2, образующей поверхность кончика пальца. Наклонная часть 11 является элементом сборки для закрепления фотографирующего устройства 60. Фотографирующее устройство 60 содержит видеоскоп, имеющий элемент с зарядовой связью на удаленном конце, а ближайший конец видеоскопа подсоединен к компьютеру. Элемент с зарядовой связью установлен на наклонной части 11 так, что элемент с зарядовой связью обращен к поверхности кончика пальца, т.е. поверхности 2 и маркерам 3, 4. На стороне гибкого корпуса наклонной части 11 размещена прозрачная акриловая пластинка 9 между гибким корпусом и элементом с зарядовой связью. Источник света (не показан) установлен вблизи от элемента с зарядовой связью. Маркеры 3, 4 внутри гибкого корпуса 1 фотографируются с помощью видеоскопа, и изображение передается к компьютеру.

На конце наклонной части 11 размещена сборочная часть 12 для съемного прикрепления корпуса тактильного датчика к руке робота. Сборочная часть 12 (фиг.7) снабжена внутренней резьбой, куда ввинчивается винт (не показан) руки робота так, что тактильный корпус поддерживается рукой робота. Тактильный датчик в форме пальца не содержит элемент, соответствующий дальней фаланге реального кончика пальца, но сборочная часть 12 расположена на соединении между дальней фалангой и средней фалангой, поэтому сборочная часть 12 может соответствовать суставу или части кости пальца.

Сборочное приспособление для прикрепления тактильной части к руке робота не ограничивается описанным приспособлением. Фотографирующее устройство, например элемент с зарядовой связью, может быть расположено в части, где находится внутренняя резьба. Также возможно расположить дальний край оптического волокна так, чтобы он был обращен к прозрачному гибкому корпусу, при этом расположить элемент с зарядовой связью, составляющий фотографирующее устройство, на расстоянии от гибкого корпуса. Тактильные датчики в форме пальца установлены на каждом кончике пальца из пяти пальцев, и информация о маркере от каждого тактильного датчика в форме пальца может быть сфотографирована обычным элементом с зарядовой связью и передана на компьютер.

Однако тактильный датчик в форме пальца, использующий видеоскоп или оптическое волокно, имеет недостаток, состоящий в том, что не может быть получен широкий угол обзора. Для создания компактного датчика в форме пальца требуется угол обзора 90 градусов или более. Если угол обзора является недостаточным, необходимо фотографировать маркеры на удаленном расстоянии, и невозможно сделать датчик меньше. Кроме того, линзы для оптического волокна или видеоскопа имеют угол обзора только около 60 градусов. Причем оптическое волокно не позволяет получить достаточное разрешение.

На фиг.8 показан другой вариант реализации тактильного датчика в форме пальца для решения упомянутых выше проблем. Тактильный датчик в форме пальца имеет форму, аналогичную форме кончика пальца человека. Часть, соответствующая подушечке пальца или мускулу кончика пальца, образована прозрачным гибким корпусом 1, а часть, соответствующая поверхности кончика пальца, образует поверхность 2. Поверхность, противоположная поверхности мускула кончика пальца, снабжена ногтеподобным элементом 100, изготовленным из алюминия. Прозрачный гибкий корпус 1 изготовлен из силикона. Поверхность 2 прозрачного гибкого корпуса 1 имеет искривленную поверхность, аналогичную поверхности или контуру реальной подушечки пальца. В прозрачном гибком корпусе 1 ряд синих сферических маркеров 3, образующих группу синих маркеров, и ряд красных сферических маркеров, образующих группу красных маркеров, расположены на различной глубине по отношению к искривленной поверхности. Поверхность 2 снабжена черным светоэкранирующим слоем. Ногтеподобный элемент 100 закреплен на задней части прозрачного гибкого корпуса 1 и поддерживает прозрачный гибкий корпус 1.

Фотографирующее устройство 60 состоит из фотографирующего элемента 60, например элемента с зарядовой связью или элемента на комплементарном металло-оксидном полупроводнике (КМОП), и линзы с углом обзора более 90 градусов (110 градусов в описываемом варианте реализации). Ногтеподобный элемент 100 имеет апертуру для закрепления фотографирующего устройства 60. Фотографирующий элемент закреплен на апертуре ногтеподобного элемента 100 с линзой, обращенной к расположенным в корпусе маркерам 3, 4 и поверхности. Пластина 70 для пропускания через нее света расположена между ногтеподобным элементом 100 и прозрачным гибким корпусом 2. Пластина 70 действует как световод или источник света.

На фиг.9 показан еще один вариант реализации тактильного датчика в форме пальца. Каждый кончик пальца из пяти пальцев снабжен тактильной частью, содержащей прозрачный гибкий корпус с маркерами и фотографирующее устройство, например камеру. Тактильный датчик в форме пальца содержит локальный процессор и центральный процессор (не показан). Локальный процессор расположен на ближней стороне и на части, соответствующей обратной стороне руки или ладони. Неограничивающим примером локального процессора является устройство на основе вентильной матрицы с эксплуатационным программированием. Центральный процессор расположен на удаленной стороне. Каждая камера, установленная на кончиках пальцев, имеет электрическое соединение с локальным процессором, так что данные, полученные от каждой камеры, передаются к локальному процессору, где вычисляется информация, касающаяся перемещений маркеров на основе полученной видеоинформации о маркерах. Локальный процессор электрически связан с центральным процессором так, что информация, касающаяся перемещений маркеров, передается к центральному процессору, где вычисляется распределение вектора силы на основе информации, касающейся перемещений маркеров. Так как информация в виде изображения содержит большое количество информационных величин, трудно передать видеоинформацию через стандарт передачи данных, такой как USB и IEEE1394, с требуемой скоростью. Как показано на фиг.9, информация, которая требуется для восстановления распределения вектора силы (информация, касающаяся перемещений маркеров, например), выделяется локальным процессором, расположенным около камеры, и только выделенная информация, количество которой значительно уменьшено по сравнению с исходными данными изображения, передается к центральному процессору.

Хотя настоящее изобретение описывается на основе сферических маркеров как одного из предпочтительных аспектов, форма и/или расположение маркеров не ограничиваются упомянутыми выше. Со ссылкой на фиг.10-13 теперь будут описаны другие формы и расположения маркеров. Подробные описания этих маркеров приведены в заявке WO 02/18893. Кроме того, форма и/или расположение маркеров не ограничиваются настоящим описанием. Хотя на фиг.12 и фиг.13 показан тактильный корпус, имеющий плоскую контактную поверхность, расположения этих маркеров могут применяться к тактильному корпусу, имеющему произвольную искривленную поверхность.

На фиг.10 показаны окрашенные маркеры, составленные из очень тонких цилиндров или колонн, имеющих микроскопические поперечные сечения. Две группы маркеров расположены на разной глубине от поверхности 2. Группа маркеров из очень тонких синих цилиндрических маркеров 40 расположена в части прозрачного гибкого корпуса вблизи от поверхности 2. Другая группа маркеров из очень тонких красных цилиндрических маркеров 30 расположена в части, которая находится глубже, чем группа синих маркеров. Маркеры 30, 40 расположены вертикально внутри прозрачного гибкого корпуса.

Маркеры 30, 40 расположены вдоль воображаемых линий, соединяющих объект, вступающий в контакт с гибким корпусом и камерой. Количество групп маркеров не ограничивается двумя, возможно создать три или более группы маркеров, каждая из которых находится на различной глубине от поверхности в гибком корпусе.

На фиг.11 наклонные плоские маркеры 300, 400 расположены в гибком корпусе 1 ступенчато. В одном предпочтительном варианте части (поверхность раздела ступенчатой формы) гибкого корпуса 1 составляют маркеры 300, 400. В другом аспекте отдельные плоские маркеры могут размещаться в гибком корпусе 1. Поверхность раздела может разделяться на две группы поверхностей, все поверхности в группе имеют одно и то же направление. Поверхности каждой группы имеют один цвет (одна граница раздела 300 является синей, и другая граница раздела 400 является красной). Возможно получить наблюдаемые величины, содержащие вертикальные и горизонтальные компоненты векторов силы в конкретной точке в качестве информации за счет наблюдения интенсивности двух цветов в этой точке. При считывании наблюдаемой интенсивности возможно восстановить поверхностное распределение векторов сил.

Способ, использующий два цвета, был описан со ссылкой на фиг.11 (вид сверху), но, как показано на фиг.12 (вид снизу), используя пирамиду, получающуюся, когда микроскопические кубы собираются на нижней поверхности, если три группы поверхностей, обращенных в одном и том же направлении, соответственно выполнены так, что имеют один и тот же цвет (например, красный, зеленый и синий), то, аналогично предыдущему обсуждению, возможно получать соответственно две степени свободы для силы, действующей в горизонтальном направлении на контактной поверхности, как отношения интенсивностей для трех цветов, и силы, действующей в вертикальном направлении, используя полную интенсивность трех цветов.

На фиг.12 две группы маркеров 200А (группа маркеров, содержащая множество тонких красных полос, расположенных в ряд) и 200В (группа маркеров, содержащая множество тонких синих полос, расположенных в ряд) выровнены таким образом, что соответствующие маркеры ортогональны друг другу, но соотношение пространственного расположения между множеством групп маркеров не ограничено. Возможно, чтобы две стороны полос, составляющих маркер, имели разные цвета. На фиг.11 части сторон полосовых маркеров расположены вдоль направления наблюдения, но части сторон полосовых маркеров могут быть наклонены по отношению к направлению наблюдения.

На фиг.13 показана чувствительная часть, имеющая множество плоских маркеров. Плоские маркеры обычно скрыты скрывающими маркерами, и каждый плоский маркер подразделяется на множество частей, имеющих различные цвета для каждой части, и разделенные части, имеющие одинаковый цвет, составляют каждую группу маркеров. Плоские маркеры и скрывающие маркеры расположены в гибком корпусе и отделены пространственно друг от друга так, что указанные маркеры скрыты скрывающими маркерами и не наблюдаются в состоянии, когда внешняя сила не действует на прозрачный гибкий корпус. Когда возникает деформация сдвига, положения скрывающих маркеров 6 и окрашенных маркеров 20 смещаются, давая цвет. На чертеже маркеры покрыты тремя цветами: красным, зеленым, синим, и возможно определить направление деформации на основе полученного цвета.

Промышленная применимость

Настоящее изобретение может широко применяться для тактильных датчиков и, как пример использования, может применяться в тактильном датчике для руки робота и интерфейсе компьютера.

Реферат

Изобретение относится к устройству и способу определения вектора силы и может быть использовано в тактильном датчике для руки робота. Оптический тактильный датчик содержит чувствительную часть и фотографирующее устройство, при этом чувствительная часть содержит прозрачный гибкий корпус и множество групп маркеров, расположенных внутри гибкого корпуса. Каждая группа маркеров содержит множество окрашенных маркеров, при этом маркеры, составляющие различные группы маркеров, имеют различную окраску в каждой группе. Гибкий корпус имеет произвольную искривленную поверхность. Поведение окрашенных маркеров, когда объект касается искривленной поверхности гибкого корпуса, получается как информация о маркерах в виде изображения с помощью фотографирующего устройства. Датчик дополнительно содержит устройство для восстановления распределения вектора силы, предназначенное для восстановления сил, приложенных к поверхности, на основе информации о поведении маркеров, которая получается на основе указанной информации о маркерах в виде изображения. Технический результат заключается в возможности создания оптического тактильного датчика с произвольной искривленной поверхностью, позволяющего измерять трехмерное распределение вектора силы, который возможно использовать как тактильный датчик для манипулятора (руки робота). 5 н. и 21 з.п. ф-лы, 13 ил.

Формула