Устройство и способ для распознавания жестов с использованием радиочастотного датчика - RU2641269C1

Чертежи

Описание

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Область техники, к которой относится изобретения

[0001] Настоящее изобретение относится, в общем, к области распознавания жестов и, в частности, к устройству и способу для распознавания жестов с использованием радиочастотного (РЧ) датчика.

Описание предшествующего уровня техники

[0002] С дальнейшим развитием электронных устройств, электронными устройствами многих типов можно управлять жестами пользователя. Для формирования команды управления электронным устройством необходимо распознавание жестов. В электронных устройствах применяются различные технологии для распознавания жестов.

[0003] В предшествующем уровне техники известны решения, которые применяют для управление жестами в электронных устройствах, например нижеописанные решения.

[0004] Международная патентная заявка WO 2016053459 A1, опубликованная 07.04.2016 под названием «TENDON BASED MOTION AND GESTURE INPUT FROM A WEARABLE DEVICE», предлагает устройство, которое обнаруживает пользовательский ввод движениями и жестами посредством матрицы пьезоэлектрических датчиков давления или матрицы оптических датчиков. Однако матрицы датчиков нуждаются в прочной фиксации на запястье пользователя, чтобы обеспечивать команды в устройство или другие устройства.

[0005] Патентная заявка US20150370326 A1, опубликованная 24.12.2015 под названием «SYSTEMS, ARTICLES, AND METHODS FOR WEARABLE HUMAN-ELECTRONICS INTERFACE DEVICES», предлагает электронные браслеты, которые используют несколько микрофонов на основе микроэлектромеханических систем (MEMS-микрофонов), чтобы обнаруживать и различать разнотипные жесты касания. MEMS-датчики вибрации (звука) должны распределяться вокруг запястья в наручном ремешке. Однако размещение датчиков только в ремешке не может обеспечивать полную информацию.

[0006] Патентная заявка CN105022471 A, опубликованная 04.11.2015 под названием «Device and method for carrying out gesture recognition based on pressure sensor array», предлагает устройство для выполнения распознавания жестов на основе матрицы датчиков давления, которую следует размещать вокруг запястья в наручном ремешке. Однако размещение датчиков только в ремешке не может обеспечивать полную информацию.

[0007] Известна также патентная заявка US20116041617, опубликованная 11.02.2016 под названием «Radar-Based Gesture Recognition». Приведенный документ описывает методы и устройства для радиолокационного распознавания жестов. Упомянутые методы и устройства могут точно распознавать жесты, сделанные в трех измерениях, например парящие жесты. Данные парящие жесты могут выполняться с изменяющихся расстояний, например, человеком, сидящем на диване, чтобы управлять телевизором, человеком, стоящем на кухне, чтобы управлять печью или холодильником, или на расстоянии нескольких миллиметров от дисплея настольного компьютера. Методы и устройства способны обеспечивать радиолокационное поле, которое может воспринимать жесты. Однако, поскольку радиолокационный датчик размещается на некотором расстоянии от пользователя, пользователь должен внимательно относиться к тому, что его руки должны оставаться в радиолокационном поле. Если датчик размещен на одной руке, то другая рука будет занята управлением жестами.

[0008] Кроме того, существуют другие проблемы и недостатки применения управления жестами, например:

- сигнал, принимаемый при обнаружении жеста, может быть неустойчивым вследствие периодов молчания, отсутствия постоянного контакта устройства обнаружения с телом пользователя,

- пользователь должен концентрировать внимание на экране устройства,

- если пользователь носит устройство на одной руке, другую руку требуется использовать для управления устройством, то поэтому обе руки заняты управлением устройством,

- пьезоэлектрические датчики давления требуют жестко зафиксированных устройств,

- необходима недорогая технология массового производства,

- некоторые подходы требуют установки внешних датчиков снаружи устройств.

- требуется постоянный контакт с кожей.

[0009] Настоящее изобретение создано для устранения, по меньшей мере, одной(ого) из вышеописанных проблем и недостатков и для обеспечения, по меньшей мере, одного из нижеописанных преимуществ.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0010] Целью настоящего изобретения является создание устройства и способа для распознавания жестов с использованием радиочастотного (РЧ) датчика, который позволяет получить, по меньшей мере, одно из следующих преимуществ:

- непрерывный контроль (обработку жестов в то время, как пользователь перемещается);

- возможность встраивания во множество различных носимых устройств (часы, головные гарнитуры и т.п.);

- отсутствие необходимости непосредственного (электрического) контакта с кожей, возможность работы через одежду (перчатки, костюм, рубашку, брюки и т.п.);

- отсутствие необходимости жесткой фиксации устройства для распознавания жестов на теле пользователя, поскольку настоящее изобретение использует РЧ сигналы, имеющие длины волн, которые длиннее, чем возможные расстояния смещения устройства на части тела пользователя;

- пренебрежение перемещениями других частей тела пользователя, которые не относятся к части тела пользователя, перемещения которой обнаруживаются (руки, шея и т.п.);

- возможность использования только одной части тела пользователя для управления устройством;

- удобное управление устройством с помощью жеста;

- отсутствие необходимости размещения активных компонентов (датчиков, антенн) внутри браслета;

- потребность в небольшом числе датчиков (антенн);

- обеспечение низкого энергопотребления и безвредности для пользователя, так как мощность испускаемых сигналов является низкой, так как применяются РЧ сигналы, и РЧ сигналы характеризуются слабым затуханием внутри тела, костей и т.п.

[0011] Соответственно, аспект настоящего изобретения обеспечивает способ распознавания жестов с использованием радиочастотного (РЧ) датчика, содержащий следующие этапы: последовательную генерацию наборов РЧ сигналов посредством, по меньшей мере, одного передатчика и последовательное испускание наборов РЧ сигналов в ткани части тела пользователя посредством, по меньшей мере, одной антенны; прием наборов РЧ сигналов, отраженных и искаженных тканями части тела пользователя, посредством, по меньшей мере, одного приемника через, по меньшей мере, одну антенну; разделение каждого принятого РЧ сигнала в каждом наборе РЧ сигналов на первый РЧ сигнал и второй РЧ сигнал посредством, по меньшей мере, одного приемника, при этом первый РЧ сигнал представляет амплитуду и второй РЧ сигнал представляет фазовый сдвиг; преобразование каждого из первых РЧ сигналов и вторых РЧ сигналов в каждом наборе РЧ сигналов в цифровые сигналы посредством, по меньшей мере, одного аналого-цифрового преобразователя (АЦП), чтобы получать наборы цифровых сигналов, причем каждый набор цифровых сигналов получается из соответствующего набора РЧ сигналов; обработку наборов цифровых сигналов в ЦП (центральном процессоре) посредством ИНС (искусственной нейронной сети) с использованием опорных наборов данных, для распознавания жестов, причем каждый опорный набор данных соответствует конкретному жесту и получен обучением ИНС.

[0012] Обучение ИНС выполняется для каждого жеста из множества жестов и может содержать следующие этапы: генерацию набора РЧ сигналов посредством, по меньшей мере, одного передатчика и испускание набора РЧ сигналов в ткани части тела пользователя посредством, по меньшей мере, одной антенны, когда часть тела пользователя выполняет жест; прием набора РЧ сигналов, отраженных и искаженных тканями части тела пользователя, посредством, по меньшей мере, одного приемника через, по меньшей мере, одну антенну; разделение каждого принятого РЧ сигнала на первый РЧ сигнал и второй РЧ сигнал посредством, по меньшей мере, одного приемника, при этом первый РЧ сигнал представляет амплитуду и второй РЧ сигнал представляет фазовый сдвиг; преобразование каждого из первых РЧ сигналов и вторых РЧ сигналов в цифровые сигналы посредством, по меньшей мере, одного АЦП, чтобы получить наборы цифровых сигналов; обработку наборов цифровых сигналов посредством ИНС, чтобы получить опорный набор данных, соответствующий жесту, сохранение опорного набора данных в памяти, содержащейся в ЦП.

[0013] Этап генерации наборов РЧ сигналов может содержать генерацию РЧ сигналов, имеющих разные частоты в наборе.

[0014] Этап генерации наборов РЧ сигналов может содержать генерацию наборов РЧ сигналов в пределах низкочастотного диапазона и высокочастотного диапазона.

[0015] Низкочастотный диапазон составляет около 1-3 ГГц и высокочастотный диапазон составляет около 3-10 ГГц.

[0016] Способ может дополнительно содержать следующие этапы: когда цифровые сигналы получают из наборов РЧ сигналов, генерируемых в пределах низкочастотного диапазона, ЦП обрабатывает наборы цифровых сигналов посредством использования ИНС и опорных наборов данных для распознавания жеста, и ИНС выводит ненулевое значение до того, как жест полностью распознается, выполняется определение, что часть тела пользователя выполняет жест; и выполняется переключение, по меньшей мере, одного передатчика на генерацию РЧ сигналов в пределах высокочастотного диапазона.

[0017] Способ может дополнительно содержать следующие этапы: измерение посредством детектора перемещения уровня вибраций упомянутой части тела пользователя; сравнение посредством ЦП с использованием ИНС уровня вибраций с пороговым значением, при этом пороговое значение получено обучением ИНС; если уровень вибраций превышает пороговое значение: когда наборы РЧ сигналов генерируются в пределах высокочастотного диапазона, то переключение, по меньшей мере, одного передатчика на генерацию РЧ сигналов в пределах низкочастотного диапазона или когда наборы РЧ сигналов генерируются в пределах низкочастотного диапазона и выполняется определение, что часть тела пользователя выполняет жест, то продолжение генерации РЧ сигналов в пределах низкочастотного диапазона.

[0018] Обучение ИНС может дополнительно содержать следующие этапы: измерение посредством детектора перемещения уровней вибраций упомянутой части тела пользователя, когда упомянутая часть тела пользователя выполняет жесты; выбор максимального уровня вибраций из измеренных уровней вибраций; назначение максимального уровня вибраций в качестве порогового значения; и сохранение порогового значения в памяти, содержащейся в ЦП.

[0019] Способ может дополнительно содержать следующие этапы: если одна антенна используется для пары из передатчика и приемника: то переключение антенны на передатчик, когда РЧ сигнал испускается; и переключение антенны на приемник, когда РЧ сигнал, отраженный и искаженный тканями части тела пользователя, принимается.

[0020] Соответственно, другой аспект настоящего изобретения обеспечивает устройство для распознавания жестов с использованием радиочастотного (РЧ) датчика, содержащее: по меньшей мере, одну антенну; по меньшей мере, один передатчик, выполненный с возможностью последовательной генерации наборов РЧ сигналов и испускания наборов РЧ сигналов в ткани части тела пользователя посредством, по меньшей мере, одной антенны; по меньшей мере, один приемник, выполненный с возможностью приема наборов РЧ сигналов, отраженных и искаженных тканями части тела пользователя, через, по меньшей мере, одну антенну и разделения каждого принятого РЧ сигнала в каждом наборе РЧ сигналов на первый РЧ сигнал и второй РЧ сигнал, при этом первый РЧ сигнал представляет амплитуду и второй РЧ сигнал представляет фазовый сдвиг; по меньшей мере, один аналого-цифровой преобразователь (АЦП), выполненный с возможностью преобразования каждого из первых РЧ сигналов и вторых РЧ сигналов в каждом наборе РЧ сигналов в цифровые сигналы, чтобы получать наборы цифровых сигналов, причем каждый набор цифровых сигналов получается из соответствующего набора РЧ сигналов; центральный процессор (ЦП), содержащий память, причем ЦП выполнен с возможностью обработки наборов цифровых сигналов посредством использования ИНС и опорных наборов данных, для распознавания жестов, причем каждый опорный набор данных соответствует конкретному жесту и получен обучением ИНС.

[0021] Устройство может быть дополнительно выполнено с возможностью выполнения обучения ИНС для каждого жеста из множества жестов, при этом: по меньшей мере, один передатчик генерирует набор РЧ сигналов и испускает набор РЧ сигналов в ткани части тела пользователя посредством, по меньшей мере, одной антенны, когда часть тела пользователя выполняет жест; по меньшей мере, один приемник принимает набор РЧ сигналов, отраженных и искаженных тканями части тела пользователя посредством, по меньшей мере, одной антенны и разделяет каждый принятый РЧ сигнал на первый РЧ сигнал и второй РЧ сигнал, причем первый РЧ сигнал представляет амплитуду и второй РЧ сигнал представляет фазовый сдвиг; по меньшей мере, один АЦП преобразует каждый из первых РЧ сигналов и вторых РЧ сигналов в цифровые сигналы, чтобы получать наборы цифровых сигналов; ЦП выполнен с возможностью: обработки наборов цифровых сигналов посредством ИНС для получения опорного набора данных, соответствующего жесту; сохранения опорного набора данных в памяти.

[0022] По меньшей мере, один передатчик может быть выполнен с возможностью генерации РЧ сигналов, имеющих разные частоты в наборе.

[0023] По меньшей мере, один передатчик может быть выполнен с возможностью генерации наборов РЧ сигналов в пределах низкочастотного диапазона и высокочастотного диапазона.

[0024] Низкочастотный диапазон составляет около 1-3 ГГц и высокочастотный диапазон составляет около 3-10 ГГц.

[0025] Когда цифровые сигналы получают из наборов РЧ сигналов, генерируемых в пределах низкочастотного диапазона, ЦП обрабатывает наборы цифровых сигналов посредством использования ИНС и опорных наборов данных для распознавания жеста, и ИНС выводит ненулевое значение до того, как жест полностью распознается, ЦП выполнен с возможностью определения, что часть тела пользователя выполняет жест; и переключения, по меньшей мере, одного передатчика на генерацию РЧ сигналов в пределах высокочастотного диапазона.

[0026] Устройство может дополнительно содержать детектор перемещения, выполненный с возможностью измерения уровня вибраций упомянутой части тела пользователя, при этом ЦП может быть выполнен с возможностью: сравнения посредством использования ИНС уровня вибраций с пороговым значением, хранящимся в памяти, причем пороговое значение получено обучением ИНС; если уровень вибраций превышает пороговое значение: когда, по меньшей мере, один передатчик генерирует наборы РЧ сигналов в пределах высокочастотного диапазона, то переключения, по меньшей мере, одного передатчика на генерацию РЧ сигналов в пределах низкочастотного диапазона, или когда, по меньшей мере, один передатчик генерирует наборы РЧ сигналов в пределах низкочастотного диапазона и ЦП определяет, что часть тела пользователя выполняет жест, то продолжения генерации РЧ сигналов в пределах низкочастотного диапазона.

[0027] При обучении ИНС, детектор перемещения измеряет уровни вибраций упомянутой части тела пользователя, когда упомянутая часть тела пользователя выполняет жесты; ЦП выбирает максимальный уровень вибраций из измеренных уровней вибраций, назначает максимальный уровень вибраций в качестве порогового значения и сохраняет пороговое значение в памяти.

[0028] Устройство может дополнительно содержать, если одна антенна используется для пары из передатчика и приемника, переключатель, выполненный с возможностью: переключения антенны на передатчик, когда РЧ сигнал испускается, и переключения антенны на приемник, когда РЧ сигнал, отраженный и искаженный тканями части тела пользователя, принимается, при этом ЦП выполнен с возможностью управления переключателем.

[0029] Детектор перемещения представляет собой, по меньшей мере, одно из акселерометра, магнитного датчика, барометра, устройства 3-мерного позиционирования.

[0030] Устройство для распознавания жестов с использованием радиочастотного (РЧ) датчика может быть встроено в носимое устройство.

[0031] ЦП может быть ЦП носимого устройства, в которое встроено устройство для распознавания жестов с использованием радиочастотного (РЧ) датчика.

[0032] Детектор перемещения может быть детектором перемещения носимого устройства, в которое встроено устройство для распознавания жестов с использованием радиочастотного (РЧ) датчика.

[0033] Носимое устройство, в которое встроено упомянутое устройство, является, по меньшей мере, одним из интеллектуальных часов, головной гарнитуры.

[0034] Устройство для распознавания жестов с использованием радиочастотного (РЧ) датчика может дополнительно содержать отражатель, расположенный на стороне части тела пользователя, противоположной стороне части тела пользователя, в которую испускают РЧ сигналы, и выполненный с возможностью отражения РЧ сигналов, испускаемых в ткани части тела пользователя.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0035] Вышеописанные и другие аспекты, признаки и преимущества настоящего изобретения будут более понятны из последующего подробного описания, приведенного в сочетании с прилагаемыми чертежами, на которых:

[0036] Фиг. 1 - пояснение принципа работы настоящего изобретения.

[0037] Фиг. 2 - иллюстрация РЧ сигналов, соответствующих разным жестам.

[0038] Фиг. 3 - блок-схема, иллюстрирующая вариант осуществления устройства для распознавания жестов с использованием радиочастотного (РЧ) датчика.

[0039] Фиг. 4 - блок-схема, иллюстрирующая другой вариант осуществления устройства для распознавания жестов с использованием радиочастотного (РЧ) датчика.

[0040] Фиг. 5 - блок-схема, иллюстрирующая способ распознавания жестов с использованием радиочастотного (РЧ) датчика.

[0042] Фиг. 6 - блок-схема, иллюстрирующая способ обучения ИНС для получения опорных наборов данных, соответствующих жестам.

[0043] Фиг. 7 - блок-схема, иллюстрирующая способ обучения ИНС для получения порогового значения для уровня вибраций.

[0044] В последующем описании, если не указано иное, одинаковые ссылочные позиции используются для одинаковых элементов, когда они изображены на разных чертежах, и их параллельное описание не приводится.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

[0045] Нижеследующее описание со ссылкой прилагаемые чертежи приведено, чтобы облегчить полное понимание различных вариантов осуществления настоящего изобретения, заданного формулой изобретения, и его эквивалентов. Описание включает в себя различные конкретные подробности, чтобы облегчить такое понимание, но данные подробности следует считать только примерными. Соответственно, специалисты в данной области техники обнаружат, что можно разработать различные изменения и модификации различных вариантов осуществления, описанных в настоящей заявке, без выхода за пределы объема настоящего изобретения. Кроме того, описания общеизвестных функций и конструкций могут быть исключены для ясности и краткости.

[0046] Термины и формулировки, используемые в последующем описании и формуле изобретения, не ограничены библиографическим значениями, а просто использованы создателем настоящего изобретения, чтобы обеспечить четкое и последовательное понимание настоящего изобретения. Соответственно, специалистам в данной области техники должно быть ясно, что последующее описание различных вариантов осуществления настоящего изобретения предлагается только для иллюстрации.

[0047] Следует понимать, что формы единственного числа включают в себя множественность, если контекст явно не указывает иное.

[0048] Дополнительно следует понимать, что термины «содержит», «содержащий», «включает в себя» и/или «включающий в себя» при использовании в настоящей заявке означают присутствие изложенных признаков, значений, операций, элементов и/или компонентов, но не исключают присутствия или добавления одного или более других признаков, значений, операций, элементов, компонентов и/или их групп.

[0049] В дальнейшем, различные варианты осуществления настоящего изобретения описаны более подробно со ссылкой на прилагаемые чертежи.

[0050] Настоящее изобретение предназначено для распознавания жестов для генерации управляющих команд на основании распознанного жеста, чтобы управлять различными устройствами. Настоящее изобретение можно реализовать в виде отдельного носимого устройства, чтобы распознавать жесты, как описано в настоящей заявке, и передавать управляющие команды посредством беспроводной связи в другое устройство. Беспроводную связь можно реализовать в любых стандартах, например Bluetooth, Wi-Fi, GSM, ZigBee, ISM и т.п. Кроме того, настоящее изобретение может быть встроено в различные носимые устройства, чтобы управлять как носимыми устройствами, в которых применено настоящее изобретение, так и устройствами, связанными с носимыми устройствами. Носимые устройства могут быть «интеллектуальными» часами, головными гарнитурами и другими носимыми устройствами, которые подлежат управлению, и управлять устройствами, соединенными с носимыми устройствами.

[0051] Фиг. 1 поясняет принцип работы настоящего изобретения с использованием одного примера применений, например применения в интеллектуальных часах. Устройство для распознавания жестов встроено в интеллектуальные часы. Устройство для распознавания жестов содержит центральный процессор (ЦП) и РЧ датчик, содержащий, по меньшей мере, один передатчик, по меньшей мере, один приемник с аналого-цифровым преобразователем (АЦП), по меньшей мере, одну антенну.

[0052] Передатчики (Tx) генерируют РЧ сигналы и испускают генерируемые РЧ сигналы в часть тела пользователя, на которой располагается устройство для распознавания жестов, посредством антенн. Часть тела пользователя в данном примере для применения в интеллектуальных часах представляет собой запястье. В других применениях часть тела пользователя, на которой располагается устройство для распознавания жестов, может быть любой частью тела пользователя, содержащей мышцы, сухожилия и т.п., например рукой, ногой, шеей и т.п. РЧ сигналы отражаются от тканей тела пользователя и принимаются приемниками (Rx) посредством антенн. Принимаемые РЧ сигналы преобразуются АЦП (не показанными) в цифровые сигналы и вводятся в ЦП (ЦП часов). ЦП обрабатывает цифровые сигналы, чтобы распознать жест и генерировать управляющую команду по результатам распознавания жеста.

[0053] Настоящее изобретение может, при желании, содержать детектор перемещения (вибраций) (не показанный на фиг. 1). Детектор перемещения может представлять собой, по меньшей мере, одно из акселерометра, магнитного датчика, барометра, устройства 3-мерного позиционирования устройства для распознавания жестов, которое определяет положение устройства для распознавания жестов относительно предварительно заданной точки в пространстве (например, головы пользователя) и т.п. Если носимое устройство, например интеллектуальные часы, содержит ЦП и/или детектор перемещения, то ЦП и/или детектор перемещения носимого устройства можно использовать как части устройства для распознавания жестов.

[0054] Фиг. 2 поясняет, что разные отраженные РЧ сигналы соответствуют разным жестам. Разные жесты, выполняемые упомянутой частью тела пользователя, вызывают разные перемещения тканей тела пользователя в упомянутой части тела пользователя. Разные отраженные РЧ сигналы обусловлены разными перемещениями тканей тела пользователя вследствие разных распространений РЧ сигналов в теле пользователя, в зависимости от конкретных перемещений тканей тела пользователя. В результате разных перемещений тканей тела пользователя при разных жестах отраженные РЧ сигналы приобретают разные искажения, например затухания (изменения амплитуды) и фазовые сдвиги, в зависимости от фаз РЧ сигналов, принятых RF приемниками, и фаз РЧ сигналов, испускаемых передатчиками. Упомянутые искажения отраженных РЧ сигналов распознаются посредством ИНС (искусственной нейронной сети), содержащейся в ЦП, в виде конкретных жестов, зависящих от разных перемещений тканей тела пользователя, для использования при генерации управляющих команд в соответствии с распознанными жестами. В принципе, подлежащими контролю тканями тела пользователя являются сухожилия, но предлагаемый способ может также работать с мышцами и т.п.

[0055] Настоящее изобретение можно применять в управлении вспомогательными функциями автомобилей (открывание багажника, открывание/закрывание и т.п.), интеллектуальном управлении домом, интеллектуальном управлении освещением, идентификации (посредством последовательности жестов), управлении жестами пальцев/ладони, управлении темпом воспроизведения музыки, скоростью нажатия клавиатуры с использованием перемещения шеи, позиционировании ладонью в 3 измерениях, распознавании жестов. Кроме того, настоящее изобретение имеет следующие преимущества: при размещении на обратной стороне ладони пользователь может держать в руках реальные объекты; может выполнять управление «грязными» руками (во время приготовления пищи и т.п.); вычисления упрощаются, т.е. не требуются мощные компьютеры; применяется обычный радиолокационный подход для новых применений; пользователь может держать в руках реальные объекты.

[0056] Варианты осуществления устройства для распознавания жестов с использованием радиочастотного (РЧ) датчика описаны в дальнейшем подробнее со ссылкой на фиг. 3 и фиг. 4.

[0057] Устройство для распознавания жестов содержит центральный процессор (ЦП) 105, содержащий память, и РЧ датчик, включающий в себя, по меньшей мере, одну антенну 101, по меньшей мере, один передатчик (Tx) 102, по меньшей мере, один приемник (Rx) 103 и, по меньшей мере, один аналого-цифровой преобразователь (АЦП) 104. Число передатчиков 102, приемников 103 и АЦП 104 может быть, соответственно, один или более. Число антенн 101 может соответствовать сумме числа передатчиков 102 и числа приемников 103 или числу пар из передатчика 102 и приемника 103.

[0058] В вариантах осуществления память содержится в ЦП 105. Однако память может быть реализована в виде отдельного блока устройства для распознавания жестов. Память может также включать в себя машиночитаемое запоминающее устройство любого типа и/или запоминающие диски.

[0059] Антенны 101 соединяются с передатчиками 102 и приемниками 103 и предназначены для испускания и приема РЧ сигналов. В одном варианте осуществления, изображенном на фиг. 3, каждый из передатчиков 102 соединен с одной антенной 101 и каждый из приемников 103 соединен с другой антенной 101. В другом варианте осуществления, показанном на фиг. 4, пара из передатчика 102 и приемника 103 соединены с одной антенной 101.

[0060] В варианте осуществления, раскрывающем конструкцию, в которой пара из передатчика 102 и приемника 103 соединены с одной антенной 101, устройство для распознавания жестов дополнительно содержит переключатели 107, число переключателей 107 соответствует числу пар из передатчика 102 и приемника 103. Каждый переключатель 107 переключает антенну 101, соединенную с переключателем 107. Каждым переключателем 107 управляет ЦП 105. Когда РЧ сигнал следует испускать, переключатель 107 переключает антенну 101 на передатчик 102. Когда РЧ сигнал следует принимать, переключатель 107 переключает антенну 101 на приемник 103.

[0061] Каждый передатчик 102 последовательно генерирует РЧ сигналы и испускает РЧ сигналы в ткани части тела пользователя посредством одной антенны 101. Передатчики 102 выполнены с возможностью работы в низкочастотном диапазоне около 1-3 ГГц или, в соответствии с любым другим стандартом беспроводной связи, в упомянутом диапазоне, и передатчики 102 также выполнены с возможностью работы в высокочастотном диапазоне около 3-10 ГГц или, в соответствии с любым другим стандартом беспроводной связи, в упомянутом диапазоне. Каждый передатчик 102 последовательно испускает набор одиночных РЧ сигналов (частотных импульсов) в вышеописанных низко- или высокочастотных диапазонах. Передатчики 102 выполнены с возможностью генерации РЧ сигналов, имеющих разные частоты в наборе. Все РЧ сигналы, имеющие разные частоты в наборе, генерируются в порядке ступенчатого повышения частоты. В других вариантах осуществления одиночные РЧ сигналы могут генерироваться в нисходящем или любом другом порядке. Каждый из наборов РЧ сигналов обрабатывается как «отдельное измерение», потому что процесс наборов РЧ сигналов выполняется за короткое время по сравнению с типичным временем выполнения жеста. Каждый из упомянутых наборов испускается периодически, период является достаточно продолжительным для обработки каждого набора посредством ЦП 105. ЦП CPU 105 управляет передатчиками 102 для генерации РЧ сигналов в пределах низкочастотного диапазона или высокочастотного диапазона, и частоты РЧ сигналов управляются посредством ЦП по линиям управления частотой (Управление частотой), показанным на фиг. 3 и 4. Применение высокочастотного диапазона при измерениях обеспечивает повышенную точность распознавания жестов. Частотный диапазон наборов генерируемых РЧ сигналов в виде рабочего частотного диапазона передатчиков 102 может переключаться с низкого на высокий во время работы устройства для распознавания жестов. ЦП 105 может определять, что пользователь начинает или прекращает выполнение жеста, по выходным сигналам ИНС. Когда ЦП 105 определяет, что выполнение жеста начинается, то ЦП 105 может передать команду в передатчик 102 для переключения рабочего частотного диапазона на высокочастотный диапазон с целью повышения разрешающей способности устройства для распознавания жестов, чтобы повышать точность распознавания жестов. Когда ЦП 105 определяет, что выполнение жеста прекращается, ЦП 105 может передать команду в передатчики 102 на переключение рабочего частотного диапазона на низкочастотный диапазон с целью экономии энергии устройством для распознавания жестов. Рабочие частотные диапазоны могут быть заданы изготовителем на основании Законодательства о радиочастотном спектре, характеристик тканей тела человека, чтобы обеспечить наименьшее затухание РЧ сигналов и наиболее оптимальную разрешающую способность при распознавании жестов.

[0062] Испускаемые РЧ сигналы отражаются от тканей части тела пользователя. В то же время, ткани части тела пользователя искажают РЧ сигналы. Искажения принятого РЧ сигнала представляют затухание (изменение амплитуды) и фазовый сдвиг РЧ сигнала. Каждый приемник 103 принимает РЧ сигналы, отраженные и искаженные тканями части тела пользователя. Кроме того, приемники 103 разделяют каждый принятый РЧ сигнал в каждом наборе РЧ сигналов на первый РЧ сигнал и второй РЧ сигнал. Первый РЧ сигнал представляет амплитуду и второй РЧ сигнал представляет фазовый сдвиг.

[0063] Каждый АЦП 104 соединен с каждым приемником 103. АЦП 104 преобразуют каждый из первых РЧ сигналов и вторых РЧ сигналов в каждом наборе РЧ сигналов в цифровые сигналы, чтобы получать наборы цифровых сигналов, которые подаются в ЦП 105. Каждый набор цифровых сигналов получается из соответствующего набора РЧ сигналов.

[0064] ЦП 105 управляет процессом измерения в целом. ЦП 105 передает команду на генерацию наборов РЧ сигналов в передатчики 102 и считывает полученный результат измерения в виде цифровых сигналов из приемников 103. ЦП 105 реализует искусственную нейронную сеть (ИНС), хранящуюся в памяти, содержащейся в ЦП 105. ЦП 105 выполнен с возможностью обработки набора цифровых сигналов путем использования ИНС и опорных наборов данных для распознавания жестов. Опорные наборы данных являются параметрами ИНС, полученными в течение обучения ИНС, для распознавания жестов. Каждый опорный набор данных соответствует конкретному жесту и формируется во время обучения ИНС для распознавания конкретного жеста. Кроме того, ЦП 105 может определять, что часть тела пользователя выполняет жест, по выходному сигналу ИНС в качестве ненулевого значения до того, как жест полностью распознается. Упомянутые операции ИНС, такие как обучение и тестирование ИНС, широко известны в известном уровне техники и их подробного описания не требуется.

[0065] В другом варианте осуществления устройство для распознавания жестов может, необязательно, содержать детектор 106 перемещения, как показано на фиг. 4. Детектор 106 перемещения может представлять собой, по меньшей мере, одно из акселерометра, магнитного датчика, барометра, устройства 3-мерного позиционирования устройства для распознавания жестов, которое определяет положение устройства для распознавания жестов относительно предварительно заданной точки в пространстве (например, головы пользователя) и т.п.

[0066] При использовании устройства для распознавания жестов пользователь может выполнять некоторые действия, например идти, бежать, вести автомобиль и т.п., во время которых тело пользователя испытывает вибрации. Повышенный уровень вибраций тела пользователя может влиять на точность распознавания жестов. В варианте осуществления, показанном на фиг. 4, обеспечен детектор 106 перемещения для измерения уровня вибраций части тела пользователя, на котором зафиксировано устройство для распознавания жестов. Измеренный уровень вибраций подается в ЦП 105. ЦП 105 посредством использования ИНС сравнивает измеренный уровень вибраций с пороговым значением, ранее полученным посредством обучения ИНС и сохраненным в памяти. Рабочий частотный диапазон передатчиков 102 может изменяться по причине изменения уровня вибраций. Если уровень вибраций превышает пороговое значение, то когда передатчики 102 генерируют наборы РЧ сигналов в пределах высокочастотного диапазона, ЦП 105 переключает передатчики 102 на генерацию РЧ сигналов в пределах низкочастотного диапазона для подавления излишнего влияния вибраций. Когда передатчики 102 генерируют наборы РЧ сигналов в пределах низкочастотного диапазона и ЦП 105 определяет, что часть тела пользователя выполняет жест, продолжается генерация РЧ сигналов в пределах низкочастотного диапазона.

[0067] Устройство для распознавания жестов может быть отдельным устройством или устройством, встроенным в носимое устройство, например интеллектуальные часы, головную гарнитуру и другие носимые устройства, которые должны контролировать и/или контролироваться устройства(ми), связанные(ыми) с носимыми устройствами. Если носимое устройство, в которое встроено устройство для распознавания жестов, содержит ЦП и/или детектор перемещения, то ЦП и/или детектор перемещения носимого устройства можно использовать как ЦП 105 и/или детектор 106 перемещения устройства для распознавания жестов, соответственно.

[0068] Для получения опорных наборов данных, соответствующих конкретным жестам, выполняют обучение ИНС, хранящейся в памяти ЦП 105. При обучении ИНС, когда часть тела пользователя выполняет конкретный жест, каждый передатчик 102 генерирует набор РЧ сигналов и испускает набор РЧ сигналов в ткани части тела пользователя посредством, по меньшей мере, одной антенны 101. Каждый приемник 103 принимает набор РЧ сигналов, отраженных и искаженных тканями части тела пользователя, посредством антенны 101 и разделяет каждый принятый РЧ сигнал на первый РЧ сигнал и второй РЧ сигнал. Первый РЧ сигнал представляет амплитуду, и второй РЧ сигнал представляет фазовый сдвиг. Каждый АЦП 104 преобразует каждый из первых РЧ сигналов и вторых РЧ сигналов в цифровые сигналы, чтобы получить набор цифровых сигналов. Набор цифровых сигналов получается из набора РЧ сигналов. ЦП 105, посредством использования ИНС, обрабатывает набор цифровых сигналов, чтобы получить опорный набор данных, соответствующий жесту, и сохраняет опорный набор данных в памяти. Обучение ИНС повторно выполняют для каждого жеста из множества жестов и для каждого жеста получается опорный набор данных.

[0069] Чтобы получить пороговое значение для уровня вибраций, выполняется обучение ИНС. Когда часть тела пользователя выполняет жесты, уровни вибраций части тела пользователя измеряются детектором 106 перемещения. Измеренные уровни вибраций передаются в ЦП 105. ЦП 105 выбирает максимальный уровень вибраций из измеренных уровней вибраций, назначает максимальный уровень вибраций в качестве порогового значения и сохраняет пороговое значение в памяти.

[0070] Устройство для распознавания жестов может дополнительно содержать отражатель, расположенный на стороне части тела пользователя, противоположной стороне части тела пользователя, в которую испускаются РЧ сигналы. Отражатель обеспечен для отражения РЧ сигналов, испускаемых в ткани части тела пользователя, и пропускания сквозь часть тела пользователя, чтобы повысить интенсивность отраженного РЧ сигнала, принимаемого приемником 103. Отражатель может быть изготовлен в виде металлической пластины. Отражатель закреплен к средству фиксации устройства для распознавания жестов, которое фиксирует устройство для распознавания жестов на части тела пользователя. Средство распознавания может быть любым средством, выполненным с возможностью фиксации устройства для распознавания жестов на части тела пользователя.

[0071] Предлагаемый способ распознавания жестов с использованием радиочастотного (РЧ) датчика, который может быть реализован устройством для распознавания жестов, описан со ссылкой на фиг. 5.

[0072] На этапе 201, по меньшей мере, один передатчик 102 последовательно генерирует наборы РЧ сигналов и последовательно испускает наборы РЧ сигналов в ткани части тела пользователя посредством, по меньшей мере, одной антенны 101.

[0073] На этапе 202, по меньшей мере, один приемник 103 принимает наборы РЧ сигналов, отраженных и искаженных тканями части тела пользователя, посредством, по меньшей мере, одной антенны 101.

[0074] На этапе 203, по меньшей мере, один приемник 103 разделяет каждый принятый РЧ сигнал в каждом наборе РЧ сигналов на первый РЧ сигнал и второй РЧ сигнал, причем первый РЧ сигнал представляет амплитуду и второй РЧ сигнал представляет фазовый сдвиг.

[0075] На этапе 204, по меньшей мере, один аналого-цифровой преобразователь (АЦП) 104 преобразует каждый из первых РЧ сигналов и вторых РЧ сигналов в каждом наборе РЧ сигналов в цифровые сигналы, чтобы получать наборы цифровых сигналов, при этом каждый набор цифровых сигналов получается из соответствующего набора РЧ сигналов.

[0076] На этапе 205 центральный процессор (ЦП) 105 обрабатывает наборы цифровых сигналов посредством использования ИНС и опорных наборов данных для распознавания жестов. Каждый опорный набор данных соответствует конкретному жесту и получается обучением ИНС.

[0077] Этап генерации наборов РЧ сигналов может содержать этап генерации РЧ сигналов, имеющих разные частоты в наборе.

[0078] Этап генерации наборов РЧ сигналов может содержать этап генерации наборов РЧ сигналов в пределах низкочастотного диапазона и высокочастотного диапазона.

[0079] Способ может дополнительно содержать следующие этапы: когда цифровые сигналы получают из наборов РЧ сигналов, генерируемых в пределах низкочастотного диапазона, ЦП обрабатывает наборы цифровых сигналов посредством использования ИНС и опорных наборов данных для распознавания жеста, и ИНС выводит ненулевое значение до того, как жест полностью распознается, выполняется определение, что часть тела пользователя выполняет жест; и выполняется переключение, по меньшей мере, одного передатчика на генерацию РЧ сигналов в пределах высокочастотного диапазона.

[0080] Если устройство для распознавания жестов дополнительно содержит детектор 106 перемещения, то способ может дополнительно содержать следующие этапы. На одном дополнительном этапе детектор 106 перемещения измеряет уровень вибраций части тела пользователя. На другом дополнительном этапе ЦП 105 с помощью ИНС сравнивает уровень вибраций с пороговым значением. Пороговое значение получается обучением ИНС. На другом дополнительном этапе, если уровень вибраций превышает пороговое значение, то ЦП 105 переключает, по меньшей мере, один передатчик 102 на генерацию сигналов в пределах низкочастотного диапазона, когда наборы РЧ сигналов генерируются в пределах высокочастотного диапазона. На другом дополнительном этапе, если уровень вибраций превышает пороговое значение, когда наборы РЧ сигналов генерируются в пределах низкочастотного диапазона, и выполняется определение, что часть тела пользователя выполняет жест, то ЦП 105 предписывает, по меньшей мере, одному передатчику 102 продолжать генерацию РЧ сигналов в пределах низкочастотного диапазона.

[0081] Если устройство для распознавания жестов содержит одну антенну 101 для пары из передатчика 102 и приемника 103 и переключатель 107 для переключения антенны 101 между передатчиком 102 и приемником 103, то способ может дополнительно содержать следующие этапы. На одном дополнительном этапе переключатель 107 переключает антенну 101 на передатчик 102, когда РЧ сигнал испускается. На другом дополнительном этапе переключатель 107 переключает антенну 103 на приемник, когда РЧ сигнал, отраженный и искаженный тканями части тела пользователя, принимается.

[0082] Обучение ИНС для получения опорных наборов данных, соответствующих жестам, описано со ссылкой на фиг. 6. Обучение ИНС выполняется для каждого жеста из множества жестов, и опорный набор данных получается для каждого жеста.

[0083] На этапе 301, по меньшей мере, один передатчик 102 генерирует и испускает набор РЧ сигналов в ткани части тела пользователя посредством, по меньшей мере, одной антенны 101, когда часть тела пользователя выполняет жест.

[0084] На этапе 302, по меньшей мере, один приемник 103 принимает набор РЧ сигналов, отраженных и искаженных тканями части тела пользователя посредством, по меньшей мере, одного приемника через, по меньшей мере, одну антенну 101.

[0085] На этапе 303, по меньшей мере, один приемник 103 разделяет каждый принятый РЧ сигнал на первый РЧ сигнал и второй РЧ сигнал, при этом первый РЧ сигнал представляет амплитуду и второй РЧ сигнал представляет фазовый сдвиг.

[0086] На этапе 304, по меньшей мере, один АЦП преобразует каждый из первых РЧ сигналов и вторых РЧ сигналов в цифровые сигналы, чтобы получить набор цифровых сигналов. Набор цифровых сигналов получается из набора РЧ сигналов.

[0087] На этапе 305 ЦП 105 обрабатывает наборы цифровых сигналов посредством ИНС, чтобы получить опорный набор данных, соответствующий жесту.

[0088] На этапе 306 ЦП 105 сохраняет опорный набор данных в памяти.

[0089] Обучение ИНС для получения порогового значения для уровня вибраций описано со ссылкой на фиг. 7.

[0090] На этапе 401 детектор перемещения измеряет уровни вибраций части тела пользователя, когда упомянутая часть тела пользователя выполняет жесты.

[0091] На этапе 402 ЦП 105 выбирает максимальный уровень вибраций из измеренных уровней вибраций.

[0092] На этапе 403 ЦП 105 назначает максимальный уровень вибраций в качестве порогового значения.

[0093] На этапе 404 ЦП 105 сохраняет пороговое значение в памяти.

[0094] Обучение ИНС для получения опорных наборов данных, соответствующих жестам, и обучение ИНС для получения порогового значения могут выполняться по отдельности или как один процесс обучения.

[0095] Вышеприведенные описания вариантов осуществления изобретения являются иллюстративными и модификации конфигурации и реализации не выходят за пределы объема настоящего описания. Например, хотя варианты осуществления изобретения описаны, в общем, в связи с фигурами 1-7, приведенные описания являются примерными. Хотя предмет изобретения описан на языке, характерном для конструктивных признаков или методологических операций, понятно, что предмет изобретения, определяемый прилагаемой формулой изобретения, не обязательно ограничен конкретными вышеописанными признаками или операциями. Более того, конкретные вышеописанные признаки и операции раскрыты как примерные формы реализации формулы изобретения. Изобретение не ограничено также показанным порядком этапов способа, порядок может быть видоизменен специалистом без новаторских нововведений. Некоторые или все этапы способа могут выполняться последовательно или параллельно.

[0096] Соответственно предполагается, что объем варианта осуществления изобретения ограничивается только нижеследующей формулой изобретения.

Реферат

Изобретение относится к области распознавания жестов. Техническим результатом является расширения арсенала средств распознавания жестов для управления электронным устройством. Устройство содержит, по меньшей мере, одну антенну, по меньшей мере, один передатчик для генерации наборов РЧ сигналов, по меньшей мере, один приемник для приема наборов РЧ сигналов через, по меньшей мере, одну антенну и для разделения каждого принятого РЧ сигнала в каждом наборе РЧ сигналов на первый РЧ сигнал и второй РЧ сигнал, причем первый РЧ сигнал представляет амплитуду, а второй РЧ сигнал представляет фазовый сдвиг, по меньшей мере, один аналого-цифровой преобразователь для преобразования первых РЧ сигналов и вторых РЧ сигналов в каждом наборе в цифровые сигналы, центральный процессор, выполненный с возможностью обработки опорных наборов данных посредством искусственной нейронной сети, для распознавания жестов. 2 н. и 22 з.п. ф-лы, 7 ил.

Формула