Системы и способы оценки трехмерной позы устройства для гигиены полости рта с видимыми маркерами - RU2754316C1

Чертежи

Описание

Область техники изобретения

[001] Настоящее изобретение относится в целом к отслеживанию движения, и конкретнее, к системам и способам оценки позы устройства для гигиены полости рта относительно местоположения.

Предпосылки создания изобретения

[002] Системы отслеживания движения зачастую используются в различных областях применения, включающих, например, область медицины, отрасли кинематографа и компьютерных игр, и т. п. Остается постоянная необходимость в новых системах и способах для точного отслеживания движения объекта во всех направлениях с использованием устройства, такого как смартфон, с ограниченной мощностью обработки. Настоящее изобретение устраняет эти и другие недостатки.

Краткое описание

[003] Согласно некоторым вариантам осуществления настоящего изобретения способ оценки позы устройства для гигиены полости рта, содержащего узор и множество групп видимых маркеров, относительно местоположения, при этом способ включает прием данных изображения, воспроизводимых в виде изображения по меньшей мере части устройства для гигиены полости рта. Способ также включает анализ, с использованием одного или более процессоров, данных изображения для идентификации представляющего интерес участка на изображении, при этом представляющий интерес участок включает по меньшей мере часть узора в этом месте, идентификацию, с использованием по меньшей мере одного из одного или более процессоров, всех потенциальных видимых маркеров в пределах представляющего интерес участка, и получение первой предположительной трехмерной позы устройства для гигиены полости рта. Способ дополнительно включает подтверждение первой предположительной трехмерной позы устройства для гигиены полости рта, и получение второй предположительной трехмерной позы устройства для гигиены полости рта на основе подтвержденной первой трехмерной позы.

[004] В соответствии с другими вариантами реализации настоящего изобретения способ оценки позы устройства для гигиены полости рта, содержащего узор и множество групп видимых маркеров, относительно местоположения, включает: (a) прием данных изображения, воспроизводимых в виде изображения по меньшей мере части устройства для гигиены полости рта; (b) анализ, с использованием одного или более процессоров, данных изображения для идентификации представляющего интерес участка на изображении, при этом представляющий интерес участок включает по меньшей мере часть узора в этом месте; (c) в ответ на идентификацию представляющего интерес участка, сегментирование, с использованием по меньшей мере одного из одного или более процессоров, представляющего интерес участка на множество подучастков, при этом каждый из множества подучастков определяется множеством пикселей, имеющих одинаковый цвет; (d) идентификацию, с использованием по меньшей мере одного из одного или более процессоров, всех потенциальных видимых маркеров в пределах представляющего интерес участка; (e) создание множества отдельных наборов потенциальных видимых маркеров; (f) выбор первого одного из множества отдельных наборов потенциальных видимых маркеров; (g) выбор первого одного из множества отдельных наборов маркеров модели, связанных с трехмерной моделью устройства для гигиены полости рта; (h) оценку выбранного набора потенциальных видимых маркеров и выбранного набора маркеров модели с использованием алгоритма для трех точек в перспективной проекции для получения предположительной трехмерной позы устройства для гигиены полости рта; (i) на основе предположительной трехмерной позы устройства для гигиены полости рта, прогнозирование положения в пределах представляющего интерес участка для заданного количества потенциальных видимых маркеров; (j) сравнение прогнозированных положений для заданного количества потенциальных видимых маркеров с фактическими положениями всех потенциальных видимых маркеров в пределах представляющего интерес участка; (k) в ответ на определение того, что по меньшей мере значительная часть прогнозированных положений соответствует фактическим положениям, подтверждение предположительной трехмерной позы; и (l) в ответ на определение того, что менее чем значительная часть прогнозированных положений соответствует фактическим положениям, повторение этапов (f) — (k).

[005] В соответствии с другими вариантами реализации настоящего изобретения система отслеживания движения содержит устройство для гигиены полости рта, элемент отслеживания, камеру, один или более процессоров и запоминающее устройство. Устройство для гигиены полости рта содержит головку и рукоятку. Элемент отслеживания присоединен к устройству для гигиены полости рта и включает узор и множество групп видимых маркеров. Запоминающее устройство хранит команды, которые при исполнении по меньшей мере одним из одного или более процессоров приводит к тому, что система отслеживания движения осуществляет: захват, с помощью камеры, изображения по меньшей мере части устройства для гигиены полости рта; анализ, с использованием по меньшей мере одного из одного или более процессоров, изображения для идентификации представляющего интерес участка на изображении, при этом представляющий интерес участок включает по меньшей мере часть узора элемента отслеживания в этом месте; идентификацию, с использованием по меньшей мере одного из одного или более процессоров, всех потенциальных видимых маркеров в пределах представляющего интерес участка; создание множества отдельных наборов потенциальных видимых маркеров; выбор первого одного из множества отдельных наборов потенциальных видимых маркеров; выбор первого одного из множества отдельных наборов маркеров модели, связанных с трехмерной моделью устройства для гигиены полости рта, хранящейся в запоминающем устройстве; оценку выбранного набора потенциальных видимых маркеров и выбранного набора маркеров модели с использованием алгоритма для трех точек в перспективной проекции для получения предположительной трехмерной позы устройства для гигиены полости рта; на основе предположительной трехмерной позы устройства для гигиены полости рта, прогнозирование положения в пределах представляющего интерес участка для заданного количества потенциальных видимых маркеров; сравнение прогнозированных положений для заданного количества потенциальных видимых маркеров с фактическими положениями всех потенциальных видимых маркеров в пределах представляющего интерес участка; и в ответ на определение того, что по меньшей мере значительная часть прогнозированных положений соответствует фактическим положениям, подтверждение предположительной трехмерной позы.

[006] В соответствии с другими вариантами реализации настоящего изобретения элемент отслеживания движения, выполненный с возможностью соединения с устройством для гигиены полости рта, содержит корпус, узор на наружной поверхности корпуса и множество групп видимых маркеров на наружной поверхности корпуса.

[007] Вышеизложенное краткое описание настоящего изобретения не предназначено для представления каждого варианта осуществления или каждого аспекта настоящего изобретения. Дополнительные признаки и преимущества настоящего изобретения станут очевидны из подробного описания и фигур, изложенных ниже.

Краткое описание графических материалов

[008] На фиг. 1 представлена схематическая иллюстрация системы отслеживания движения согласно некоторым вариантам реализации настоящего изобретения;

[009] на фиг. 2A представлен вид в перспективе элемента отслеживания и устройства для гигиены полости рта согласно некоторым вариантам реализации настоящего изобретения;

[0010] на фиг. 2B представлен вид спереди элемента отслеживания по фиг. 2A;

[0011] на фиг. 2C представлен вид сзади элемента отслеживания по фиг. 2A;

[0012] на фиг. 3 представлена блок-схема способа оценки позы устройства для гигиены полости рта относительно местоположения согласно некоторым вариантам реализации настоящего изобретения; и

[0013] на фиг. 4 представлена блок-схема, иллюстрирующая этап получения первой предположительной трехмерной позы и этап подтверждения первой предположительной трехмерной позы.

[0014] Хотя настоящее изобретение допускает различные модификации и альтернативные варианты, конкретные варианты осуществления показаны в качестве примера на графических материалах и подробно описаны в данном документе. Однако следует понимать, что настоящее изобретение не предназначено для ограничения конкретными раскрытыми формами. Скорее, настоящее изобретение охватывает все модификации, эквиваленты и альтернативные варианты, находящиеся в пределах сущности и объема настоящего изобретения.

Подробное описание

[0015] Ссылаясь на фиг. 1, система 100 отслеживания движения содержит устройство 110 для гигиены полости рта, элемент 120 отслеживания, камеру 130, процессор 140 и запоминающее устройство 150. Система 100 отслеживания движения в целом используется для оценки позы устройства 110 для гигиены полости рта в трехмерном пространстве относительно местоположения, как, например, камера 130.

[0016] Устройство 110 для гигиены полости рта содержит головку 112 и рукоятку 114. Головка 112 присоединена к первому концу рукоятки 114 и содержит множество щетинок для чистки зубов. Головка 112 и рукоятка 114 могут быть цельными или монолитными, или в альтернативном варианте головка 112 может быть соединена с возможностью разъединения с рукояткой 114 так, что рукоятка 114 является взаимозаменяемой (например, с запасной головкой). Рукоятка 114 имеет в целом цилиндрическую форму, но в целом может иметь любой подходящий размер и форму. Рукоятка 114 может содержать эргономический захват, чтобы помочь пользователю при захвате рукоятки 114. Устройство 110 для гигиены полости рта может содержать электродвигатель (не показан) для создания вибраций и/или колебаний, или иным образом обеспечения движения головки 112, чтобы помочь при чистке зубов. В общем, устройство 110 для гигиены полости рта может быть любой ручной зубной щеткой или электрической зубной щеткой.

[0017] Элемент 120 отслеживания может быть соединен с возможностью разъединения (непосредственно или опосредованно), неподвижно или жестко соединен (непосредственно или опосредованно) или формировать одно целое с рукояткой 114 устройства 110 для гигиены полости рта. Кроме того, элемент 120 отслеживания может быть соединен с рукояткой 114 устройства 110 для гигиены полости рта, так что ось элемента 120 отслеживания соответствует или является соосной с осью рукоятки 114. Элемент 120 отслеживания включает узор 122 и множество видимых маркеров 124. Элемент 120 отслеживания в целом выполнен из гибкого материала. Например, элемент 120 отслеживания может быть выполнен из непроводящего материала, например, такого как резина или эластомерный материал, полимерный материал или любая их комбинация.

[0018] Камера 130 является цифровой камерой, которая в целом используется для захвата неподвижных изображений, видеоизображений или их обоих, по меньшей мере части устройства 110 для гигиены полости рта и элемента 120 отслеживания. Как правило, устройство 110 для гигиены полости рта расположено между пользователем 101 и камерой 130, так что поле обзора камеры 130 охватывает по меньшей мере часть устройства 110 для гигиены полости рта и по меньшей мере часть элемента 120 отслеживания.

[0019] Процессор 140 соединен с возможностью связи с камерой 130 и запоминающим устройством 150. Процессор 140 исполняет команды (например, связанное приложение), хранящиеся в запоминающем устройстве 150 для управления различными компонентами системы 100, с которыми он соединен с установлением связи.

[0020] В некоторых вариантах реализации система 100 дополнительно содержит оболочку 160. В таких вариантах реализации камера 130, процессор 140, запоминающее устройство 150 или любая их комбинация может быть интегрирована в оболочку 160. Например, оболочка 160 может быть смартфоном. В качестве альтернативы, некоторые или все из различных компонентов могут быть отсоединены друг от друга, и некоторые из них могут быть включены в базовую станцию (не показана) для устройства 110 для гигиены полости рта.

[0021] Ссылаясь на фиг. 2A—2C, устройство 210 для гигиены полости рта, которое является таким же или подобным устройству 110 для гигиены полости рта, присоединено к элементу 220 отслеживания, который является таким же или подобным элементу 120 отслеживания, описанному выше.

[0022] Устройство 210 для гигиены полости рта включает головку (не показана) и рукоятку 214. Головка присоединена к первому концу рукоятки 214, и элемент 220 отслеживания присоединен ко второму концу рукоятки 214, который находится напротив головки.

[0023] Элемент 220 отслеживания содержит верхнюю часть 222, нижнюю часть 226, узор 230, первую группу видимых маркеров 241, вторую группу видимых маркеров 242 и третью группу видимых маркеров 243. Верхняя часть 222 имеет в целом цилиндрическую конфигурацию и включает полость 224. Полость 224 имеет такие размер и форму, чтобы принимать рукоятку 214 устройства 210 для гигиены полости рта в ней для соединения с возможностью отсоединения элемента 220 отслеживания с рукояткой 214 за счет запрессовки или посадки с натягом. Верхняя часть 222, например, может быть сформирована из эластомерного материала в форме муфты, а также выполнена с возможностью и размещена для приема и соответствия второму концу рукоятки 214. В альтернативном варианте, элемент 220 отслеживания может быть соединен с рукояткой 214 с использованием других механизмов, таких как, например, резьбовое соединение, клеевое соединение, крепежный элемент в виде крючков и петель, система в виде выступа и отверстия, соединение путем запрессовки или посадки с натягом, соединение посадкой с защелкиванием, соединение с глухой посадкой, соединение с поворотом, или т. п., или любая их комбинация. В альтернативном варианте, в некоторых вариантах реализации элемент 220 отслеживания содержит охватываемый крепежный элемент и второй конец рукоятки 214 может иметь полость, которая подобна полости 224 и имеет такие размер и форму, чтобы принимать по меньшей мере часть охватываемого крепежного элемента в этом месте. В таких вариантах реализации охватываемый крепежный элемент элемента 220 отслеживания и полость рукоятки 214 могут присоединяться с использованием любого из крепежных механизмов, описанных выше. Предпочтительно, в этой конфигурации элемент 220 отслеживания может извлекаться из устройства 210 для гигиены полости рта, если пользователь не желает использовать элемент 220 отслеживания во время данного сеанса чистки зубов. Кроме того, элемент 220 отслеживания может извлекаться из устройства 210 для гигиены полости рта и соединяться со вторым устройством для гигиены полости рта, в частности, например, когда пользователь заменяет устройство 210 для гигиены полости рта в конце срока его службы или в случае, когда другой пользователь хочет использовать элемент 220 отслеживания на другом устройстве для гигиены полости рта. В альтернативном варианте, элемент 220 отслеживания и рукоятка 214 могут быть цельными и/или монолитными.

[0024] Как показано на фиг. 2A—2C, нижняя часть 226 элемента 220 отслеживания может иметь в целом сферическую конфигурацию, хотя возможны и другие размеры и формы. Как показано, узор 230 выполнен на его наружной поверхности и находится заподлицо с наружной поверхностью нижней части 226 и включает фон 232 и множество индикаторов 234.

[0025] Как показано, каждый из множество индикаторов 234 имеет аморфную форму, которая в целом является кругообразной или овалообразной. Форма множества индикаторов 234, показанных на фиг. 2A—2C, является предпочтительной, поскольку такая форма минимизирует размытость, связанную с движением устройства 210 для гигиены полости рта и элемента 220 отслеживания при захвате изображения последнего. В альтернативном варианте, один или более из индикаторов из множества индикаторов 234 может иметь в целом треугольную форму, в целом прямоугольную форму, полигональную форму или любую их комбинацию. Хотя каждый из множества индикаторов 234 показан с одинаковой формой и размером, каждый из множества индикаторов 234 может иметь различные размеры или практические такие же размеры (например, диаметр).

[0026] Каждый из множества индикаторов 234 имеет первый цвет, и фон 232 имеет второй цвет, который отличается от первого цвета. В одном примере фон 232 имеет оранжевый цвет, и каждый из множества индикаторов 234 имеет черный цвет. В альтернативном варианте, фон 232 может иметь черный цвет и каждый из множества индикаторов 234 может иметь в целом оранжевый цвет, хотя у фона 232 и множества индикаторов 234 возможны и другие цвета (например, красный, зеленый, синий, желтый, оранжевый, фиолетовый, и т. д.). В целом, высокая контрастность между цветом фона 232 и каждым из множества индикаторов 234 является предпочтительной, чтобы четко выделять каждый из множества индикаторов 234. Множество индикаторов 234 образующих узор 230 на элементе 220 отслеживания может иметь от приблизительно десяти индикаторов до приблизительно одной сотни индикаторов, от приблизительно двадцати индикаторов до приблизительно шестидесяти индикаторов, от приблизительно тридцати пяти до приблизительно сорока пяти индикаторов, или любое подходящее количество индикаторов.

[0027] Множество индикаторов 234 и фон 232 узора 230 могут быть образованы с использованием различных механизмов. Например, по меньшей мере некоторые из множества индикаторов 234 и/или фон 232 узора 230 могут быть напечатаны или выполнены тиснением на наружной поверхности элемента 220 отслеживания. В альтернативном варианте, по меньшей мере некоторые из множества индикаторов 234 и/или фон 232 могут составлять единое целое с нижней частью 226.

[0028] Ссылаясь на фиг. 2A—2C, первая группа видимых маркеров 241, вторая группа видимых маркеров 242 и третья группа видимых маркеров 243 соединены с наружной поверхностью нижней части 226 и выступают из нее. Как показано, каждый видимый маркер в группе видимых маркеров 241, 242, 243 имеет в целом овоидную, куполообразную или полусферическую форму. Первая, вторая и третья группы видимых маркеров 241, 242, 243 могут соединяться с наружной поверхностью нижней части 226, например, с использованием клеевого соединения или в общем любого другого подходящего механизма. В альтернативном варианте, каждый из видимых маркеров может быть цельным и/или монолитным с нижней частью 226 элемента 220 отслеживания.

[0029] Ссылаясь на фиг. 2B и 2C, первая группа видимых маркеров 241 включает первый видимый маркер 241a, второй видимый маркер 241b, третий видимый маркер 241c и четвертый видимый маркер 241d. Рукоятка 214 имеет переднюю поверхность 214a и заднюю поверхность 214b. Элементы для чистки (например, щетинки) на головке (не показаны) проходят от передней поверхности 214a рукоятки 214. Для иллюстрации всех видимых маркеров на фиг. 2B представлен вид спереди устройства 210 для гигиены полости рта (т. е. содержит переднюю поверхность 214a) и на фиг. 2C представлен вид сзади устройства 210 для гигиены полости рта (т. е. содержит заднюю поверхность 214b).

[0030] В некоторых вариантах реализации первая группа видимых маркеров 241 проходит вдоль первой длины окружности нижней части 226, которая находится вблизи от верхней части 222 и рукоятки 214. Как показано, все из видимых маркеров в первой группе видимых маркеров 241 равномерно разнесены друг от друга вдоль первой длины окружности.

[0031] Вторая группа видимых маркеров 242 включает первый видимый маркер 242a, второй видимый маркер 242b, третий видимый маркер 242c и четвертый видимый маркер 242d. Вторая группа видимых маркеров 242 проходит вдоль второй длины окружности нижней части 226, которая расположена на расстоянии от первой длины окружности. Как показано, все из видимых маркеров во второй группе видимых маркеров 242 равномерно разнесены друг от друга вдоль первой длины окружности, но смещены в направлении по окружности от видимых маркеров в первой группе видимых маркеров 241. В частности, первый видимый маркер 242a расположен между первым видимым маркером 241a и вторым видимым маркером 241b первой группы видимых маркеров 241 (фиг. 2B), второй видимый маркер 242b расположен между вторым видимым маркером 241b и третьим видимым маркером 241c первой группы видимых маркеров 241 (фиг. 2B), третий видимый маркер 242c расположен между третьим видимым маркером 241c и четвертым видимым маркером 241d первой группы видимых маркеров 241 (фиг. 2C), и четвертый видимый маркер 242d расположен между четвертым видимым маркером 241d и первым видимым маркером 241a первой группы видимых маркеров 241 (фиг. 2D).

[0032] Третья группа видимых маркеров 243 включает первый видимый маркер 243a, второй видимый маркер 243b, третий видимый маркер 243c и четвертый видимый маркер 243d. Третья группа видимых маркеров 243 проходит вдоль третьей длины окружности нижней части 226, которая расположена на расстоянии от второй длины окружности и находится на удалении от верхней части 222 и рукоятки 214. Первая длина окружности, вторая длина окружности и третья длина окружности равномерно разнесены друг от друга так, что первая группа видимых маркеров 241, вторая группа видимых маркеров 242 и третья группа видимых маркеров 243 равномерно разнесены друг от друга.

[0033] Третья группа видимых маркеров 243 включает первый видимый маркер 243a, второй видимый маркер 243b, третий видимый маркер 243c и четвертый видимый маркер 243d. Первый видимый маркер 243a выровнен с первым видимым маркером 241a первой группы видимых маркеров 241 так, что первый видимый маркер 243a расположен между четвертым видимым маркером 242d и первым видимым маркером 242a второй группы видимых маркеров 242. Второй видимый маркер 243b выровнен со вторым видимым маркером 241b первой группы видимых маркеров 241 так, что второй видимый маркер 243b расположен между первым видимым маркером 242a и вторым видимым маркером 242b второй группы видимых маркеров 242. Трет видимый маркер 243c выровнен с третьим видимым маркером 241c первой группы видимых маркеров 241 так, что третий видимый маркер 243c расположен между вторым видимым маркером 242b и третьим видимым маркером 242c второй группы видимых маркеров 242. Четвертый видимый маркер 243d выровнен с четвертым видимым маркером 241d первой группы видимых маркеров 241 так, что четвертый видимый маркер 243d расположен между третьим видимым маркером 242c и четвертым видимым маркером 242d второй группы видимых маркеров 242.

[0034] Каждый из видимых маркеров в первой группе видимых маркеров 241, второй группе видимых маркеров 242 и третьей группе видимых маркеров 243 имеет характерный цвет. Например, в первой группе видимых маркеров 241, первый видимый маркер 241a имеет первый цвет, второй видимый маркер 241b имеет второй цвет, третий видимый маркер 241c имеет третий цвет и четвертый видимый маркер 241d имеет четвертый цвет. Первый цвет, второй цвет, третий цвет и четвертый цвет все отличаются друг от друга. Предпочтительно, первый цвет, второй цвет, третий цвет и четвертый цвет являются отдельно расположенными и отличными цветами, которые разнесены по цветовому спектру. Например, каждый цвет может быть разнесен от других цветов на от приблизительно 150 нм длины волны до 15 нм длины волны в цветовом спектре, от приблизительно 100 нм длины волны в цветовом спектре до приблизительно 25 нм длины волны в цветовом спектре, или от приблизительно 75 нм длины волны в цветовом спектре до приблизительно 50 нм длины волны в цветовом спектре, или т. п. Например, первый цвет, второй цвет, третий цвет и четвертый цвет могут быть синим цветом, зеленым цветом, фиолетовым цветом, желтым цветом, красным цветом или оранжевым цветом, которые разнесены по существу равномерно вдоль цветовом спектре.

[0035] В одном примере, ссылаясь на первую группу видимых маркеров 241, первый видимый маркер 241a имеет фиолетовый цвет, второй видимый маркер 241b имеет синий цвет, третий видимый маркер 241c имеет желтый цвет, и четвертый видимый маркер 241d имеет зеленый цвет. Ссылаясь на вторую группу видимых маркеров 242, первый видимый маркер 242a имеет желтый цвет, второй видимый маркер 242b имеет зеленый цвет, третий видимый маркер 241c имеет синий цвет, и четвертый видимый маркер 241d имеет фиолетовый цвет. Ссылаясь на третью группу видимых маркеров 243, первый видимый маркер 243a имеет зеленый цвет, второй видимый маркер 243b имеет фиолетовый цвет, третий видимый маркер 243c имеет синий цвет, и четвертый видимый маркер 243d имеет желтый цвет. В этой конфигурации каждый из четырех цветов (синий, зеленый, фиолетовый и желтый) равномерно распределены и разнесены друг от друга среди группы видимых маркеров. Например, желтый видимый маркер не расположен непосредственно смежно с другим желтым видимым маркером, и синий видимый маркер не расположен непосредственно смежно с другим синим видимым маркером.

[0036] В этом примере, описанном выше, имеется три фиолетовых видимых маркера, три синих видимых маркера, три желтых видимых маркера и три зеленых видимых маркера (т. е. маркеры с четырьмя различными цветами). Хотя каждая из первой группы видимых маркеров 241, второй группы видимых маркеров 242 и третьей группы видимых маркеров 243 включает четыре видимых маркера, в общем, приспособление 220 может содержать любое количество групп видимых маркеров, содержащих по меньшей мере один видимый маркер. Например, приспособление 220 может содержать первую группу видимых маркеров, вторую группу видимых маркеров, третью группу видимых маркеров и четвертую группу видимых маркеров, с каждой группой, содержащей по меньшей мере один видимый маркер. Кроме того, по меньшей мере один видимый маркер в каждой группе имеет цвет, отличающийся от цвета видимых маркеров в других группах. Более того, хотя приспособление 220 (фиг. 2A—2B) содержит двенадцать видимых маркеров, скомбинированных между первой группой 241, второй группой 242 и третьей группой 243, следует понимать, что приспособление 220 может содержать любое количество видимых маркеров (например, четыре видимых маркера, шесть видимых маркеров, десять видимых маркеров, двадцать видимых маркеров, пятьдесят видимых маркеров, и т. д.), имеющих четыре или более различных цветов (например, четыре различных цвета, шесть различных цветов, десять различных цветов, двадцать различных цветов, и т. д.). Как будет описано подробнее в данном документе, наличие четырех или более видимых маркеров, имеющих различные цвета, является предпочтительным для точного и эффективного отслеживания движения элемента 220 отслеживания. Кроме того, хотя каждая из первой группы видимых маркеров 241, второй группы видимых маркеров 242 и третьей группы видимых маркеров 243 расположены вдоль длины окружности нижней части 226 и равномерно разнесены друг от друга, при этом видимые маркеры могут быть расположены относительно друг друга в любом подходящем порядке (например, в произвольном порядке) на наружной поверхности нижней части 226.

[0037] Ссылаясь на фиг. 3, способ 300 для оценки позы устройства 210 для гигиены полости рта относительно местоположения включает, например, первый этап 310, второй этап 320, третий этап 330, четвертый этап 340, пятый этап 350 и шестой этап 360.

[0038] Первый этап 310 включает прием данных изображения, из камеры, которая является такой же или подобной камере 130 (фиг. 1), описанной выше, которые являются воспроизводимыми в виде изображения по меньшей мере части устройства 210 для гигиены полости рта и по меньшей мере части элемента 220 отслеживания. Например, данные изображения могут быть кадром видеоизображения, захваченного камерой. Как описано выше, камера расположена относительно пользователя (например, пользователь 101) так, что устройство 210 для гигиены полости рта и элемент 220 отслеживания расположены между камерой и пользователем. Поскольку поле зрения камеры охватывает устройство 210 для гигиены полости рта, элемент 220 отслеживания и по меньшей мере часть пользователя, захватываемое видео или неподвижное изображение включает по меньшей мере часть всех их трех, а также фон позади пользователя, который находится в пределах поля зрения камеры.

[0039] Второй этап 320 включает анализ данных изображения из первого этапа 310 для идентификации представляющего интерес участка на изображении. В целом, представляющий интерес участок представляет собой область изображения, полученного во время первого этапа 310, который включает элемент 220 отслеживания. Как описано выше, изображение, захваченное во время первого этапа 310 включает по меньшей мере, часть пользователя и фон позади пользователя. Путем ограничения представляющего интерес участка областью, окружающей элемент 220 отслеживания, требования к обработке для последующих этапов способа 300 могут быть снижены.

[0040] Для анализа данных изображения и идентификации представляющего интерес участка, один или более процессоров, которые являются такими же или подобными процессору 140 (фиг. 1), описанному выше, используются для идентификации узора 230 элемента 220 отслеживания (фиг. 2A) с использованием множества фильтров. Множество фильтров включает фильтр движения, фильтр цвета и фильтр формы. Фильтр движения обнаруживает или идентифицирует движение на изображении. В целом, фильтр движения обнаруживает движение путем различения областей движения на изображении, по сравнению с неподвижными областями изображения. Фильтр движения использует тот факт, что узор 230, вероятно, должен двигаться из-за соответствующего движения устройства 210 для гигиены полости рта и элемента 220 отслеживания, чтобы сузить потенциальную область (области) изображения, которая может быть представляющим интерес участком (т. е. содержать по меньшей мере часть узора 230), путем устранения неподвижного фона изображения. Фильтр цвета и фильтр формы идентифицируют контраст по цвету между фоном 232 и множеством индикаторов 234, и формой каждого из множества индикаторов 234. При обнаружении области изображения, содержащей узор 230, представляющий интерес участок определяется как эта область, и оставшаяся часть изображения исключается.

[0041] При идентификации представляющего интерес участка в высоком разрешении или с высокой разрешающей способностью, изображение требует значительного времени обработки/вычисления. Для уменьшения требований к обработке для идентификации представляющего интерес участка, изображение, анализируемое на втором этапе 320, предпочтительно является изображением с низким разрешением. Представляющий интерес участок затем может масштабироваться до более высокого разрешения изображения для оставшейся части этапов способа 300.

[0042] В некоторых вариантах реализации узор 230 элемента 220 отслеживания может быть отфильтрован или обнаружен для идентификации представляющего интерес участка с использованием алгоритм машинного обучения или алгоритм искусственного интеллекта. Алгоритмы машинного обучения могут принимать различные формы. Например, способ 300 может использовать более базовые инструменты машинного обучения, такие как дерево решений («DT») или искусственная нейронная сеть («ANN»). Программы DT обычно используются из-за их простоты и легкости понимания. DT — это графы классификации, которые сопоставляют входные данные с вопросами, задаваемыми на каждом последующем этапе в дереве решений. Программа DT движется вниз по «ветвям» дерева на основе ответов на вопросы. Например, первая ветвь может задавать вопрос о том, движется ли часть изображения. Если да, то вторая ветвь может задавать вопрос о том, включает ли часть изображения узор 230. В других примерах могут использоваться алгоритмы глубокого обучения или другие более сложные алгоритмы машинного обучения, такие как, например, традиционная нейронная сеть.

[0043] Алгоритмы машинного обучения (например, каскад Хаара) требуют обучающих данных для идентификации рассматриваемых признаков, для обнаружения которых они предназначены. Например, различные способы могут применяться для формирования моделей машинного обучения, включая применение случайно назначенных начальных весовых значений для сети и применение градиентного спуска с использованием обратного распространения для алгоритмов глубокого обучения. В других примерах нейронная сеть с одним или двумя скрытыми слоями может использоваться без обучения с использованием этой техники. В некоторых примерах алгоритмы машинного обучения обучаются с использованием помеченных данных или данных, которые представляют определенные признаки, конкретные действия или характеристики, включая конкретный цвет или конкретную форму.

[0044] Третий этап 330 включает идентификацию потенциальных видимых маркеров в представляющем интерес участке, идентифицированного во время второго этапа 320. В целом, потенциальные видимые маркеры являются подучастками представляющего интерес участка, который мог бы быть фактическим видимым маркером (например, одним из видимых маркеров групп видимых маркеров 241, 242 или 243 на фиг. 2A—2C) на элементе 220 отслеживания. Для идентификации потенциальных видимых маркеров, представляющий интерес участок сегментируется на множество подучастков с использованием алгоритма цветовой сегментации. Каждый подучасток определяется множеством пикселей представляющего интерес участка, которые имеют одинаковый цвет.

[0045] В целом, алгоритм цветовой сегментации предполагает, что объекты отчетливо окрашены, и стремится идентифицировать значительные цветовые различия между смежными пикселями на изображении. Алгоритм цветовой сегментации использует цветовое пространство L*a*b, которое определяет цвета через светлоту («L»), где цвет припадает на ось красный-зеленый («*a»), и где цвет припадает на ось синий-желтый («*b»). Как результат, если необходимо, представляющий интерес участок, идентифицированный на втором этапе 320 преобразуется в цветовое пространство RGB, чтобы L*a*b цветовое пространство осуществляло алгоритм цветовой сегментации. С использованием порогового значения алгоритм цветового сегментирования разделяет смежные пиксели, имеющие цвета, отличающиеся один от другого, для создания множества подучастков. Затем вычисляется средний цвет в цветовом пространстве L*a*b каждого из множества подучастков.

[0046] Как было описано выше, цвет видимых маркеров в первой группе 241, второй группе 242 и третьей группе 243 предпочтительно является одним из следующего: синий, зеленый, фиолетовый, желтый, красный, или оранжевый цвет. Следовательно, подучасток представляющего интерес участка, имеющий синий, зеленый, фиолетовый или желтый цвет, может быть потенциальным видимым маркером. Хотя представляющий интерес участок ограничен областью, охватывающей элемент 220 отслеживания, представляющий интерес участок может также включать часть пользователя или фон позади пользователя, которые могут создавать ложноположительные результаты для потенциального видимого маркера. Например, пользователь может быть одет в одежду, которая может иметь один или более одинаковых или похожих цветов как у видимых маркеров.

[0047] Для увеличения точности идентификации потенциальных видимых маркеров, третий этап 330 также включает фильтр формы и фильтр размера. Видимые маркеры первой группы видимых маркеров 241, второй группы видимых маркеров 242 и третьей группы видимых маркеров 243 (фиг. 2A—2C) имеют в целом куполообразную или полусферическую форму. При рассмотрении в двухмерном изображении, таком как представляющий интерес участок, эти видимые маркеры имеют в целом круглую форму. Фильтр формы и фильтр размера используются для обнаружения в целом круглой формы видимых маркеров в пределах представляющего интерес участка. Эти фильтры помогают различать между видимым маркером и, например, одеждой пользователя.

[0048] Четвертый этап 340 включает получение первой предположительной трехмерной позы устройства 210 для гигиены полости рта. В целом, первая предположительная трехмерная поза включает положение и ориентацию (поворот и поступательное перемещение) устройства 210 для гигиены полости рта относительно камеры. Как будет подробнее описано в данном документе, в некоторых вариантах реализации четвертый этап 340 не будет инициирован до тех пор, пока не будет идентифицировано по меньшей мере четыре потенциальных видимых маркера во время третьего этапа 330. Если будет идентифицировано менее четырех потенциальных видимых маркеров во время третьего этапа 330, способ 300 будет повторяться, пока не будет идентифицировано по меньшей мере четыре потенциальных видимых маркера.

[0049] Ссылаясь на фиг. 4, четвертый этап 340 включает первый подэтап 342, второй подэтап 348, третий подэтап 348 и четвертый подэтап 348.

[0050] Первый подэтап 342 включает группирование потенциальных видимых маркеров, идентифицированных во время третьего этапа 330 (фиг. 3), на отдельные наборы потенциальных видимых маркеров. Предпочтительно, каждый из отдельных наборов потенциальных видимых маркеров включает четыре потенциальных видимых маркера.

[0051] Подобным образом второй подэтап 348 включает группирование маркеров модели из трехмерной модели устройства 210 для гигиены полости рта и элемента 220 отслеживания на отдельных этапах. Трехмерная модель хранится в запоминающем устройстве, которое является таким же или подобным запоминающему устройству 150, описанному выше (фиг. 1). Трехмерная модель является представлением фактического устройства 210 для гигиены полости рта и элемента 220 отслеживания. В частности, трехмерная модель включает представления первой группы видимых маркеров 241, второй группы видимых маркеров 242 и третьей группы видимых маркеров 243. Количество маркеров модели в каждом из отдельных наборов маркеров модели равно количеству потенциальных видимых маркеров в первом отдельном наборе потенциальных видимых маркеров, сгруппированных вместе во время первого этапа 342 (например, четыре потенциальных видимых маркера и четыре маркера модели).

[0052] Третий подэтап 348 включает выбор первого отдельного набора потенциальных видимых маркеров и первый отдельный набор маркеров модели. Первый отдельный набор потенциальных видимых маркеров включает четыре видимых маркера и первый отдельный набор маркеров модели включает четыре маркера модели.

[0053] Четвертый подэтап 348 включает ввод первого отдельного набора потенциальных видимых маркеров и первого отдельного набора маркеров модели, выбранных во время третьего подэтапа 348, в алгоритм для трех точек в перспективной проекции («P3P»). Алгоритм P3P основан на законе косинусов и используется для оценки позы объекта (поворот и поступательное перемещение) относительно места расположения камеры.

[0054] В целом, алгоритм P3P сравнивает двухмерные точки, взятые с изображения, с трехмерными точками, взятыми с трехмерной модели. Для решения системы уравнений P3P предусматриваются четыре двухмерные точки, определенные в системе координат изображения, и четыре трехмерные точки, определенные в системе координат трехмерной модели. Три набора точек, где каждый из наборов включает двухмерную точку и трехмерную точку, используются для решения системы уравнений P3P и определения до четырех возможных наборов расстояний между двухмерными точками и оптическими центрами камеры. Эти наборы расстояний преобразуются в четыре конфигурации поз. Четвертый набор 2D/3D точек затем используется для выбора наилучшей или наиболее верной конфигурации позы по отношению к четырем предложениям. Существуют различные способы для решения системы уравнений P3P и получения оцененной трехмерной позы. Например, один такой способ описан в работе Laurent Kneip et al., A Novel Parametrization of the Perspective-Three-Point Problem for a Direct Computation of Absolute Camera Position and Orientation, The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2011, которая включена во всей своей полноте в данный документ посредством ссылки.

[0055] Ввод первого отдельного набора потенциальных видимых маркеров и первого отдельного набора маркеров модели в алгоритм P3P и решение системы уравнений выдает первую предположительную трехмерную позу устройства 210 для гигиены полости рта. Первая предположительная трехмерная поза включает положение поворота и поступательного перемещения устройства 210 для гигиены полости рта, которое позволяет определить положение устройства 210 для гигиены полости рта относительно камеры. Как было описано выше, в некоторых вариантах реализации четвертый этап 340 не будет инициирован до тех пор, пока не будет идентифицировано четыре потенциальных видимых маркера во время третьего этапа 330. Это связано с тем, что алгоритм P3P требует четыре потенциальных видимых маркера и четыре маркера модели. Если идентифицировано менее четырех потенциальных видимых маркеров на третьем этапе 330, алгоритм P3P системы уравнений в целом не может быть решен без дополнительных данных.

[0056] Пятый этап 350 (фиг. 3) включает подтверждение первой предположительная трехмерная поза устройства 210 для гигиены полости рта определяется во время четвертого этапа 340. Возможно, что первый отдельный набор потенциальных видимых маркеров и первый отдельный набор маркеров модели, выбранный на подэтапе 348, выдают предположительно трехмерную позу, которая является неверной (например, поза, которая невозможна физически). Таким образом, пятый этап 350 в целом используется для подтверждения или отклонения предположительной трехмерной позы, полученной во время четвертого этапа 340.

[0057] Ссылаясь на фиг. 4, пятый этап 350 включает первый подэтап 352, второй подэтап 354, третий подэтап 356 и четвертый подэтап 358. Первый подэтап 352 включает прогнозирование положений потенциальных видимых маркеров в пределах представляющего интерес участка. На основе первой предположительной трехмерной позы, вычисленной во время четвертого этапа 340, и известных положений видимых маркеров из трехмерной модели устройства 210 для гигиены полости рта и элемента 220 отслеживания, можно спрогнозировать положение видимых маркеров в пределах представляющего интерес участка. Другими словами, прогнозированные положения указывают на то, где потенциальные видимые маркеры должны быть расположены в представляющем интерес участке, если первая предположительная трехмерная поза является верной, и где потенциальные видимые маркеры располагаться не должны. Например, может быть спрогнозировано, что будет видно шесть видимых маркеров на представляющем интерес участке, если устройство 210 для гигиены полости рта имеет такую же позу, что и первая предположительная трехмерная поза. Положение этих шести видимых маркеров относительно друг друга в представляющем интерес участке определяется из трехмерной модели устройства для гигиены полости рта.

[0058] Второй подэтап 354 включает сравнение потенциальных видимых маркеров, идентифицируемых в представляющем интерес участке, с прогнозированными положениями видимых маркеров. Конкретнее, количество и положение потенциальных видимых маркеров сравнивается с прогнозированным количеством и прогнозированным положением видимых маркеров (первый подэтап 354 пятого этапа 350). Если определено, что положения заданных количеств потенциальных видимых маркеров отвечает прогнозированным положениям, первая предположительная трехмерная поза подтверждается (подэтап 356). Если меньше заданного количества потенциальных маркеров соответствует прогнозированным положениям, первая предположительная трехмерная поза отклоняется (подэтап 358).

[0059] Для иллюстрации в качестве примера, на первом подэтапе 352 прогнозируют, что шесть потенциальных видимых маркеров будут видны в представляющем интерес участке, и прогнозируют положение каждого из этих шести потенциальных видимых маркеров относительно друг друга. На третьем этапе 330 определяют потенциальные видимые маркеры в пределах представляющего интерес участка. Если, например, потенциальный видимый маркер соответствует пяти из шести прогнозированных видимых маркеров, первая предположительная трехмерная поза подтверждается (подэтап 356), и пятый этап 350 завершается. Другие четыре потенциальных видимых маркера просто воспринимаются как шум или неточные. В альтернативном варианте, если определено тридцать потенциальных видимых маркеров, идентифицированных во время третьего этапа 330, и, например, двадцать пять из тридцати не соответствуют прогнозированным положениям, предположительная трехмерная поза может быть отклонена.

[0060] Заданное количество соответствий, требуемых для подтверждения предположительной трехмерной позы, может быть выражено в процентах, и может составлять по меньшей мере приблизительно 50% прогнозированных положений видимых маркеров, соответствующих положениям потенциальных видимых маркеров, по меньшей мере приблизительно 60% прогнозированных положений видимых маркеров соответствует положениям потенциальных видимых маркеров, по меньшей мере приблизительно 70% прогнозированных положений видимых маркеров соответствует положению потенциальных видимых маркеров, по меньшей мере приблизительно 80% прогнозированных положений видимых маркеров соответствует положениям потенциальных видимых маркеров, по меньшей мере приблизительно 90% прогнозированных положений видимых маркеров соответствует положениям потенциальных видимых маркеров, или 100% прогнозированных положений видимых маркеров соответствует положениям потенциальных видимых маркеров). В некоторых вариантах реализации заданное количество является статистически значительным количеством так, что оно может определять, что первая предположительная трехмерная поза является верной с подходящей статистической значимостью (например, 95% статистической значимости, 85% статистической значимости, 75% статистической значимости, и т. д.).

[0061] Если первая предположительная трехмерная поза отклонена (подэтап 358), второй подэтап 348 (фиг. 4) четвертого этапа 340 повторяется. Во время повторения подэтапа 348, выбирается второй отдельный набор потенциальных видимых маркеров и второй отдельный набор маркеров модели. По меньшей мере один из второго отдельного набора потенциальных видимых маркеров и второго отдельного набора маркеров модели включает набор потенциальных видимых маркеров или маркеров модели, которые отличаются от первого отдельного набора потенциальных видимых маркеров и/или второго отдельного набора маркеров модели. Эти наборы затем вводятся в алгоритм P3P на подэтапе 348 для получения второй предположительной трехмерной позы устройства 210 для гигиены полости рта. Вторая предположительная трехмерная поза затем подтверждается или отклоняется во время пятого этапа 350. Этапы с 348 по 354 повторяются до тех пор, пока предположительная трехмерная поза не будет подтверждена (подэтап 356).

[0062] Во время повторения вышеописанных этапов для подтверждения предположительной трехмерной позы, множество отдельных наборов потенциальных видимых маркеров и отдельных наборов маркеров модели может вводиться в алгоритм P3P, пока не будет подтверждена предположительная поза. Поскольку имеется двенадцать видимых маркеров в совокупности между первой группой видимых маркеров 241 в примере, показанном на фиг. 2A—2C, второй группой видимых маркеров 242 и третьей группой видимых маркеров 243 (фиг. 2A—2C) существует 469 возможных комбинаций из четырех видимых маркеров, если не учитывать цвет видимых маркеров. Другими словами, существует 469 возможных отдельных наборов из четырех маркеров модели. Если, например, существует шестнадцать потенциальных видимых маркеров, идентифицированных на представляющем интерес участке (во время этапа 330), без учета цвета, существует 1820 комбинаций из четырех потенциальных видимых маркеров (т. е. 1820 возможных отдельных наборов потенциальных видимых маркеров). Это означает, что существует потенциально более 900000 предположительных трехмерных поз, которые могут быть определены прежде, чем одна из них будет подтверждена, что требует значительного времени обработки/вычисления. Тем не менее, как описано выше, каждый из первой группы видимых маркеров 241, второй группы видимых маркеров 242 и третьей группы видимых маркеров 243 включает четыре видимых маркера, и каждый из четырех видимых маркеров в каждой группе имеет отличный цвет. Группирование потенциальных видимых маркеров и маркеров модели затем может дополнительно обусловливаться так, что каждая группа не только ограничивается четырьмя видимыми маркерами, но и каждый видимый маркер в группе из четырех имеет отличный цвет. Таким образом, количество возможных комбинаций, которое может требоваться для ввода в алгоритм P3P (подэтап 348) перед подтверждением предположительной трехмерной позы (подэтап 356), снижается, например, от нескольких сотен тысяч до нескольких сотен. Это снижает требования к обработке/вычислению так, что способ может быть реализован, например, на смартфоне с ограниченными вычислительными возможностями.

[0063] Шестой этап 360 включает получение второй предположительной трехмерной позы устройства 210 для гигиены полости рта на основе подтвержденной первой предположительной трехмерной позы устройства 210 для гигиены полости рта. Вторая предположительная трехмерная поза устройства 210 для гигиены полости рта вычисляется подобно первой предположительной трехмерной позе во время пятого этапа 350. Как описано выше, во время первого подэтапа 352 пятого этапа 350, прогнозируются положения каждого из видимых маркеров на представляющем интерес участке. Как также было описано выше, количество потенциальных видимых маркеров, идентифицированных во время третьего этапа 330, может быть больше, чем количество прогнозированных видимых маркеров, из-за шума от фона или неточности, содержащейся в алгоритме цветовой сегментации. Для получения более улучшенной оценки позы, шестой этап 360 выбирает только потенциальные видимые маркеры («верные потенциальные видимые маркеры»), которые соответствуют прогнозированным видимым маркерам, игнорируя потенциальные видимые маркеры, которые являются неверными на основе прогнозированных положений. Эти верные потенциальные видимые маркеры затем сравниваются с маркерами модели из трехмерной модели устройства 210 для гигиены полости рта с использованием алгоритма повторяющейся оценки позы и линейных регрессий для получения второй предположительной трехмерной позы устройства 210 для гигиены полости рта. Вторая предположительная трехмерная поза устройства 210 для гигиены полости рта в целом более точная, чем первая предположительная трехмерная поза (четвертый этап 340), но требует большего времени обработки/вычисления для определения.

[0064] Ссылаясь на фиг. 3, после завершения шестого этапа 360, способ 300 может повторяться один или более раз. При втором повторении способа 300, первый этап 310 повторяется и включает прием данных изображения, которые являются воспроизводимыми в виде второго изображения по меньшей мере части устройства 210 для гигиены полости рта и элемента 220 отслеживания. Например, второе изображение может быть вторым кадром из видеоизображения, которое взято после изображения, используемого во время первого повторения способа 300.

[0065] Второй этап 320 затем повторяется для идентификации второго представляющего интерес участка на втором изображении, полученном во время первого этапа 310. Тем не менее, при втором повторении способа 300, обнаружение узора 230 элемента 220 отслеживания для идентификации представляющего интерес участка пропускается. Вместо этого выбирается второй представляющий интерес участок с использованием оценки второй трехмерной позы (шестой этап 360), и второй представляющий интерес участок определяет область второго изображения, в которой расположена по меньшей мере часть элемента 220 отслеживания. Поскольку второй этап 320 при втором повторении способа 300 не требует обнаружения узора 230 с использованием множества фильтров, требуемое время обработки/вычисления для завершения второго этапа 320 уменьшается.

[0066] Третий этап 330 затем повторяется для идентификации всех потенциальных видимых маркеров на втором представляющем интерес участке с использованием вышеописанного алгоритма цветовой сегментации. Как правило, устройство 210 для гигиены полости рта будет использоваться в ванной, которая может иметь яркое или интенсивное освещение, которое может дополнительно усиливаться за счет отражений в зеркале ванной. Кроме того, движение устройства 210 для гигиены полости рта может вызывать изменение условий освещения на представляющем интерес участке на основе положения устройства для гигиены полости рта относительно источника света (например, пользователь может отбрасывать тень на часть устройства 210 для гигиены полости рта в определенной позе). Условия освещения и/или движение устройства 210 для гигиены полости рта могут влиять на количество света, отражающегося от видимых маркеров элемента 220 отслеживания. Например, может быть трудно отличить синий цвет от фиолетового в условиях интенсивного или яркого освещения или в условиях темного освещения. Путем использования оценки второй трехмерной позы, полученной во время шестого этапа 360, пороговое значение для различения цветов в алгоритме цветовой сегментации может регулироваться на основе оценки трехмерной позы, полученной на шестом этапе 360 первого повторения способа 300. Это пороговое значение затем обновляется каждый раз, когда завершается третий этап 330 при повторении способа 300.

[0067] Четвертый этап 340, пятый этап 350 и шестой этап 360 затем повторяются таким же или подобным образом, как описано выше для получения другой оценки второй трехмерной позы устройства 210 для гигиены полости рта.

[0068] Этапы с 310 по 360 затем могут повторяться множество раз (например, десять раз, пятьдесят раз, одну сотню раз, одну тысячу раз, и т. д.) после второго повторения, раскрытого выше в описании, для отслеживания движения устройства 210 для гигиены полости рта. Шестой этап 360 будет выдавать ряд оцененных трехмерных поз устройства 210 для гигиены полости рта при повторении способа 300, что затем может быть использовано для отслеживания движение устройства 210 для гигиены полости рта через время. Такое повторение способа 300 может быть использовано для отслеживания движения устройства 210 для гигиены полости рта во время, например, сеанса чистки щеткой, во время которого пользователь чистит свои зубы . Данные, относящиеся к качеству чистки зубов пользователем или общее состояние зубов пользователя может быть затем собрано и проанализировано на основе данных о движениях. Например, может быть определен тип движения щетки (например, движение из стороны в сторону, движение под углом или кругообразные движения).

[0069] В некоторых вариантах реализации также может использоваться система 100 для определения положения и ориентации лица пользователя. Например, с помощью камеры 104, система 100 получает изображение по меньшей мере части лица пользователя. С использованием процессора 140 и запоминающего устройства 150, а также алгоритма распознавания лица, может быть определено положение и ориентация лица. Например, система 100 может определять положение глаз пользователя, рта или носа (или любой их комбинации) с использованием, например, множества фильтров, алгоритмов машинного обучения, или т. п. В одном примере положение рта пользователя может быть оценено на основе положения глаз пользователя и расстояния между глазами и ртом пользователя.

[0070] Путем определения положения и ориентации лица пользователя, положение устройства 210 для гигиены полости рта может быть определено не только относительно камеры , но и относительно рта пользователя. Таким образом, можно определить положение устройства для гигиены полости рта относительно зубов пользователя, и то, почистил ли пользователь определенный участок зубов.

[0071] В некоторых вариантах реализации способ 300 дополнительно включает этап начальной калибровки для определения углового положения элемента 220 отслеживания относительно устройства 210 для гигиены полости рта. Например, с использованием вышеописанных техник, этап калибровки может изначально определять угловое положение элемента 220 отслеживания на устройстве 210 для гигиены полости рта и, передавать это положение для регулирования трехмерной модели так, чтобы угловое положение элемента 220 отслеживания в трехмерной модели соответствовало угловому положению на реальном устройстве 210 для гигиены полости рта. В других вариантах реализации, способ 300 является нейтральным по отношению к тому, как элемент 220 отслеживания присоединен к рукоятке 214 устройства 210 для гигиены полости рта.

[0072] Предпочтительно, элемент 220 отслеживания может использоваться для отслеживания движения устройства 210 для гигиены полости рта с использованием способа 300 (или других подобных способов) без необходимости в какой-либо электронике или датчике (например, акселерометре) в элементе 220 отслеживания. Хотя элемент 220 отслеживания может содержать такие датчики в некоторых вариантах реализации, чтобы помочь при отслеживании движения устройства 210 для гигиены полости рта, такие датчики могут, например, увеличивать стоимость элемента 220 отслеживания, периодически нуждаться в подзарядке элемента 220 отслеживания, или увеличивать вес элемента 220 отслеживания и, следовательно, мешать пользователю (например, ребенку) чистить зубы из-за дополнительного веса на конце устройства 210 для гигиены полости рта.

[0073] Хотя система 100 и способ 300 были проиллюстрированы и описаны в данном документе, как используемые для отслеживания движения устройства для гигиены полости рта (например, устройства 210 для гигиены полости рта), система 100 и способ 300 могут использоваться для отслеживания движения любого другого объекта присоединенного к элементу 220 отслеживания. Например, элемент отслеживания, который является таким же или подобным элементу 220 отслеживания, может присоединяться к концу объекта с формой, подобной форме устройства 210 для гигиены полости рта, такому как, например, бейсбольная бита, хоккейная клюшка, клюшка для гольфа, или т. п. Кроме того, элемент отслеживания, который является подобным элементу 220 отслеживания может быть в общем прикреплен к объекту с любой другой формой для отслеживания движения объекта.

[0074] Хотя настоящее изобретение допускает различные модификации и альтернативные варианты, его конкретные варианты осуществления и способы показаны в качестве примера на графических материалах и подробно описаны в данном документе. Однако следует понимать, что оно не предназначено для ограничения настоящего изобретения конкретными формами или способами, раскрытыми, но наоборот, стремится охватывать все модификации, эквиваленты и альтернативные варианты, находящиеся в пределах сущности и объема настоящего изобретения.

ВЫБРАННЫЕ ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ

[0075] Хотя вышеприведенное описание и приложенная формула изобретения раскрывают ряд вариантов осуществления, в следующих дополнительных вариантах осуществления раскрыты другие альтернативные аспекты настоящего изобретения.

[0076] Вариант осуществления 1. Способ оценки позы устройства для гигиены полости рта относительно местоположения, при этом устройство для гигиены полости рта содержит узор и множество групп видимых маркеров, причем способ включает: прием данных изображения, воспроизводимых в виде изображения по меньшей мере части устройства для гигиены полости рта; анализ, с использованием одного или более процессоров, данных изображения для идентификации представляющего интерес участка на изображении, при этом представляющий интерес участок включает по меньшей мере часть узора в этом месте; идентификацию, с использованием по меньшей мере одного из одного или более процессоров, всех потенциальных видимых маркеров в пределах представляющего интерес участка; получение первой предположительной трехмерной позы устройства для гигиены полости рта; подтверждение первой предположительной трехмерной позы устройства для гигиены полости рта; получение второй предположительной трехмерной позы устройства для гигиены полости рта на основе подтвержденной первой предположительной трехмерной позы.

[0077] Вариант осуществления 2. Способ согласно варианту осуществления 1, где в ответ на идентификацию представляющего интерес участка, осуществляется сегментирование, с использованием по меньшей мере одного из одного или более процессоров, представляющего интерес участка на множество подучастков, при этом каждый из множества подучастков определяется множеством пикселей, имеющих одинаковый цвет.

[0078] Вариант осуществления 3. Способ согласно любому из вариантов осуществления 1 и 2, где получение первой предположительной трехмерной позы устройства для гигиены полости рта включает: создание множества отдельных наборов потенциальных видимых маркеров; выбор первого одного из множества отдельных наборов потенциальных видимых маркеров; выбор первого одного из множества отдельных наборов маркеров модели, связанных с трехмерной моделью устройства для гигиены полости рта; и оценку набора потенциальных видимых маркеров и набора маркеров модели из трехмерной модели, связанной с устройством для гигиены полости рта с использованием алгоритма для трех точек в перспективной проекции для получения предположительной трехмерной позы устройства для гигиены полости рта.

[0079] Вариант осуществления 4. Способ согласно любому из вариантов осуществления 1—3, где подтверждение первой предположительной трехмерной позы включает: на основе предположительной трехмерной позы устройства для гигиены полости рта, прогнозирование положения в пределах представляющего интерес участка для заданного количества потенциальных видимых маркеров; и сравнение прогнозированных положений для заданного количества потенциальных видимых маркеров с фактическими положениями всех потенциальных видимых маркеров в пределах представляющего интерес участка; и определение того, что по меньшей мере значительная часть прогнозированных положений соответствует фактическим положениям.

[0080] Вариант осуществления 5. Способ согласно любому из вариантов осуществления 1—4, где анализ первых данных изображения включает использование одного или более фильтров, при этом один или более фильтров включают фильтр движения, фильтр цвета, фильтр формы или любую их комбинацию.

[0081] Вариант осуществления 6. Способ согласно любому из вариантов осуществления 1—5, где идентификация всех потенциальных видимых маркеров основана на форме и цвете каждого из множества подучастков.

[0082] Вариант осуществления 7. Способ согласно любому из вариантов осуществления 1—6, где каждый из множества отдельных наборов потенциальных видимых маркеров включает по меньшей мере четыре потенциальных видимых маркера и каждый из множества отдельных наборов маркеров модели включает по меньшей мере четыре маркера модели.

[0083] Вариант осуществления 8. Способ согласно любому из вариантов осуществления 1—7, дополнительно включает: прием второго набора данных изображения, воспроизводимых в виде второго изображения по меньшей мере части устройства для гигиены полости рта; идентификацию второго представляющего интерес участка на втором изображении на основе подтвержденной трехмерной позы устройства для гигиены полости рта.

[0084] Вариант осуществления 9. Способ согласно любому из вариантов осуществления 1—8, дополнительно включает: регулирование, на основе подтвержденной трехмерной позы устройства для гигиены полости рта, порогового значения для сегментирования второго представляющего интерес участка, чтобы помочь идентификации пикселей, имеющих различные цвета во втором представляющем интерес участке.

[0085] Вариант осуществления 10. Способ оценки позы устройства для гигиены полости рта относительно местоположения, причем устройство для гигиены полости рта содержит узор и множество групп видимых маркеров, при этом способ включает: (a) прием данных изображения, воспроизводимых в виде изображения по меньшей мере части устройства для гигиены полости рта; (b) анализ, с использованием одного или более процессоров, данных изображения для идентификации представляющего интерес участка на изображении, при этом представляющий интерес участок включает по меньшей мере часть узора в этом месте; (c) в ответ на идентификацию представляющего интерес участка, сегментирование, с использованием по меньшей мере одного из одного или более процессоров, представляющего интерес участка на множество подучастков, при этом каждый из множества подучастков определяется множеством пикселей, имеющих одинаковый цвет; (d) идентификацию, с использованием по меньшей мере одного из одного или более процессоров, всех потенциальных видимых маркеров в пределах представляющего интерес участка; (e) создание множества отдельных наборов потенциальных видимых маркеров; (f) выбор первого одного из множества отдельных наборов потенциальных видимых маркеров; (g) выбор первого одного из множества отдельных наборов маркеров модели, связанных с трехмерной моделью устройства для гигиены полости рта; (h) оценку выбранного набора потенциальных видимых маркеров и выбранного набора маркеров модели с использованием алгоритма для трех точек в перспективной проекции для получения предположительной трехмерной позы устройства для гигиены полости рта; (i) на основе предположительной трехмерной позы устройства для гигиены полости рта, прогнозирование положения в пределах представляющего интерес участка для заданного количества потенциальных видимых маркеров; (j) сравнение прогнозированных положений для заданного количества потенциальных видимых маркеров с фактическими положениями всех потенциальных видимых маркеров в пределах представляющего интерес участка; (k) в ответ на определение того, что по меньшей мере значительная часть прогнозированных положений соответствует фактическим положениям, подтверждение предположительной трехмерной позы; и (l) в ответ на определение того, что менее чем значительная часть прогнозированных положений соответствует фактическим положениям, повторение этапов (f) — (k).

[0086] Вариант осуществления 11. Способ согласно любому из вариантов осуществления 10, дополнительно включает, в ответ на подтвержденную предположительную трехмерную позу, сравнение всех потенциальных видимых маркеров и всех маркеров модели с использованием алгоритма для получения второй предположительной трехмерной позы устройства для гигиены полости рта.

[0087] Вариант осуществления 12. Способ согласно любому из вариантов осуществления 10 и 11, где анализ первых данных изображения включает использование одного или более фильтров, при этом один или более фильтров включают фильтр движения, фильтр цвета, фильтр формы или любую их комбинацию.

[0088] Вариант осуществления 13. Способ согласно любому из вариантов осуществления 10—12, где идентификация всех потенциальных видимых маркеров основана на форме и цвете каждого из множества подучастков.

[0089] Вариант осуществления 14. Способ согласно любому из вариантов осуществления 10—13, где каждый из множества отдельных наборов потенциальных видимых маркеров включает по меньшей мере четыре потенциальных видимых маркера и каждый из множества отдельных наборов маркеров модели включает по меньшей мере четыре маркера модели.

[0090] Вариант осуществления 15. Способ согласно любому из вариантов осуществления 10—14, дополнительно включает: прием второго набора данных изображения, воспроизводимых в виде второго изображения по меньшей мере части устройства для гигиены полости рта; идентификацию второго представляющего интерес участка на втором изображении на основе подтвержденной трехмерной позы устройства для гигиены полости рта.

[0091] Вариант осуществления 16. Способ согласно любому из вариантов осуществления 15, дополнительно включает: регулирование, на основе подтвержденной трехмерной позы устройства для гигиены полости рта, порогового значения для сегментирования второго представляющего интерес участка, чтобы помочь идентификации пикселей, имеющих различные цвета во втором представляющем интерес участке.

[0092] Вариант осуществления 17. Система отслеживания движения, содержащая: устройство для гигиены полости рта, содержащее головку и рукоятку; элемент отслеживания, соединенный с устройством для гигиены полости рта, содержащим узор и множество групп видимых маркеров; камеру; одного или более процессоров; и запоминающее устройство, хранящее команды, которые при исполнении по меньшей мере одним из одного или более процессоров приводит к тому, что система отслеживания движения осуществляет: захват, с помощью камеры, изображения по меньшей мере части устройства для гигиены полости рта; анализ, с использованием по меньшей мере одного из одного или более процессоров, изображения для идентификации представляющего интерес участка на изображении, при этом представляющий интерес участок включает по меньшей мере часть узора элемента отслеживания в этом месте; идентификацию, с использованием по меньшей мере одного из одного или более процессоров, всех потенциальных видимых маркеров в пределах представляющего интерес участка; создание множества отдельных наборов потенциальных видимых маркеров; выбор первого одного из множества отдельных наборов потенциальных видимых маркеров; выбор первого одного из множества отдельных наборов маркеров модели, связанных с трехмерной моделью устройства для гигиены полости рта, хранящейся в запоминающем устройстве; оценку выбранного набора потенциальных видимых маркеров и выбранного набора маркеров модели с использованием алгоритма для трех точек в перспективной проекции для получения предположительной трехмерной позы устройства для гигиены полости рта; на основе предположительной трехмерной позы устройства для гигиены полости рта, прогнозирование положения в пределах представляющего интерес участка для заданного количества потенциальных видимых маркеров; сравнение прогнозированных положений для заданного количества потенциальных видимых маркеров с фактическими положениями всех потенциальных видимых маркеров в пределах представляющего интерес участка; и в ответ на определение того, что по меньшей мере значительная часть прогнозированных положений соответствует фактическим положениям, подтверждение предположительной трехмерной позы.

[0093] Вариант осуществления 18. Система согласно любому из вариантов осуществления 17, где элемент отслеживания включает полость для приема части рукоятки устройства для гигиены полости рта в этом месте.

[0094] Вариант осуществления 19. Система согласно любому из вариантов осуществления 17 и 18, при этом узор элемента отслеживания находится заподлицо с наружной поверхностью элемента отслеживания и множество групп видимых маркеров выступает из наружной поверхности элемента отслеживания.

[0095] Вариант осуществления 20. Система согласно любому из вариантов осуществления 19, где видимые маркеры каждой из множества групп видимых маркеров имеют в целом куполообразную форму.

[0096] Вариант осуществления 21. Система согласно любому из вариантов осуществления 17—20, где узор элемента отслеживания содержит фон, имеющий первый цвет и множество индикаторов, наложенных на фон, при этом множество индикаторов имеют второй цвет, который отличается от первого цвета.

[0097] Вариант осуществления 22. Система согласно любому из вариантов осуществления 17—21, где первая группа из множества групп видимых маркеров содержит первый видимый маркер, имеющий первый цвет, второй видимый маркер, имеющий второй цвет, третий видимый маркер, имеющий третий цвет, и четвертый видимый маркер, имеющий четвертый цвет.

[0098] Вариант осуществления 23. Система согласно любому из вариантов осуществления 17—22, где первая группа из множества групп видимых маркеров содержит первый видимый маркер, имеющий первый цвет, второй видимый маркер, имеющий первый цвет, третий видимый маркер, имеющий первый цвет, и четвертый видимый маркер, имеющий первый цвет.

[0099] Вариант осуществления 24. Система согласно любому из вариантов осуществления 17—23, дополнительно содержит мобильное устройство, содержащее оболочку, при этом камера, один или более процессоров, запоминающее устройство или любая их комбинация по меньшей мере частично расположены в оболочке мобильного телефона.

[00100] Вариант осуществления 25. Элемент отслеживания движения выполнен с возможностью соединения с устройством для гигиены полости рта, при этом элемент отслеживания движения содержит корпус, узор на наружной поверхности корпуса, множество групп видимых маркеров на наружной поверхности корпуса.

[00101] Вариант осуществления 26. Элемент отслеживания движения согласно варианту осуществления 25, где корпус содержит первую часть и вторую часть.

[00102] Вариант осуществления 27. Элемент отслеживания движения согласно любому из вариантов осуществления 25 и 26, где первая часть корпуса выполнена с возможностью соединения с устройством для гигиены полости рта.

[00103] Вариант осуществления 28. Элемент отслеживания движения согласно любому из вариантов осуществления 25—27, где вторая часть корпуса имеет в целом сферическую форму.

[00104] Вариант осуществления 29. Элемент отслеживания движения согласно любому из вариантов осуществления 25—28, где множество групп видимых маркеров выступает из наружной поверхности корпуса.

[00105] Вариант осуществления 30. Элемент отслеживания движения согласно любому из вариантов осуществления 25—29, где узор напечатан на наружной поверхности корпуса.

[00106] Вариант осуществления 31. Элемент отслеживания движения согласно любому из вариантов осуществления 25—30, где печатный рисунок включает несколько индикаторов и фон.

[00107] Вариант осуществления 32. Элемент отслеживания движения согласно любому из вариантов осуществления 25—31, где фон имеет первый цвет и множество индикаторов имеет второй цвет, который отличается от первого цвета.

[00108] Вариант осуществления 33. Элемент отслеживания движения согласно любому из вариантов осуществления 25—32, где множество групп видимых маркеров включает по меньшей мере первую группу видимых маркеров, вторую группу видимых маркеров, третью группу видимых маркеров и четвертую группу видимых маркеров, при этом один или более видимых маркеров первой группы видимых маркеров имеют первый цвет, один или более видимых маркеров второй группы видимых маркеров имеют второй цвет, один или более видимых маркеров третьей группы видимых маркеров имеют третий цвет, и один или более видимых маркеров четвертой группы видимых маркеров имеют четвертый цвет.

[00109] Вариант осуществления 34. Элемент отслеживания движения согласно любому из вариантов осуществления 25—33, где первый цвет, второй цвет, третий цвет и четвертый цвет являются разными и отличаются друг от друга.

[00110] Вариант осуществления 35. Элемент отслеживания движения согласно любому из вариантов осуществления 25—34, где каждый из первого цвета, второго цвета, третьего цвета и четвертого цвета является синим, зеленым, фиолетовым, желтым, красным, оранжевым или любой их комбинацией.

Реферат

Группа изобретений относится к системам и способам оценки позы устройства для гигиены полости рта относительно местоположения. Способ оценки позы устройства для гигиены полости рта, содержащего узор и множество групп видимых маркеров, относительно местоположения, включает: (i) прием данных изображения, воспроизводимых в виде изображения по меньшей мере части устройства для гигиены полости рта; (ii) анализ данных изображения для идентификации представляющего интерес участка на изображении; (iii) идентификацию, с использованием по меньшей мере одного из одного или более процессоров, всех потенциальных видимых маркеров в пределах представляющего интерес участка; (iv) получение первой предположительной трехмерной позы устройства для гигиены полости рта; (v) подтверждение первой предположительной трехмерной позы устройства для гигиены полости рта и (vi) получение второй предположительной трехмерной позы устройства для гигиены полости рта на основе подтвержденной первой предположительной трехмерной позы. Технический результат заключается в точном отслеживании движения объекта во всех направлениях с использованием устройства, такого как смартфон, с ограниченной мощностью обработки. 4 н. и 28 з.п. ф-лы, 6 ил.

Формула