Устройство и способ для измерения параметров движения мяча - RU2697697C2
Код документа: RU2697697C2
Чертежи
Описание
[Область техники изобретения]
Настоящее изобретение относится к устройству и способу для измерения параметров движения мяча, которое получает, обрабатывает и анализирует изображения движущегося мяча с целью вычисления его вращения.
[Предпосылки создания изобретения]
Ранее предпринимались попытки точного считывания данных о физических свойствах движущегося мяча после удара спортсмена в видах спорта, в которых используется мяч, особенно в гольфе, попытки анализа ударного мяча с использованием считанного значения или реализации ударного мяча в виде изображения, которое можно использовать при моделировании поля для гольфа, такого как видеогольф.
В частности, так как мяч, приводимый в движение ударом, вращается вокруг оси в трехмерном пространстве на высокой скорости, очень сложно измерить его вращение. Кроме того, для точного измерения вращения мяча требуется дорогое оборудование. Обычно вращение мяча можно измерить с помощью радиолокационного датчика.
Однако такое дорогое воспринимающее устройство не пригодно в качестве широко используемого для анализа удара пользователя по мячу в так называемой системе для видеогольфа или тренировочного поля для гольфа, в которой для вычисления траектории мяча считываются данные о гольфистском ударе пользователя и выполняется моделирование игры в гольф для реализации виртуального гольфа, основывающегося на этих данных. Следовательно, существует большая необходимость в технологии, которая может быстро и точно измерить параметры движения мяча с использованием относительно недорогой системы с низкими эксплуатационными характеристиками.
В зарегистрированном патенте США №5471383 (под названием «СИСТЕМА НАБЛЮДЕНИЯ ДЛЯ ИЗМЕРЕНИЯ И ОТОБРАЖЕНИЯ ХАРАКТЕРИСТИК ПОЛЕТА ДВИЖУЩЕГОСЯ СПОРТИВНОГО СНАРЯДА») раскрывается портативное устройство контроля удара, способное вычислять вращение ударного мяча. При этом в зарегистрированном патенте США №5471383 раскрывается система, сконфигурированная таким образом, что на мяче намеренно помещается флуоресцентный маркер, часть с этим маркером распознается на полученном изображении, а смещение этой части анализируется для вычисления вращения мяча.
Однако вращение мяча может быть распознано только если на мяч намеренно нанесен особый маркер, что означает, что пользователь должен практиковать гольфистские удары с использованием исключительно мячей с особыми маркерами, нанесенными на них, что представляет неудобство для пользователей. Кроме того, если особый маркер на мяче поврежден или стерт ввиду повторных ударов при игре в гольф, вычислить вращение мяча не представляется возможным.
При этом в публикации заявки на патент Японии №2004-184236 (под названием «МЕТОД ИЗМЕРЕНИЯ ВРАЩЕНИЯ И ХАРАКТЕРИСТИК ПОЛЕТА СФЕРИЧЕСКОГО ТЕЛА») раскрывается метод вычисления вращения мяча для гольфа с использованием обычной характеристики, такой как знак марки, изначально присутствующей на мяче, т.е., которая не наносится на него намеренно. При этом в публикации заявки на патент Японии №2004-184236 раскрывается метод преобразования полученных двухмерных изображений в виртуальные сферы в трехмерном пространстве и вычисления данных о вращении виртуальных сфер в нем для расчета вращения каждой из них.
Так как имеется возможность точного вычисления вращения движущегося мяча, предпочтительно использовать технологию, раскрытую в публикации заявки на патент Японии №2004-184236. Скорость вычисления слишком низка. Несмотря на то, что можно точно вычислить скорость вращения мяча, воспринимающее устройство, которое может вычислять скорость вращения, используется очень ограниченно, а также никогда не используется в ситуациях, в которых пользователь бьет по мячу для гольфа почти в то же время, когда вычисляется скорость его вращения, для моделирования его траектории, как в виртуальной системе моделирования игры в гольф.
[Раскрытие сущности изобретения]
[Техническая задача]
Задачей настоящего изобретения является предоставление устройства и способа для измерения параметров движения мяча, настроенного на анализ непрерывно получаемых изображений движущегося мяча и вычисление данных о вращении движущегося мяча на основании результата этого анализа, отличающегося тем, что настоящее устройство и способ для измерения параметров движения мяча дают возможность быстро и точно вычислить вращение движущегося мяча без нанесения особого маркера на него.
[Техническое решение]
В соответствии с одним аспектом настоящего изобретения задача, приведенная выше, и другие задачи могут быть решены путем предоставления устройства для измерения параметров движения мяча, которое получает и анализирует изображение движущегося мяча для вычисления его вращения. Настоящее устройство включает устройство получения изображений для непрерывного получения изображений движущегося мяча, процессор изображений для обработки первого и второго изображений, непрерывно получаемых устройством получения изображений, чтобы генерировать характеристические данные для измерения параметров движения мяча, а также вычислитель вращения, чтобы определять, можно ли взять данные об испытании на вращение в качестве окончательных согласно заданному условию, с использованием результатов применения испытания на вращение к характеристическим данным о первом и втором изображениях для определения окончательных данных о вращении.
Процессор обработки изображений может включать генератор характеристических данных для определения визуальных граничных данных в первом изображении мяча, полученном из первого изображения, чтобы генерировать первые характеристические данные из него, а также для определения визуальных граничных данных во втором изображении мяча, полученном из второго изображения, чтобы генерировать вторые характеристические данные из него.
Процессор изображений может включать препроцессор изображений для извлечения изображения мяча из первого изображения, чтобы генерировать первое изображение мяча, извлечения изображения мяча из второго изображения, чтобы генерировать второе изображение мяча, и предварительную обработку извлеченных первого и второго изображений мяча согласно заданному условию; нормализатор изображений для нормализации размера и яркости первого и второго изображений мяча, чтобы генерировать первое эталонное изображение из первого изображения мяча и второе эталонное изображение из второго изображения мяча; и генератор характеристических данных для определения визуальных граничных данных из первого эталонного изображения для генерирования первых характеристических данных, и определения визуальных граничных данных из второго эталонного изображения, чтобы генерировать вторые характеристические данные.
Первые и вторые характеристические данные, сгенерированные из визуальных граничных данных, могут включать как минимум одни визуальные граничные данные о вмятинах на мяче, визуальные граничные данные о логотипе или особой метке на мяче, либо визуальные граничные данные о трещинах или инородных материалах на мяче.
Первые и вторые характеристические данные могут включать значения координат и граничные параметры интенсивности пикселей, определенные согласно заданному граничному условию обнаружения.
Первые и вторые характеристические данные могут включать значения координат и граничные параметры интенсивности пикселей, имеющих заданный диапазон граничных значений интенсивности, которые извлекаются из пикселей, обнаруженных согласно заданному граничному условию обнаружения.
Вычислитель вращения может включать устройство применения данных об испытании на вращение для преобразования координат пикселей, соответствующих первым характеристическим данным, в данные о трехмерном положении посредством применения данных о вращении к преобразованным данным о трехмерном положении, а также посредством преобразования пикселей, к которым были применены данные об испытании на вращение, в данные о двухмерном положении для получения характеристических данных об испытании на вращение. Он также может включать блок принятия решений о вращении для сопоставления граничных параметров интенсивности характеристических данных о вращении с такими же целевыми параметрами характеристических данных, извлеченных из вторых характеристических данных, для вычисления их сходства и определения того, подходят ли данные об испытании на вращение в качестве окончательных данных о вращении, с использованием вычисленных данных о сходстве для определения окончательных данных о вращении.
В соответствии с другим аспектом настоящего изобретения предоставляется способ для измерения параметров движения мяча, при котором получается и анализируется изображение движущегося мяча для вычисления его вращения. Настоящий способ предполагает непрерывное получение изображений движущегося мяча, обработку первого и второго изображений, полученных непрерывным способом, чтобы генерировать характеристические данные для вычисления данных о вращении движущегося мяча, а также определять, можно ли взять данные об испытании на вращение в качестве окончательных согласно заданному условию, с использованием результатов применения испытания на вращение к характеристическим данным о первом и втором изображениях для определения окончательных данных о вращении.
Этап генерирования характеристических данных для определения данных о вращении мяча может включать определение визуальных граничных данных, полученных из первого изображения, чтобы генерировать первые характеристические данные из него, а также для определения визуальных граничных данных в изображении второго мяча, полученном из второго изображения, чтобы генерировать вторые характеристические данные из него.
Этап генерирования характеристических данных для определения данных о вращении мяча может включать нормализацию размера и яркости первого изображения мяча, извлеченного из первого изображения, и второго изображения мяча, извлеченного из второго изображения, согласно заданному условию, при этом генерируется первое эталонное изображение из первого изображения мяча посредством нормализации, а также второе эталонное изображение из второго изображения мяча посредством нормализации. При этом определяются визуальные граничные данные из первого эталонного изображения для генерирования первых характеристических данных и вторые визуальные граничные данные из второго эталонного изображения для генерирования вторых характеристических данных из второго эталонного изображения.
Настоящий способ может дополнительно включать генерирование характеристических данных об испытании на вращение посредством применения данных коррекции положения касательно положения и направления камеры для получения изображения движущегося мяча с использованием первых характеристических данных и данных об испытании на вращение в трехмерном пространстве; генерирование целевых характеристических данных посредством использования вторых характеристических данных и применения данных коррекции положения, а также сопоставления параметров интенсивности характеристических данных о вращении с граничными параметрами интенсивности целевых характеристических данных для определения их сходства и определения того, подходят ли данные об испытании на вращение в качестве окончательных, с использованием вычисленных данных о сходстве для определения окончательных данных о вращении.
Этап генерирования характеристической информации об испытании на вращение может включать преобразование координат пикселей, соответствующих первым характеристическим данным, в трехмерные координаты с применением данных коррекции положения к пикселям, которые были преобразованы в трехмерные координаты; применение данных об испытании на вращение к данным о координатах пикселей, к которым были применены данные о коррекции положения, и преобразование пикселей, к которым были применены данные об испытании на вращение, в данные о двухмерном положении для генерирования характеристических данных об испытании на вращение.
Этап принятия решения касательно окончательных данных о вращении может включать повторение этапа генерирования характеристических данных о вращении из различных частей данных об испытании на вращение заданное количество раз для определения данных о сходстве и принятия решения касательно данных об испытании на вращение с максимальным значением.
Этап принятия решения касательно окончательных данных о вращении может включать задание эталонного значения данных о сходстве, подлежащих определению в качестве окончательных данных о вращении; повторное применение данных об испытании на вращение до тех пор, пока вычисленные данные о сходстве не совпадут с заданным эталонным значением или не превысят его; а также принятие решения касательно использования данных об испытании на вращение с данными о сходстве, равными заданному эталонному значению, или превышающими его, в качестве окончательных данных о вращении.
[Полезные эффекты]
Устройство и способ для измерения параметров движения мяча по настоящему изобретению конфигурируется для анализа непрерывно получаемых изображений движущегося мяча и вычисления данных о его вращении на основании результатов анализа. Согласно настоящему изобретению представляется возможным вычисление вращения движущегося мяча без нанесения особого маркера на мяч. Если на мяче есть логотип или товарный знак, либо же на нем присутствуют вмятины или трещины, которые представляют собой характеристические сегменты на изображении, можно просто, быстро и точно вычислить вращение движущегося мяча с помощью этих данных.
[Описание чертежей]
ФИГ. 1 - блок-схема, на которой схематически показана конфигурация устройства для измерения параметров движения мяча по варианту осуществления настоящего изобретения;
ФИГ. 2 - представление, на котором изображены функции каждого компонента от получения изображения до вычисления вращения мяча с использованием конфигурации, приведенной на ФИГ. 1;
ФИГ. 3 - представление, на котором в качестве устройства получения изображений по настоящему изобретению приведена стереокамера и движущийся мяч;
ФИГ. 4 - технологическая схема, на которой показан способ для измерения параметров движения мяча по варианту осуществления настоящего изобретения;
ФИГ. 5(а)-5(с) - представления, на которых приведены изображения с сегментами мяча, извлеченными из изображений движущегося мяча под углом обзора камеры устройства считывания данных по варианту осуществления настоящего изобретения, полученных с помощью камеры в заданные временные интервалы;
ФИГ. 6 - представление, на котором приводится пример метода извлечения сегментов мяча, как показано на ФИГ. 5;
ФИГ. 7(а)-7(с) - представления, на которых приводятся изображения, полученные путем нормализации размера и яркости изображений мяча в соответствии с ФИГ. 5(a)-5(c).
ФИГ. 8(a) - представление, на котором приводится пример изображения мяча, извлеченного их исходного изображения; ФИГ. 8(b) - представление, на котором приводится пример эталонного изображения, полученного путем нормализации изображения мяча, приведенного на ФИГ. 8(a); ФИГ. 8(c) - представление, на котором приводится состояние, в котором обнаруживается граничный параметр из эталонного изображения, приведенного на ФИГ. 8(b), согласно заданному критерию; а ФИГ. 8(d) - это представление, на котором приводятся характеристические данные, извлекаемые из данных об обнаруженном граничном параметре, приведенном на ФИГ. 8(c) согласно заданному условию;
ФИГ. 9(a) - представление, на котором приводится состояние, при котором первое эталонное изображение генерируется из первого изображения мяча, и граничный параметр, обнаруженный на первом эталонном изображении; ФИГ. 9(b) - представление, на котором приводятся первые характеристические данные, сгенерированные путем обнаружения пикселей, соответствующих заданному диапазону верхнего уровня, из данных об обнаруженных граничных параметрах, приведенных на ФИГ. 9(a); ФИГ. 9(c) - представление, на котором приводится состояние, при котором второе эталонное изображение генерируется из второго изображения мяча, и граничный параметр обнаруживается на втором эталонном изображении; а ФИГ. 9(d) - представление, на котором приводятся вторые характеристические данные, генерируемые путем обнаружения пикселей, соответствующих заданному диапазону верхнего уровня, из данных об обнаруженных граничных параметрах, приведенных на ФИГ. 9(c);
ФИГ. 10 - представление, на котором приводится вычисление вращения движущегося мяча; а
ФИГ. 11 и 12 - представления, на которых приводится принцип коррекции положения и направления камеры для вычисления вращения мяча.
[Лучший вариант осуществления изобретения]
В дальнейшем примеры вариантов осуществления устройства и способа для измерения параметров движения мяча по настоящему изобретению будут подробно описываться со ссылкой на прилагаемые чертежи.
По существу, в настоящем изобретении изображение мяча для гольфа (далее «мяч»), по которому бьет пользователь с помощью клюшки для гольфа, захватывается заданной камерой, и полученное изображение анализируется для вычисления вращения ударного мяча. Камера может представлять собой стереокамеру, включая несколько камер, которые могут получать стереоскопическое изображение, или трехмерную (3D) камеру, которая может преобразовывать координаты мяча на двухмерном (2D) изображении в координаты 3D, или преобразовывать координаты 3D в 2D.
Дополнительно устройство и способ для измерения параметров движения мяча по настоящему изобретению могут применяться в различных сферах, таких как анализ удара по мячу согласно подаче пользователя или использование в моделировании виртуального гольфа на основании виртуальной реальности.
Прежде всего, устройство для измерения параметров движения мяча по варианту осуществления настоящего изобретения будет описано со ссылкой на ФИГ. 1 и 2.
Как показано на ФИГ. 1 и 2, устройство для измерения параметров движения мяча по варианту осуществления настоящего изобретения включает устройство получения изображений 100, процессор изображений 200 и вычислитель вращения 300.
Устройство получения изображений 100 может быть представлено камерой, такой как стереоскопическая или 3D камера, описанные ранее. Как изображено на ФИГ. 1, устройство получения изображений 100 - стереоскопическая камера, включающая первую 110 и вторую 120 камеры.
Процессор изображений 200 - компонент, обрабатывающий изображения, полученные устройством получения изображений 100. Процессор изображений 200 может включать препроцессор 210, нормализатор изображений 220 и генератор характеристических данных 230.
Препроцессор изображений 210 осуществляет предварительную обработку для извлечения изображения мяча из каждого изображения, непрерывно получаемого устройством получения изображений 100, и получения сегмента характеристик из каждого извлеченного изображения мяча.
При этом на изображении движущегося мяча яркость мяча изменяется в зависимости от его положения, интенсивности света, характеристик линзы камеры, наружного освещения, цвета мяча, его материала и т.д.
Для вычисления вращения движущегося мяча с помощью способа обработки изображений по настоящему изобретению необходимо сопоставить изображения мяча на двух изображениях, полученных непрерывным способом при одинаковых условиях. Для этого необходимо сделать единообразным положение мяча, интенсивность света и т.д., как описано выше. В связи с этим нормализатор изображений 220 выполняет нормализацию изображения для упорядочения размера и яркости изображений мяча, предварительно обработанных препроцессором изображений 210.
Предварительная обработка изображений, выполняемая препроцессором изображений 210, и нормализация изображений, выполняемая нормализатором изображений 200, будут более подробно описаны ниже.
При этом генератор характеристических данных 230 извлекает граничные данные из каждого изображения мяча, предварительно обработанного препроцессором 210 и нормализованного нормализатором изображений 220, как описано выше (далее «эталонное изображение»), для генерирования «характеристических данных», которые будут более подробно описаны ниже.
При этом вычислитель вращения 300 - компонент, вычисляющий величину вращения движущегося мяча по конкретной оси вращения, т.е., данные об оси вращения и величине вращения движущегося мяча, с использованием «характеристических данных», генерируемых из двух произвольных непрерывных изображений мяча.
Как изображено на ФИГ.1, вычислитель вращения 300 может включать корректор положения 310, устройство применения данных об испытании 320 и блок принятия решений о вращении 330.
Корректор положения 310 корректирует положение камеры так, чтобы в состоянии, когда камера направлена на мячи на двух непрерывных изображениях под одним углом и в той же относительной системе координат, вращение мяча было вычислено точно, что будет описано более подробно ниже.
При этом изображения движущегося мяча в настоящем изобретении, получаемые непрерывно, по существу анализируются попарно. Исходя из предположения, что начальное изображение из двух, полученных непрерывным способом - это первое изображение, а следующее изображение, полученное непрерывным способом - второе, вращение мяча вычисляется на основании состояния мяча при получении первого изображения и его состояния при получении второго изображения.
Для извлечения первых характеристических данных выполняется заданная обработка изображения относительно мяча на первом изображении, а для извлечения вторых характеристических данных аналогичная обработка выполняется относительно мяча на втором изображении. Вычисляется значение функции для определения того, подходят ли данные об испытании на вращение в качестве окончательных, с использованием результата применения испытания на вращение к первым и вторым характеристическим данным.
Из значений функций, вычисляемых повторным применением данных об испытании на вращение заданное количество раз, в качестве окончательных данных о вращении выбираются данные об испытании на вращение при максимальном параметре какого-либо из значений функции. Как вариант, задается соответствующее эталонное значение для значений функций, и если какое-либо значение функции, вычисленное путем применения данных об испытании на вращение, равно эталонному или превышает его, данные об испытании на вращение выбираются в качестве окончательных, на основании чего вычисляется вращение мяча.
Устройство применения данных об испытании на вращение 320 настраивается для извлечения и применения данных об испытании на вращение и величины вращения, чтобы обнаруживать ось вращения и его величину, при которых мяч на первом изображении переходит в состояние мяча на втором изображении, по вращению мяча, как описано выше. Для вычисления окончательных данных о вращении блок принятия решений о вращении 330 определяет, являются ли данные об оси и величине вращения в испытании, примененные в устройстве применения данных об испытании на вращение 320, приблизительными данными относительно необходимых оси и величины вращения.
То есть, каждый раз устройство применения данных об испытании на вращение 320 извлекает и применяет новые данные об оси и величине вращения в испытании до тех пор, пока не будут вычислены окончательные данные о вращении, а блок принятия решений о вращении 330 проверяет результат для принятия решения относительно данных о вращении, наиболее соответствующих окончательным, что будет описано более подробно ниже.
Как изображено на ФИГ. 3, данные о положении в позициях, при которых в соответствии с движением мяча 10 получаются изображения, могут распознаваться на изображениях мяча, полученных первой 110 и второй 120 камерами, на основании системы координат i, j и k с учетом земли G.
То есть, первая 110 и вторая 120 камеры вместе составляют устройство получения стереоскопических изображений. Следовательно, имеется возможность извлечения данных о трехмерных координатах объекта из его изображений, полученных этими двумя камерами. Что касается ФИГ. 3, то по мере перемещения мяча 10 из первого положения во второе могут быть извлечены данные о координатах первого (х, у, z) и второго (х', у', z') положения.
В это время первая 110 и вторая 120 камера фиксируются и, таким образом, становится возможным распознать их координаты положения.
При этом способ обработки изображений по варианту осуществления настоящего изобретения будет описан со ссылкой на технологическую схему, представленную на ФИГ. 4. способ обработки изображений по технологической схеме, представленной на ФИГ. 4, будет описан со ссылкой на ФИГ. 5-12.
Прежде всего, в устройство получения изображений (S10) поступают непрерывные изображения.
В настоящем примере можно видеть некоторые изображения движущегося мяча, непрерывно получаемые любой из камер, приведенной на ФИГ. 3, так, как они показаны на ФИГ. 5(а)-5(с).
То есть, ФИГ. 5(а)-5(с) - представления, на которых приведены изображения только с одной частью мяча 21, 22 и 23, полученные посредством удаления фоновых частей из изображений движущегося мяча под углом обзора стационарной камеры, а также с помощью задействования камеры в заданные временные интервалы на основании различий между изображениями и т.д.
На ФИГ. 5(a), 5(b) и 5(c) видно, что мяч летит по диагонали влево. По мере того, как он приближается к камере, часть мяча 21 кажется большой, как показано на ФИГ. 5(a), а по мере удаления мяча от камеры части мяча 22 и 23 постепенно начинают казаться меньше, как показано на ФИГ. 5(b) и 5(c).
Далее изображения только с одной частью, т.е., частью шара, полученной посредством удаления фоновых частей и различных частей с помехами из изображений, показанных на ФИГ. 5(a), 5(b) и 5(c), они же изначально полученные изображения, на основании различий между ними будут обозначаться как исходные.
Для вычисления вращения мяча посредством применения данных об испытании на вращение, приведенных ниже, и для определения того, являются ли эти примененные данные актуальными, необходимо результативно извлечь только изображения, относящиеся к частям мяча 21, 22 и 23, т.е., только изображения самого мяча, из исходных, которые приведены на ФИГ. 5.
На ФИГ. 5(а)-5(с) приведен процесс извлечения частей мяча только из соответствующих исходных изображений. В первую очередь, части мяча 21, 22 и 23 могут быть взяты из исходных изображений, после чего изображение части мяча 21 может быть точным образом извлечено так, чтобы точка центра С этой части мяча на изображении 211 и контур части мяча 21, которые подлежат извлечению, были главным образом тангенциональны по отношению к контуру изображения 211, которое подлежит извлечению, как показано на ФИГ. 6.
То есть, согласно способу обработки изображений по этому варианту осуществления настоящего изобретения исходные изображения могут извлекаться из двух изображений, непрерывно получаемых на этапе S10, а первое и второе изображения мяча могут извлекаться из исходных (S12).
Так, изображение мяча, извлеченное из исходного изображения первого полученного изображения, считается первым изображением мяча, а второе изображение мяча, извлеченное из исходного изображения, взятого из второго полученного изображения, считается вторым изображением мяча.
Изображения, полученные путем извлечения только частей мяча 21, 22 и 23 из соответствующих исходных изображений с использованием способа, приведенного выше, т.е., изображения мяча 211, 212 и 213, имеют размер, отвечающий мячам на соответствующих изображениях. Следовательно, изображения мяча 211, 212 и 213 могут иметь разные размеры. В дополнение к этому, интенсивность света, падающего на части мяча 21, 22 и 23 на соответствующих исходных изображениях, отличается, исходя из расстояния до камеры. В результате изображения мяча имеют разную степень яркости.
Для точного извлечения характеристических данных необходимо уравнять размеры соответствующих изображений мяча 211, 212 и 213 и нормализовать их яркость.
Согласно способу обработки изображений по этому варианту осуществления настоящего изобретения для генерирования первого эталонного изображения из первого изображения мяча и второго эталонного изображения из второго изображения мяча (S14) могут выполняться предварительная обработка и нормализация изображений относительно первого и второго изображений мяча, извлеченных на этапе S12.
ФИГ. 7(a) - представление, на котором изображение мяча нормализовано для достижения размера и яркости, одинаковых с изображением мяча 211, приведенным на ФИГ. 5(a); ФИГ. 7(b) - представление, на котором изображение мяча нормализовано для достижения размера и яркости, одинаковых с изображением мяча 212, приведенном на ФИГ. 5(b); а ФИГ. 7(c) - представление, на котором изображение мяча нормализовано для достижения размера и яркости, одинаковых с изображением мяча 213, приведенном на ФИГ. 5(c).
То есть, соответствующие изображения мячей 211, 212 и 213, приведенные на ФИГ. 5(а)-5(с), можно увеличивать или уменьшать до заданного размера, либо два из изображений мяча 211, 212 и 213 можно увеличивать или уменьшать на основании одного из изображений мяча 211, 212 и 213. То есть, соответствующие изображения мяча можно нормализовать так, чтобы они имели одинаковый размер.
В дополнение к этому, яркие пиксели, имеющиеся, в частности, в центральной части мяча, могут быть удалены с соответствующих изображений мяча, и эти изображения могут быть нормализованы с помощью среднего значения пикселей, составляющих части мяча, чтобы эти изображения обладали одинаковой степенью яркости.
Способом, аналогичным тому, при котором изображения мяча 211, 212 и 213, приведенные на ФИГ. 5(а)-5(с), посредством обработки переходят в изображения мяча, приведенные на ФИГ. 7(а)-7(с), как описано выше, после нормализации характеристические данные генерируются из соответствующих нормализованных изображений (далее изображение мяча, размер и яркость которого нормализованы приведенным выше способом, будут именоваться «эталонным изображением») с помощью генератора характеристических данных.
То есть, по способу обработки изображений по этому варианту осуществления настоящего изобретения первые и вторые характеристические данные могут генерироваться из первого и второго эталонных изображений, извлеченных на этапе S14 (S16). Характеристические данные могут генерироваться посредством обнаружения граничных данных изображения.
ФИГ. 8(a) - представление, на котором приведен пример изображения мяча, извлеченного из исходного изображения; ФИГ. 8(b) - представление, на котором приведен пример эталонного изображения, полученного путем нормализации изображения мяча, приведенного на ФИГ. 8(a); ФИГ. 8(c) - представление, на котором приведено состояние, при котором обнаруживаются граничные параметры из эталонного изображения, приведенного на ФИГ. 8(b) согласно заданному критерию; ФИГ. 8(d) - представление, на котором приведены характеристические данные, извлеченные из данных о граничных параметрах, приведенных на ФИГ. 8(c), согласно заданному условию.
Самая яркая часть в окружности на ФИГ. 8(c) - это часть, соответствующая границе изображения. Самая темная часть в окружности на ФИГ. 8(d) - это часть, соответствующая характеристической информации, извлеченной из граничных данных.
В случае если движущийся мяч - это мяч для гольфа, граничные данные могут представлять собой визуальные граничные данные о вмятинах, визуальные граничные данные о трещинах на мяче для гольфа, имеющихся в этих вмятинах, или визуальные граничные данные с границы изображения о логотипе или особой метке, присутствующей на вмятинах на мяче.
На ФИГ. 8(c) приведены граничные данные, обнаруженные по вмятинам и логотипу на мяче.
В данном случае граничные параметр - это место, где яркость резко изменяется в рамках заданной зоны, а условия обнаружения граничных параметров могут быть заданы для обнаружения этих параметров на эталонном изображении, как показано на ФИГ. 8(c).
Граничные данные содержат информацию о координатах обнаруженных пикселей и граничном параметре интенсивности, выраженном яркостью каждого пикселя.
В настоящем изобретении характеристическая информация генерируется с помощью граничных параметров интенсивности, как показано на ФИГ. 8(d). Несмотря на то, что данные о координатах и граничных параметрах интенсивности всех пикселей, определенных как граничные параметры, можно использовать как характеристические, могут быть извлечены лишь некоторые из пикселей, соответствующие обнаруженному граничному параметру, а данные о координатах и граничные параметры интенсивности извлеченных пикселей могут быть сгенерированы как характеристические данные для разумного сокращения расчетов по вычислению вращения.
Для удобства на ФИГ. 8(d) часть, соответствующая характеристическим данным, показана как самая темная в окружности для визуального выражения этих данных, извлекаемых из обнаруженных граничных данных.
Пиксели, подлежащие генерированию в качестве характеристических данных, могут быть выбраны в зависимости от граничных параметров интенсивности, т.е., значений яркости пикселей, составляющих эти граничные параметры. Например, пиксели, граничные параметры интенсивности которых из обнаруженных граничных данных соответствуют заданному диапазону верхнего уровня, могут быть выбраны и использованы в качестве характеристических данных. Как вариант, может быть задан диапазон граничных параметров интенсивности, а пиксели с граничными параметрами интенсивности, соответствующие указанному диапазону, могут быть извлечены и использованы как характеристические данные. Диапазон граничных значений интенсивности может задаваться на основе повторяющихся испытаний и опытов.
Когда характеристические данные генерируются так, как описано выше, такие данные включают информацию о координатах пикселей, извлеченную на основе граничных значений интенсивности, и информацию о граничных значениях интенсивности пикселей.
В настоящем изобретении, первое изображение мяча и второе изображение мяча извлекаются из двух смежных непрерывно получаемых изображений движущегося мяча; первое эталонное изображение и второе эталонное изображение генерируются соответственно из первого изображения мяча и второго изображения мяча посредством предварительной обработки и нормализации; граничный параметр обнаруживается по второму эталонному изображению для генерирования вторых характеристических данных; а сходство между ними рассчитывается с помощью первых и вторых характеристических данных с целью принятия решения относительно окончательных данных о вращении.
В данном случае, вычисленное сходство может являться значением, основанным на заданной функции, которая может быть примером значения функции для определения того, является ли оно подходящим для данных об испытании в качестве окончательных, с использованием результата применения данных об испытании на вращение после выполнения испытаний на вращение по отношению к первым и вторым характеристическим данным.
ФИГ. 9(A) - представление, на котором приводится состояние, при котором первое эталонное изображение генерируется из первого изображения мяча, и граничный параметр, обнаруженный на первом эталонном изображении.
ФИГ. 9(c) - представление, на котором приводится состояние, при котором второе эталонное изображение генерируется из второго изображения мяча, и граничный параметр, обнаруженный на втором эталонном изображении.
ФИГ. 9(b) - представление, на котором приводятся первые характеристические данные, сгенерированные путем обнаружения пикселей, соответствующих заданному диапазону верхнего уровня, из данных об обнаруженных граничных параметрах, приведенных на ФИГ. 9(a) (самая темная часть окружности, показанной на ФИГ. 9(b)); а ФИГ. 9(d) - представление, на котором приводятся вторые характеристические данные, сгенерированные путем обнаружения пикселей, соответствующих заданному диапазону верхнего уровня, из данных об обнаруженных граничных параметрах, приведенных на ФИГ. 9(c) (самая темная часть окружности, показанной на ФИГ. 9(d)).
В настоящем изобретении, данные о вращении движущегося мяча рассчитываются с использованием первых характеристических данных, показанных на ФИГ. 9(b), и вторых характеристических данных, показанных на ФИГ. 9(d).
Когда первые и вторые характеристические данные подготавливаются так, как описано выше, выполняется процесс расчета данных о вращении движущегося мяча посредством вычислителя вращения с использованием первых и вторых характеристических данных.
То есть, что касается технологической схемы, показанной на ФИГ. 4, данные о положениях пикселей первых и вторых характеристических данных преобразуются в данные о трехмерном положении (S22), а данные о коррекции положения применяются к преобразованным данным о трехмерном положении (S24).
Впоследствии ось и величина вращения извлекаются и применяются к данным о трехмерном положении, преобразованным из первых характеристических данных (S26), данные о трехмерном положении, к которым применялись ось и величина вращения, преобразовываются в данные о двухмерном положении для генерирования «характеристических данных о вращении» (S28), а данные о трехмерном положении, преобразованные из вторых характеристических данных, преобразовываются в данные о двухмерном положении для генерирования «целевых характеристических данных» (S32).
Далее описываются процессы генерирования «характеристических данных о вращении» и «целевых характеристических данных».
Информацию о вращении мяча можно получить посредством расчета данных в отношении координат оси вращения в трехмерном пространстве на основе систем координат оси i, оси j и оси k и данных в отношении угла поворота по оси вращения, т.е. величины вращения, как показано на ФИГ. 10.
В дополнение к этому, как изображено на ФИГ. 10, вращательное движение в трехмерном пространстве может включать компоненты тангажа, крена и рыскания (например, только боковое вращение мяча в случае, если ось вращение совпадает с осью k, и только обратное или прямое вращение мяча в случае, если ось вращения совпадает с осью i). Исходя из предположения, что компонента вращения в направлении оси j-λ, а компонента вращения в направлении оси k-ρ, вектор вращения ω, который необходимо получить, можно выразить посредством Уравнения 1 ниже.
Данные в отношении оси вращения, выраженные посредством Уравнения 2 ниже, и данные в отношении величины вращения, выраженные посредством Уравнения 3 ниже, можно рассчитать исходя из вектора вращения ω. В следующих уравнениях α указывает данные в отношении величины вращения.
Следовательно, компонента вращения по рысканию θ, компонента вращения по крену λ и компонента вращения по тангажу ρ движущегося мяча могут определяться для расчета данных об оси вращения и данных о величине вращения.
Расчет данных об оси и величине вращения может выполняться посредством первых и вторых характеристических данных, показанных на ФИГ. 9(b) и 9(d).
В связи с этим в первую очередь необходимо корректировать данные о положениях пикселей, составляющих первые и вторые характеристические данные.
То есть, поскольку ось и величина вращения мяча на изображениях, получаемых камерой, наблюдаются по-разному на основе направления, в котором направлена камера, необходимо точно установить критерий и рассчитать абсолютные ось и величину вращения на основе этого критерия. В связи с этим данные о положении и направлении камеры корректируются для непрерывно получаемых изображений, как если бы камера следила за мячом в том же положении и была направлена в том же направлении для точного расчета данных о вращении мяча.
ФИГ. 11 и 12 - представления, на которых приводится принцип коррекции положения.
В воспринимающем устройстве и методе считывания данных по настоящему изобретению данные о вращении рассчитываются исходя из изменения положения пикселей, составляющих характеристические данные с использованием двух непрерывных изображений. Для точного расчета данных о вращение необходимо, чтобы камера следила за мячом в том же положении и была направлена в том же направлении в каждой паре непрерывных изображений, подлежащих анализу.
То есть, необходимо корректировать непрерывно получаемые изображения (стационарная камера записывает изображения движущегося мяча во время его съемки) так, если бы камера всегда следила за мячом в том же положении и была направлена в том же направлении при движении мяча.
На примере установки критерия для положения и направления камеры, направление, в котором камера следит за мячом вдоль компоненты вектора Bi, параллельной земле G и включенной в плоскость р, перпендикулярной компоненте вектора Bj в направлении, в котором летит мяч 10, когда он перемещается в направлении d, как показано на ФИГ. 11, может быть критерием.
То есть, необходимо генерировать данные коррекции положения для корректирования положения и направления камеры 10, как если бы камера следила за мячом вдоль вектора направления Bi, параллельного земле G и перпендикулярного вектору направления Bj, вдоль которого мяч 10 перемещается в каждом положении, захваченном камерой 110, в то время как мяч перемещается в направлении d, как показано на ФИГ. 12, а также применить сгенерированные данные коррекции положения для вычисления вращения.
Коррекция положения может выполняться путем корректировки угла камеры, которая направлена на мяч, используя данные о координатах стационарной камеры и данные о координатах центра мяча, которые уже известны. Фактически, вместо корректирования изображения, как описано выше, коррекция положения может выполняться путем применения данных об откорректированных сегментах координат положения пикселей, составляющих первые и вторые характеристические данные.
Кроме того, данные о положении пикселей, составляющих первые характеристические данные, преобразуются в данные о трехмерном положении, данные о коррекции положения, описанные выше, применяются к результатам, данные об оси и величине вращения в испытании применяются к результатам, и результаты преобразуются в данные о двухмерном положений, которые далее называются «характеристическими данными об испытании на вращение».
Данные о положении пикселей, составляющих вторые характеристические данные, преобразуются в данные о трехмерном положении, данные о коррекции положения, описанные выше, применяются к результатам, и результаты преобразуются в данные о двухмерном положении, которые далее называются «целевыми характеристическими данными».
Когда «характеристические данные об испытании на вращение» и «целевые характеристические данные» генерируются так, как описано выше, они сопоставляются друг с другом для вычисления степени, в которой они схожи друг с другом, т.е. сходство как значение согласно заданной функции (см. этап S34 в технологической схеме на ФИГ. 4).
Может быть выбрано максимальное значение вычисленного сходства или значение, которое превышает заданное эталонное значение вычисленного сходства, а данные об оси и величине вращения в испытании, применяемые к характеристическим данным об испытании на вращении на основе выбранного значения, могут быть определены как окончательные данные об оси и величине вращения в испытании (см. этап S36 в технологической схеме на ФИГ. 4).
В этом случае сходство между характеристическими данными об испытании на вращение и целевыми характеристическими данными может быть вычислено с помощью граничного параметра интенсивности каждого пикселя характеристических данных об испытании на вращение и граничного параметра интенсивности каждого пикселя целевых характеристических данных.
То есть, сходство можно вычислить как значение, которое показывает сходство, полученное из сопоставления между граничными параметрами интенсивности соответствующих пикселей характеристических данных об испытании на вращение и целевых характеристических данных согласно заданной функции.
Чтобы определить, является ли вычисленное значение сходства максимальным, необходимо применить ось и величину вращения в испытании несколько раз. Количество случаев применения оси и величины вращения в испытании можно задавать предварительно.
Как вариант, соответствующее эталонное значение сходства может быть задано на основе повторяющихся испытаний и опытов, а характеристические данные об испытании на вращение и целевые характеристические данные могут сопоставляться друг с другом. Если вычисленное значение сходства превышает эталонное значение, ось и величина вращения, применяемые к характеристическим данным об испытании на вращение, могут быть определены как окончательная ось и величина вращения.
В то же время, если ось вращения в испытании применяется на этапе S26 на ФИГ. 4, необходимо учитывать компоненты тангажа, крена и рыскания, как показано на ФИГ. 10, а это значит, что необходимо рассмотреть значительное количество случаев, чтобы получить ось и величину вращения в испытании. Впоследствии, диапазон ограничения может быть задан в разумных пределах. Даже если применяется величина вращения в испытании, диапазон ограничения также может быть задан в разумных пределах. Поскольку данные об оси и величине вращения в испытании получают в диапазоне ограничения, описанном выше, количество случаев можно сократить, при этом значительно снизив нагрузку вычисления. Таким образом, возможно вычисление быстрого вращения.
То есть, можно задать условия ограничения для получения оси и величины вращения в испытании с учетом кинетических свойств мяча и частоты кадров камеры, причем возможно вычисление быстрого вращения.
Когда по мячу для гольфа бьют клюшкой, среди трех компонент вращения, представленных на ФИГ. 9, компоненты вращения по тангажу и рысканию появляются отчетливо, но компонента вращения по крену не появляется или пренебрежимо мала.
Следовательно, когда происходит удар по мячу для гольфа, появляется лево- или правостороннее и прямое или обратное вращение, но компонента вращения по крену не появляется или пренебрежимо мала.
Поскольку ось вращения в испытании может быть выбрана с учетом компонент вращения по тангажу и рысканию, пренебрегая компонентой вращения по крену, то можно значительно сократить количество случаев для оси вращения в испытании.
В то же время, когда по мячу для гольфа ударяют клюшкой, этого недостаточно для вычисления степени вращения мяча из состояния мяча в одном кадре до состояния мяча в следующем кадре.
Таким образом, вращение мяча, по которому произвел удар пользователь, ограничено, а частота кадров камеры, которая получает изображения, также ограничена. Следовательно, количество случаев для величины вращения в испытании может быть ограничено.
Соответственно, можно задать диапазон ограничения оси и величины вращения в испытании, как описано выше, причем нагрузка вычисления снижается и, таким образом, возможно вычисление быстрого вращения.
При этом в описании выше данные о вращении вычисляются только с помощью двух непрерывно получаемых изображений. Более того, некоторые камеры могут получать большое количество покадровых изображений в секунду, начиная от нескольких десятков до нескольких тысяч покадровых изображений в секунду. Следовательно, как вариант, процесс вычисления вращения может выполняться на всех изображениях, непрерывно получаемых камерой, или только на некоторых из них.
Если первое и второе полученные изображения двух непрерывных изображений установлены на пару изображений, а процесс вычисления вращения выполняется на множестве пар изображений, множество фрагментов данных о вращении, вычисленных в процессе вычисления вращения, могут слегка отличаться друг от друга. Эти фрагменты данных о вращении могут объединяться согласно заданной функции (например, может быть вычислено среднее значение либо среднее значение некоторых фрагментов данных о вращении, имеющих наибольшее сходство), чтобы вычислить окончательные данные о вращении, а фрагменты таких данных, имеющие наибольшее сходство среди вычисленных фрагментов данных о вращении, могут быть выбраны в качестве окончательных.
[Вариант осуществления изобретения]
В лучшем варианте осуществления изобретения представлены различные примеры.
[Промышленная применимость]
Устройство и способ для измерения параметров движения мяча по настоящему изобретению применимы к отраслям, относящимся к практике игры в гольф, где выполняется анализ удара по мячу в зависимости от подачи пользователя, а также к так называемому видеогольфу, в котором пользователь может сыграть партию в гольф путем моделирования игры на основе виртуальной реальности.
Реферат
Изобретение относится к устройствам и способам для определения параметров движения мяча и вычисления данных о его вращении. Техническим результатом изобретения является возможность быстро и точно вычислять вращение движущегося мяча без нанесения особого маркера на мяч. Для реализации технического результата в изобретении имеется устройство получения изображения, процессор, вычислитель вращения, а в способе предусмотрены возможности непрерывного получения изображения движущегося мяча и обработки изображений для генерирования характеристических данных для вычисления данных о вращении движущегося мяча. 2 н. и 12 з.п. ф-лы, 12 ил.
