Оптико-электронный стереоскопический дальномер - RU2579532C2
Код документа: RU2579532C2
Чертежи
Описание
Изобретение относится к приборам для измерения дальности, а именно к измерителям расстояний с помощью параллактического треугольника с переменными углами и основанием определенной длины, расположенного в точке наблюдения.
Зрение двумя глазами (стереоскопическое зрение) позволяет человеку измерять расстояние пассивным способом на основе стереоскопического базового (параллаксного) способа (далее стереоскопический способ). Этот же способ положен в основу работы оптических дальномеров. Это артиллерийские стереоскопические дальномеры ДСП-30 (база 0,3 м), ДС-0,9, ДС-1, ДС-2 (база 0,9, 1,0 и 2,0 м соответственно) и зенитные дальномеры типа ЗДН и др. База приборов значительно увеличена по сравнению с базой глаз.
Развитие науки и техники позволило данный способ определения дальности реализовывать на современных оптико-электронных устройствах, например, цифровых камерах разнесенных на известное расстояние друг от друга.
На фиг. 1 приведен стереоскопический способ измерения дальности, адаптированный к измерительной системе, состоящей из двух цифровых камер, где Ц - объект интереса; CCD1 и CCD2 - матрицы фоточувствительных элементов разрешением N×M элементов, так как на сегодня широкое распространение получили ПЗС-матрицы, то далее по тексту CCD1 и CCD2 будут позиционироваться как ПЗС-матрицы; I1, I2 - главные оптические оси объективов камер; O1, О2 - оптические центры объективов; O′1, О′2 - геометрические центры матриц CCD1 и CCD2; Ц′1, Ц′2 - центры изображения объекта Ц в поле матриц CCD1 и CCD2, В - база (базисное расстояние), равная расстоянию от точки O1 до О2; lГ1, lГ2 - горизонтальные расстояния от центров О′1, О′2 матриц CCD1 и CCD2 до изображений Ц′1, Ц′2 (примем lГ1, lГ2>0, если изображения Ц′1, Ц′2 расположены выше геометрических центров O′1, О′2 матриц CCD1 и CCD2, и lГ1, lГ2<0 - если ниже. Соответственно, lГ1, lГ2=0 в случае совпадения изображений Ц′1, Ц′2 с центрами О′1, О′2 матриц CCD1 и CCD2);
Дальность D до объекта Ц определяется по величинам параллакса γ2, базы прибора В и фокусного расстояния объективов
где ΔlГ=lГ1-lГ2 - горизонтальное смещение (разность положений) изображений объекта интереса Ц в полях матриц CCD1 и CCD2, поскольку величина ΔlГ пропорциональна параллактическому углу γ2, то величину ΔlГ иногда называют линейным параллаксом.
Величина Δl в цифровых системах может быть найдена как разность смещений lГ1-lГ2 приведенная к количеству пикселей ПЗС-матрицы и их линейному размеру, тогда
ΔlГ=lP(n1-n2),
где lP - линейный размер пикселя, n1, n2 - порядковые номера пикселей (номера столбцов), соответствующие положению изображений на ПЗС-матрицах.
Из предшествующего уровня техники известно большое число разновидностей устройств, решающих задачу по измерению дальности до объектов на основе стереоскопического способа.
Аналогом предлагаемому устройству является оптический дальномер с внутренней базой (С.Г. Бабушкин и др. Оптико-механические приборы. - М.: Машиностроение, 1965, с. 306-339). Данный дальномер имеет две идентичные оптические приемные системы, оптические оси которых разнесены на базовое расстояние В. В приборе строятся два изображения объекта и путем их совмещения измеряется параллактический угол между ними, являющийся мерой измеряемого расстояния. Основными недостатками оптического дальномера являются: низкая абсолютная и относительная точность измерений, вызванная малой угловой чувствительностью человеческого глаза; необходимость человека-оператора для осуществления сложного алгоритма совмещения двух изображений, субъективные ошибки оператора и низкая скорость измерений.
Близким к предлагаемому устройству является устройство, построенное на основе способа измерения расстояний до объектов (US Patent №5432594, G01C 3/00, 1995), обладающее осью симметрии, с использованием двух цифровых фотокамер, разнесенных в пространстве по горизонтали на известное расстояние. На фотокамерах формируются два цифровых изображения измеряемого объекта. На каждом изображении формируется окно шириной, равной размеру объекта. Затем вычисляется оценочная функция между двумя изображениями объекта, находящегося в выделенном окне, причем одно изображение последовательно сдвигается по горизонтали относительно другого. По минимальному значению оценочной функции определяется сдвиг между изображениями объекта. Дальность до объекта определяется по сдвигу между изображениями, при этом необходимо знать расстояние между фотокамерами и фокусное расстояние объективов камер. Недостатком этого способа является низкая точность измерения дальности, обусловленная тем, что при вычислении дальности в системе не учитывается возможное отклонение от горизонтальной линии положения двух цифровых фотокамер, разнесенных в пространстве по горизонтали на известное расстояние, а также тем, что сдвиг между изображениями на фотоприемной матрице определяется только с точностью до одного пикселя.
В качестве прототипа выбран измеритель расстояний на основе цифрового фотоаппарата, построенный по способу (Патент RU №2485443 C1, G01C 3/08, G01S 11/12, 2011 г.), включающему получение двух цифровых изображений объекта с использованием двух фотокамер, разнесенных по горизонтали на известное расстояние. Дальность до объекта определяется по сдвигу между изображениями по горизонтальной оси. Размер сканирующего окна сизображением объекта выбирают так, чтобы разность расстояний до отдельных фрагментов объекта была меньше инструментального разрешения по дальности. Осуществляют сканирование по горизонтали и вертикали, сдвиг между изображениями определяют по положению максимального значения двухмерной нормированной корреляционной функции. Уточняют положение максимума корреляционной функции в субпиксельном диапазоне и осуществляют локализацию максимума между узлом сетки с наибольшим значением корреляционной функции и его соседними узлами. Определяют дальность и размеры объекта. Дальность до выделенной области объекта определяют из выражения, учитывающего отклонение от горизонтальной линии положения двух цифровых фотокамер
где В - расстояние между точками фотографирования в пространстве,
Недостатки прототипа поясняются следующим.
Анализ выражений (1) и (2) показывает, что для обеспечения работоспособности устройства измерения дальности, реализующего стереоскопический способ необходимо, чтобы в нем были применены две идентичные камеры, что накладывает определенные ограничения на техническую реализацию, связанную с необходимостью подбора камер с одинаковыми техническими данными.
Если стереоскопическая система определения дальности идеально откалибрована в плоскости измерений, т.е. обеспечена строгая параллельность оптических осей камер, входящих в состав измерительной системы, что на практике обеспечить очень сложно, то рабочую зону, т.е. зону пересечения полей зрений используемых камер, как показано на геометрической модели, представленной на фиг. 2, условно можно представить в виде совокупности четырехугольников образованных при пересечении полей зрения отдельных элементов фоточувствительного приемника высокого разрешения, например пикселей ПЗС-матриц.
На фиг. 2 ПЗС-матрицы CCD1 и CCD2 для наглядности представлены состоящими из девяти пикселей. Размеры четырехугольников определяют величину ошибки определения дальности измерительной системы. В месте с тем, как следует из выражений (1) и (2), в пределах рабочей зоны можно отобразить линии равных смещений, т.е. линий при нахождении в любой из точек которых объекта, до которого определяется дальность, смещение ΔlГ будет неизменно. Так, например, как показано на фиг. 2, при нахождении объекта интереса в любой из точек, принадлежащих линии Δn=2, например в точках Ц1 и Ц2, смещение изображений всегда будет равно двум линейным размерам пикселя.
Из этого следует, что дальность до объекта определяется как расстояние по перпендикуляру от базовой линии О1О2. Это условие всегда необходимо учитывать, особенно в тех случаях, когда измерение дальности проводится до различных объектов относительно одной точки на местности, в которой установлена измерительная система. Чтобы не проводить лишних математических преобразований с полученными значениями дальностей измерительную систему необходимо наводить на объект интереса, так чтобы он находился по крайней мере вблизи от оптических линий I1, I2 объективов измерительной системы, что снижает удобство пользования и увеличивает время на процесс измерения дальности, особенно в тех случаях, когда объектов интереса несколько и все они расположены в разных областях поля зрения.
Ясно, что в тех случаях, когда целью ставится проведение измерений дальности до различных объектов относительно одной точки на местности, в которой и установлена измерительная система, удобнее пользоваться системой, не требующей изменения ее положения в пространстве после каждого из измерений, что, в свою очередь, приведет к сокращению суммарного времени на все измерения. Данное обстоятельство иллюстрируется фиг. 3, где показаны две видеокамеры, поля их зрения, рабочая зона, образованная пересечением полей зрения обеих камер, объекты интереса Ц1, Ц2 и Ц3. Видно, что если измерительная система не наводится на объекты Ц1, Ц2 и Ц3, то дальности до этих объектов относительно базовой линии, соответственно, будут равны D1, D2 и D3, а относительно места расположения измерительной системы, в данном случае совпадающей с оптическим центром объектива O1 левой камеры, дальности составят D′1, D′2 и D′3, и что только для объекта Ц1, находящегося на оптической оси объектива левой камеры выполнится условие D′1=D1.
Кроме перечисленных недостатков, стереоскопическая система определения дальности, реализующая стереоскопический базовый способ по формулам (1) или (2), обладает тем недостатком, что при невыполнении условия параллельности оптических осей объективов используемых камер линии с одинаковыми смещениями принимают вид близкий к дуге (Фиг. 4), что приводит к неоднозначности в определении дальности относительно базовой линии О1О2 и возникновению ошибок. При этом ошибка в определении дальности будет тем больше, чем больше нарушено условие параллельности оптических осей. Так из геометрической модели, представленной на фиг. 4, видно, что и до объекта Ц1 и до объекта Ц2 дальности относительно базовой линии О1О2 составят D1, D2, при этом D1≠D2, хотя из выражений (1) или (2) следует что дальности D1 и D2 должны быть равны, так как объекты Ц1 и Ц2 находятся на линии с одинаковыми смещениями изображений во всех ее точках.
Для устранения этого недостатка камеры перед началом работы ориентируют (калибруют измерительную систему) до устранения непараллельности оптических осей, что требует времени и снижает удобство пользования измерительной системой. Кроме этого, на измерительную систему может воздействовать окружающая среда, например, температура и влажность, которые могут повлиять на форму базы и привести к нарушению параллельности оптических осей камер.
Стереоскопическая система определения дальности, реализующая стереоскопический способ по формулам (1) или (2) имеет минимальную и максимальную дальности работы в пределах которых возможно определение расстояний до объектов, например, на фиг. 2 минимальной дальности соответствует расстояние до объекта, определяемое по максимально возможному смещению изображений, будет соответствовать положению линии Δn=8, а максимальная дальность - минимально возможному смещению изображений - Δn=0 (на фиг. 2 не показано). Увеличение максимальной дальности работы можно обеспечить за счет увеличения базы, фокусных расстояний объективов или уменьшения линейных размеров пикселей. Однако, это приведет к увеличению минимальной дальности работы. И наоборот, уменьшение минимальной дальности работы приведет к уменьшению и максимальной дальности работы. Изменение параметров рабочей зоны, а именно ее ширины, минимального и максимального отстояния объекта от измерительной системы, в пределах которых возможно определение дальности, в зависимости от решаемых задач и условий применения без изменения базы и характеристик применяемых камер, можно решить за счет изменения ориентации камер в плоскости измерений, что, в свою очередь, приведет к неправильному определению дальности, как было показано выше.
Задачи, на решение которых направлено заявленное техническое решение, заключаются в расширении арсенала технических средств в данной области, а также:
Во-первых, в обеспечении измерения дальности до объектов в условиях непараллельности оптических осей левой и правой камер. Данная задача достигается компенсацией смещений изображений объектов на изображениях левой и правой камер на величины горизонтальных углов, определяющих угловое положение оптических осей объективов применяемых камер, по следующим выражениям
где l′Г1, l′Г2 - скомпенсированные значения горизонтальных смещений объектов, до которых измеряется дальность относительно центров изображений, полученных с левой и правой камер;
α1, α2 - углы в горизонтальной плоскости, под которыми оптические оси левой и правой камер находятся к нормали к базовой линии в точках оптических центров левой и правой камер.
Техническим результатом является возможность изменения параметров рабочей зоны, а именно, ее ширины, минимального и максимального отстояния объектов от дальномера, в пределах которых возможно определение дальностей, в зависимости от решаемых задач и условий применения без изменения технических данных используемых камер путем размещения левой и правой камер на независимых кардановых подвесах, обеспечивающих изменение взаимного углового положения этих камер;
Во-вторых, в реализации измерения дальностей до всех объектов независимо от их расположения в рабочей зоне как определение длин отрезков, соединяющих оптический центр объектива левой камеры с соответствующим объектом. Данная задача при измерении дальности достигается учетом скомпенсированных значений вертикального и горизонтального углов относительно оптической оси, под которыми изображения от объектов попадают в объектив левой камеры
где β1 - угол в вертикальной плоскости, под которым оптическая ось левой камеры находится к нормали к базовой линии в точке оптического центра в плоскости измерений;
γ′1 - скомпенсированное на величину угла α1 значение горизонтального угла γ1, под которым изображение от объекта попадает в объектив левой камеры относительно его оптической оси I1;
δ′1 - скомпенсированное на величину угла β1 значение вертикального угла δ1, под которым изображение от объекта попадает в объектив левой камеры относительно его оптической оси I1.
Техническим результатом, в данном случае, является уменьшение суммарного времени на измерения дальностей до объектов, находящихся в рабочей зоне, за счет отсутствия необходимости последовательного наведения оптических осей дальномера на эти объекты;
В-третьих, в обеспечении измерения дальностей до объектов, когда левая и правая камеры имеют как одинаковые, так и различные технические данные, а именно фокусные расстояния объективов и параметры фоточувствительных приемников высокого разрешения. Данная задача достигается учетом линейных размеров элементов фоточувствительных приемников высокого разрешения отдельно для левой и правой камер и тем, что при вычислении дальностей применяется выражение, учитывающее фокусные расстояния объективов левой и правой камер
где
В - базисное расстояние дальномера.
Техническим результатом является упрощение технической реализации дальномера, заключающееся в отсутствии необходимости осуществления подбора по техническим данным двух идентичные камер;
В-четвертых, в автоматическом определении взаимного углового положения левой и правой камер в пространстве. Данная задача достигается применением в составе кардановых подвесов левой и правой камер датчиков горизонтальных и вертикальных углов, а также наличием в составе обрабатывающей системы модуля калибровки по калибровочному шаблону с известными размерами.
В этом случае техническим результатом является уменьшение времени на предварительную настройку дальномера за счет отсутствия необходимости приведения оптических осей объективов правой и левой камер к параллельному состоянию в пространстве.
На фиг. 5 показан пример выполнения оптико-электронного стереоскопического дальномера.
Оптико-электронный стереоскопический дальномер содержит захватное устройство 1 и вычислительный блок 2.
Захватное устройство 1 обеспечивает возможность захвата пользователем 3 стереоизображений объектов интереса. Захватное устройство 1 содержит левую камеру 4 и правую камеру 5. Левая камера 4 и правая камера 5 являются, например, цифровыми камерами с точечной диафрагмой, каждая из которых установлена на внутренней раме своего карданова подвеса, который содержит внешнюю 8 и 9 и внутреннюю рамы 6 и 7, на осях которых установлены датчики угла поворота рам подвеса 10, 11, 12 и 13. Левая камера 4 и правая камера 5, датчики угла поворота рам подвеса 10, 11, 12 и 13 выполнены с возможностью передачи в вычислительный блок видеоданных и данных об пространственной ориентации камер 4 и 5 через кабели 14-19 универсальной последовательной шины (USB).
Захватное устройство может быть выполнено в переносном варианте, когда левая и правая камера вместе с кардановыми подвесами и датчиками углов размещаются на основном стержне 20, который является достаточно жестким для ограничения изгиба. Например, основной стержень может быть выполнен из легкого материала, такого как пластик, или другого подходящего материала. Кроме этого, захватное устройство может быть выполнено как часть наземного, надводного или воздушного подвижных средств, например, таких как автомобиль, самолет, вертолет, катер, корабль и т.п. В этом случае роль основного стержня будет выполнять жесткий корпус подвижного средства.
На фиг. 6 показана геометрическая модель для определения дальности D до объекта интереса Ц в системе координат XYZ, являющейся системой координат захватного устройства. Для упрощения иллюстрации предполагается, что камеры 4 и 5 состоят из фоточувствительных элементов высокого разрешения, например ПЗС-матриц CCD1 и CCD2, и линз 27 и 28, выполняющих роль объективов, с оптическими осями I1, I2 и оптическими центрами в точках O1 и О2. Геометрические центры О′1 и О′2 матриц CCD1 и CCD2 находятся соответственно на оптических осях I1, I2 линз 27 и 28. Плоскость, в которой находится ПЗС-матрица CCD1 параллельна плоскости x1y1, в которой лежит линза 27, и отстоит от нее на величину фокусного расстояния
Цифровые изображения 29 и 30, поступающие с ПСЗ-матриц CCD1 и CCD2, состоят из пикселей, и каждый пиксель характеризуется значением, которое состоит из полутонового значения или цветового значения. В полутоновых изображениях значение пикселя представляет собой одну величину, которая характеризует яркость пикселя. Наиболее общим форматом описания пикселя является байт изображения, в котором значение пикселя представлено 8-разрядным целым числом, лежащим в диапазоне возможных значений от 0 до 255. Как правило, значение пикселя, равное нулю, используют для обозначения черного пикселя, а значение 255 используют для обозначения белого пикселя. Промежуточные значения описывают различные полутоновые оттенки. В цветных изображениях для описания каждого пикселя (расположенного в цветовом пространстве размерности RGB - красный, зеленый, синий) должны быть отдельно определены красная, зеленая и синяя компоненты. Иными словами, значение пикселя фактически представляет собой вектор, описанный тремя числами. Три различные компоненты могут быть сохранены как три отдельных полутоновых изображения, известные как цветовые плоскости (по одной для красного, зеленого и синего цветов), которые можно воссоединять при отображении или при обработке.
Вычислительный блок 2 включает пользовательский интерфейс 21 и обрабатывающую систему 24 (фиг. 5).
Пользовательский интерфейс 21 обеспечивает выбор пользователем 3 изображений и/или ввод команд обработки. Команды обработки содержат, например, команды на прием видеоданных от захватного устройства 1, команды на указание объектов интереса, команды на запуск измерения дальности до указанных объектов. Пользовательский интерфейс 21 содержит дисплей 23, такой как жидкокристаллический (ЖК) монитор, для просмотра видеоданных и устройство управления и ввода данных 22, такое как клавиатура или указательное устройство (например, мышь, шаровой указатель, стилус, сенсорная панель или другое устройство), для обеспечения взаимодействия пользователя 3 с видеоданными.
На фиг. 7 показан пример выполнения обрабатывающей системы 24.
Обрабатывающая система 24 содержит измерительное приложение 25, память 26 для хранения данных, размещенные на машиночитаемом носителе 31. Обрабатывающая система 24 является удаленным компьютером, таким как ноутбук или персональный компьютер (рабочая станция).
Машиночитаемый носитель 31 может включать энергозависимые носители, энергонезависимые носители, съемные носители и несъемные носители, а также может быть любой доступной средой, к которой может иметь доступ универсальное вычислительное устройство. Неограничивающие примеры машиночитаемого носителя 31 могут включать компьютерные накопители и среды передачи данных. Компьютерные накопители дополнительно могут включать энергозависимые, энергонезависимые, съемные и несъемные носители, осуществленные любым способом или с помощью любой технологии хранения информации, например машиночитаемые инструкции, структуры данных, программные модули или другие данные. Среды передачи данных обычно могут реализовывать машиночитаемые инструкции, структуры данных, программные модули или другие данные в модулированном сигнале данных, таком как несущая частота, или в другом механизме передачи, и могут включать любые носители для передачи информации. Специалистам известны модулированные сигналы данных, которые могут иметь по меньшей мере один набор характеристик или могут быть изменены таким способом, который обеспечивает возможность кодирования информации в сигнале. Проводные носители, такие как проводная сеть или прямое проводное соединение, и беспроводные носители, такие как акустические, радиочастотные, инфракрасные и другие беспроводные носители, предполагаемые для использования со стереоскопическим оптико-электронным дальномером, являются примерами сред передачи данных, описанных выше. Комбинации любых вышеуказанных носителей также относятся к машиночитаемым носителям, описанным выше.
Модуль памяти 26 выполнен с возможностью хранения обрабатываемой пары 32 изображений 29 и 30 (фиг. 6), данных 33 положения объектов, т.е. данных, содержащих необходимую информации о положении указанных пользователем объектов или их частей на изображении 29 (фиг. 6), данных 34 калибровки, т.е. данных, полученных в ходе калибровки захватного устройства, данных 35 собственных, т.е. данных о базисном расстоянии, фокусных расстояниях объективов и линейных размерах пикселей ПЗС-матриц камер 4 и 5 (фиг. 5), значения углов, полученные с датчиков 10-13 углового положения рам кардановых подвесов.
Измерительное приложение 25 содержит исполняемые модули или команды, выполненные с возможностью исполнения по меньшей мере одним процессором и обеспечивающие обработку видеоданных, получение точных измерительных данных о дальностях до указанных пользователем 3 (фиг. 5) объектов и отображение стереоизображений обрабатывающей системой 24.
Модуль 36 сбора данных выполнен с возможностью приема данных от захватного устройства 1 (фиг. 5). Например, когда проводные соединения 14-19 соединяют захватное устройство 1 с обрабатывающей системой 24, модуль 36 сбора данных обнаруживает проводные соединения 14-19 и принимает левое 29 и правое 30 изображения от захватного устройства 1, данные с датчиков угла поворота рам подвеса 10, 11, 12 и 13 и передает их для хранения в память 26.
Модуль 37 калибровки выполнен с возможностью определения данных 34 о калибровке захватного устройства 1, включающей определение точного действительного взаимного расположения оптических осей левой 4 и правой 5 камер относительно общего элемента на калибровочном шаблоне для установки начала отсчета координат датчиков угла поворота рам подвеса и фокусных расстояний объективов левой и правой камер.
Калибровка представляет собой процесс соотнесения идеальной модели камеры с фактическим физическим устройством и определение положения и ориентации камеры относительно системы координат захватного устройства.
Углы α1, α2 и β1, β2, фокусные расстояния объективов
Углы отклонения оптических осей камер и фокусные расстояния их объективов, полученные в процессе калибровки, сравниваются с соответствующими углами, полученными с датчиков угла поворота рам подвеса и собственными данными, если есть несовпадение, то в памяти 26 в данных 34 калибровки сохраняются поправки.
Калибровку выполняют во время завершающих этапов процесса изготовления захватного устройства 1, например, после его сборки и проверки работоспособности. Дополнительно калибровку выполняют непосредственно перед захватом изображений конкретного объекта, дальность до которого необходимо получить в условиях окружающей среды, которые могут повлиять на форму захватного устройства 1 (например, из-за сокращения или расширения материалов) и, соответственно, на расположение камер 4 и 5 относительно захватного устройства.
Модуль 38 пользовательского интерфейса выполнен с возможностью создания формы 52 управления изображением (фиг. 8) для отображения через дисплей 23 (фиг. 5) и содержит модули, позволяющие пользователю 3 через устройство 22 управления и ввода данных взаимодействовать с измерительным приложением 25.
Форма 52 управления изображением содержит различные виды, которые обеспечивают возможность отображения видеоданных, взаимодействие пользователя с видеоданными и указания объектов, до которых необходимо измерить дальность.
На фиг. 8 показан вариант экрана формы 52 управления изображением, отображенном на дисплее 23. Пользователь 3 взаимодействует с формой 52 управления изображением с использованием устройства ввода данных (например, устройства 22 управления и ввода данных) для выбора и изменения значения соответствующего элемента управления.
На фиг. 8 позициям 53-72 соответствуют следующие элементы управления: 53 - активное окно, куда выводится выбранное пользователем изображение поля зрения левой или правой камеры; 66 - элементы выбора левой и правой камеры из списка подключенных камер; 65 - элемент отображения данных о выводимом изображении; 62, 63, 64 - элементы ввода собственных данных, а именно линейных размеров пикселя ПЗС-матриц используемых камер, фокусных значений объективов, базисного расстояния захватного устройства; 61 - элемент включения модуля 37 калибровки дальномера (фиг. 7), 60 - вывода дальности до калибровочного шаблона; 55 - выбора камеры, от которой выводится изображение на активное окно 53; 56 - управления увеличением выводимого изображения; 57 - управления формами рамок 67-70, показывающими положения объектов (или их частей) на изображении, до которых измеряется дальности, 58 - элемент управления размерами рамок положения объектов 67-70; 59 - элемент включения модуля 42 дальностей измерительного приложения 25 (фиг. 7).
Все объекты, указанные пользователем в активном окне 52, маркируются рамками 67-70, охватывающими интересующий объект или его часть. Ниже рядом с рамками объектов выводится полученное значение дальности до этих объектов, или выводится сообщение об ошибке, если изображение объекта не найдено на изображении 30 правой камеры 5 (фиг. 6), или если объект интереса находится за пределами максимальной дальности работы дальномера.
Дополнительно в активном окне 53 выводятся действующие значения 71, 72 вертикальных и горизонтальных углов рам подвеса для левой и правой камер.
Модуль указания объектов интереса 39 (фиг. 7) принимает от пользователя 3 данные о положении объекта, до которого необходимо измерить дальность, на изображении левой камеры. Как показано на фигуре 9, данные о положении объекта включают смещения lB1 и lГ1 относительно центра O′1 изображения 29 и размеры рамки 73 по горизонту zГ и вертикали zB. Данные о положении объекта сохраняются в памяти 26 в данных 33 положения объектов.
Модуль 40 оверлейных маркеров принимает данные положения объектов из памяти и маркирует на изображениях 29 и 30 указанные пользователем 3 и найденные в процессе расчета дальности изображения объектов интереса.
Модуль 41 ввода собственных данных принимает от пользователя данные о базисном расстоянии захватного устройства 1, величинах фокусных расстояний
Модуль 42 дальностей содержит команды и модули, обеспечивающие возможность проведения точных измерений дальностей до указанных пользователем объектов. Модуль 42 дальностей включается по отклику пользовательского интерфейса на команду пользователя на измерение дальности.
Модуль 43 кадрирования выполнен с возможностью определения размеров и координат области поиска 74 (фиг. 9) изображения Ц′2 объекта интереса Ц на изображении 30 и предназначен для повышения быстродействия и надежности определения объекта на изображении модулем дальности 42 за счет того, что в процессе нахождения координат изображения Ц′2 объекта интереса Ц на изображении 30 анализируется не все изображение, а только его часть, т.е. область поиска 74, содержащая изображение Ц′2 объекта интереса Ц.
Модуль 43 кадрирования принимает из памяти пару изображений 32, данные 33 положения объектов, данные 35 собственные, определяет проводилась ли дополнительная калибровка, если проводилась, то из памяти принимаются скорректированные значения углов от датчиков углов поворота рам подвеса и значения фокусных расстояний объективов левой и правой камер, вычисляет коэффициент масштабирования изображения
предназначенный для приведения изображения 29 и 30 к единому масштабу в случае применения камер с разными фокусными расстояниями объективов.
По полученным данным модуль 43 кадрирования производит кадрирование левого и правого изображения, при этом на левом изображении 29 по данным положения кадрируется отдельно каждый из указанных пользователем объект интереса, а на изображении 30, полученном с правой камеры 5 на основе данных 34 калибровки или данных 35 собственных кадрируется область поиска 74 для каждого из указанных пользователем объектов интереса.
Данные о положении объекта на изображении 29 левой камеры 4 и его размерах, задаваемые пользователем 3, т.е. lB1, lГ1, zB, zГ принимаются из данных 33 положения объектов. При этом вертикальное lB1 и горизонтальные lГ1 смещения относительно центра O′1 изображения 29 будут составлять
где lP1 - линейный размер пикселя ПЗС-матрицы левой камеры;
Δn1, Δm1 - соответственно горизонтальное и вертикальное смещения изображения Ц′1 относительно центра O′1 изображения 29, выраженные в количестве пикселей.
Размер области 74 (фиг. 9) поиска по вертикали определяется по выражению
по горизонтали - от левого края изображения 30 вправо - на величину ΔГ от центра О′2 изображения 30. Величина ΔГ определяется как
где Δα - разность горизонтальных углов оптических осей левой и правой камер, полученная от датчиков 12, 13 углов поворота рам подвеса.
Таким образом, горизонтальный размер области поиска составит
где N - разрешение изображения 30 по горизонтали;
lP2 - линейный размер пикселя ПЗС-матрицы правой камеры.
По вертикали центральная линия области поиска будет отстоять от центра О′2 изображения 30 на величину lB2, определяющую смещение изображения объекта Ц′2 относительно центра О′2
где
Δβ - разность вертикальных углов оптических осей левой и правой камер, полученная от датчиков 10, 11 углов поворота рам подвеса.
Модуль 44 изменения разрешения (фиг. 7) выполнен с возможностью обработки области 73 положения объекта и области поиска 74 (фиг. 9) путем применения операций изменения разрешения, например, на основе применения алгоритмов интерполяции.
Изменение разрешения области 74 поиска осуществляется в сторону увеличения в четыре раза в горизонтальной плоскости изображения. Таким образом, размер области поиска по горизонту составит
Разрешение области 73 положения объекта по вертикали приводится к разрешению области 74 поиска до z′В, по горизонтали - до z′″Г, определяемому по выражению
На фиг. 9 иллюстрируется порядок кадрирования и изменения разрешения левого и правого изображений.
Модуль 45 выполнен с возможностью повышения резкости, принимаемых от модуля 44 изменения разрешения области 73 положения объекта и области 74 поиска, например, путем применения оконного фильтра
и предназначен для уменьшения эффекта размытия, возникающего при увеличении разрешения изображения.
Модуль 46 сканирования производит последовательное кадрирование области 74 поиска окном 75 с размерами по горизонтали z′″Г и вертикали z′В, соответствующим размерам области 73 положения объекта после увеличения разрешения, шагом в один цифровой разряд, соответствующий одной четвертой пикселя изображения 30, при этом на каждом шаге сканирования модуль 46 сканирования передает скадрированные участки области 74 поиска в модуль 47 корреляции.
Таким образом, применение операций изменения разрешения изображений позволяет уменьшить шаг сканирования до одной четвертой пикселя, что способствует нахождению смещения lГ2, определяющих положение объекта интереса на изображении 30 камеры 5, с точностью до десятых долей размера lP2 пикселя ПЗС-матрицы правой камеры, благодаря чему повышается точность измерения дальности.
Модуль 47 корреляции производит вычисление нормированной двумерной корреляционной функции между областью 73 положения объекта интереса и каждым из поступающих из модуля 46 сканирования участков области 74 поиска. Каждое из полученных значений корреляционной функции при последовательном сканировании области поиска сохраняется в массив.
Модуль 48 принимает из модуля корреляции массив значений корреляционной функции и определяет порядковый номер максимального значения. Участок области поиска 74, соответствующий максимуму корреляционной функции, определяет положение изображения Ц′2 объекта интереса Ц. При полном совпадении изображений нормированная корреляционная функция будет равна единице.
Модуль 49 смещений на основе координат положения области 74 поиска на изображении 30 переводит координаты максимума корреляционной функции в смещение lГ2 изображения объекта Ц′2 на изображении 30 относительно центра О′2 по следующему выражению
где Δn′2 - смещение изображения объекта Ц′2 относительно центра О′2 изображения 30, выраженное в количестве пикселей области поиска после применения операции увеличения разрешения;
lP2 - линейный размер пикселя ПЗС-матрицы правой камеры.
Модуль 50 компенсирует горизонтальные смещения lГ1 и lГ2 на величину углов α1 и α2 по следующим выражениям
где l′Г1, l′Г2 - скомпенсированные значения горизонтальных смещений объектов, до которых измеряется дальность относительно центров O′1 и О′2 изображений 29 и 30.
Компенсация горизонтальных смещений позволяет измерять дальность до объектов, указанных пользователем, когда оптические оси I1 и I2 не параллельны, а находятся под произвольными углами α1 и α2 к системе координат захватного устройства.
Кроме этого в модуле 50 компенсации смещений вычисляются скомпенсированные значения углов вхождения изображения от объекта к оптической оси I1 левой камеры по следующим выражениям
Где γ′1 - скомпенсированное на величину угла α1 значение горизонтального угла, под которым изображение от объекта входит в объектив левой камеры относительно его оптической оси I1.
δ′1 - скомпенсированное на величину угла β1 значение вертикального угла, под которым изображение от объекта входит в объектив левой камеры относительно его оптической оси I1.
Вычисление углов γ′1, δ′1 позволяет измерять дальность до объектов как определение длин отрезков линии О1Ц, показанную на фиг. 6, связывающую оптический центр объектива левой камеры и непосредственно объект, до которого измеряется дальность, и не лежащую в плоскостях системы координат захватного устройства.
Модуль 51 вычисления дальностей на основе рассчитанных смещений l′Г1, l′Г2, углов γ′1, δ′Г2, а также собственных данных 35, полученных из памяти 26, выполняет вычисление дальности до указанного пользователем объекта по следующему выражению
Выражение (17) в совокупности со скомпенсированными горизонтальными смещениями l′Г1, l′Г2 и углами γ′1, δ′1 позволяет вычислять дальность до произвольно расположенного объекта оптико-электронным стереоскопическим дальномером, в котором используются камеры как с одинаковыми так и с разными фокусными расстояниями
Рассчитанные значения дальности сохраняются в данных 33 положения объектов в памяти 26.
Изобретение поясняется чертежами, которые не охватывают и тем более не ограничивают весь объем притязаний данного изобретения, а являются лишь иллюстрирующими материалами частного случая выполнения.
На фиг. 1 показана геометрическая модель стереоскопического способа измерения дальности.
На фиг. 2 на геометрической модели показаны линии равных смещений, в пределах которых до всех объектов измеренные дальности будут равны.
На фиг. 3 иллюстрируется необходимость наведения оптических осей камер стереоскопического дальномера на интересующий объект.
На фиг. 4 на геометрической модели иллюстрируется изменение геометрии линий равных смещений, за счет чего будут возникать неоднозначность результата и ошибки определения дальности.
На фиг. 5 показана блок-схема выполнения оптико-электронного стереоскопического дальномера.
На фиг. 6 показана геометрическая модель захватного устройства.
На фиг. 7 показана блок-схема обрабатывающей системы.
На фиг. 8 показан экран формы управления изображениями.
На фиг. 9 иллюстрируется определение положения и размеров области поиска, и изменение разрешения области поиска и области положения объекта.
Оптико-электронный стереоскопический дальномер работает следующим образом.
При подключении захватного устройства 1 к обрабатывающей системе 2 (фиг. 5) измерительное приложение 25 по средствам модуля 36 сбора данных (фиг. 7), обнаруживает проводные соединения 14-19 (фиг. 5) и принимает левое 29 и правое 30 изображения (фиг. 6), считывает данные с датчиков угла поворота рам подвеса 10, 11, 12 и 13 и сохраняет их в памяти 26.
Пользователь 3, взаимодействуя через устройство 22 управления и ввода данных (фиг. 5) с формой 52 управления изображением (фиг. 8) вводит собственные данные 35 (фиг. 7), т.е. фокусные расстояния объективов, линейные размеры пикселей ПЗС-матриц для левой и правой камер, базисное расстояние, указывает в активном окне 53 (фиг. 8), выводимом на дисплей 23 (фиг. 5), объекты или части этих объектов, до которых необходимо измерить дальность. Модуль 38 пользовательского интерфейса принимает команды пользователя 3 по средствам модуля 41 ввода собственных данных и модуля 39 указания объектов интереса. Модуль 40 оверлейных маркеров маркирует в активном окне 53 прямоугольными рамками интересующие объекты или их части.
При необходимости пользователь 3 проводит дополнительную калибровку захватного устройства 1, при этом калибровочный шаблон располагается перед камерами захватного устройства, модуль 37 калибровки обрабатывает пару изображений с левой и правой камер, определяет соответствуют ли левое 29 и правое 30 изображения изображению калибровочного шаблона, производит вычисление фокусных расстояний объективов, углов ориентации камер, сравнивает их с значениями, полученными от пользователя 3 и датчиков 10, 11, 12 и 13 углов рам кардановых подвесов, хранящимися в собственных данных 35, и при наличии различий вычисляет поправки и сохраняет их в памяти 26 в данных 34 калибровки.
После указания в активном окне 53 формы 52 управления изображением интересующих объектов или их частей и проведенной при необходимости калибровки пользователь 3, взаимодействуя с формой 52 управления изображением через пользовательский интерфейс подает команду на запуск модуля 42 дальностей.
Модуль 42 дальностей последовательно производит кадрирование всех объектов указанных пользователем на изображении 29 левой камеры 4, рассчитывает положение и размеры областей 74 поиска для всех указанных объектов на изображении 30 правой камеры 5, увеличивает разрешения областей 74 поиска, приводит разрешения областей 73 положения объектов к разрешению областей 74 поиска, повышает резкость областей положения объектов и поиска, производит сканирования областей 74 поиска плавающим окном 75, производит корреляционное сравнение результатов сканирования с областями 73 положения объектов и формирует массив значений корреляционной функции, находит координаты максимума корреляционной функции, по найденным координатам максимум корреляционной функции вычисляет смещения относительно центра изображения 30 правой камеры 5 для всех найденных изображений объектов, компенсирует найденные смещения изображений объектов интереса на изображениях правой и левой камер, определяет проводилась ли дополнительная калибровка, если проводилась, то на собственные данные принятые из памяти вводит поправки из данных калибровки и вычисляет дальности до всех указанных пользователем объектов, после чего сохраняет полученные значения в памяти 26.
Модуль 40 оверлейных маркеров принимает из памяти 26 данные о дальностях до указанных пользователем объектов и выводит их или символ ошибки в активном окне 53 на дисплее 23 рядом с соответствующими рамками положения этих объектов.
Реферат
Изобретение относится к приборам для измерения дальности. Оптико-электронный стереоскопический дальномер содержит захватное устройство в виде двух цифровых камер, разнесенных в пространстве по горизонтали на известном расстоянии, и вычислительный блок, осуществляющий определение дальности до объектов путем определения сдвига между изображениями при сканировании полученных изображений по положению максимального значения двухмерной нормированной корреляционной функции в субпиксельном диапазоне. При этом левая и правая камеры установлены на внутренних рамах своих кардановых подвесов, каждый из которых содержит внешнюю и внутреннюю рамы, на осях которых установлены датчики угла поворота рам подвеса. Кроме того, левая и правая камеры, а также датчики угла поворота рам подвеса выполнены с возможностью передачи в вычислительный блок видеоданных и данных о текущей пространственной ориентации камер через кабели универсальной последовательной шины (USB), а вычислительный блок содержит обрабатывающую систему, являющуюся удаленным компьютером, таким как ноутбук или персональный компьютер (рабочая станция), и пользовательский интерфейс, обеспечивающий выбор пользователем изображений и/или ввод команд обработки. Технический результат заключается в возможности изменения параметров рабочей зоны, в уменьшении суммарного время на измерения дальностей до объектов и уменьшении времени на предварительную настройку дальномера к работе. 3 з.п. ф-лы, 9 ил.
Формула
модуль сбора данных, выполненный с возможностью приема видеоданных от захватного устройства и данных от датчиков угла рам подвеса;
модуль калибровки, выполненный с возможностью определения данных о калибровке захватного устройства, включающей определение точных значений действительного взаимного расположения оптических осей левой и правой камер относительно общего элемента на калибровочном шаблоне (например, калибровочном изображении) и фокусных расстояний объективов левой и правой камер;
модуль пользовательского интерфейса, выполненный с возможностью создания формы управления изображением для отображения через пользовательский интерфейс;
модуль дальностей, содержащий команды и модули, обеспечивающие возможность проведения точных измерений дальностей до указанных пользователем объектов, а именно:
модуль кадрирования, выполненный с возможностью определения размеров и координат области поиска изображения объекта интереса на изображении правой камеры;
модуль изменения разрешения, выполненный с возможностью обработки области положения объекта и области поиска путем применения операций увеличения разрешения, например, на основе применения алгоритмов интерполяции;
модуль повышения резкости изображений;
модуль сканирования, выполняющий последовательное кадрирование области поиска окном с размерами, соответствующими размерам области положения объекта после увеличения разрешения;
модуль корреляции, выполняющий вычисление нормированной двумерной корреляционной функции между областью положения объекта интереса и каждым из поступающих из модуля сканирования участков области поиска и формирующий из полученных значений массив;
модуль определения координат максимума, вычисляющий координаты максимума корреляционной функции в массиве;
модуль смещений, переводящий координаты максимума корреляционной функции в смещения изображений объектов интереса на изображении правой камеры относительно его геометрического центра;
модуль компенсации смещений, компенсирующий горизонтальные смещения изображений объектов, указанных пользователем на изображении левой камеры и найденных в процессе работы на изображении правой камеры, на величины горизонтальных и вертикальных углов расположения оптических осей объективов левой и правой камер относительно нормалей к базовой линии в точках оптических центров объективов левой и правой камер в соответствии с выражениями
где
lГ1, lГ2 - значения горизонтальных смещений изображений объектов интереса относительно геометрических центров изображений, полученных соответственно с левой и правой камер, определенные с учетом размеров элементов фоточувствительных приемников высокого разрешения, например пикселей ПЗС-матриц, отдельно для левой и правой камер;
l′Г1, l′Г2 - скомпенсированные значения горизонтальных смещений lГ1 и lГ2 объектов;
α1, α2 - углы в горизонтальной плоскости, под которыми оптические оси левой и правой камер находятся к нормали к базовой линии в точках оптических центров левой и правой камер,
а также вычисляющий скомпенсированные значения вертикального и горизонтального углов относительно оптической оси левой камеры, под которыми изображения каждого из указанных пользователем объектов попадают в объектив левой камеры, в соответствии с выражениями
где β1 - угол в вертикальной плоскости, под которым оптическая ось левой камеры находится к нормали к базовой линии в точке оптического центра в плоскости измерений;
lB1 - вертикальное смещение изображения объекта интереса относительно геометрического центра изображения, полученного с левой камеры, определенное с учетом размеров элементов фоточувствительного приемника высокого разрешения, например, пикселей ПЗС-матрицы для левой камеры;
γ′1 - скомпенсированное на величину угла α1 значение горизонтального угла γ1, под которым изображение от объекта попадает в объектив левой камеры относительно его оптической оси;
δ′1 - скомпенсированное на величину угла β1 значение вертикального угла δ1, под которым изображение от объекта попадает в объектив левой камеры относительно его оптической оси;
модуль вычисления дальностей, обеспечивающий измерение дальностей до указанных пользователем объектов при применении в составе захватного устройства камер как с одинаковыми, так и с различными значениями фокусных расстояний объективов как определение длин кратчайших отрезков от оптического центра объектива левой камеры до указанных пользователем и произвольно расположенных в пределах рабочей зоны дальномера объектов в соответствии с выражением
где В - базисное расстояние дальномера, определяемое как расстояние между оптическими центрами объективов левой и правой камер.
