Устройство стереоскопической камеры, способ коррекции и программа - RU2539804C2

Чертежи

Описание

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к методике измерения расстояния до предмета с использованием изображений, а конкретнее к стереоскопической камере, способу коррекции и программе, которая эффективно собирает параметр.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

Известно так называемое устройство стереоскопической камеры, которое измеряет расстояние между сформированным изображением и предметом путем размещения многочисленных устройств отображения, например камер, для формирования изображения предмета. Параллельная стереоскопическая камера включает в себя две камеры, закрепленные в разных положениях. Устройство параллельной стереоскопической камеры включает в себя две закрепленные камеры, отделенные друг от друга заранее установленным расстоянием, которое называется длиной базовой линии. Эти две камеры закреплены таким образом, что оптические оси камер параллельны друг другу. Устройство стереоскопической камеры предусмотрено для определения расстояния до предмета путем преобразования параллакса между изображением предмета, полученным первой камерой, и изображением предмета, полученным второй камерой, в расстояние с использованием специфического параметра в оптической системе.

Фиг.7 иллюстрирует оптическую систему в традиционном устройстве стереоскопической камеры. Как проиллюстрировано на Фиг.7, устройство 700 стереоскопической камеры включает в себя две камеры 1_R и 1_L. Эти две камеры 1_R и 1_L располагаются так, чтобы быть отделенными друг от друга заранее установленной длиной B базовой линии. Эти камеры 1_R и 1_L включают в себя соответствующие датчики изображений (устройства отображения) и изображающие линзы (оптические системы формирования изображений). Датчики изображений (устройства формирования) изготовлены из датчика CCD (устройство с зарядовой связью) или CMOS (комплементарный металлооксидный полупроводник) или т.п. Изображающие линзы (оптические системы формирования изображений) предоставляются для формирования изображения предмета в поле изображения на поверхности формирования изображения у датчиков изображений (устройств отображения).

Способ измерения расстояния с использованием двух камер, расположенных параллельно, описывается со ссылкой на Фиг.7. В устройстве 700 стереоскопической камеры из Фиг.7 предполагается, что камера 1_R, имеющая фокусное расстояние f, оптический центр O_R и поверхность S_R формирования изображения, располагается таким образом, что оптическая ось камеры 1_R проходит в направлении, параллельном вертикальному направлению листа из Фиг.7, и что камера 1_L, имеющая такое же фокусное расстояние f, оптический центр O_L и поверхность S_L формирования изображения, располагается таким образом, что камера 1_L находится параллельно камере 1_R и отделяется от камеры 1_R расстоянием B. При наличии этой конфигурации изображение предмета X, который отделяется от оптического центра O_R камеры 1_R расстоянием d в направлении оптической оси, образуется в положении P_R на поверхности S_R формирования изображения у камеры 1_R, причем положение P_R является точкой пересечения между прямой линией, проходящей через X, и оптическим центром O_R (в дальнейшем называемой прямой линией X-O_R).

С другой стороны, в камере 1_L изображение предмета X образуется в положении P_L на поверхности S_L формирования изображения у камеры 1_L. Кроме того, прямая линия, проходящая через оптический центр O_L камеры 1_L и параллельная прямой линии X-O_R, изображается пунктирной линией, как проиллюстрировано на Фиг.7. Кроме того, точка пересечения между пунктирной линией и поверхностью S_L формирования изображения выражается в виде положения P_R', а расстояние между положением P_L и положением P_R' выражается в виде расстояния p. В этом случае положение P_R' в камере 1_L соответствует положению P_R в камере 1_R, а расстояние p обозначает величину позиционного сдвига одного и того же предмета X на поверхностях формирования изображений двух камер. Когда расстояние p задается как параллакс, поскольку треугольник X-O_R-O_L аналогичен треугольнику O_L-P_R'-P_L, расстояние d от оптического центра до предмета X получается на основе расстояния p с использованием формулы d=BЧf/p при условии, что длина B базовой линии и фокусное расстояние f известны.

Во многих случаях устройства стереоскопической камеры устанавливаются в движущемся теле, например в транспортном средстве, и используются для измерения расстояния. Из-за этого использования устройства стереоскопической камеры подвергаются постоянным колебаниям и изменениям температуры. Как описано со ссылкой на Фиг.7, чтобы правильно измерять (вычислять) расстояние, предполагается, что оптические оси двух камер в устройстве параллельной стереоскопической съемки параллельны друг другу. Поэтому, когда теряется параллельность оптических осей (то есть оптическая ось одной камеры поворачивается относительно оптической оси другой камеры, так что оптические оси не параллельны друг другу), позиционное смещение датчика изображений в боковом направлении относительно оптических центров может сместить (сдвинуть) положение, где должно формироваться изображение предмета, в направлении параллакса. Такое рассогласование оптической системы может вызвать серьезную ошибку при измерении расстояния. Эта ошибка известна как "смещение параллакса". Как описано со ссылкой на Фиг.7, смещение параллакса непосредственно влияет на параллакс и ухудшает точность измерения расстояния.

Чтобы предотвратить ухудшение точности измерения расстояния, необходимо точно отрегулировать некоторый параметр в процессе производства. Однако смещение может возникать из-за колебаний во время перемещения транспортного средства и зависящих от времени изменений в перекашивании тела транспортного средства, изменения температуры и т.п. Чтобы преодолеть рассогласование, а именно, чтобы сохранить точность взаимного расположения между двумя камерами в устройстве стереоскопической камеры, может иметь место один способ регулирования (корректировки) устройства с использованием испытательной таблицы, которая является изображением, имеющим известное расстояние от устройства после поставки (продажи) устройства стереоскопической камеры. Однако во время регулировки (коррекции) с использованием испытательной таблицы можно не использовать устройство стереоскопической камеры. А именно, когда используется этот способ, доступность устройства стереоскопической камеры можно значительно снизить.

Чтобы преодолеть неудобство способа, предложены несколько способов, в которых регулировка (коррекция) выполняется с использованием предмета в сцене наряду с перемещением без использования испытательной таблицы, при этом предмет имеет известный признак (например, это белая полоса, имеющая известное расстояние, дорожный знак и телефонный столб). Например, публикация заявки на патент Японии № 10-341458 (Патентный документ 1) раскрывает методику, в которой для обнаружения рассогласования устройства стереоскопической камеры в направлении установки сначала запоминаются формы статических предметов и статический предмет распознается путем сравнения запомненных данных. Затем смещение параллакса вычисляется на основе пройденного расстояния, измеренного датчиком скорости или т.п., и расстояния до распознанного статического предмета. Кроме того, патент Японии № 3436074 (Патентный документ 2) раскрывает бортовое устройство стереоскопической камеры, которое выполняет процесс коррекции на основе изображений одних и тех же статических предметов, расположенных в многочисленных положениях, и расстояний между многочисленными положениями. Кроме того, публикация заявки на патент Японии № 2009-176090 (Патентный документ 3) описывает устройство распознавания окружения, которое обнаруживает предмет на основе снятого изображения и определяет окружающую среду. Кроме того, публикация заявки на патент Японии № 2009-288233 (Патентный документ 4) описывает методику корректировки наклона изображения, снятого камерой.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

ЗАДАЧИ, РЕШАЕМЫЕ ИЗОБРЕТЕНИЕМ

Однако в описанных выше методиках можно распознать только ограниченное количество предметов, например белую полосу, имеющую известное расстояние на шоссе, дорожный знак, телефонный столб и т.п. Поэтому может быть ограничено место, где может выполняться смещение параллакса, и момент времени. Более того, сцена постоянно меняется во время перемещения и зрительное восприятие также меняется в зависимости от положения предмета в изображении из-за дисторсии объектива. Поэтому может быть сложно точно распознать статический предмет. Кроме того, способ может использоваться только для статических предметов, имеющих формы, которые были запомнены.

Настоящее изобретение создано с учетом вышеупомянутых неудобств методик из предшествующего уровня техники, которые описаны выше, и может предоставить устройство стереоскопической камеры, способ коррекции и программу, которые точно корректируют смещение параллакса, полностью используя функции устройства стереоскопической камеры независимо от формы предмета, момента времени, места и независимо от того, перемещается ли предмет.

СРЕДСТВО ДЛЯ РЕШЕНИЯ ПРОБЛЕМ

В соответствии с вариантом осуществления настоящего изобретения устройство стереоскопической камеры включает в себя две камеры и секцию вычисления. Две камеры устанавливаются таким образом, что две камеры отделяются друг от друга (заранее установленной) длиной базовой линии. Секция вычисления включает в себя секцию обработки изображений, секцию вычисления значения смещения, секцию статистической обработки и секцию вычисления расстояния.

Секция обработки изображений осуществляет поиск соответствующих точек между изображениями, полученными с помощью двух камер, вычисляет параллаксы и выводит вычисленные параллаксы соответствующих точек в секцию вычисления значения смещения. Секция вычисления значения смещения вычисляет значения смещений параллакса у соответствующих точек (1-N). Значения смещений параллакса являются значениями смещений для корректировки соответствующих параллаксов у соответствующих точек. Значения смещений параллакса вычисляются с использованием параллаксов в разные моменты времени t₀ и t₁ и пройденного расстояния транспортного средства или т.п., на котором монтируется устройство стереоскопической камеры, без использования расстояния Z до предмета.

Вычисленные значения смещений параллакса выводятся в секцию статистической обработки. Результаты вычисления из секции вычисления значения смещения преобразуются в частоту появления значений смещений параллакса. Статистический анализ выполняется над частотой появления, так что определяется оптимальное значение смещения параллакса, которое нужно использовать в качестве параметра коррекции.

Секция вычисления расстояния вычисляет расстояние до предмета, которое нужно измерить в параллаксном изображении, на основе длины базовой линии, фокусного расстояния камер и параметра коррекции, определенного секцией статистической обработки.

Дополнительно устройство стереоскопической камеры в соответствии с вариантом осуществления настоящего изобретения может включать в себя секцию коррекции, которая исправляет (корректирует) параметр коррекции на основе оптимального значения смещения параллакса. Параметр коррекции используется для измерения расстояния. Секция коррекции в варианте осуществления может быть ступенью двигателя или NVRAM (Энергонезависимое оперативное запоминающее устройство).

Кроме того, в соответствии с вариантами осуществления настоящего изобретения предоставляются способ коррекции и программа, которые побуждают секцию вычисления получить параметр q коррекции, чтобы использовать его для дальнейшего вычисления расстояния.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг.1 - схематическое изображение, иллюстрирующее конфигурацию устройства 100 стереоскопической камеры в соответствии с вариантом осуществления настоящего изобретения;

Фиг.2 - подробная функциональная блок-схема 200 устройства 100 стереоскопической камеры в соответствии с вариантом осуществления настоящего изобретения;

Фиг.3 - чертеж, иллюстрирующий отношение параллакса p_k0 для соответствующей точки k₀ в соответствии с вариантом осуществления настоящего изобретения;

Фиг.4 - чертежи, иллюстрирующие правое и левое изображения, полученные после того, как прошел подходящий интервал времени с момента t₀;

Фиг.5 - подробная блок-схема алгоритма способа коррекции в соответствии с вариантом осуществления настоящего изобретения;

Фиг.6 - график, иллюстрирующий частотную матрицу, сформированную с помощью способа коррекции в варианте осуществления в диапазоне от минимального значения до максимального значения среди значений q_k смещений параллакса, при этом график имеет поперечную ось, представляющую значения смещений параллакса, и вертикальную ось, представляющую частоту A; и

Фиг.7 - чертеж, иллюстрирующий оптическое отношение для измерения расстояния с использованием устройства стереоскопической камеры.

ЛУЧШИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Ниже описываются варианты осуществления настоящего изобретения со ссылкой на прилагаемые чертежи. Однако настоящее изобретение не ограничивается указанными вариантами осуществления. Фиг.1 схематически иллюстрирует конфигурацию устройства 100 стереоскопической камеры в соответствии с вариантом осуществления настоящего изобретения. Как проиллюстрировано на Фиг.1, устройство 100 стереоскопической камеры включает в себя две камеры 102 и 104 и секцию 120 вычисления. Камеры 102 и 104 выводят цифровые данные. А именно камеры 102 и 104 выводят соответствующие захваченные (полученные) изображения в секцию 120 вычисления. Секция 120 вычисления выполняет вычисление расстояния на основе изображений, выведенных из правой и левой камер (то есть камер 102 и 104), и получает (вычисляет) расстояние Z от оптического центра камер 102 и 104 до предмета 108 (см. Фиг.1). Секция 120 вычисления выводит вычисленное расстояние Z во внешнее устройство 230 (см. Фиг.2), подключенное к секции 120 вычисления, чтобы устройство 230 вывода могло использовать значение расстояния Z. Устройство 100 стереоскопической камеры, включающее в себя секцию 120 вычисления, выполняет вычисление расстояния, измерение значения смещения и коррекцию параметра с помощью контроллера (не показан), который выполняет управление вводом-выводом между устройством 100 стереоскопической камеры и интерфейсом пользователя и внешним устройством 230.

Камеры 102 и 104 включают в себя объективы 102a и 104a и фотоэлектрические преобразователи 102b и 104b для получения соответственно правого (R) и левого (L) изображений. Камеры 102 и 104 располагаются таким образом, что камеры 102 и 104 отделены друг от друга расстоянием B по базовой линии между центрами объективов 102a и 104a, и оптическая ось 110 камеры 102 параллельна оптической оси 112 камеры 104. Камеры 102 и 104 выполняют фотоэлектрическое преобразование над оптическими изображениями, прошедшими через объективы 102a и 104a и сформированными на элементах 102b и 104b преобразования соответственно с помощью затвора (не показан), и сохраняют соответствующие фотоэлектрически преобразованные изображения в виде цифровых данных. Сохраненные (записанные) изображения выводятся в секцию 120 вычисления для использования в дальнейшем вычислении расстояния и в процессе коррекции.

Как описано выше, камеры 102 и 104 располагаются таким образом, что камеры 102 и 104 отделены друг от друга расстоянием B по базовой линии и оптическая ось 110 параллельна оптической оси 112. Кроме того, объективы 102a и 104a камер 102 и 104 имеют одинаковое фокусное расстояние f. Расстояние Z от оптических центров до предмета 108 (в направлении, параллельном оптическим осям 110 и 112) задается в следующей формуле (1), используя параллакс p предмета 108 в правом (R) и левом (L) изображениях предмета 108, полученных правой и левой камерами 102 и 104. В этом документе параллакс p задается в виде позиционной разницы в изображении предмета 108, полученном камерами 102 и 104.

Чтобы точно измерить расстояние Z, необходимо, чтобы оптическая ось 110 была точно параллельной оптической оси 112. Однако может быть сложно поддерживать параллельное отношение между оптическими осями 110 и 112 в зависимости от состояния настройки камер 102 и 104 во время производства и установки. Чтобы преодолеть неудобство, во многих случаях при вычислении расстояния реальное устройство 100 стереоскопической съемки использует следующую формулу (2), включающую в себя параметр q коррекции для точного вычисления расстояния с использованием параметра, имеющего отношение преимущественно к параллельности (параллельному отношению).

Параметр q в формуле (2) является параметром коррекции, называемым смещением параллакса. В этом варианте осуществления настоящего изобретения параметр q коррекции вычисляется по описанному ниже способу. А именно соответствующая точка k определяется на изображениях в разные моменты времени. На основе разницы во времени или расстояния пробега транспортного средства, имеющего устройство 100 стереоскопической камеры с соответствующей точкой k, значение q_k смещения параллакса, релевантное соответствующей точке k, получается на всем изображении. Затем статистический процесс выполняется над значениями q_k смещений параллакса и оптимальное значение среди значений q_k смещений параллакса у изображения определяется в виде параметра q коррекции. После того как прошел некоторый период времени после установки устройства 100 стереоскопической съемки, параллельность (параллельное отношение) между камерами 102 и 104 может быть нарушена из-за относительного вращения между камерами 102 и 104, обусловленного, например, колебаниями транспортного средства, в котором устанавливается устройство 100 стереоскопической камеры. Фиг.1 схематически иллюстрирует случай, где камера 104 немного повернута относительно камеры 102 в некоторое положение 106 (состояние) со временем. В результате параллельность (параллельное отношение) между оптическими осями 110 и 112 нарушается (ухудшается).

Такое же изменение со временем может возникнуть в камере 102 с тем же успехом. Поэтому в традиционном устройстве стереоскопической камеры применяется способ, в котором периодически считывается испытательная таблица, имеющая заранее установленное расстояние, для вычисления значения смещения параллакса; предыдущий параметр q коррекции заменяется вычисленным значением смещения параллакса; и замененный (обновленный) параметр q коррекции сохраняется в энергонезависимом запоминающем устройстве, например NVRAM (энергонезависимое оперативное запоминающее устройство), для использования в дальнейшем вычислении расстояния. Дополнительно, когда устройство стереоскопической камеры включает в себя двигатель для корректировки оптических осей, замененный (обновленный) параметр q коррекции может использоваться в данных управления для управления приведением в действие двигателя.

Фиг.2 - функциональная блок-схема 200 устройства 100 стереоскопической камеры в соответствии с этим вариантом осуществления настоящего изобретения. Как проиллюстрировано на Фиг.2, устройство 100 стереоскопической камеры включает в себя камеры 102 и 104 и секцию 120 вычисления. Секция 120 вычисления дает указание камерам 102 и 104 (побуждает) для захвата изображений и выполняет вычисление с измерением расстояния и вычисление для коррекции параметра, используя изображения, полученные камерами 102 и 104.

Секция 120 вычисления может быть реализована в виде однокристального микрокомпьютера, ASIC (специализированной интегральной схемы), бортового компьютера, персонального компьютера или т.п. Более того, секция 120 вычисления выполняет взаимную связь с внешним устройством 230 для вывода во внешнее устройство 230 результата вычисления с измерением расстояния, вычисленного секцией 120 вычисления с использованием изображений, чтобы внешнее устройство 230 могло выполнять различное управление с использованием расстояния Z, вычисленного секцией 120 вычисления. Внешнее устройство 230 может не включаться в секцию 120 вычисления, которая выполняет обращение к памяти с помощью ЦПУ (CPU) (центральный процессор), RAM (оперативное запоминающее устройство), ROM (постоянное запоминающее устройство) и другого запоминающего устройства, например запоминающего устройства USB. В противном случае внешнее устройство 230 может включаться в секцию 120 вычисления в качестве устройства обработки информации.

Как проиллюстрировано на Фиг.2, секция 120 вычисления включает в себя секцию 202 обработки изображения, секцию 206 вычисления значения смещения, секцию 208 вычисления расстояния и секцию 240 статистической обработки. При вычислении с измерением расстояния секция 202 обработки изображения выполняет анализ изображений над изображениями, полученными правой (R) и левой (L) камерами 102 и 104, и определяет соответствующую точку, общую для этих изображений. Затем секция 202 обработки изображения определяет один и тот же пиксель предмета в правом и левом изображениях в качестве соответствующей точки и вычисляет параллакс p_k в виде разницы координат положения в изображениях относительно соответствующей точки. В этом варианте осуществления секции 202 обработки изображения необходимо вычислить параллакс на всем изображении. Чтобы повысить точность в поиске соответствующей точки на захваченном изображении и вычислении параллакса, может использоваться известный процесс (способ) коррекции искажений или т.п.

Вычисленный параллакс p_k выводится в секцию 206 вычисления значения смещения и дополнительно выводится в секцию 208 вычисления расстояния. В момент времени для начала процесса коррекции параметра или при приеме сигнала внешнего прерывания для начала процесса коррекции параметра секция 206 вычисления значения смещения начинает процесс коррекции параметра. В периоде времени, помимо периода времени выполнения процесса коррекции параметра, секция 206 вычисления значения смещения выполняет измерение расстояния с использованием только параллакса p_k. Процесс коррекции параметра выполняется путем синхронизации моментов, когда датчик 204 скорости получает информацию о скорости и когда камеры 102 и 104 получают изображения с помощью секции 120 вычисления.

Когда секция 206 вычисления значения смещения выполняет измерение расстояния, секция 208 вычисления расстояния принимает параллакс p_k, который был принят секцией 206 вычисления значения смещения, и вычисляет расстояние Z с использованием параметра q коррекции, который действует в тот момент, и на основе формулы (1). Вычисленное расстояние Z выводится из секции 120 вычисления во внешнее устройство 230 посредством интерфейса 210, включенного в секцию 120 вычисления. Используя принятое расстояние Z, внешнее устройство 230 выполняет управление для управления другими бортовыми устройствами, например устройством аварийной сигнализации, устройством управления и двигателем.

Как описано выше, секция 120 вычисления включает в себя секцию 240 статистической обработки. Секция 240 статистической обработки вместе с секцией 206 вычисления значения смещения и датчиком 204 скорости из Фиг.2 составляют блок коррекции параметра в соответствии с этим вариантом осуществления настоящего изобретения. Датчик 204 скорости определяет скорость движения транспортного средства, на котором монтируется устройство 100 стереоскопической камеры. Когда устройство 100 стереоскопической камеры монтируется на транспортном средстве, датчик 204 скорости может быть, например, датчиком скорости транспортного средства или устройством GPS (Система глобального позиционирования), которое вычисляет и выводит скорость на основе разностей координат широты/долготы и разницы во времени между моментом (моментами времени) t₀ и t₁. Дополнительно в другом варианте осуществления настоящего изобретения датчик 204 скорости может предоставляться как встроенное устройство в секцию 120 вычисления в устройстве 100 стереоскопической камеры.

Далее описывается конкретный процесс коррекции параметра в соответствии с этим вариантом осуществления настоящего изобретения. В процессе коррекции параметра в соответствии с этим вариантом осуществления настоящего изобретения сначала секция 120 вычисления дает команду камерам 102 и 104 для захвата (получения) изображений в момент t₀ в качестве точки отсчета и одновременно дает команду датчику 204 скорости для вывода информации о скорости.

В момент t₁, когда прошел заранее установленный период времени с момента t₀, секция 120 вычисления дополнительно дает команду камерам 102 и 104 для захвата (получения) изображений. В результате устройство 100 стереоскопической камеры получает изображения, захваченные двумя камерами 102 и 104 в момент (моменты времени) t₀ и t₁. То есть устройство 100 стереоскопической камеры получает четыре изображения. Затем секция 202 обработки изображения ищет соответствующую точку на основе двух изображений от соответствующих камер 102 и 104 в момент t₀ и вычисляет соответствующее параллаксное изображение. Таким же образом секция 202 обработки изображения ищет соответствующую точку на основе двух изображений от соответствующих камер 102 и 104 в момент t₁ и вычисляет соответствующее параллаксное изображение. Эти параллаксные изображения вводятся в секцию 206 вычисления значения смещения. Кроме того, чтобы вычислить (получить) соответствующие точки параллаксных изображений в момент t₀ и t₁, не только параллаксные изображения, но также изображения, использованные для получения параллаксных изображений, вводятся в секцию 206 вычисления значения смещения.

С другой стороны, секция 120 вычисления задает информацию о скорости, выведенную из датчика 204 скорости в секцию 206 вычисления значения смещения, и дополнительно задает значения p₀ и p₁ параллакса, релевантные соответствующим точкам, общими для соответствующих наборов двух изображений, захваченных двумя камерами 102 и 104. В этом документе значение p₀ параллакса относится к параллаксу соответствующей точки k в момент t₀. Значение p₁ параллакса относится к параллаксу той же соответствующей точки k в момент t₁. В дальнейшем описании для целей разъяснения предполагается, что соответствующая точка зафиксирована в соответствующей точке k.

На основе значений p₀ и p₁ параллакса, полученных, как описано выше, секция 206 вычисления значения смещения получает следующую формулу (3), выражающую отношения между расстояниями Z₀ и Z₁ в момент t₀ и t₁ и значением p₀ и p₁ параллакса в момент t₀ и t₁.

Когда предмет в соответствующей точке является статическим предметом, расстояния Z₀ и Z₁ и расстояние D пробега соответствуют пройденному расстоянию. С другой стороны, когда предмет в соответствующей точке является движущимся предметом, например транспортным средством, расстояния Z₀ и Z₁ и расстояние D пробега соответствуют расстоянию, вычисленному на основе относительной скорости. Дополнительно, когда предмет в соответствующей точке является движущимся предметом, относительная скорость, соответствующая камере 102, может отличаться от относительной скорости, соответствующей камере 104. В этом случае значения Z₁ распределяются в диапазоне, имеющем центр Z₀.

Используя вышеприведенную формулу (3), расстояние D пробега задается в виде D=Z₀-Z₁. Кроме того, расстояние D пробега задается в виде следующей формулы (4), где используются расстояние B по базовой линии, фокусное расстояние f, значение параллакса у измеряемых переменных p₀ и p₁ и значение q_k смещения параллакса у соответствующей точки k.

Вышеприведенную формулу (4) можно преобразовать в квадратное уравнение значения q_k смещения параллакса. Дополнительно, на основе формулы (4) значение q_k смещения параллакса задается в следующей формуле (5) в виде решения (q_k≥0) квадратного уравнения.

Как описано выше, значение q_k смещения параллакса может меняться в зависимости от относительной скорости между движущимися телами и не всегда может быть одинаковым. В этом варианте осуществления вышеприведенная реляционная формула задается для каждой из соответствующих точек k (k=1 … N). Поэтому для каждой из соответствующих точек k значения q_k смещений параллакса вычисляются на всем изображении в качестве кандидатов параметра q коррекции. Секция 206 вычисления значения смещения выполняет процесс по вышеприведенной формуле (5).

Далее описывается статистический (корректирующий) процесс, выполняемый секцией 240 статистической обработки. Когда процесс в секции 206 вычисления значения смещения завершается, вычисленные значения q_k смещений параллакса вводятся в секцию 240 статистической обработки. Секция 240 статистической обработки определяет, принадлежит ли каждое из вычисленных значений q_k смещений параллакса заранее установленным порциям (группам) друг за другом. В этом случае, когда, например, одно значение q_k смещения параллакса определяется принадлежащим определенной порции Q_m (m - положительное целое число), секция 240 статистической обработки увеличивает значение счетчика порции Q_m (на единицу). Кроме того, секция 240 статистической обработки подсчитывает количества значений q_k смещений параллакса для каждой из порций Q_m и формирует (вычисляет) частоты (частоты появления) A_m значений q_k смещений параллакса у соответствующих порций Q_m.

Дополнительно, на основе частот (частот появления) A_m, когда завершается вышеупомянутый процесс подсчета всех соответствующих точек k, секция 240 статистической обработки формирует частотную матрицу F со следующей формулой (6). В этом документе символ Q_m обозначает порции значений q_k смещений параллакса и к нему обращаются соответствующие значения I_m индекса, которые предоставляются для предоставления параметра q коррекции и являются значениями, заданными в виде I_m=(минимальное значение)+ΔЧМ. Кроме того, по отношению к порции Q_m максимальное значение смещения q_k параллакса может определяться заранее и диапазон вплоть до максимального значения можно равномерно разделить на m участков, чтобы можно было выполнять вышеупомянутое вычисление с накоплением частоты. В этом варианте осуществления, даже когда значения q_k смещений параллакса нельзя получить на всем изображении, может стать возможным эффективно определить оптимальное значение на основе сравнения между пиком частотного распределения и количеством оставшихся выборочных точек. В результате может стать возможным минимизировать (сократить) период времени, когда устройство 100 стереоскопической камеры не может измерить расстояние из-за статистического (корректирующего) процесса. Более того, в соответствии с другим вариантом осуществления настоящего изобретения частоты появления можно вычислить после того, как вычисляется значение q_k смещения параллакса для всех пикселей.

Вышеприведенная частотная матрица F предоставляет статистические данные, используемые для предоставления (определения) параметра q коррекции. В этом случае секция 240 статистической обработки может использовать любую из известных статистических обработок для выполнения процесса над статистическими данными, чтобы получить оптимальное значение. В частности, в статистической обработке может использоваться значение моды, срединное значение, среднее значение, среднее взвешенное значение или т.п. Когда используется значение моды, значение q_k смещения параллакса может определяться как значение I_max индекса, обеспечивающее фокусное расстояние f_max. К тому же значение q_k смещения параллакса может получаться (определяться) с использованием регрессионного анализа, предполагающего нормальное распределение, регрессионного анализа, предполагающего полиномиальное распределение, регрессионного анализа, использующего функцию распределения, например биномиальное распределение, распределение хи-квадрат, распределение Пуассона, β-распределение или т.п. То есть может использоваться любая подходящая статистическая модель.

В статистической обработке, когда вычисляется дисперсия и вычисленное значение дисперсии занимает более заранее установленной нормы относительно диапазона отклонений значений q_k смещений параллакса, результаты до настоящего момента можно отбросить, чтобы после некоторого периода времени процесс можно было выполнить повторно. При этом может стать возможным избежать случая, где неподходящее значение принимается в качестве параметра q коррекции. Когда взаимное расположение двух камер 102 и 104 в значительной степени изменяется из-за сильного толчка, изменение значения q_k смещения параллакса от начального значения должно стать больше, а изменение значения q_k смещения параллакса со временем или т.п. должно стать меньше. Поэтому установленное значение диапазона отклонений значений q_k смещений параллакса меняется в зависимости от того, какой тип изменения нужно обнаружить.

Кроме того, в другом варианте осуществления настоящего изобретения, когда выполняется статистический анализ, предполагающий стандартное отклонение, можно сохранить стандартное отклонение σ_past, когда получается действующий в настоящее время параметр q коррекции, и на основе результата проверки полученного в этот раз значения можно определить, принимается ли значение.

Нижеследующая формула (7) имеет формат, выражающий смещенный угол (угол отклонения) между оптическими осями 110 и 112 камер 102 и 104 с использованием параметра q коррекции.

Когда устройство 100 стереоскопической камеры включает в себя систему привода камеры, данные об угле θ, полученные на основе параметра q коррекции, передаются в двигатель системы привода камеры в качестве данных, указывающих величину приведения в действие двигателя. С другой стороны, когда устройство 100 стереоскопической камеры не включает в себя систему привода камеры, данные об угле θ, полученные на основе параметра q коррекции, передаются в секцию 208 вычисления расстояния и сохраняются в NVRAM 234 в качестве параметра q коррекции, который позднее нужно использовать для вычисления расстояния Z. Данные расстояния Z, полученные секцией 208 вычисления расстояния, выводятся из секции 120 вычисления во внешнее устройство 230 посредством интерфейса 210, чтобы использовать их для различного управления с использованием расстояния Z.

В этом варианте осуществления соответствующую точку k на изображениях, захваченных (полученных) камерами 102 и 104, можно искать по пикселю. В других отношениях, с точки зрения более быстрой обработки, правое (R) и левое (L) изображения можно разделить на ячейки и можно вычислить яркость, оттенок, цветовое распределение и т.п. у ячеек, так что соответствующая точка определяется ячейкой.

Фиг.3 схематически иллюстрирует отношения между соответствующей точкой k₀ и значением p₀ параллакса, используемыми в этом варианте осуществления. После распределения ячеек правому (R) и левому (L) изображениям, полученным правой (R) и левой (L) камерами 102 и 104, устройство 100 стереоскопической камеры ищет соответствующую точку (ячейку) у правого (R) и левого (L) изображений. Поиск соответствующей точки правого (R) и левого (L) изображений может выполняться путем вычисления и использования яркости, оттенка, цветового распределения и т.п. у ячеек. Правое (R) и левое (L) изображения несильно отличаются друг от друга, хотя изменение может зависеть от длины B базовой линии. Из-за этого свойства в этом варианте осуществления, например, когда определяется соответствующая точка на левом (L) изображении, соответствующую релевантную точку на правом (R) изображении можно найти путем поиска только в окружающих нескольких ближайших ячейках.

Для поясняющих целей часть (а) Фиг.3 иллюстрирует состояние соответствующей точки.

Когда правое (R) и левое (L) изображения накладываются друг на друга, характеристическая точка правого (R) изображения и характеристическая точка левого (L) изображения находятся в диапазоне нескольких ячеек. Кроме того, если базовая линия камер 102 и 104 в устройстве 100 стереоскопической камеры предполагается горизонтальной, когда поиск соответствующей точки выполняется в смещенном направлении линии зрения, если смотреть со стороны, где устанавливаются камеры, то можно эффективно найти (обнаружить) соответствующую точку. Однако часть (а) Фиг.3 иллюстрирует параллакс правого (R) и левого (L) изображений большей частью в масштабе. Поэтому это не проиллюстрировано четко. Часть (b) Фиг.3 является увеличенным чертежом, иллюстрирующим внутреннюю часть окружности 300 из части (а) на Фиг.3. Как проиллюстрировано в части (b) Фиг.3, соответствующие точки k_r0 и k_l0 приближаются друг к другу в горизонтальном направлении и позиционный сдвиг между соответствующими точками k_r0 и k_l0 приводит к параллаксу p_k0 (соответствует ему). Кроме того, символы k_r1 и k_l1 обозначают соответствующие точки в момент времени t_l. Кроме того, когда параллакс соответствующей точки k в момент времени t выражается как p_kt, выполняется следующая формула.

p_kt=k_rt-k_lt

В вариантах осуществления, которые описаны выше, параллакс вычисляется на всем изображении. Поэтому, чтобы повысить точность в поиске соответствующей точки в захваченных изображениях и в вычислении параллакса, предпочтительно выполнять известный процесс коррекции искажений и т.п.

Фиг.4 иллюстрирует пример правого (R) и левого (L) изображений, полученных после того, как прошел подходящий период времени с момента времени t₀, в соответствии с вариантом осуществления настоящего изобретения. В ответ на истекшее время положения предмета изменяются в соответствии с разницей в относительной скорости. Однако в примере из Фиг.4, поскольку истекший период времени такой короткий, что правое (R) и левое (L) изображения 410 и 420 практически такие же, как изображения в момент Фиг.3. Предпочтительно определить подходящую разницу между моментом времени t₀ и моментом времени t₁ таким образом, что можно обнаружить соответствующую точку даже рядом с граничной частью изображения. То есть предпочтительно определить подходящую разницу, чтобы можно было успешно обнаружить соответствующую точку. Однако, когда разница между моментом времени t₀ и моментом времени t₁ слишком большая, точность обнаружения соответствующей точки может ухудшиться. С другой стороны, когда разница слишком мала, можно не получить параллакс, обладающий достаточной разностью. Поэтому предпочтительно определить подходящую разницу между моментом времени t₀ и моментом времени t₁ таким образом, что разность параллакса можно получить на основе скорости, например путем обращения к данным журнала датчика 204 скорости, и поиск соответствующей точки не может потерпеть неудачу.

В этом варианте осуществления при условии, что можно распознать один и тот же предмет в правом (R) и левом (L) изображениях, полученных в один и тот же момент времени, можно непосредственно использовать положение конкретного пикселя предмета в изображении. В другом варианте осуществления после того, как изображение делится на ячейки, данные пикселей в одной и той же ячейке можно усреднить и можно использовать координаты положения ячеек. В дальнейшем предполагается, что ячейка и пиксели или область пикселей ячейки может называться соответствующей точкой, которая становится началом отсчета в вычислении в этом варианте осуществления.

В этом варианте осуществления размер разделенных ячеек не ограничивается конкретным размером. Однако, когда размер разделенных ячеек слишком маленький, может потребоваться больше времени на поиск соответствующей точки, которая является целью обработки в правом и левом изображениях. С другой стороны, когда размер разделенных ячеек слишком большой, точность коррекции может ухудшиться. Учитывая вышеупомянутые свойства, в этом варианте осуществления, например, изображение делится на ячейки таким образом, что количество ячеек в вертикальном и боковом направлениях равно 100 и поэтому общее количество ячеек в изображениях равно 10000.

Фиг.5 - блок-схема алгоритма, иллюстрирующая процесс, выполняемый секцией 206 вычисления значения смещения в соответствии с этим вариантом осуществления настоящего изобретения. Как проиллюстрировано на Фиг.5, процесс начинается на этапе S500. На этапе S501 секция 206 вычисления значения смещения принимает изображения и соответствующее параллаксное изображение в момент времени t₀ от секции 202 обработки изображений. На этапе S502 секция 206 вычисления значения смещения дополнительно принимает изображения и соответствующее параллаксное изображение в момент времени t₁ от секции 202 обработки изображений. На этапе S503 секция 206 вычисления значения смещения вычисляет расстояние D пробега транспортного средства между моментом времени t₀ и моментом времени t₁ на основе информации, выведенной из датчика 204 скорости. На этапе S504 секция 206 вычисления значения смещения ищет соответствующую точку на разных изображениях в разные моменты времени на основе изображений, полученных в момент времени t₁ и момент времени t₀.

В этом случае соответствующая точка разыскивается с использованием изображений, захваченных двумя камерами 102 и 104 в момент времени t₁ и момент времени t₀, который является моментом времени, когда прошло заранее установленное время с момента времени t₁. Однако, точнее говоря, соответствующую точку можно искать с использованием изображений, полученных только с помощью одной из двух камер 102 и 104. Иначе соответствующую точку можно искать с использованием изображений, полученных каждой из двух камер 102 и 104. При поиске соответствующей точки может использоваться известная методика, например SAD (Сумма абсолютной разности) и POC (чисто фазовая корреляция). В этом документе соответствующие точки изображений в разные моменты времени могут называться соответствующими точками k (k=1 … N).

На этапах S505 и S506 секция 206 вычисления значения смещения вычисляет значения параллакса у соответствующих точек k изображений в разные моменты времени, причем соответствующие точки k разыскивались на этапе S504. Точнее говоря, на этапе S505 секция 206 вычисления значения смещения получает (вычисляет) значение p_k0 параллакса, имеющее отношение к соответствующей точке k, на основе параллаксного изображения в момент времени t₀. Таким же образом на этапе S506 секция 206 вычисления значения смещения получает (вычисляет) значение p_k1 параллакса, имеющее отношение к соответствующей точке k, на основе параллаксного изображения в момент времени t₁.

На этапе S507 секция 206 вычисления значения смещения вычисляет значение q_k смещения параллакса на основе формулы (5), используя значение p_k0 параллакса, имеющее отношение к соответствующей точке k в момент времени t₀, значение p_k1 параллакса, имеющее отношение к соответствующей точке k в момент времени t₁, и расстояние D пробега транспортного средства между моментом времени t₀ и моментом времени t₁. Однако, как описано выше, существуют многочисленные соответствующие точки k на всем изображении. Поэтому существуют многочисленные значения p_k0 параллакса и многочисленные значения p_k1 параллакса. С другой стороны, существует только одно значение расстояния D пробега транспортного средства между моментом времени t₀ и моментом времени t₁. На этапе S508 значение q_k смещения параллакса, вычисленное на этапе S507, выводится в секцию 240 статистической обработки.

На этапе S509 секция 206 вычисления значения смещения определяет, завершены ли вычисления значений q_k смещений параллакса, имеющих отношение к многочисленным соответствующим точкам k на всем изображении. При определении, что вычисления не завершены (НЕТ на этапе S509), процесс возвращается обратно к этапу S505 для повторения вычислений, пока не завершены вычисления всех соответствующих точек k. С другой стороны, при определении, что вычисления завершены (ДА на этапе S509), процесс переходит к этапу S510, чтобы прекратить (завершить) процесс в секции 206 вычисления значения смещения. Когда процесс завершается, значения q_k смещений параллакса, имеющие отношение к многочисленным соответствующим точкам k на всем изображении, выведены в секцию 240 статистической обработки.

Фиг.6 - график, иллюстрирующий частотную матрицу F, сформированную с использованием способа коррекции в соответствии с этим вариантом осуществления настоящего изобретения. На графике из Фиг.6 поперечная ось представляет значения q_k смещений параллакса в диапазоне от минимального значения до максимального значения среди значений q_k смещений параллакса, а вертикальная ось представляет частоты A появления. В варианте осуществления Фиг.6 значения q_k смещений параллакса распределяются в соответствии с относительными скоростями соответствующих точек k. Устройство 100 стереоскопической камеры выполняет статистическую обработку над значениями q_k смещений параллакса, вычисленными для каждой из соответствующих точек k, чтобы сформировать гистограмму частот A появления. В этом примере Фиг.6 при определении, что одно значение q_k смещения параллакса соответствует определенной порции Q_m, значение счетчика определенной порции Q_m увеличивается на единицу. Этот процесс повторяется, пока не завершены все вычисления соответствующих точек k. Когда завершаются все вычисления соответствующих точек k, образуется гистограмма, содержащая порции Q_m, имеющие значения I_m индекса и ширину Δ. В результате выполнения статистического анализа над распределением, проиллюстрированным на Фиг.6, можно получить оптимальное значение в качестве параметра q коррекции. Параметр q коррекции может определяться путем непосредственного использования значений I_m индекса. В противном случае, когда применяется взвешенное усреднение или т.п., могут использоваться положительные вещественные числа, помимо значений I_m индекса.

В качестве другого варианта осуществления настоящего изобретения очевидно, что оптимальное значение также можно определить путем совместного выполнения статистического анализа над n значениями q_k смещений параллакса в форме диаграммы рассеяния без формирования частотной гистограммы. То есть подходящий статистический анализ может выбираться на основе, например, возможности и емкости памяти у секции 120 вычисления.

Как описано выше, в соответствии с вариантом осуществления настоящего изобретения может стать возможным предоставить устройство стереоскопической камеры, способ коррекции и программу, которые с высокой точностью корректируют смещение параллакса путем максимального использования функций устройства стереоскопической съемки независимо от того, перемещается ли предмет, независимо от формы предмета, независимо от времени и места и без обязательного точного измерения относительных расстояний до предмета.

Вышеописанные функции в этом варианте осуществления могут быть реализованы с использованием исполняемой устройством программы, которая описывается на языке программирования, например C, C++, Java (зарегистрированный товарный знак) или т.п., либо на языке ассемблера. Кроме того, программа может храниться и распространяться с использованием считываемого устройством носителя записи, например жесткого диска, CD-ROM (компакт-диск только для чтения), MO (магнитооптический диск), гибкого диска, EEPROM (электрически стираемое программируемое постоянное запоминающее устройство), EPROM (стираемое программируемое постоянное запоминающее устройство) или т.п. Дополнительно программа может предоставляться в считываемом другим устройством виде и может передаваться по сети.

Хотя изобретение описано по отношению к конкретному варианту осуществления для полного и понятного раскрытия изобретения, прилагаемая формула изобретения не должна ограничиваться соответственно, а должна толковаться как воплощающая все модификации и альтернативные конструкции, которые может представить себе специалист в данной области техники, которые объективно входят в основные идеи, изложенные в этом документе.

Данная заявка основывается и притязает на преимущество приоритета по заявкам на патент Японии № 2010-205015, зарегистрированной 14 сентября 2010 г., и № 2011-121378, зарегистрированной 31 мая 2011 г., все содержание которых настоящим включается в этот документ путем ссылки.

ОПИСАНИЕ ССЫЛОЧНЫХ ПОЗИЦИЙ

100: УСТРОЙСТВО СТЕРЕОСКОПИЧЕСКОЙ КАМЕРЫ

102: КАМЕРА

102a: ОБЪЕКТИВ

102b: ФОТОЭЛЕКТРИЧЕСКИЙ ПРЕОБРАЗОВАТЕЛЬ

104: КАМЕРА

106: ПОЛОЖЕНИЕ

108: ПРЕДМЕТ

110: ОПТИЧЕСКАЯ ОСЬ

120: СЕКЦИЯ ВЫЧИСЛЕНИЯ

200: ФУНКЦИОНАЛЬНЫЙ БЛОК

202: СЕКЦИЯ ОБРАБОТКИ ИЗОБРАЖЕНИЯ

204: ДАТЧИК СКОРОСТИ

206: СЕКЦИЯ ВЫЧИСЛЕНИЯ ЗНАЧЕНИЯ СМЕЩЕНИЯ

208: СЕКЦИЯ ВЫЧИСЛЕНИЯ РАССТОЯНИЯ

210: ИНТЕРФЕЙС

230: ВНЕШНЕЕ УСТРОЙСТВО

234: NVRAM

240: СЕКЦИЯ СТАТИСТИЧЕСКОЙ ОБРАБОТКИ

Реферат

Изобретение относится к методике измерения расстояния до предмета с использованием стереоскопических изображений. Стереоскопическая камера включает в себя две камеры и блок вычисления, который вычисляет расстояние до предмета на основе изображений, полученных двумя камерами. Блок вычисления включает в себя блок обработки изображения, который ищет соответствующие точки изображений, полученных двумя камерами, и вычисляет два параллакса на основе разностей координат положения у соответствующих точек на изображениях. Блок вычисления значения смещения вычисляет значения смещений параллакса по всем изображениям на основе двух параллаксов. Блок статистической обработки выполняет статистический анализ над распределением значений смещений параллакса и определяет оптимальное значение среди значений смещений параллакса, причем оптимальное значение используется в качестве параметра коррекции. Технический результат - обеспечение коррекции смещения параллакса независимо от формы предмета, момента времени, места и независимо от того, перемещается ли предмет. 2 н. и 5 з.п. ф-лы, 7 ил.

Формула