Устройство содействия вождению - RU2548649C2

Чертежи

Показать все 12 чертежа(ей)

Описание

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к устройству содействия вождению, которое осуществляет содействие вождению посредством наложения направляющего изображения на изображение, захваченное установленной на транспортное средство камерой.

УРОВЕНЬ ТЕХНИКИ

Устройства содействия вождению используются на практике для снижения рабочей нагрузки на водителя во время парковки транспортного средства или в других случаях, требующих квалифицированной операции вождения. В JP H11-334470A (Патентный Документ 1) раскрыто, в качестве примера такого устройства содействия вождению, устройство содействия парковке для надлежащего предоставления информации, полезной при парковке транспортного средства. Такое устройство содействия парковке получает прогнозируемую траекторию движения транспортного средства на основе угла рулевого управления и накладывает эту прогнозируемую траекторию движения на фоновое изображение. Прогнозируемую траекторию движения получают на основе относительного отождествления между углом рулевого управления, колесной базой транспортного средства и радиусом поворота. Прогнозируемую траекторию движения подвергают преобразованию координат на основе соответствия отображения между системой (X, Y) координат дороги и системой (x, y) координат на устройстве отображения устройства монитора и накладывают на фоновое изображение (Патентный Документ 1: Параграфы 27-29, фиг. 8-12 и т.д.).

СПИСОК ЦИТАТ

ПАТЕНТНЫЙ ДОКУМЕНТ

Патентный Документ 1: JP H11-334470A.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

Такое вычисление выполняют, используя CPU в качестве основной части, как показано на фиг. 1 Патентного Документа 1. То есть устройство обработки изображений, способное выполнять этот вид относительно высокоуровневого вычисления, требуется между устройством камеры, обеспеченным оптической системой, включающей в себя датчик изображения и схему обработки сигналов, и устройством монитора. Кроме того, если вычислительные характеристики CPU являются низкими, прогнозируемую траекторию движения получают с низкой скоростью, и она может не плавно отображаться совместно с углом рулевого управления. В то же время число электрических устройств, устанавливаемых в транспортном средстве имеет тенденцию к увеличению, и на рынке постоянно повышается потребность в снижении потребления электроэнергии во всем транспортном средстве и уменьшении стоимости электрических устройств.

С учетом описанных выше обстоятельств существует потребность в облегчении рабочей нагрузки на водителя посредством наложения направляющего изображения на изображение, захватываемое установленной на транспортное средство камерой, с помощью простой конфигурации системы.

РЕШЕНИЕ ЗАДАЧИ

С учетом описанной выше задачи настоящее изобретение направлено на устройство содействия вождению, включающее в себя: блок приема изображения, который принимает захваченное изображение периферии транспортного средства, захватываемое установленной на транспортное средство камерой; блок вывода изображения, который отображает, на устройстве отображения внутри транспортного средства, отображаемое изображение, сформированное посредством наложения направляющего изображения на захваченное изображение, причем направляющее изображение сконфигурировано посредством направляющего отображения с использованием графического изображения, содержащего направляющую линию для содействия водителю в операции вождения транспортного средства; блок хранения, который сохраняет, в качестве направляющего отображения, по меньшей мере, множество прогнозируемых курсовых линий, которые были заранее сгенерированы в качестве графических изображений, для каждого предопределенного угла рулевого управления, причем каждая из прогнозируемых курсовых линий представляет собой направляющую линию для содействия операции вождения посредством показа прогнозируемого курса в соответствии с фактическим углом рулевого управления транспортного средства в захваченном изображении; и блок предоставления направляющего изображения, который, по меньшей мере, получает прогнозируемую курсовую линию в качестве направляющего отображения из блока сохранения в соответствии с фактическим углом рулевого управления транспортного средства, используя значения смещения на соответствующих двух осях в двумерной системе ортогональных координат, формирует направляющее изображение, используя полученное направляющее отображение, и предоставляет сформированное изображение к блоку вывода изображения, причем значения смещения на соответствующих двух осях в двумерной ортогональной системе координат вычисляют на основе различия между фактическими значениями координат в захваченном изображении и идеальными значениями координат, причем различие получают на основе параметра поворота установленной на транспортном средстве камеры в соответствии с положением прикрепления установленной на транспортном средстве камеры.

В такой конфигурации, вместо вычисления и получения координат прогнозируемой курсовой линии в захваченном изображении, в соответствии с углом рулевого управления транспортного средства прогнозируемую курсовую линию, которая была сгенерирована заранее, в соответствии с углом рулевого управления, и сохранена в блоке хранения, получают в соответствии с фактическим углом рулевого управления. Соответственно, направляющее изображение с прогнозируемой курсовой линией может быть получено, просто используя угол рулевого управления в качестве аргумента, без необходимости сложных вычислений. Кроме того, прогнозируемая курсовая линия может быть добавлена к захваченному изображению посредством наложения направляющего изображения с прогнозируемой курсовой линией на захваченное изображение без необходимости сложных вычислений. В результате становится возможным облегчить рабочую нагрузку на водителя посредством наложения направляющего изображения на изображение, захваченное установленной на транспортном средстве камерой с помощью простой конфигурации системы.

Предпочтительно, блок предоставления направляющего изображения получает направляющее отображение из блока хранения в синхронизации с циклом захвата захватываемого изображения или циклом обновления отображаемого изображения на устройстве отображения и предоставляет направляющее изображение к блоку вывода изображения. Например, в качестве примера синхронизации, если направляющее изображение предоставляют к блоку вывода изображения в том же цикле, что и цикл обновления отображаемого изображения, блок вывода изображения может получить новое направляющее изображение в каждом цикле обновления отображаемого изображения. Если захваченное изображение используют, по существу, в том виде, как оно есть, в качестве основы для отображаемого изображения, направляющее изображение изменяется с той же скоростью, что и захваченное изображение, захватываемое установленной на транспортном средстве камерой. В соответствии с этим, несмотря на простую конфигурацию с существенно уменьшенной вычислительной нагрузкой, возможно обеспечить визуальные эффекты полностью аналогичные эффектам, в случае когда направляющее отображение, сгенерированное посредством вычисления, непосредственно получают в захваченном изображении и формируют в отображаемое изображение. Следует отметить, что, если изменение направляющего отображения должно быть выполнено без каких-либо проблем при меньшей скорости, чем частота кадров захватываемого изображения или отображаемого изображения, направляющее изображение может быть обеспечено в цикле, который представляет собой целочисленное кратное цикла обновления отображаемого изображения. Также в этом случае отсутствует изменение в отношении нахождения в синхронизации с циклом обновления отображаемого изображения. Если направляющее изображение предоставлено в синхронизации с циклом обновления отображаемого изображения, хорошие отображаемые изображения могут быть отображены на устройстве отображения с уменьшенным ощущением неестественности. Следует понимать, что синхронизация также включает в себя нестандартные случаи, в которых, например, направляющие изображения предоставляют в цикле, который является двойным циклом обновления отображаемого изображения, затем в цикле, который является тройным, и затем в цикле, который является двойным, то есть два направляющих изображения предоставляют в конечном счете в цикле, который является пятикратным циклом обновления.

Если видеоформат, который может быть отображен на устройстве монитора, не соответствует видеоформату захваченного изображения, которое было захвачено установленной на транспортном средстве камерой, захваченное изображение не может быть отображено на устройстве монитора. В соответствии с этим синхронизация с циклом обновления отображаемого изображения будет, по существу, такой же, что и синхронизация с циклом захвата захватываемого изображения.

Предпочтительно, ошибку между идеальными координатами опорной точки в двумерной системе координат захватываемого изображения и фактическими координатами принимают за ошибку, связанную с положением в оптической системе, возникающую при прикреплении устанавливаемой на транспортное средство камеры к транспортному средству, и блок предоставления направляющего изображения устройства содействия вождению в соответствии с настоящим изобретением корректирует положение направляющего отображения в отображаемом изображении, на основе параметра коррекции, для коррекции ошибки, связанной с положением в оптической системе в отображаемом изображении. В фактическом транспортном средстве, из-за влияния допусков по частям, допусков по прикреплению и т.п., идеальные координаты опорной точки в двумерной системе координат захватываемого изображения и фактические координаты могут не соответствовать друг другу. Поскольку ошибка в координатах опорной точки смещена на плоскости проекции двумерной системы координат, ошибка может быть легко скорректирована, используя параметр коррекции, задающий величину такого смещения. То есть достаточно просто обеспечить смещение значениям координат в двумерной системе координат без выполнения сложного вычисления, такого как преобразование координат. При такой коррекции могут быть легко скорректированы ошибки, связанные с положением в оптической системе.

Предпочтительно, угол поворота захватываемого изображения относительно идеального состояния захватываемого изображения принимают за ошибку, связанную с поворотом в оптической системе, возникающую при прикреплении устанавливаемой на транспортное средство камеры к транспортному средству, причем блок хранения устройства содействия вождению в соответствии с настоящим изобретением дополнительно сохраняет графические изображения, показывающие направляющие отображения, в соответствии с углом рулевого управления транспортного средства, в соответствии с ошибкой, связанной с поворотом в оптической системе, и блок предоставления направляющего изображения получает графическое изображение прогнозируемой курсовой линии из блока хранения, в соответствии с фактическим углом рулевого управления транспортного средства и параметром поворота, указывающим ошибку, связанную с поворотом в оптической системе, возникающую при прикреплении устанавливаемой на транспортное средство камеры к транспортному средству. В фактическом транспортном средстве, из-за влияния допусков по частям, допусков по прикреплению и т.п., идеальный угол оси координат в двумерной системе координат захватываемого изображения и фактический угол, возможно, не соответствуют друг другу. Поскольку ошибка в угле оси координат представляет собой ошибку поворота в захватываемом изображении, требуется преобразование координат для коррекции этой ошибки путем поворота в обратную сторону. Преобразование координат накладывает относительно высокую вычислительную нагрузку. В то же время в конфигурации в соответствии с данным описанием блок хранения дополнительно сохраняет графические изображения в соответствии с ошибкой, связанной с поворотом в оптической системе, и блок предоставления направляющего изображения получает графическое изображение прогнозируемой курсовой линии из блока хранения, в соответствии с фактическим углом рулевого управления и параметром поворота. Таким образом, блок предоставления направляющего изображения может предоставлять блоку вывода изображения направляющее изображение, в котором ошибка, связанная с поворотом в оптической системе, была устранена без выполнения вычислений, налагающих высокую нагрузку, таких как преобразование координат, для коррекции ошибки, связанной с поворотом в оптической системе.

Предпочтительно, угол поворота захваченного изображения относительно идеального состояния захваченного изображения принимают за ошибку, связанную с поворотом в оптической системе, возникающую при прикреплении устанавливаемой на транспортное средство камеры к транспортному средству, при этом блок хранения устройства содействия вождению в соответствии с настоящим изобретением сохраняет графические изображения прогнозируемых курсовых линий в переменном диапазоне, который шире, чем переменный диапазон фактического угла рулевого управления, и блок предоставления направляющего изображения корректирует фактическое значение угла рулевого управления, на основе фактического угла рулевого управления транспортного средства, и параметра поворота, указывающего фактическую ошибку, связанную с поворотом в оптической системе, и получает прогнозируемую курсовую линию из блока хранения в соответствии со скорректированным значением. Как описано выше, преобразование координат накладывает относительно высокую вычислительную нагрузку. В то же время в конфигурации в соответствии с данным описанием фактический угол рулевого управления корректируют на основе параметра поворота, и прогнозируемую курсовую линию получают из блока хранения в соответствии со скорректированным углом рулевого управления, и, таким образом, не требуется высокая вычислительная нагрузка, такая как при преобразовании координат. Поскольку блок хранения сохраняет графические изображения прогнозируемых курсовых линий в переменном диапазоне, который шире, чем переменный диапазон фактического угла рулевого управления, угол рулевого управления может быть скорректирован на основе параметра поворота без какой-либо проблемы. Таким образом, блок предоставления направляющего изображения может снабжать блок вывода изображения направляющим изображением, в котором ошибка, связанная с поворотом в оптической системе, была устранена, без выполнения вычисления, налагающего высокую нагрузку, такого, как преобразование координат, для коррекции ошибки, связанной с поворотом в оптической системе.

Предпочтительно, графические изображения прогнозируемых курсовых линий, сохраняемых в блоке хранения устройства содействия вождению, в соответствии с настоящим изобретением генерируют таким образом, что предопределенный угол рулевого управления, когда рулевое колесо транспортного средства близко к нейтральному положению, меньше, чем когда рулевое колесо повернуто. При такой конфигурации разрешение, когда рулевое колесо близко к нейтральному положению, является высоким, и прогнозируемая курсовая линия чутко следует операции вождения из нейтрального положения для начала рулевого управления. В соответствии с этим, водитель может быть быстро уведомлен об изменении прогнозируемой курсовой линии в отображаемом изображении. В результате водитель может распознать движение прогнозируемой курсовой линии на ранней стадии, и могут быть достигнуты отличные эффекты содействия вождению.

Предпочтительно, в захваченном изображении направляющее отображение, которое отображают в предопределенном положении на экране отображения, независимо от фактического угла рулевого управления транспортного средства принимают за фиксированную направляющую, причем блок хранения устройства содействия вождению в соответствии с настоящим изобретением дополнительно сохраняет по меньшей мере одну упомянутую фиксированную направляющую, и блок предоставления направляющего изображения получает прогнозируемую курсовую линию и фиксированную направляющую из блока хранения, выполняет их объединение в одно упомянутое направляющее изображение и предоставляет направляющее изображение к блоку вывода изображения. Таким образом, даже если будет предоставлено множество типов направляющих отображений, блок предоставления направляющего изображения объединяет их в одно направляющее изображение, и, таким образом, достаточно, чтобы блок вывода изображения накладывал захваченное изображение и направляющее изображение. В результате снижается вычислительная нагрузка, и устройство содействия вождению может быть реализовано с помощью простой конфигурации системы.

Предпочтительно, фиксированная направляющая включает в себя линию продолжения транспортного средства в качестве направляющей линии, указывающей линию продолжения транспортного средства в направлении движения с предопределенным углом рулевого управления, независимо от фактического угла рулевого управления транспортного средства, в захваченном изображении. Если линию продолжения транспортного средства и прогнозируемую курсовую линию накладывают в качестве направляющих изображений на захваченное изображение, водителя легко уведомить о взаимосвязи между величиной рулевого управления и направлением движения.

Предпочтительно, в соответствии с вариантом осуществления настоящего изобретения устройство содействия вождению сконфигурировано посредством интегрированного модуля устанавливаемой на транспортном средстве камеры, включающего в себя:

устройство датчика изображения, обеспеченное основной частью датчика изображения, имеющей датчик изображения, который выполняет фотоэлектрическое преобразование для преобразования сцены в периферии транспортного средства в аналоговый сигнал изображения, и блок обработки сигналов, который выполняет обработку сигналов аналогового сигнала изображения для генерирования захваченного изображения, состоящего из цифрового сигнала изображения, и

процессор датчика изображения, который, по меньшей мере, генерирует направляющее изображение, посредством получения направляющего отображения, содержащего прогнозируемую курсовую линию из блока хранения, генерирует отображаемое изображение, посредством наложения захваченного изображения и направляющего изображения, и выводит отображаемое изображение;

оптический узел, который формирует изображение сцены в периферии транспортного средства на принимающей свет поверхности датчика изображения; и

память, которая сохраняет графические изображения направляющих отображений.

При такой конфигурации обработка, которая захватывает захватываемое изображение, накладывает направляющее изображение на захваченное изображение и затем выводит полученное таким образом отображаемое изображение, полностью выполняется интегрированным модулем установленной на транспортном средстве камеры. То есть, если устройство монитора установлено в транспортном средстве, устройство содействия вождению может быть легко добавлено к транспортному средству просто путем отображения отображаемого изображения на устройстве монитора. Как правило, функция такого устройства содействия вождению должна быть добавлена во время изготовления транспортных средств на производственных предприятиях изготовителя. Однако устройство содействия вождению настоящего изобретения может быть добавлено просто путем установки модуля устанавливаемой на транспортное камеры в транспортном средстве и подключения его к устройству монитора. В соответствии с этим весьма вероятно, что устройство содействия вождению может быть добавлено также, например, на предприятиях обслуживания дилеров, способных выполнять простую регулировку оптической оси. В результате настоящее изобретение способствует широкому использованию устройства содействия вождению и может уменьшить рабочую нагрузку на многих водителей. Кроме того, поскольку устройство содействия вождению может быть реализовано с помощью модуля устанавливаемой на транспортном средстве камеры, сконфигурированного посредством простого вычислительного устройства, без установки вычислительного устройства высокой производительности в транспортном средстве, устройство содействия вождению может быть добавлено с малыми затратами.

Предпочтительно, транспортное средство обеспечено блоком обнаружения объекта, который обнаруживает объект вокруг транспортного средства, причем блок хранения сохраняет множество частей информации окружения, которые были сгенерированы заранее в качестве графических изображений, соответственно, для расстояний и направлений от транспортного средства до объекта, причем информация окружения указывает обстановку, окружающую транспортное средство, и блок предоставления направляющего изображения получает информацию окружения из блока хранения, на основе результата обнаружения от блока обнаружения объекта, выполняет ее объединение в направляющее изображение и предоставляет направляющее изображение к блоку вывода изображения. При такой конфигурации динамическая информация из блока обнаружения объекта может быть отображена в направляющем изображении, отличном от направляющего изображения прогнозированной курсовой линии, и отображение может быть изменено только в случае необходимости, в соответствии с изменением информации об окружающей обстановке, что улучшает эффективность.

Кроме того, информация окружения может быть объединена в верхней части направляющего изображения. Верхняя часть в захваченном изображении во многих случаях содержит ненужные сцены, такие как верхние этажи зданий или небо. Таким образом, в этой конфигурации, поскольку информация окружения может быть скомпонована в области, содержащей ненужные сцены в захваченном изображении, область, указывающая обстановку, окружающую транспортное средство (например, требующая внимания область), которая содержится в захваченном изображении, не будет закрыта.

В качестве альтернативы, информация окружения может быть объединена в нижней части направляющего изображения. Нижняя часть в захваченном изображении во многих случаях содержит корпус транспортного средства. Таким образом, в этой конфигурации, поскольку информация окружения может быть скомпонована в области, содержащей корпус транспортного средства в захваченном изображении, область, указывающая обстановку, окружающую транспортное средство (например, требующая внимания область), которая содержится в захваченном изображении, не будет закрыта.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На фиг. 1 показана блок-схема, схематично представляющая примерную конфигурацию системы транспортного средства.

На фиг. 2 показан вид в перспективе транспортного средства с вырезом части транспортного средства.

На фиг. 3 показана блок-схема, схематично представляющая примерную функциональную конфигурацию устройства содействия вождению.

На фиг. 4 показана схема, схематично представляющая взаимосвязь между захваченным изображением, направляющими изображениями и отображаемым изображением.

На фиг. 5 показана схема, схематично представляющая взаимосвязь между рулевым колесом и прогнозируемой курсовой линией.

На фиг. 6 показана схема, схематично представляющая примерный формат данных памяти, которая хранит графические изображения, соответствующие ошибкам поворота.

На фиг. 7 показана схема, схематично представляющая другой примерный формат данных памяти, которая сохраняет графические изображения, соответствующие ошибкам поворота.

На фиг. 8 показана схема, схематично представляющая взаимосвязь между захваченным изображением, направляющими изображениями и отображаемым изображением в соответствии с другим вариантом осуществления.

На фиг. 9 показана схема, схематично представляющая примерный формат данных памяти, которая сохраняет графические изображения, соответствующие информации окружения.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Ниже, со ссылкой на чертежи, будут описаны варианты осуществления настоящего изобретения. Как показано на фиг. 1 и 2, данный вариант осуществления будет описан с использованием, в качестве примера, устройства 10 содействия вождению (устройства содействия парковке или устройства контроля периферии), с помощью которого захваченное изображение PI периферии транспортного средства 90, захваченное как движущееся изображение камерой 100, установленной в транспортном средстве (установленной на транспортном средстве камерой), отображают как изображение VI отображения на устройстве 4 монитора (устройстве отображения). Камера 100 представляет собой камеру, которая захватывает от 15 до 30 кадров двумерных изображений в секунду в виде временной последовательности, используя устройство формирования изображения, такое как CCD (прибор с зарядовой связью) или CIS (датчик изображения CMOS), подвергает изображения цифровому преобразованию и выводит данные движущегося изображения (захваченные изображения) в режиме реального времени. В данном варианте осуществления камера 100 сконфигурирована как часть модуля 1 камеры (модуля устанавливаемой на транспортном средстве камеры), в который были интегрированы оптический узел 3, включающий в себя объектив, оптический путь и т.п., устройство 5 датчика изображения и память 7. Кроме того, модуль 1 камеры соответствует устройству 10 содействия вождению в соответствии с настоящим изобретением. Устройство 5 датчика изображения представляет собой полупроводниковую микросхему, в которой интегрированы датчик изображения и схема обработки сигналов для электрических сигналов, которые были подвергнуты фотоэлектрическому преобразованию датчиком изображения. В такой полупроводниковой микросхеме использование технологии CMOS желательно с точки зрения свойств интеграции, потребления электроэнергии и т.п. В соответствии с этим в данном варианте осуществления CIS используется как устройство формирования изображения.

Более конкретно, устройство 5 датчика изображения сконфигурировано так, что оно включает в себя основную часть 8 датчика изображения, процессор 9 датчика изображения (ISP), выходной интерфейс 99 и интерфейс 6 памяти. Основная часть 8 датчика изображения сконфигурирована так, что включает в себя CIS 81, в качестве датчика изображения, который выполняет фотоэлектрическое преобразование для преобразования сцен в периферии транспортного средства 90 в аналоговые сигналы изображения, и блок обработки сигналов, который выполняет обработку сигналов для аналоговых сигналов изображения, для генерирования захваченного изображения PI, состоящего из цифровых сигналов изображения. Блок обработки сигналов сконфигурирован так, что он включает в себя схему 82 обработки аналогового сигнала, которая сконфигурирована посредством схемы усилителя, схемы двойной коррелированной выборки и т.п., и A/D преобразователь 83, который преобразует аналоговые сигналы в цифровые сигналы. Аналоговые сигналы, которые были переданы через схему 82 обработки аналогового сигнала, преобразуют в цифровые сигналы посредством аналого-цифрового преобразователя 83, и, таким образом, генерируют захваченное изображение PI, состоящее из цифровых сигналов изображения.

Камера 100 сконфигурирована посредством основной части 8 датчика изображения и оптического узла 3. Оптический узел 3 сконфигурирован так, что он включает в себя объектив и тубус объектива (оптический путь) для предотвращения попадания окружающего света от объектива в путь на принимающую свет поверхность CIS 81 и формирует изображение сцен в периферии транспортного средства 90 на принимающей свет поверхности CIS 81. Объектив, расположенный в оптическом узле 3, представляет собой широкоугольный объектив. В частности, в данном варианте осуществления обеспечивается поле зрения, которое составляет от 140 до 190° в горизонтальном направлении. Камера 100 установлена в транспортное средство 90, так, что имеет угол наклона приблизительно 30 градусов относительно оптической оси и может захватывать изображения области вплоть до приблизительно восьми метров от транспортного средства 90. Другими словами, модуль 1 камеры установлен в транспортном средстве 90 так, что имеет угол наклона приблизительно 30 градусов относительно оптической оси оптического узла 3, и камера 100 может захватывать изображения области вплоть до приблизительно восьми метров от транспортного средства 90. В этом варианте осуществления заднюю камеру, которая захватывает изображения зоны с тыльной стороны транспортного средства 90, принимают за пример камеры 100, но она также может представлять собой камеру, которая захватывает изображения зон с передней стороны или сбоку относительно транспортного средства 90. Кроме того, число камер 100, компонуемых в транспортном средстве 90, не ограничено одной, и множество камер может быть скомпоновано, например, в задней части и боковой части на стороне пассажирского сиденья, в задней части, боковой части на стороне пассажирского сиденья, и передней части, или в задней части и обеих боковых частях, и передней части транспортного средства 90.

Захваченное изображение PI, которое было захвачено камерой 100, может быть отображено через ISP 9 на устройстве 4 монитора (устройство отображения) внутри транспортного средства в качестве отображаемого изображения VI, как показано на фиг. 1. В этом варианте осуществления ISP 9 сконфигурирован посредством DSP (процессора цифровых сигналов) в качестве основной части, но может быть сконфигурирован посредством другого арифметико-логического процессора или логической схемы, например CPU, в качестве основной части. ISP 9 может выполнять обработку изображений, например, для коррекции искажения, которое возникает во время захвата широкоугольным объективом, для выполнения преобразования точки обзора или для регулировки цветов. Следует отметить, что обработка изображений может не выполняться посредством ISP 9, и захваченное изображение PI может быть таким же, как и отображаемое изображение VI.

В данном варианте осуществления в ISP 9 направляющее изображение GI накладывается на захваченное изображение PI, и, таким образом, формируется отображаемое изображение VI. Как показано на фиг. 4, направляющее изображение GI представляет собой изображение, использующее направляющее отображение V для содействия водителю в операции вождения транспортного средства 90. Направляюще отображение V представляет собой графическое изображение, содержащее направляющую линию G или сообщение М для содействия водителю в операции вождения транспортного средства 90. Кроме того, примеры направляющей линии G включают в себя прогнозируемую курсовую линию C, которая изменяется в соответствии с углом рулевого управления транспортного средства 90, и линию E продолжения транспортного средства в качестве фиксированной направляющей F, которая представлена в постоянном положении, независимо от угла рулевого управления. Следует понимать, что, если бы направляющее отображение V не отображалось бы и направляющее изображение GI было прозрачным, захваченное изображение PI могло быть таким же, как и отображаемое изображение VI.

Способ для генерирования направляющего изображения GI будет описан подробно ниже. Различные направляющие отображения V сохранены в памяти 7. Устройство 5 датчика изображения получает направляющее отображение V из памяти 7 через интерфейс 6 памяти и генерирует направляющее изображение GI. Интерфейс 6 памяти, например, представляет собой SPI (последовательный периферийный интерфейс). Устройство 5 датчика изображения накладывает направляющее изображение GI на захваченное изображение PI, генерируя, таким образом, отображаемое изображение VI, и затем выводит отображаемое изображение VI через выходной интерфейс 99 к устройству 4 монитора. Следует отметить, что в данном описании представлен пример, в котором память 7 представляет собой микросхему, отдельную от устройства 5 датчика изображения, но этот пример не должен препятствовать интеграции памяти 7 в одной сборке с устройством 5 датчика изображения.

Устройство монитора навигационной системы, например, также может служить в качестве устройства 4 монитора. Как показано на фиг. 1, устройство 4 монитора имеет блок 4a отображения и воспринимающую касание панель 4b, которая сформирована на блоке 4a отображения. Блок 4a отображения отображает отображаемое изображение VI, предоставляемое модулем 1 камеры. В качестве одного примера блок 4a отображения сконфигурирован посредством жидкокристаллического устройства отображения. Воспринимающая касание панель 4b сформирована вместе с блоком 4a отображения и представляет собой воспринимающее давление устройство или электростатическое устройство ввода инструкции, которое может выводить положение, которого коснулись пальцем и т.п., в качестве данных местоположения.

Устройство 5 датчика изображения обеспечено контроллером 91, который управляет различными вычислительными узлами и т.п. устройства 5 датчика изображения. На фиг. 1 цели управления, отличные от интерфейса 6 памяти, не представлены, но следует понимать, что основная часть 8 датчика изображения, функциональные узлы, включающие в себя узел 92 вычисления данных в ISP 9, выходной интерфейс 99 и т.п. включены в цели управления. Кроме того, устройство 5 датчика изображения может осуществлять связь с различными системами и датчиками через сеть внутри транспортного средства, указанную ссылочным номером 50 на фиг. 1. В этом варианте осуществления CAN (вычислительную сеть контроллера) 50 берут за пример сети внутри транспортного средства. Система 31 усилителя рулевого управления и система 37 торможения сконфигурированы посредством ECU (электронного узла управления) в качестве основной части, который сконфигурирован посредством электронной схемы, такой как CPU, в качестве основной части вместе с периферийными схемами.

Система 31 усилителя рулевого управления представляет собой систему EPS (электрического усилителя рулевого управления) или систему SBW (рулевого управления «по проводам»), обеспеченную исполнительным механизмом 41 и датчиком 22 крутящего момента. Система 37 торможения представляет собой электрическую систему торможения или систему BBW (торможения «по проводам»), обеспеченную исполнительным механизмом 47 и датчиком 27 торможения и имеющую ABS (антиблокировочную тормозную систему), которая устраняет блокирование тормозов, устройство предотвращения заноса (ESC: электронное управление стабилизацией), которое устраняет занос транспортного средства во время поворота, осуществляет содействие торможению для увеличения силы торможения и т.п.

На фиг. 1 датчик 21 рулевого управления, датчик 23 скорости вращения колеса, переключатель 25 рычага переключения передач и датчик 29 акселератора соединены с CAN 50, в качестве примеров различных датчиков. Датчик 21 рулевого управления представляет собой датчик, который обнаруживает величину рулевого управления (угол поворота) рулевого колеса, и сконфигурирован, например, посредством элемента на эффекте Холла и т.п. Модуль 1 камеры, формирующий устройство 10 содействия вождению, может получать величину рулевого управления рулевого колеса 2, управляемого водителем, из датчика 21 рулевого управления. Датчик 23 скорости вращения колеса представляет собой датчик, который обнаруживает величину поворота или число поворотов на единицу времени колес транспортного средства 90, и сконфигурирован, например, посредством элемента на эффекте Холла и т.п. Датчик 23 скорости вращения колеса может быть предусмотрен в системе 37 торможения для того, чтобы быстро обнаруживать блокирование тормозов, холостое вращение колес, признаки скольжения и т.п. по различиям во вращении левых и правых колес. В этом случае устройство 10 содействия вождению получает информацию через систему 37 торможения. Датчик 27 тормоза представляет собой датчик, который обнаруживает величину операции педалью тормоза. Переключатель 25 рычага переключения передач представляет собой датчик или переключатель, который обнаруживает положение рычага переключения передач, и сконфигурирован посредством датчика смещения и т.п. Например, устройство 10 содействия вождению может начать управление содействием, если рычаг передач установлен на задний ход, и может заканчивать управление содействием, если рычаг переключения передач изменен с передачи заднего хода на передачу переднего хода. Кроме того, датчик 22 крутящего момента, который обнаруживает рабочий крутящий момент, прикладываемый к рулевому колесу, также может обнаруживать, удерживает ли водитель рулевое колесо.

Устройство 10 содействия вождению в соответствии с настоящим изобретением сконфигурировано посредством ISP 9 устройства 5 датчика изображения, в качестве основной части модуля 1 камеры. Как показано на фиг. 3, устройство 10 содействия вождению сконфигурировано так, что оно включает в себя функциональные узлы, а именно блок 11 приема изображения, блок 13 хранения, блок 17 предоставления направляющего изображения и блок 19 вывода изображения. Эти функциональные узлы не обязательно должны иметь независимые физические конфигурации, и достаточно, чтобы их функции были реализованы. То есть функциональные узлы могут использовать общее аппаратное обеспечение, и их функции могут быть реализованы через взаимодействие программного обеспечения, например программ и параметров, и аппаратного обеспечения.

Блок 11 приема изображения представляет собой функциональный узел, который принимает захваченное изображение PI периферии транспортного средства 90, которое было захвачено установленной на транспортном средстве камерой 100, в частности, оптическим узлом 3 и основной частью 8 датчика изображения. Например, узел 92 вычисления данных функционирует как блок 11 приема изображения.

Блок 13 хранения представляет собой функциональный узел, который сохраняет графические изображения для формирования направляющего отображения V. Память 7 функционирует как блок 13 хранения. Блок 17 предоставления направляющего изображения представляет собой функциональный узел, который получает графическое изображение для формирования направляющего отображения V из блока 13 хранения (памяти 7) и предоставляет его к блоку 19 вывода изображения. Контроллер 91, буфер 93, блок 94 разворачивания, блок 95 наложения и блок 92 вычисления данных функционируют как блок 17 предоставления направляющего изображения. Блок 17 предоставления направляющего изображения получает графическое изображение прогнозируемой курсовой линии C из блока 13 хранения в соответствии с фактическим углом θ рулевого управления транспортного средства 90. В частности, блок 17 предоставления направляющего изображения получает угол θ рулевого управления транспортного средства 90 от датчика 21 рулевого управления, осуществляет доступ к памяти 7 на основе адреса, точно определенного в соответствии с углом θ рулевого управления, и получает графическое изображение прогнозируемой курсовой линии C в соответствии с углом θ рулевого управления. Блок 19 вывода изображения представляет собой функциональный узел, который отображает отображаемое изображение VI на устройстве 4 монитора внутри транспортного средства 90, причем отображаемое изображение VI представляет собой изображение, полученное посредством наложения направляющего изображения GI, используя направляющее отображение V, на захваченное изображении PI. Узел 92 вычисления данных и выходной интерфейс 99 функционируют как блок 19 вывода изображения.

Ниже будет представлено описание со ссылкой на пример конкретных изображений, показанных на фиг. 4 и 5. Следует отметить, что направляющее отображение V относится к графическому изображению, содержащему направляющую линию G для содействия водителю в операции вождения транспортного средства 90. Направляющее отображение V содержит направляющую линию G, фиксированную направляющую F, линию Е продолжения транспортного средства, сообщение М и прогнозируемую курсовую линию C, показанные на фиг. 4. Направляющая линия G представляет собой линию направления для направления водителя, с тем чтобы содействовать водителю в операции вождения транспортного средства 90. Направляющая линия G включает в себя линию Е продолжения транспортного средства и прогнозируемую курсовую линию C. Линия E продолжения транспортного средства в данном примере представляет собой линию продолжения транспортного средства по ширине с тыльной стороны, полученную путем продолжения ширины транспортного средства 90 назад. Следует понимать, что, если бы линия продолжения транспортного средства была наложена на захваченное изображение, полученное посредством захвата изображения зоны передней стороны транспортного средства 90, линия Е продолжения транспортного средства могла бы быть линией продолжения транспортного средства по ширине с передней стороны. Кроме того, линия Е продолжения транспортного средства не ограничена линиями ширины транспортного средства и может представлять собой линии по осям в продольном направлении. Кроме того, линия E продолжения транспортного средства может быть получена путем продолжения передней кромки, задней кромки, центра в направлении длины транспортного средства и тому подобное для транспортного средства 90 в поперечных направлениях транспортного средства 90. Положение линии Е продолжения транспортного средства определяют на основе взаимосвязи между транспортным средством 90 и захваченным изображением PI, которое было захвачено камерой 100, и, таким образом, линию Е продолжения транспортного средства накладывают в постоянное положение в захваченном изображении PI. В соответствии с этим линия Е продолжения транспортного средства содержится в фиксированной направляющей F. Фиксированная направляющая F также содержит сообщение М.

Прогнозируемая курсовая линия C представляет собой направляющую линию G, указывающую прогнозируемый курс в соответствии с фактическим углом рулевого управления транспортного средства 90 в захваченном изображении PI. В соответствии с этим в захваченном изображении PI прогнозируемая курсовая линия C не наложена в постоянное положение, но относится к динамической направляющей, которая изменяется в соответствии с фактическим углом θ рулевого управления транспортного средства 90. Как показано на фиг. 5C, когда рулевое колесо 2 находится в нейтральном положении (центральное положение), угол θ рулевого управления равен нулю, и прогнозируемую курсовую линию C представляют в положении, по существу, перекрывающем линию Е продолжения транспортного средства.

Как показано на фиг. 5B, когда рулевым колесом 2 управляют немного влево от нейтрального положения, прогнозируемая курсовая линия C изгибается влево. Следует отметить, что, если водитель будет смотреть на устройство 4 монитора с сиденья водителя, как показано на фиг. 2, отображение сцен, аналогичных тем, которые находятся в зеркале заднего вида (не показано), позволяет водителю легко понимать обстановку, окружающую транспортное средство 90, и, таким образом, отображаемое изображение VI отображает захваченное изображение PI как зеркальное отображение, в котором левая и правая стороны изменены на обратные. В соответствии с этим прогнозируемая курсовая линия C, которая должна быть наложена на снимаемое захваченное изображение PI, также представлена как зеркальное изображение. Как показано на фиг. 5A, когда рулевым колесом 2 управляют далее влево от нейтрального положения, прогнозируемую курсовую линию C изгибают влево в большей степени, чем на фиг. 5B.

Аналогично тому, что показано на фиг. 5D, когда рулевым колесом 2 управляют немного вправо от нейтрального положения, прогнозируемая курсовая линия C изгибается вправо. Кроме того, как показано на фиг. 5E, когда рулевым колесом 2 управляют дальше вправо от нейтрального положения, прогнозируемая курсовая линия C изгибается вправо в большей степени, чем на фиг. 5D.

В пределах времени, в течение которого устройство 4 монитора обновляет свой экран, блок 17 предоставления направляющего изображения, сконфигурированный посредством ISP 9, в качестве основной части, считывает четыре типа направляющих отображений из памяти 7, и накладывают их на захваченное изображение PI, генерируя, таким образом, отображаемое изображение VI. Следует отметить, что, если видеоформат, который может быть отображен на устройстве 4 монитора, не соответствует видеоформату захваченного изображения PI, которое было захвачено камерой 100 (или видеоформату отображаемого изображения VI), захваченное изображение PI (отображаемое изображение VI) не может быть отображено на устройстве 4 монитора. Видеоформаты заданы числом пикселей по горизонтали и по вертикали, например NTSC/PAL, числом экранов на единицу времени (или экранной частотой/частотой строк), способом отображения, например чересстрочным/последовательным и т.п. В соответствии с этим можно упомянуть, что в пределах времени, в течение которого камера 100 захватывает захватываемое изображение PI для одного экрана, блок 17 предоставления направляющего изображения считывает четыре типа направляющих отображений из памяти 7 и накладывает их на захваченное изображение PI, генерируя, таким образом, отображаемое изображение VI, в синхронизации с циклом захвата захваченного изображения PI для одного экрана (или циклом генерирования отображаемого изображения VI).

Например, если устройство 4 монитора отображает изображения с частотой кадров 30 кадров/с, блок 17 предоставления направляющего изображения генерирует отображаемое изображение VI для одного кадра в пределах 1/30 секунды (≈33 мс). Другими словами, направляющее отображение V типа, который может быть обработан блоком 17 предоставления направляющего изображения за 1/30 секунды, может быть сохранено в памяти 7, в качестве блока 13 хранения. В данном варианте осуществления память 7 может сохранять четыре типа направляющих отображений V, указанных как OV1-OV4. В данном варианте осуществления будет представлено описание со ссылкой на пример, в котором сохранены три типа направляющих отображений V, указанные как OV1-OV3.

OV1 представляет собой направляющее отображение V, которое соответствует линии Е продолжения транспортного средства, OV2 представляет собой направляющее отображение V, которое соответствует прогнозируемой курсовой линии C, и OV3 соответствует сообщению М. Следует отметить, что линия Е продолжения транспортного средства и сообщение М соответствуют фиксированной направляющей F, но количество сохраненных конструкций не ограничено одним. Например, если определяют, что препятствие присутствует рядом с транспортным средством 90 на основе результата обнаружения из парктроника (сонара) 33, сообщение М быть отображено другим цветом. В этом случае считывают направляющее отображение V, сохраненное как OV3 под другим адресом в памяти 7. То же самое применяется к линии Е продолжения транспортного средства.

Прогнозируемые курсовые линии C, имеющие разную форму, например, для каждых 15 градусов угла поворота рулевого колеса 2, представляют заранее и, соответственно, сохраняют с разными адресами памяти 7. Как показано на фиг. 4, блок 17 предоставления направляющего изображения осуществляет доступ к памяти 7 на основе адреса A(θ) в соответствии с углом θ рулевого управления, указанным углом поворота рулевого колеса 2, углом смещения колес и т.п. и получает прогнозируемую курсовую линию C в соответствии с углом θ рулевого управления. Кроме того, блок 17 предоставления направляющего изображения получает другие направляющие отображения V, такие как линия Е продолжения транспортного средства или сообщение М, в соответствии с необходимостью, из памяти 7 под управлением контроллера 91.

В представленном выше описании направляющие отображения V, имеющие разную форму для каждого предопределенного угла рулевого управления, то есть для каждых 15 градусов угла поворота рулевого колеса 2, заранее визуализируют и сохраняют. Однако ширина в единицах предопределенного угла рулевого управления, которая представляет собой, так называемое разрешение, может быть разной в соответствии с положением рулевого колеса 2. Например, направляющее отображение V может быть подготовлено и сохранено в памяти 7 таким образом, что разрешение, когда рулевое колесо 2 находится близко к нейтральному положению, будет выше, чем в других областях, когда рулевое колесо повернуто. Например, прогнозируемая курсовая линия C может быть сгенерирована для каждых 5 или 10 градусов в диапазоне, близком к нейтральному положению, где угол поворота рулевого колеса 2 не больше чем 90 градусов в направлении влево или вправо от нейтрального положения, и прогнозируемая курсовая линия C может быть сгенерирована для каждых 15 градусов в диапазоне, где угол поворота рулевого колеса 2 больше чем 90 градусов в направлении влево или вправо. При такой конфигурации прогнозируемая курсовая линия C чутко следует операции от нейтрального положения для начала рулевого управления, и, таким образом, водитель может быть уведомлен быстро об изменении прогнозируемой курсовой линии C в отображаемом изображении VI. Кроме того, водитель может распознавать движение прогнозируемой курсовой линии C на ранней стадии.

Направляющие отображения V, сохраненные в памяти 7, сжимают для уменьшения объема данных. Направляющие отображения V, получаемые из памяти 7 через буфер 93, который сконфигурирован памятью малой емкости, регистром и т.п., разворачивают с помощью блока 94 разворачивания. Кроме того, если множество направляющих отображений V будет наложено на захваченное изображение PI, направляющие отображения V после разворачивания укладывают друг на друга так, чтобы можно было их объединить в одно направляющее изображение GI блоком 95 наложения. Направляющее изображение GI укладывают на захваченное изображение PI для формирования отображаемого изображения VI модулем 92 вычисления данных и выводят через интерфейс 99 вывода к устройству 4 монитора.

Как описано выше, блок 17 предоставления направляющего изображения получает графическое изображение для формирования направляющего отображения V из блока 13 хранения и предоставляет направляющее изображение GI к блоку 19 вывода изображения в синхронизации с циклом обновления отображаемого изображения VI в устройстве 4 монитора. В соответствии с этим ISP 9 получает угол θ рулевого управления также от датчика 21 рулевого управления в синхронизации с циклом обновления отображаемого изображения VI. Прогнозируемая курсовая линия C может быть считана каждый раз из памяти 7 без какой-либо проблемы, даже если не происходит изменения угла θ рулевого управления, или, хотя оно произошло, изменение находится в пределах диапазона минимального разрешения по углу θ рулевого управления. В результате некоторое графическое изображение считывают из памяти 7 как прогнозируемую курсовую линию C, и то же самое направляющее изображение GI предоставляют к блоку 19 вывода изображения. В этом случае вычислительная нагрузка уменьшается, поскольку обработка выполняется как процедура.

Если цикл обновления отображаемого изображения VI и цикл предоставления направляющего изображения GI будут синхронизированы друг с другом (например, если эти циклы представляют собой один и тот же цикл), блок 19 вывода изображения может получать новое направляющее изображение GI в каждом цикле обновления отображаемого изображения VI. В соответствии с этим, поскольку направляющее изображение GI изменяется с той же скоростью, что и захватываемое изображение PI, с помощью простой конфигурации, водителю могут быть представлены визуальные эффекты, абсолютно аналогичные случаю, когда направляющее отображение V, сгенерированное посредством вычисления, непосредственно представляют в захваченном изображении PI. Следует отметить, что, если изменение направляющего отображения V должно быть выполнено с малой скоростью, без каких-либо проблем, направляющее изображение может быть предоставлено в цикле, который представляет собой целочисленное кратное цикла обновления отображаемого изображения VI. Также в этом случае не происходит изменения в отношении нахождения в синхронизации с циклом обновления отображаемого изображения VI. Следует отметить, что, если требуется, чтобы сообщение М мигало, для привлечения внимания водителя, такое мигание может быть вызвано преднамеренным сокращением цикла предоставления сообщения М в цикле обновления.

При прикреплении камеры 100 к транспортному средству 90 возникают ошибки исходя из идеальной позиции прикрепления или идеального положения прикрепления. То есть двумерная система координат, проецируемая на захваченное изображение PI, не всегда соответствует разрабатываемой идеальной системе координат. Ошибки между фактической системой координат и идеальной системой координат грубо классифицируют на два типа. Один из типов представляет собой трансляционную ошибку, при которой центр координат (пересечение с оптической осью, ортогональной поверхности проецирования) двумерной поверхности проецирования, для формирования захваченного изображения PI, смещается от идеальных координат в трехмерной внешней системе координат. Это является ошибкой, связанной с положением, в оптической системе (оптическом узле 3), возникающей при прикреплении камеры 100 к транспортному средству 90. Другой тип представляет собой ошибку поворота, при которой двумерная поверхность проецирования, для формирования захваченного изображения PI, повернута, например, вокруг оси вращения, которая представляет собой каждую ось трехмерных ортогональных координат в трехмерной системе координат мира. Это является ошибкой, связанной с позицией, в оптической системе (оптическом узле 3), возникающей при прикреплении устанавливаемой на транспортное средство камеры 100 к транспортному средству 90.

Для устранения этих ошибок выполняют калибровку, когда камера 100 установлена в транспортном средстве 90. Как правило, с помощью калибровки получают параметры калибровки для коррекции трансляционных ошибок и ошибок поворота, и захваченное изображение PI корректируют на основе этих параметров калибровки. Предполагается, что в данном варианте осуществления параметры коррекции, в основном, предназначены для коррекции трансляционных ошибок (ошибок положения), и параметры поворота, указывающие ошибки поворота (ошибки позиции), получают путем калибровки. Параметры коррекции, для коррекции ошибок положения, используют для коррекции ошибок, связанных с положением в оптической системе, в отображаемом изображении VI. В частности, параметры коррекции таковы, что смещение координат оптического центра или предопределенной опорной точки на поверхности проецирования оптического центра определяют со значениями смещения на соответствующих двух осях в двумерной системе ортогональных координат. Следует отметить, что ошибки, касающиеся панорамирования (поворот в горизонтальных направлениях относительно экрана) и наклона (поворот в перпендикулярных направлениях относительно экрана), которые обычно включены в ошибки поворота, включены в ошибки положения в данном примере, и их регулируют во время регулировки ошибок положения. Относительно высокая вычислительная нагрузка требуется для коррекции трехмерных ошибок поворота на поверхности проецирования, которая представляет собой трехмерную плоскость, при использовании проекционной геометрии. То есть вычисление, налагающее высокую нагрузку, требуется каждый раз для захвата изображения PI. В соответствии с этим в данном варианте осуществления, ошибки положения сокращенно корректируют, фокусируясь "на внешнем виде" поверхности проецирования, которая представляет собой изображение на экране устройства 4 монитора.

Например, индикатор калибровки, в котором предписаны идеальные значения координат, захватывают камерой 100. Поскольку идеальные значения координат также предписаны для опорной точки, которая представляет собой отдельную точку в индикаторе калибровки, получают ошибки по координатам опорной точки в фактически захваченном изображении PI и определяют значения смещения. В частности, опорную точку в индикаторе калибровки, установленную в предписанном положении, в трех измерениях, преобразуют в идеальные значения координат в захваченном изображении на основе идеальных параметров преобразования. Затем разности между фактическими значениями координат опорной точки и захваченным изображением PI, полученным посредством захвата этого индикатора калибровки камерой 100, и идеальные значения координат получают и принимают за ошибки. На основе этих ошибок определяют значения смещения. Такие значения смещения (параметры коррекции) вычисляют при установке камеры 100 в транспортном средстве и сохраняют в устройстве 10 содействия вождению. Аналогично, параметры поворота (описанные ниже) также вычисляют при установке камеры 100 в транспортном средстве и сохраняют в устройстве 10 содействия вождению.

Направляющее отображение V имеет графическую информацию и информацию положения опорных координат и сохраняется в памяти 7 (блоке 13 хранения). При построении направляющего изображения GI, используя полученное направляющее отображение V, блок 17 предоставления направляющего изображения выполняет регулировку смещения по информации положения опорных координат, используя параметры коррекции. Такое направляющее изображение GI накладывают на захваченное изображение PI и формируют отображаемое изображение VI, и, таким образом, ошибки, связанные с положением в оптической системе, корректируют в отображаемом изображении VI. То есть ошибки, связанные с положением в оптической системе, без усилий регулируют, не выполняя сложное вычисление, такое как преобразование координат.

Как описано выше, ошибки, касающиеся панорамирования (поворот в горизонтальных направлениях относительно экрана) и наклона (поворот в перпендикулярных направлениях относительно экрана), которые обычно включены в ошибки поворота, включают в состав ошибок положения в данном примере и регулируют во время регулировки ошибок положения. Скольжение (roll) (поворот экрана), которое представляет собой остаточный фактор ошибок поворота, корректируют, как описано ниже. То есть ошибки поворота корректируют, используя угол поворота фактически захваченного изображения PI относительно идеального состояния захватываемого изображения PI, как ошибки, связанные с поворотом в оптической системе, возникающие при прикреплении камеры 100 к транспортному средству 90.

Как правило, преобразование координат необходимо для коррекции ошибок поворота. Преобразование координат приводит к высокой вычислительной нагрузке. Таким образом, ошибки поворота регулируют в данном примере путем взаимодействия блока 13 хранения и блока 17 предоставления направляющего изображения. Блок 13 хранения сохраняет направляющее отображение V, которое было сгенерировано заранее для каждого предопределенного значения ошибок, связанных с поворотом в оптической системе, и блок 17 предоставления направляющего изображения получает направляющее отображение V, к которому величина регулировки была добавлена на основе параметров поворота, указывающих ошибки поворота.

В частности, как показано на фиг. 6, блок 13 хранения сохраняет графические изображения, указывающие направляющие отображения V, в соответствии со значением скольжения (roll) параметра поворота оптической системы, относящимся к повороту и значению угла θ рулевого управления транспортного средства 90. Следует отметить, что, хотя на фиг. 6 показан пример, в котором были добавлены две последовательности графических изображений со значением скольжения (roll), равным D в противоположных направлениях поворота, общее число последовательностей графических изображений не ограничено тремя. Следует понимать, что большее число последовательностей может быть подготовлено и сохранено в соответствии со значением скольжения (roll) в пределах диапазона емкости памяти 7. Следует отметить, что угол θ рулевого управления = B на фиг. 6 относится к обозначенному максимальному углу поворота рулевого колеса 2. Учитывая индивидуальные ошибки транспортных средств 90 или рулевых колес 2, графические изображения подготавливают и сохраняют в соответствии с углом θ рулевого управления, имеющим абсолютное значение B', которое больше, чем B, с некоторым запасом от максимального угла B поворота. Блок 17 предоставления направляющего изображения обращается к адресу (А(θ, roll)) памяти 7 (блока 13 хранения), который определяют на основе параметра roll поворота (ошибка в оптической системе) и угла θ рулевого управления, и получает направляющее отображение V, к которому была добавлена величина регулировки.

Емкость памяти 7 может быть недостаточной для дополнительной подготовки и сохранения графических изображений для каждого предопределенного значения ошибок поворота, в отношении прогнозируемых курсовых линий C, имеющих большое число графических изображений, сохраняемых для каждого предопределенного значения угла θ рулевого управления. Таким образом, для экономии емкости памяти 7 также предпочтителен следующий способ. Существует соответствие между ошибкой поворота и углом θ рулевого управления. Например, если имеется ошибка поворота, прогнозируемую курсовую линию C отображают в положении, смещенном на предопределенный угол рулевого управления, в соответствии с ошибкой поворота. Фокусируясь на этом аспекте, угол θ рулевого управления или рассматриваемый адрес А(θ) в памяти 7 на основе угла θ рулевого управления регулируют в соответствии с ошибкой поворота.

В частности, как показано на фиг. 7, блок 13 хранения сохраняет графические изображения прогнозируемых курсовых линий C в переменном диапазоне, который шире, чем переменный диапазон фактического угла θ рулевого управления. Переменный диапазон угла θ рулевого управления установлен таким образом, что его абсолютное значение может быть больше на α, чем максимальный угол B поворота. Предпочтительно, это абсолютное значение (B+α) больше, чем B', которое получают путем добавления некоторого запаса к абсолютному значению B максимального угла поворота угла θ рулевого управления, описанного выше со ссылкой на фиг 6, поскольку графические изображения, вплоть до максимального угла поворота, надежно подготавливают в соответствии с параметром roll (скольжения) поворота.

Блок 17 предоставления направляющего изображения корректирует фактический угол θ рулевого управления, например, до θ' на основе параметра поворота, указывающего ошибку в оптической системе в отношении фактического угла θ рулевого управления транспортного средства 90 и фактического поворота камеры 100. Блок 17 предоставления направляющего изображения 17 получает прогнозируемую курсовую линию C из блока 13 хранения в соответствии со скорректированным значением θ'. Поскольку блок 13 хранения сохраняет графические изображения прогнозируемых курсовых линий C в переменном диапазоне, который шире, чем переменный диапазон фактического угла θ рулевого управления, значение угла рулевого управления может быть скорректировано на основе параметра поворота без каких-либо проблем. Следует понимать, что угол θ рулевого управления не может быть скорректирован, и вместо этого адрес А(θ), получаемый для угла θ рулевого управления, может быть скорректирован в соответствии с параметром скольжения поворота, получая, таким образом, адрес А'(θ) и считывая направляющее отображение V из памяти 7.

В представленном выше описании ошибки, касающиеся панорамирования и наклона, которые были включены в состав ошибок поворота, включают в состав ошибок положения (трансляционных ошибок) и корректируют, путем выполнения регулировки смещения, и ошибки, касающиеся скольжения, корректируют, регулируя рассматриваемый адрес, в памяти. Однако здесь отсутствует ограничение этого способа, и панорамирование и наклон могут быть включены в состав ошибок поворота и скорректированы. В этом случае только трансляционные ошибки соответствуют ошибкам положения. Кроме того, параметры поворота содержат значения регулировки для регулирования ошибок в коэффициентах поворота вокруг трех осей, а именно, панорамирование, наклон и скольжение.

Как описано выше, параметры поворота вычисляют на производственных предприятиях и т.п. при установке камеры 100 в транспортном средстве и сохраняют в устройстве 10 содействия вождению. В частности, множество индикаторов калибровки, в которых предписаны идеальные значения координат, захватывают камерой 100 и параметры поворота вычисляют из идеальных значений координат опорных точек, которые представляют собой конкретные точки в соответствующих индикаторах калибровки, и значений координат в фактически захваченном изображении PI. В качестве подхода для получения таких параметров поворота известны различные подходы, такие как описаны в JP 2001-245326A, и, таким образом, их подробное описание опущено в данном документе.

Устройство 10 содействия вождению корректирует (генерирует) направляющие изображения GI, на основе сохраняемых параметров поворота, и сохраняет скорректированные направляющие отображения V в блоке 13 хранения. То есть заранее сохраняют направляющие отображения V, в которых ошибки поворота в оптической системе были отрегулированы. Затем, если позволяет емкость блока 13 хранения (память 7), и предпочтительно сохраняют как неотрегулированное исходное направляющее отображение, так и скорректированное направляющее отображение. Даже когда параметры поворота изменяются во время технического обслуживания, новое скорректированное направляющее отображение может быть сгенерировано и сохранено на основе неотрегулированного исходного направляющего отображения и последнего параметра поворота. Следует отметить, что способ для генерирования скорректированного направляющего отображения V не ограничен описанным выше способом для коррекции неотрегулированного исходного направляющего отображения, на основе последнего параметра поворота. Например, также можно предусмотреть непосредственное генерирование направляющего отображения V без неотрегулированного исходного направляющего отображения, выполняя вычисление на основе последнего параметра поворота, предварительно установленного положения монтажа камеры 100 и т.п. В этом случае положение монтажа камеры 100 относится, например, к высоте от дороги, расстоянию от центра в поперечном направлении (положению смещения в поперечном направлении), расстоянию от задней оси колес и т.п.

Далее будет кратко описан способ для коррекции неотрегулированной исходной направляющей на основе последнего параметра поворота. Направляющее отображение V может быть сохранено следующим образом. То есть ошибки между идеальными координатами опорной точки в двумерной системе координат захваченного изображения PI и фактическими координатами принимают за ошибки, связанные с положением в оптической системе, возникающие при прикреплении камеры 100 к транспортному средству 90. Кроме того, угол поворота захваченного изображения PI относительно идеального состояния захваченного изображения PI принимают за ошибки, связанные с поворотом в оптической системе, возникающие при прикреплении камеры 100 к транспортному средству 90. Эти ошибки, связанные с поворотом, представляют собой ошибки между идеальным углом оси координат в двумерной системе координат захваченного изображения PI и фактическим углом и могут быть приняты за ошибки, связанные с позицией, в оптической системе, возникающие при прикреплении камеры 100 к транспортному средству 90. Блок 13 хранения заранее сохраняет скорректированные направляющие отображения V, которые были скорректированы на основе параметров поворота, указывающих ошибки, связанные с поворотом в оптической системе, возникающие при прикреплении камеры 100. Блок 17 предоставления направляющего изображения корректирует положение направляющих отображений V в отображаемом изображении VI, на основе параметров коррекции, для коррекции ошибок, связанных с положением в оптической системе, в отображаемом изображении VI.

В этом примере направляющие отображения V корректируют на основе параметров поворота и сохраняют заранее, но данный пример не предназначен для того, чтобы препятствовать генерированию и сохранению направляющих отображений V, скорректированных не только на основе ошибок поворота, но также на ошибках положения. То есть блок 13 хранения может сохранять заранее скорректированные направляющие отображения V, которые были скорректированы на основе параметров поворота, указывающих ошибки, связанные с поворотом в оптической системе, и параметров коррекции (трансляционных параметров), указывающих ошибки, связанные с положением в оптической системе, возникающие при прикреплении камеры 100. В этом случае блок 17 предоставления направляющего изображения не корректирует направляющее отображение V в отношении ошибок в оптической системе, но вместо этого получает прогнозируемую курсовую линию C как скорректированное направляющее отображение V, из блока 13 хранения, в соответствии с фактическим углом рулевого управления транспортного средства 90, формирует направляющее изображение GI, используя полученное направляющее отображение V, и предоставляет его в блок 19 вывода изображения.

Следует отметить, что направляющие изображения GI могут быть скорректированы не устройством 10 содействия вождению, а с помощью внешнего устройства (не показано) за пределами транспортного средства 90, которое может быть подключено к сети транспортного средства 90, такой как CAN 50. В этом случае скорректированные направляющие отображения V загружают через эту сеть в блок 13 хранения (память 7) и сохраняют заранее в блоке 13 хранения. В качестве альтернативы, скорректированные направляющие отображения V могут быть сохранены в карте памяти и т.п. без их загрузки, и такая карта памяти может быть установлена в транспортном средстве 90. Следует понимать, что блок 13 хранения (память 7) сам может быть сконфигурирован как карта памяти, и карта памяти может быть когда-то извлечена из транспортного средства 90 и установлена во внешнее устройство, где обеспечивают скорректированные направляющие отображения V, после чего карта памяти может быть возвращена в транспортное средство 90. При использовании носителя информации, такого как карта памяти, даже если скорость связи сети в транспортном средстве, такой как CAN 50, мала, направляющие отображения V могут быть легко скорректированы и снова сохранены. Следует понимать, что параметры, необходимые для коррекции направляющих отображения V, такие как параметры поворота и параметры коррекции (трансляционные параметры), также могут быть переданы через карту памяти во внешнее устройство.

В данном варианте осуществления было представлено описание с использованием в качестве примера устройства содействия вождению, в котором последовательность обработки, которая осуществляет захват захватываемого изображения PI, накладывает направляющее изображение GI на захваченное изображение PI и затем выводит полученное таким образом отображаемое изображение VI, и которое полностью выполняется интегрированным модулем 1 камеры. Однако настоящее изобретение не ограничено таким интегрированным устройством содействия вождению. Система может быть сконфигурирована посредством независимой камеры, и устройство обработки изображений, которое принимает захваченное изображение PI из камеры, побуждает ECU, сконфигурированный посредством CPU или DSP, в качестве основной части, осуществлять наложение направляющего изображения GI на него и вывод отображаемого изображения VI.

В предшествующем варианте осуществления отображаемое изображение VI генерируется посредством наложения направляющего изображения GI, содержащего направляющее отображение V, на захваченное изображение PI. Однако диапазон применения настоящего изобретения не ограничивается этим. Отображаемое изображение VI может быть сгенерировано путем дополнительного наложения направляющего изображения GI, содержащего информацию S окружения. На фиг. 8 показан пример такого отображаемого изображения VI.

Транспортное средство 90 оснащено блоком обнаружения объекта, который обнаруживает объекты вокруг транспортного средства 90. Примеры блока обнаружения объекта включают в себя парктроник 33. Следует понимать, что радар миллиметрового диапазона и т.п. может быть использован вместо парктроника 33. В этом варианте осуществления будет представлено описание на основе предположения, что парктроники 33 скомпонованы на четырех углах (справа спереди, слева спереди, справа сзади и слева сзади) транспортного средства.

Кроме того, в качестве информации S окружения, указывающей обстановку, окружающую транспортное средство 90, блок 13 хранения сохраняет множество частей информации S окружения, которые были сгенерированы заранее в качестве графических изображений, соответственно, для расстояний и направлений от транспортного средства 90 до объекта. В этом варианте осуществления информация S окружения относится к информации, указывающей, присутствует ли объект вокруг транспортного средства 90. Кроме того, расстояние от транспортного средства 90 до объекта отображают, например, в три этапа в соответствии с расстоянием. Кроме того, направление обнаружения соответствует каждому из описанных выше четырех углов, а именн, направлению вправо вперед, направлению влево вперед, направлению вправо наза, и направлению влево назад от транспортного средства 90. Информацию S окружения сохраняют в блоке 13 хранения в качестве множества графических изображений, соответственно, для этих расстояний и направлений. На фиг. 9 показан их пример.

Блок 17 предоставления направляющего изображения получает информацию S окружения из блока 13 хранения на основе результата обнаружения от парктроников 33, выполняет объединение их в направляющее изображение и предоставляет объединенное изображение к блоку 19 вывода изображения. Блок 17 предоставления направляющего изображения получает, вместе с направляющим изображением GI, информацию S окружения, соответствующую результату обнаружения из парктроников 33, из блока 13 хранения. Направляющее изображение GI получают, как и в предыдущем варианте осуществления, и, таким образом, это описание здесь опущено. На фиг. 8 показан пример, в котором направляющие изображения GI, содержащие три типа направляющих отображений V, указанные посредством OV1-OV3, и направляющее изображение GI, содержащее информацию S окружения, указанное посредством OV7, наложены друг на друга на захваченном изображении PI. В примере, показанном на фиг. 8, представлена информация S окружения, в случае когда объекты детектируют, соответственно, с правой передней стороны, левой передней стороны и левой задней стороны транспортного средства 90. Кроме того, информация S окружения предписана в соответствии с расстоянием от транспортного средства 90 до объекта. В частности, в примере, показанном на фиг. 8, объект обнаруживают в положении, относительно близком к транспортному средству 90 с передней правой стороны, и другой объект обнаруживают в положении, расположенном дальше от него с левой передней стороны. Кроме того, другой объект обнаруживают также в положении относительно далеко от него с левой задней стороны.

В примере, показанном на фиг. 8, информацию S окружения объединяют в верхней части в направляющем изображении GI. В соответствии с этим информация S окружения может быть скомпонована в ненужной области в верхней части в захваченном изображении PI. Таким образом, область, указывающая обстановку, окружающую транспортное средство 90 (например, требующая внимания область), которая содержится в захваченном изображении PI, не будет закрыта.

Следует понимать, что информация S окружения может быть объединена в нижней части в направляющем изображении GI. В соответствии с этим информация S окружения может быть скомпонована в ненужной области, такой как корпус транспортного средства 90, который во многих случаях содержится в нижней части в захваченном изображении PI. Таким образом, область, указывающая обстановку, окружающую транспортное средство 90 (например, требующая внимания область), которая содержится в захваченном изображении PI, не будет закрыта.

Следует отметить, что в качестве информации, содержащейся в направляющем изображении GI, которая должна быть наложена на захваченное изображение PI, информация S окружения может быть заменена информацией, обнаруживаемой другими средствами обнаружения, такой как информация, указывающая уровень топлива или открытую дверь. В этом случае транспортное средство 90 может быть сконфигурировано посредством включения в его состав блока получения информации транспортного средства, который получает информацию о транспортном средстве 90, при этом блок 13 хранения сохраняет в качестве информации транспортного средства, указывающей информацию о транспортном средстве 90, множество частей информации транспортного средства, которые были сгенерированы заранее в качестве графических изображений, и блок 17 предоставления направляющего изображения получает информацию транспортного средства из блока 13 хранения на основе результата обнаружения из блока получения информации транспортного средства, выполняет ее объединение в направляющее изображение GI, и предоставляет объединенное изображение к блоку 19 вывода изображения.

Кроме того, информация S окружения может быть указана конкретным цифровым значением (например, "00 метров") или может быть отображена с индикатором, имеющим предопределенную ширину единицы измерения.

Хотя это и не описано выше, отображаемое изображение VI, как показано на фиг. 4, предпочтительно сконфигурировано так, что направляющее изображение GI для OV3, направляющее изображение GI для OV2 и направляющее изображение GI для OV1 накладывают друг на друга в этом порядке со стороны нижнего слоя на захваченном изображении PI. Следует понимать, что отображаемое изображение VI может быть сконфигурировано так, что направляющее изображение GI для OV3, направляющее изображение GI для OV2 и направляющее изображение GI для OV1 накладывают в разных порядках на захваченное изображение PI.

Кроме того, отображаемое изображение VI, как показано на фиг. 8, предпочтительно, сконфигурировано так, что направляющее изображение GI для OV3, направляющее изображение GI для OV2, направляющее изображение GI для OV1 и направляющее изображение GI для OV7 накладывают в данном порядке со стороны нижнего слоя на захваченное изображение PI. Следует понимать, что отображаемое изображение VI может быть сконфигурировано так, что направляющее изображение GI для OV3, направляющее изображение GI для OV2 и направляющее изображение GI для OV1 будут наложены в разных порядках на захваченное изображение PI, и направляющее изображение GI для OV7 будет наложено на самый верхний слой.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

Настоящее изобретение может быть применено к устройству содействия вождению, которое снижает рабочую нагрузку на водителя посредством наложения направляющего изображения на изображение, захваченное установленной на транспортном средстве камерой, с помощью простой конфигурации системы.

СПИСОК НОМЕРОВ ССЫЛОЧНЫХ ПОЗИЦИЙ

1 Модуль камеры (установленный на транспортном средстве модуль камеры)

2 Рулевое колесо

3 Оптический узел

4 Устройство монитора (устройство отображения)

5 Устройство датчика изображения

7 Память

8 Основная часть датчика изображения

9 Процессор датчика изображения

10 Устройство содействия вождению

11 Блок приема изображения

13 Блок хранения

17 Блок предоставления направляющего изображения

19 Блок вывода изображения

81 Датчик изображения

82 Аналоговая схема (блок обработки сигнала)

83 А/D преобразователь (блок обработки сигнала)

90 Транспортное средство

100 Камера (установленная на транспортном средстве камера)

C Прогнозируемая курсовая линия

E Линия продолжения транспортного средства

F Фиксированная направляющая

G Направляющая линия

GI Направляющее изображение

PI Захваченное изображение

S Информация окружения

V Направляющее отображение

VI Отображаемое изображение

θ Угол рулевого управления

roll (скольжение) Параметр поворота

Реферат

Изобретение является устройством содействия парковке или устройством контроля периферии. Устройство содействия парковке (10) содержит блок приема изображения (11), блок хранения (13), блок предоставления направляющего изображения (17), блок вывода изображения (19). Угол поворота захваченного изображения относительно идеального состояния захваченного изображения принимают за ошибку, связанную с поворотом в оптической системе, возникающую при прикреплении устанавливаемой на транспортное средство камеры к транспортному средству. Блок хранения (13) дополнительно сохраняет графические изображения, показывающие направляющие отображения, в соответствии с углом рулевого управления транспортного средства, в соответствии с ошибкой, связанной с поворотом в оптической системе. Блок предоставления направляющего изображения (17) получает графическое изображение прогнозируемой курсовой линии из блока хранения (13) в соответствии с фактическим углом рулевого управления транспортного средства и параметром поворота, указывающим ошибку, связанную с поворотом в оптической системе, возникающую при прикреплении устанавливаемой на транспортное средство камеры к транспортному средству. Достигается облегчение рабочей нагрузки водителя. 2 н. и 18 з.п. ф-лы, 9 ил.

Формула