Система и способ управления системой автоматического вождения сельскохозяйственного транспортного средства - RU2649916C2

Чертежи

Описание

Область техники

Изобретение относится к системе управления системой автоматического вождения сельскохозяйственного транспортного средства. Изобретение относится также к сельскохозяйственному транспортному средству, содержащему систему управления системой автоматического вождения и к способу управления системой автоматического вождения сельскохозяйственного транспортного средства.

Уровень техники

Сельскохозяйственное транспортное средство, такое как трактор, комбайн или силосоуборочный комбайн, часто используют таким образом, что в процессе его вождения оператор должен выполнять несколько работ, например загружать зерно в бункер, контролировать настройку опрыскивателя или плуга.

Для разгрузки оператора были разработаны устройства автоматического вождения, например, на основе систем камер. В патентном документе ЕР 2094073 А1 описан способ, которым обнаруживают видеоданные территории перед транспортным средством в направлении движения, и из них генерируют команды управления движением, влияющие на направление и/или на скорость движения, причем с помощью видеоданных выбирают выступающие объекты, определяют расстояния между транспортным средством и выступающими объектами, а команды управления вождением генерируют из видеоданных, соответствующих объектам, и из изменений расстояния между транспортным средством и объектами.

Это устройство имеет недостаток в том, что оператору нужно пристально следить за устройством, так как, например, устройство может работать неправильно из-за ошибочного толкования данных изображения, и в этом случае оператор должен переходить на ручное управление, что повышает рабочую нагрузку на оператора.

Раскрытие изобретения

Соответственно, задачей настоящего изобретения является предоставление системы управления системой автоматического вождения сельскохозяйственного транспортного средства, которая усовершенствует управление системой автоматического вождения путем снижения рабочей нагрузки на оператора. Другой задачей изобретения является предоставление способа управления системой автоматического вождения сельскохозяйственного транспортного средства, который усовершенствует управление системой автоматического вождения.

Решение поставленной задачи достигают в системе управления системой автоматического вождения сельскохозяйственного транспортного средства, обладающей признаками по пункту 1, и в способе интерактивного управления системой автоматического вождения сельскохозяйственного транспортного средства, обладающем признаками по пункту 9 формулы изобретения. Желаемые варианты осуществления, дополнительные возможности, характеристики и преимущества объекта изобретения указанной системы управления и указанного способа раскрыты в зависимых пунктах формулы изобретения.

В общем аспекте изобретения система управления системой автоматического вождения сельскохозяйственного транспортного средства содержит по меньшей мере одно устройство формирования трехмерных изображений для захвата реального объекта и получения массива трехмерных данных для реального объекта и блок сенсорного дисплея для отображения объекта и для приема сенсорного ввода. Согласно изобретению система управления выполнена с возможностью генерирования командных сигналов на основе массива трехмерных данных, соответствующих интерактивному взаимодействию с отображаемым объектом, для управления системой автоматического вождения.

Сельскохозяйственное транспортное средство может быть зерноуборочным комбайном, силосоуборочным комбайном, транспортным средством, трактором и/или приводным или управляемым трейлером. Система управления для управления системой автоматического вождения может быть расположена на сельскохозяйственном транспортном средстве с транспортирующим устройством или на другом сельскохозяйственном транспортном средстве, например на тракторе с прицепом или на управляемом трейлере. Транспортирующее устройство может быть шнеком комбайна или желобом силосоуборочного комбайна. Система автоматического вождения может быть, в частности, автоматической системой рулевого управления на основе устройства формирования трехмерных изображений или автопилотом. Система автоматического вождения может содержать навигационную систему и/или систему планирования маршрута, например, для определения оптимального маршрута для подбора тюков на поле. Сельскохозяйственное транспортное средство может содержать блок управления для управления сельскохозяйственным транспортным средством, в частности исполнительными органами перемещения системы рулевого управления, дросселя и/или тормозов сельскохозяйственного транспортного средства, причем блок управления может быть выполнен с возможностью генерирования сигналов управления для перемещения сельскохозяйственного транспортного средства, например, путем управления системой рулевого управления, дросселем и/или тормозами в желаемое положение.

Система управления содержит по меньшей мере одно устройство формирования трехмерных изображений для захвата реальных объектов в реальном мире для того, чтобы генерировать отображаемое двухмерное изображение для интерактивного взаимодействия с ним. При захвате реального объекта устройство формирования трехмерных изображений, в частности блок процессора устройства формирования трехмерных изображений, может получать массив трехмерных данных и/или трехмерную карту дальностей для захваченного реального объекта, например окружения сельскохозяйственного транспортного средства, в которой может быть вычислено расстояние для каждого пикселя устройства формирования трехмерных изображений, причем информация о расстоянии может относиться к абсолютному расстоянию и/или к относительному расстоянию. Устройство формирования трехмерных изображений может захватывать реальные объекты в реальном времени. Реальный объект может быть также объектом, находящимся в окружении сельскохозяйственного транспортного средства. Реальный объект может быть другим сельскохозяйственным транспортным средством, следами на земле и/или препятствием. Препятствие может быть деревом, изгородью или геологической особенностью, например водоемом, траншеей, мягкой и/или влажной почвой, откосом или уклоном. Полученный массив трехмерных данных может содержать информацию о расстоянии и/или трехмерные координаты реального объекта. Информация о расстоянии может быть относительной по отношению к системе управления и/или к сельскохозяйственному транспортному средству и/или абсолютной, например, в виде трехмерных координат. Информация об абсолютном расстоянии может быть сгенерирована совместно с навигационной системой, например глобальной системой навигации и определения положения (GPS). Навигационная система может обеспечивать получение трехмерных координат, в частности, для системы формирования трехмерных изображений и/или для сельскохозяйственного транспортного средства, на основе которых могут быть вычислены трехмерные координаты реального объекта путем определения положения, например расстояния и азимута, реального объекта по отношению к устройству формирования трехмерных изображений и/или к сельскохозяйственному транспортному средству.

Захваченный реальный объект может быть визуализирован для отображения на блоке дисплея, например, в виде карты дальностей. Визуализация захваченного объекта может иметь вид прямого изображения или вид искусственного видео и/или искусственного изображения, пригодного для визуализации захваченной информации о расстоянии для оператора системы управления. Для каждого визуализированного и, в частности, отображенного на блоке дисплея пикселя может быть вычислена соответствующая информация о расстоянии. Пиксель на устройстве формирования трехмерных изображений может быть наименьшей захватываемой точкой разрешения устройства формирования трехмерных изображений, а пиксель на блоке дисплея может быть наименьшим элементом блока дисплея, к которому может быть привязан адрес. Разрешение устройства формирования трехмерных изображений может быть выше, чем разрешение блока дисплея, при этом массив трехмерных данных может соответствовать более высокому разрешению устройства формирования трехмерных изображений.

Блок дисплея может быть многофункциональным блоком дисплея, выполненным с возможностью принимать сенсорный ввод, в частности множественный сенсорный ввод, например вплоть до и включая множественный сенсорный ввод пятью пальцами. Многофункциональный дисплей может содержать несколько подобластей, например, в виде разделенного экрана для независимого отображения информации и независимого приема сенсорного ввода. Многофункциональный дисплей может содержать дополнительные элементы ввода, такие как кнопки и/или колеса. Блок дисплея может получать данные от устройства формирования трехмерных изображений, например, для отображения захваченного и визуализированного реального объекта и/или виртуального элемента. Объекты, например, в виде реального видео реального объекта в реальном масштабе времени или в виде виртуального элемента, отображаемые на дисплее, являются отображаемыми объектами, причем массив трехмерных данных соответствует каждому, в частности, захваченному и/или визуализированному отображаемому объекту. Отображаемые объекты могут быть увеличены на блоке дисплея, например, выполнением соответствующего жеста ввода.

Блок дисплея отображает захваченные и визуализированные объекты и может принимать и/или обнаруживать обратную связь в виде сенсорного ввода, в частности, относящегося к отображаемому объекту, причем сенсорный ввод может приниматься в виде обнаруживаемых двухмерных координат, относящихся к произведенному сенсорному вводу, в частности к произведенному жесту ввода. Сенсорный ввод может иметь вид нескольких жестов ввода, причем ответная реакция системы управления на различные жесты ввода может быть определена предварительно. С отображаемым объектом можно интерактивно взаимодействовать с помощью жеста ввода. Интерактивное взаимодействие с отображаемым объектом можно производить путем выполнения с ним манипуляций рукой, в частности по меньшей мере одним пальцем, посредством сенсорного ввода. Например, отображаемый объект может быть выбран, перемещен и/или изменен по форме и/или по размеру. Интерактивное взаимодействие может отображаться на блоке дисплея в реальном времени, что позволяет производить интерактивные манипуляции с отображаемым объектом.

Полученный сенсорный ввод, например выбор отображаемого объекта и/или манипуляция с ним, могут передавать на устройство формирования изображений, например, в виде двухмерных координат. Устройство формирования изображений, в частности блок процессора устройства формирования трехмерных изображений, может привязывать полученную обратную связь, например двухмерные координаты сенсорного ввода, к отображаемому объекту, отображенному на этих координатах. Устройство формирования трехмерных изображений может оценивать полученную обратную связь и соотносить обратную связь с соответствующим отображаемым объектом и относящимся к нему массивом трехмерных данных. На основе массива трехмерных данных устройство формирования трехмерных изображений может генерировать командные сигналы, соответствующие полученному двухмерному сенсорному вводу. Командные сигналы могут быть получены блоком управления системы автоматического вождения в качестве входных сигналов для соответствующего управления системы автоматического вождения, например, путем управления системой рулевого управления сельскохозяйственного транспортного средства. Командные сигналы могут содержать информацию о положении реальных объектов, которая может быть необходима в качестве ввода для блока управления для правильного управления, например для рулевого поворота, ускорения и/или замедления движения сельскохозяйственного транспортного средства. С отображаемым объектом можно выполнять интерактивные манипуляции, причем двухмерная манипуляция отображаемого объекта соответствует генерированию команд трехмерного управления. Команды управления могут, например, передавать на блок управления транспортирующим устройством для контроля сельскохозяйственным транспортным средством желаемым образом, например для удержания транспортного средства на линии валка или на пути движения.

Генерирование на основе массива трехмерных данных командных сигналов, соответствующих интерактивному взаимодействию с отображаемым объектом, для управления транспортирующим устройством, имеет преимущество в том, что оператор может вручную взаимодействовать с визуальной информацией, обеспечиваемой устройством формирования трехмерных изображений. Визуальная информация позволяет оператору контролировать систему автоматического вождения, а манипуляции с отображаемыми объектами обеспечивают возможность прямого взаимодействия, например изменения направления отображаемого объекта, указывающего путь движения, если необходима настройка или иной ввод. Таким образом, система управления позволяет легко и эффективно управлять системой автоматического вождения, снижая стресс и рабочую нагрузку на оператора.

В предпочтительном варианте осуществления изобретения система управления дополнительно выполнена с возможностью генерирования командных сигналов в виде управляющих сигналов для прямого управления сельскохозяйственным транспортным средством. Устройство формирования трехмерных изображений может быть непосредственно связано с исполнительными органами привода в действие системы рулевого управления для того, чтобы непосредственно управлять сельскохозяйственным транспортным средством. Командные сигналы, генерируемые устройством формирования изображений, в частности, на основе полученной обратной связи сенсорного ввода, могут быть управляющими сигналами, которые непосредственно управляют исполнительными органами системы рулевого управления, дросселем и/или тормозами сельскохозяйственного транспортного средства. Например, отображаемый объект, указывающий пути, по которым должно следовать сельскохозяйственное транспортное средство, может быть выбран и перемещен или изменен посредством сенсорного ввода, при этом перемещение и/или изменение отображаемого объекта посредством сенсорного ввода может приводить к непосредственному связанному перемещению системы рулевого управления сельскохозяйственного транспортного средства. Преимущество решения состоит в том, что сельскохозяйственное транспортное средство может управляться непосредственно устройством формирования трехмерных изображений, что обеспечивает более быстрое реагирование системы рулевого управления, например, на сенсорный ввод оператором на блоке дисплея. Кроме того, непосредственное интерактивное взаимодействие с отображаемым объектом для управления системой управления дополнительно облегчает обращение с системой.

Предпочтительно система управления дополнительно выполнена с возможностью распознавания захваченного реального объекта. Система управления может содержать блок памяти для хранения справочных данных, соответствующих реальному объекту. Захваченный реальный объект, в частности соответствующий реальному объекту полученный массив трехмерных данных, может быть сравнен с предварительно определенными справочными данными для обеспечения возможности распознавать реальный объект, - например, является ли он тюком и/или является ли он круглым или квадратным тюком. Если захваченный реальный объект распознан, соответствующие данные объекта, например размеры реального объекта, такие как длина, высота и/или ширина, могут быть привязаны к реальному объекту и/или к отображаемому объекту и могут быть предоставлены в распоряжение для системы автоматического вождения. Данные объекта могут содержать информацию, например, о размере водоема или о длине ряда деревьев. Данные объекта могут быть предварительно сохранены в блоке памяти. Преимущество состоит в том, что эффективным образом предоставляются в распоряжение точные данные о реальном объекте, что повышает точность системы автоматического вождения без увеличения рабочей нагрузки на оператора.

В следующем предпочтительном варианте осуществления система управления дополнительно выполнена с возможностью привязки и/или изменения данных, соответствующих отображаемому объекту. Захваченный реальный объект, в частности соответствующий ему полученный массив трехмерных данных, могут сравнивать с предварительно определенными справочными данными для обеспечения возможности распознавать реальный объект, - например, является ли он круглым тюком. В том случае, когда захваченный реальный объект, показанный в качестве отображаемого объекта на блоке дисплея, не был распознан, оператор может привязать данные объекта, например, извлеченные из блока памяти, к отображаемому объекту, соответствующему реальному объекту. Например, размеры и положение известного и сохраненного в памяти водоема могут быть привязаны к отображаемому объекту, то есть к водоему для того, чтобы обеспечить возможность для системы автоматического вождения, в частности навигационной системы в составе системы автоматического вождения, безопасно направлять сельскохозяйственное транспортное средство вокруг этого препятствия. Преимущество состоит в том, что оператор может доверить системе автоматического вождения безопасно направлять сельскохозяйственное транспортное средство с минимумом интерактивного взаимодействия с системой управления. Отображаемый объект может также быть сгенерирован и отображен для реального объекта, положение которого, например, в виде трехмерных координат было передано на систему управления. Положение реального объекта могут передавать вместе с идентификатором для идентификации, например, типа объекта. Положение и, в частности, идентификатор реального объекта могут быть переданы на систему управления другим сельскохозяйственным транспортным средством. Данные объекта, соответствующие реальному объекту, положение и, в частности, идентификатор которого были переданы на систему управления, могут быть извлечены из блока памяти для уменьшения количества данных, которые необходимо передать. Такой реальный объект может быть, например, другим сельскохозяйственным транспортным средством, следами на земле и/или препятствием. Препятствие может быть деревом, изгородью или геологической особенностью, например водоемом, траншеей, мягкой и/или влажной почвой, откосом или уклоном. Отображаемый объект может быть откорректирован оператором посредством интерактивного взаимодействия с объектом, отображенным на сенсорном экране. К любому отображаемому объекту, например к положению в отображаемом окружении сельскохозяйственного транспортного средства, могут быть привязаны данные. Например, оператор путем жеста ввода на блоке дисплея может выбрать точку интереса, например точку возвращения при перерыве в работе. В этом случае двухмерный ввод преобразовывается в трехмерную информацию о положении, которая может использоваться системой автоматического вождения для направления сельскохозяйственного транспортного средства к выбранной точке интереса. Оператор может также выбрать на двухмерном дисплее точку интереса, преобразующуюся в трехмерную информацию о положении или координаты, задающие команду системе автоматического вождения, например, при жесте ввода для автоматического направления сельскохозяйственного транспортного средства к желаемому положению. Данные объекта могут быть изменены, например, в том случае, когда реальный объект распознан ошибочно, или в том случае, когда необходимо изменить, например, размеры препятствия. Привязку и/или изменение данных, соответствующих отображаемому объекту, могут производить посредством сенсорного ввода, в частности посредством жеста ввода на блоке дисплея, в частности посредством изменения отображаемого объекта. Преимущество решения состоит в том, что оператор может легко и более эффективно управлять системой автоматического вождения, что снижает рабочую нагрузку на оператора.

В более предпочтительном варианте осуществления изобретения система управления дополнительно выполнена с возможностью генерирования визуальной и/или акустической обратной связи, в частности от сенсорного ввода. Сенсорный ввод, например, для выбора или выполнения манипуляций с отображаемым объектом может вызывать акустическую и/или визуальную обратную связь для указания оператору о выполнении желаемого действия. Акустическая и/или визуальная обратная связь может быть представлена визуальной индикацией на блоке дисплея, индикаторным светом и/или акустическим сигналом типа звука или сообщения. Преимущество состоит в том, что оператор получает различимую обратную связь на свой ввод.

Предпочтительно система управления дополнительно выполнена с возможностью генерирования по меньшей мере одного виртуального элемента, соответствующего отображаемому объекту. Виртуальный элемент может генерироваться устройством формирования трехмерных изображений и может отображаться на блоке дисплея, например, наложением на отображенный реальный объект. С виртуальным элементом могут производить манипуляции посредством сенсорного ввода. Отображаемый объект может быть отображаемым реальным объектом, например, в виде прямого изображения, и/или видео, и/или виртуального элемента. Виртуальный элемент может генерироваться в соответствии с распознанным и/или отображаемым реальным объектом, например, в виде синтетического изображения реального объекта, символа или графических элементов. Данные объекта, соответствующие отображаемому реальному объекту, могут, например, содержать информацию о размерах реального объекта, например водоема или круглого тюка, и/или информацию, например, о безопасных расстояниях, указывающую, насколько близко к препятствию может подходить сельскохозяйственное транспортное средство. Виртуальный элемент, представляющий безопасные расстояния до прогнозируемой поворотной полосы или вокруг препятствий или границ поля, может быть показан в виде отображаемых объектов, виртуальных элементов, наложенных поверх прямого изображения реального объекта, то есть поля. Данные объекта могут быть изменены, например, в том случае, когда реальный объект распознан ошибочно или когда необходимы изменения данных объекта, посредством интерактивного взаимодействия с виртуальным элементом. Например, безопасные расстояния до прогнозируемой поворотной полосы или вокруг препятствия могут быть изменены путем их выбора и перемещения сенсорным вводом, расширяющим или сужающим безопасное расстояние и тем самым генерированием командных сигналов для блока управления, что позволяет системе автоматического вождения соответствующим образом направлять сельскохозяйственное транспортное средство. Преимущество виртуального элемента состоит в возможности увеличения объема информации, которая может быть показана оператору, без повышения его рабочей нагрузки. Дополнительно в систему управления могут быть включены другие интерактивные действия, расширяющие опции ввода для оператора.

В предпочтительном варианте осуществления устройство формирования трехмерных изображений содержит по меньшей мере одно электрооптическое устройство формирования карты дальностей, в частности, в виде стереокамеры, устройства светового обнаружения и измерения дальности и/или времяпролетной камеры. Электрооптическое устройство формирования карты дальностей может быть активным и/или пассивным устройством формирования карты дальностей для генерирования интерактивного двухмерного изображения захваченного трехмерного реального мира и/или трехмерного реального объекта, показывающего, например, расстояние от электрооптического устройства формирования карты дальностей до индивидуальных точек в месте реального мира. Лазерная система обнаружения и измерения дальности, называемая LIDAR или LADAR (от англ. Laser Imaging Detection and Ranging), является устройством активной оптической технологии определения дальности, которое может измерять расстояние до объекта, такого как земля или реальный объект, посредством освещения мишени лазерным светом и анализа отраженного рассеянного света. Времяпролетная камера в качестве активного устройства формирования карты дальностей может определять расстояние на основе известной скорости света и измерения времени пролета светового сигнала между камерой и реальным объектом для каждой точки изображения. Устройство формирования трехмерных изображений может быть устройством формирования карты дальностей на основе радара или ультразвука. Могут быть скомбинированы различные виды устройств формирования трехмерной карты дальностей. Получаемый в результате массив трехмерных данных может быть визуализирован в виде соответствующей карты дальностей, содержащей величины пикселей, соответствующих расстоянию. Карта дальностей может быть визуализирована из массива трехмерных данных устройством формирования трехмерных изображений для того, чтобы создать изображение, которое может быть отображено для оператора на блоке дисплея, например, в виде прямого изображения и/или видео реального мира и/или объекта. Стереокамера как пассивное устройство формирования карты дальностей может получать массив трехмерных данных и соответствующие величины пикселей для реального объекта непосредственно из захваченного изображения. Карта дальностей может быть смонтирована из отдельных массивов трехмерных данных и/или из карт дальностей, например, в виде панорамной картины, причем индивидуальные карты дальностей могут поставляться от одного или большего числа даже различных устройств формирования трехмерных карт дальностей. Это дает то преимущество, что может быть расширено поле обзора.

Изобретение относится также к сельскохозяйственному транспортному средству, содержащему по меньшей мере одну описанную выше систему управления. Система управления по изобретению позволяет простым и эффективным образом управлять системой автоматического вождения, снижая стресс и рабочую нагрузку на оператора.

Следующим аспектом настоящего изобретения является способ интерактивного управления, в частности, с помощью описанной выше системы управления, системой автоматического вождения сельскохозяйственного транспортного средства, содержащий следующие этапы:

- выводят массив трехмерных данных для реального объекта, захваченного устройством формирования трехмерных изображений,

- отображают объект на блоке сенсорного дисплея,

- получают от блока дисплея обратную связь от интерактивного взаимодействия сенсорного ввода с отображаемым объектом,

- генерируют командные сигналы на основе массива трехмерных данных, соответствующие интерактивному взаимодействию с отображаемым объектом, для управления системой автоматического вождения.

Устройство формирования трехмерных изображений может захватывать изображение реального объекта в реальном мире для получения массива трехмерных данных для захваченного реального объекта. Массив трехмерных данных может содержать информацию, в частности информацию о положении, о расстоянии от реального объекта до устройства формирования изображений и/или до сельскохозяйственного транспортного средства. Система автоматического вождения может быть, в частности основанной на устройстве формирования трехмерных изображений автоматической системой рулевого управления или автопилотом. Система автоматического вождения может содержать навигационную систему и/или систему планирования маршрута, например, для определения маршрута для подбора обнаруженных тюков на поле. Система автоматического вождения может содержать блок управления для управления сельскохозяйственным транспортным средством, в частности исполнительными органами перемещения системы рулевого управления, дросселя и/или тормозов сельскохозяйственного транспортного средства, причем блок управления может быть выполнен с возможностью генерирования сигналов управления для перемещения сельскохозяйственного транспортного средства, например, путем управления системой рулевого управления, дросселем и/или тормозами для их установки в желаемое положение. Каждый пиксель изображения, захваченного устройством формирования изображений, может содержать информацию о расстоянии от реального объекта до устройства формирования изображений. Массив трехмерных данных может содержать информацию относительного и/или абсолютного положения и/или трехмерные координаты. Трехмерные координаты могут генерироваться при поддержке навигационной системы, в частности спутниковой навигационной системы, например глобальной системы навигации и определения положения (GPS). Навигационная система может обеспечивать получение трехмерных координат, в частности, для системы формирования трехмерных изображений и/или для сельскохозяйственного транспортного средства, на основе которых могут быть вычислены трехмерные координаты реального объекта путем определения положения, например расстояния и азимута, реального объекта по отношению к устройству формирования трехмерных изображений и/или к сельскохозяйственному транспортному средству. Визуализация захваченного реального объекта может иметь вид прямого изображения или вид искусственного изображения и/или видео реального объекта. Это обеспечивает возможность представления трехмерной информации, которое может быть легко воспринято оператором сельскохозяйственного транспортного средства, управляющим системой автоматического вождения. Для отображения визуализированного захваченного реального объекта информация может быть передана от устройства формирования изображений на блок сенсорного дисплея. Визуализированный захваченный реальный объект может отображаться на блоке дисплея в виде отображаемого объекта, причем несколько объектов могут отображаться в одной или нескольких подобластях блока дисплея раздельно и/или совместно. Блок дисплея может быть чувствителен к множественному сенсорному вводу, в частности для каждой подобласти и/или для каждого отображаемого объекта.

С отображаемым объектом можно выполнять интерактивное взаимодействие путем касания сенсорного дисплея в области, показывающей отображаемый объект. Интерактивное взаимодействие может иметь вид выбора отображаемого объекта и/или выполнения манипуляций с отображаемым объектом, например, в отношении его формы и/или размеров. Сенсорный ввод регистрируется блоком дисплея в качестве обратной связи в двухмерных координатах. Двухмерные координаты обратной связи и интерактивного взаимодействия с отображаемым объектом передают обратно на устройство формирования трехмерных изображений, причем устройство формирования трехмерных изображений соотносит двухмерные координаты с массивом трехмерных данных, соответствующим отображаемому объекту, например с трехмерными координатами реального объекта, соответствующего отображаемому объекту. На основе интерактивного взаимодействия с отображаемым объектом могут генерироваться основанные на массиве трехмерных данных командные сигналы для управления системой автоматического вождения в соответствии с интерактивным взаимодействием. Командные сигналы могут передавать в качестве входных сигналов на блок управления, управляющий транспортирующим устройством. Генерируемые командные сигналы могут содержать основанную на массиве трехмерных данных информацию, соответствующую сенсорному вводу, например трехмерные координаты выбранного положения или намеченное перемещение сельскохозяйственного транспортного средства к выбранному положению. Далее командные сигналы могут передавать в качестве входных сигналов на блок управления, который управляет системой автоматического вождения, для выполнения перемещения и/или действия сельскохозяйственного транспортного средства, намеченного посредством интерактивного взаимодействия с отображаемым объектом. Например, отображенный на блоке дисплея реальный объект типа круглого тюка может быть отмечен и трехмерные координаты тюка сохранены в памяти или переданы в систему планирования маршрута. Посредством сенсорного ввода может быть также выбран отображаемый объект в виде препятствия, и безопасное расстояние может быть выбрано для того, чтобы система автоматического вождения могла безопасно вести вокруг препятствия, при этом двухмерные координаты сенсорного ввода передаются на устройство формирования изображений, которое соотносит эти двухмерные координаты с трехмерными координатами на основе массива трехмерных данных отображаемого объекта в виде препятствия. Далее трехмерные координаты могут передавать в качестве входных сигналов на блок управления, управляющий транспортирующим устройством, чтобы блок управления мог соответствующим образом направлять сельскохозяйственное транспортное средство.

Генерирование на основе массива трехмерных данных командных сигналов, соответствующих интерактивному взаимодействию с отображаемым объектом, для управления системой автоматического вождения имеет то преимущество, что оператор может вручную взаимодействовать с визуальной информацией, предоставляемой устройством формирования трехмерных изображений, для управления системой автоматического вождения. Визуальная информация позволяет оператору эффективно контролировать следование по пути и, например, автоматически избегать препятствий. Таким образом, система управления позволяет легко и эффективно управлять системой автоматического вождения, снижая стресс и рабочую нагрузку на оператора.

В предпочтительном варианте осуществления изобретения способ дополнительно содержит этап генерирования командных сигналов в виде управляющих сигналов для непосредственного управления сельскохозяйственным транспортным средством. Устройство формирования трехмерных изображений может быть непосредственно связано с исполнительными органами привода в действие системы рулевого управления для того, чтобы непосредственно управлять сельскохозяйственным транспортным средством. Командные сигналы, генерируемые устройством формирования изображений, в частности, на основе полученной обратной связи сенсорного ввода, могут быть управляющими сигналами, которые непосредственно управляют исполнительными органами системы рулевого управления, дросселем и/или тормозами сельскохозяйственного транспортного средства. Таким образом, интерактивное взаимодействие с отображаемым объектом посредством сенсорного ввода может непосредственно преобразовываться в управляющие сигналы для непосредственного управления по меньшей мере одним исполнительным органом сельскохозяйственного транспортного средства. Преимущество решения состоит в том, что сельскохозяйственным транспортным средством могут управлять непосредственно устройством формирования трехмерных изображений, что обеспечивает более быстрое реагирование системы рулевого управления, например, на сенсорный ввод оператором на блоке дисплея. Например, отображаемый объект, указывающий пути, по которым должно следовать сельскохозяйственное транспортное средство, может быть выбран и перемещен или изменен посредством сенсорного ввода, причем перемещение и/или изменение отображаемого объекта посредством сенсорного ввода может приводить к непосредственно связанному с ним перемещению системы рулевого управления сельскохозяйственного транспортного средства. Это имеет то преимущество, что сельскохозяйственное транспортным средством могут управлять непосредственно устройством формирования трехмерных изображений, что обеспечивает более быстрое реагирование системы рулевого управления, например, на сенсорный ввод оператора на блоке дисплея.

В более предпочтительном варианте осуществления изобретения способ дополнительно содержит этап распознавания захваченного реального объекта. Захваченный реальный объект, в частности соответствующий ему полученный массив трехмерных данных, могут сравнивать с предварительно определенными справочными данными для обеспечения возможности распознавать реальный объект. Справочные данные могут быть предварительно сохранены в блоке памяти. При распознавании реального объекта путем сравнения полученного массива трехмерных данных со справочными данными соответствующие данные объекта могут быть привязаны к захваченному реальному объекту и предоставлены для управления системой автоматического вождения. Данные объекта могут быть предварительно сохранены в блоке памяти. Данные объекта могут быть, например, размерами реального объекта, такими как высота, ширина, длина. Преимущество состоит в том, что точные данные реального объекта, такие как препятствие с соответствующими линиями безопасности, эффективным образом предоставляются в распоряжение для управления системой автоматического вождения, что повышает точность вождения сельскохозяйственного транспортного средства без увеличения рабочей нагрузки на оператора.

В еще более предпочтительном варианте осуществления изобретения способ дополнительно содержит этап хранения и/или извлечения справочных данных, в частности, для сравнения полученного массива трехмерных данных со справочными данными. Справочные данные могут быть извлечены и использованы для сравнения полученного массива трехмерных данных для захваченного реального объекта с предварительно сохраненными данными. В том случае, когда реальный объект не может быть распознан, в частности если в распоряжении нет справочных данных, массив трехмерных данных захваченного нераспознанного реального объекта может быть сохранен, например, в блок памяти в качестве справочных данных. Это может быть случай обнаружения нового препятствия типа водоема. Сохраненные справочные данные могут быть дополнены другой, более точной информацией о реальном объекте, такой как размеры препятствия и подлежащие учету безопасные расстояния. Преимущество состоит в том, что нераспознанный реальный объект, такой как препятствие, должен быть сохранен в памяти всего один раз, чтобы автоматически распознавать его впоследствии, таким образом, снижая рабочую нагрузку на оператора.

В следующем предпочтительном примере осуществления способ дополнительно содержит этап привязки и/или изменения данных, соответствующих отображаемому объекту. Соответствующие отображаемому объекту данные могут быть массивом трехмерных данных, данными объекта и/или справочными данными. В том случае, когда захваченный реальный объект, показанный в виде отображаемого объекта, не был распознан, данные объекта могут быть привязаны к отображаемому объекту оператором. Привязанные данные объекта могут быть, например, извлечены из блока памяти, например стандартные безопасные расстояния, которые следует учитывать из известных типов препятствий, таких как ряды деревьев. В том случае, если захваченный реальный объект, показанный в виде отображаемого объекта, был распознан неправильно, данные объекта, привязанные к отображаемому объекту, могут быть изменены оператором, например, путем извлечения правильных данных объекта из блока памяти и/или путем изменения данных объекта, например, посредством сенсорного ввода на блоке дисплея. Отображаемый объект может быть также сгенерирован и отображен для реального объекта, положение которого, например, в форме трехмерных координат, было передано на систему управления. Положение реального объекта могут передавать вместе с идентификатором, например, для идентификации типа объекта. Положение и, в частности, идентификатор реального объекта могут передавать на систему управления другим сельскохозяйственным транспортным средством. Данные объекта, соответствующие реальному объекту, положение которого и, в частности, идентификатор были переданы на систему управления, могут быть извлечены из блока памяти для уменьшения количества данных, которые необходимо передать. Такой реальный объект может быть, например, другим сельскохозяйственным транспортным средством, следами на земле и/или препятствием. Препятствие может быть деревом, изгородью или геологической особенностью, например водоемом, траншеей, мягкой и/или влажной почвой, откосом или уклоном. Отображаемый объект, например отображенный размер препятствия, может быть откорректирован оператором посредством интерактивного взаимодействия с отображаемым объектом на сенсорном экране. Например, другое сельскохозяйственное транспортное средство может отображаться для оператора в качестве предупреждения о столкновении. Преимущество состоит в том, что направление сельскохозяйственного транспортного средства может быть более эффективным благодаря более точным данным и большему количеству информации, визуализируемой для оператора.

Предпочтительно способ дополнительно содержит этап генерирования визуальной и/или акустической обратной связи, в частности, от сенсорного ввода. Интерактивное взаимодействие с отображаемым объектом, в частности, посредством сенсорного ввода, может сопровождаться акустической и/или визуальной обратной связью для указания о выполнении желаемого действия. Акустическая и/или видимая обратная связь может быть представлена визуальной индикацией на блоке дисплея, индикаторным светом и/или акустическим сигналом типа звука или сообщения. Преимущество состоит в том, что оператор получает различимую обратную связь на свой ввод.

В предпочтительном варианте осуществления изобретения способ дополнительно содержит этап генерирования по меньшей мере одного виртуального элемента, соответствующего отображаемому объекту. Виртуальный элемент может генерироваться устройством формирования трехмерных изображений и может быть отображен на блоке дисплея. Виртуальный элемент может быть наложен на визуализируемый реальный объект. С виртуальным элементом могут производить интерактивные манипуляции посредством сенсорного ввода. Отображаемый объект может быть реальным объектом, например, отображенным в виде прямого изображения, и/или видео, и/или виртуального элемента. Виртуальный элемент может генерироваться в соответствии с отображаемым и/или распознанным реальным объектом, например, в форме искусственного изображения реального объекта, символа или графических элементов. Для генерирования виртуального элемента могут включать данные объекта, соответствующие отображаемому и распознанному объекту, например, посредством включения в виртуальный элемент информации об объекте, такой как указание безопасных расстояний, указывающих, насколько близко к препятствию может направляться или подходить сельскохозяйственное транспортное средство. Виртуальный элемент, представляющий безопасные расстояния до препятствия, может быть показан как отображаемый объект в виде виртуального элемента, наложенного на изображение реального объекта. Интерактивное взаимодействие с отображаемым объектом, например, в виде виртуального элемента может быть преобразовано в командные сигналы на основе массива трехмерных данных, например, путем передачи измененных безопасных расстояний в форме, в частности, относительных трехмерных координат на блок управления, что позволяет блоку управления перемещать сельскохозяйственное транспортное средство и управлять им в соответствии с новыми безопасными расстояниями. Преимущество виртуального элемента состоит в увеличении количества информации, которое может быть показано оператору без увеличения рабочей нагрузки. Дополнительно в систему управления могут быть включены другие интерактивные действия, расширяющие опции ввода для оператора.

В предпочтительном примере осуществления изобретения способ дополнительно содержит этап выбора отображаемого объекта для отслеживания соответствующего реального объекта. Отображаемый объект может быть выбран посредством сенсорного ввода, причем сгенерированный массив трехмерных данных и трехмерные координаты могут использовать для приближения к выбранному реальному объекту и/или для его обхода и/или для отслеживания выбранного реального объекта с постоянным обновлением трехмерных координат реального объекта. Преимущество состоит в том, что препятствие, например человек, может быть легко выбрано и избегнуто системой автоматического вождения.

В предпочтительном варианте осуществления изобретения способ дополнительно содержит этап передачи массивов трехмерных данных другой системе. Наборы трехмерных данных системы автоматического вождения могут передавать другой системе, например навигационной системе и/или системе планирования маршрута сельскохозяйственного транспортного средства или внешней системе. Например, передача массивов трехмерных данных, содержащих информацию о трехмерных координатах круглых тюков, обнаруженных системой формирования трехмерных изображений, может позволять системе планирования маршрута получать маршрут для подбора круглых тюков. Затем сельскохозяйственное транспортное средство могут автоматически направлять по маршруту системой автоматического вождения в соответствии с изобретением.

Упомянутые выше компоненты, так же как и указанные в формуле изобретения компоненты и компоненты, использованные в описанных вариантах осуществления, не имеют каких-либо специальных ограничений в отношении их размеров, формы, выбора материала и конструктивного решения, так что известные в данной области критерии выбора могут применяться без ограничений.

Краткое описание чертежей

Дополнительные подробности, особенности, характеристики и преимущества объекта изобретения раскрыты в графических материалах и последующем описании графических материалов, которые в качестве примера представляют один вариант осуществления и примеры системы управления и способа управления в соответствии с изобретением.

На чертежах:

фиг. 1 схематично изображает вид сельскохозяйственных машин с системой управления по изобретению;

фиг. 2 схематично изображает систему управления в соответствии с изобретением;

фиг. 3 иллюстрирует интерактивное взаимодействие с отображаемым препятствием;

фиг. 4 иллюстрирует интерактивное взаимодействие с виртуальным элементом.

Осуществление изобретения

На фиг. 1 схематично показана система 10 управления, установленная на сельскохозяйственном транспортном средстве 12 в виде силосоуборочного комбайна, который содержит жатку 14, кабину 16 и управляемое транспортирующее устройство 18 с управляемой заслонкой 20 на своем свободном конце. Во время работы убранная масса обрабатывается комбайном 12 и выбрасывается через транспортирующее устройство 18. Сельскохозяйственное транспортное средство 12 содержит систему 22 автоматического вождения, например, для автоматического удерживания транспортного средства на пути движения в процессе уборки. Спереди на транспортном средстве 12 укреплено устройство 24 формирования трехмерных изображений с электрооптическим устройством измерения дальности в виде стереокамеры 26 для захвата реальных объектов типа убираемой культуры. Устройство 24 формирования трехмерных изображений обозревает и захватывает, по меньшей мере, часть окружения сельскохозяйственного транспортного средства 12. Устройство 24 формирования трехмерных изображений соединено с сенсорным дисплейным блоком 28 для отображения визуализированного изображения реального объекта, захватываемого камерой 26. Система 22 автоматического вождения соединена с системой 10 управления и с блоком 30 управления сельскохозяйственного транспортного средства 12, выполненным с возможностью получать командные сигналы.

На фиг. 2 схематично показана система 10 управления. Стереокамера 26 устройства 24 формирования трехмерных изображений захватывает реальный объект в виде валка и круглого тюка перед сельскохозяйственным транспортным средством 12. Устройство 24 формирования трехмерных изображений содержит блок 32 процессора для получения массива трехмерных данных захваченного реального объекта, например, в виде валка и круглого тюка. Захваченный реальный объект визуализируется для отображения на сенсорном дисплейном блоке 28. Средства визуализации перерабатывают информацию, получаемую от устройства 24 формирования трехмерных изображений, в отображаемую и визуально узнаваемую форму для оператора системы 10 управления.

Массив трехмерных данных могут сравнивать со справочными данными 34, сохраненными в блоке 36 памяти устройства 24 формирования трехмерных изображений. Если на основе сравнения обобщенного массива трехмерных данных с сохраненными справочными данными 34 распознают реальный объект, данные 38 объекта, соответствующие распознанному реальному объекту, могут быть привязаны к объекту. Данные 38 объекта также сохраняют в блоке 36 памяти. Данные 38 объекта могут содержать дополнительную информацию о реальном объекте, например точные размеры круглого тюка, что может быть использовано для расчета необходимой транспортной вместимости для сбора всех захваченных тюков. Визуализированная информация захватываемого реального объекта передается на блок 28 дисплея и представляется в виде отображаемого объекта 40, по меньшей мере, на участке блока 28 сенсорного дисплея (отображаемое прямое изображение реального объекта показано в увеличенном виде на фиг. 2). Отображаемый объект 40 может быть прямым изображением и/или видео, синтетическим изображением и/или виртуальным элементом 42. Виртуальный элемент 42 может содержать и визуализировать дополнительную информацию об отображаемом объекте 40, в данном случае граничные линии обнаруженного валка и безопасные расстояния вокруг круглого тюка, причем в этом случае виртуальный элемент 42, соответствующий круглому тюку, может служить предупреждением о препятствии. Виртуальный элемент 42, соответствующий круглому тюку, показан в виде кубической рамки, указывающей круглый тюк. Виртуальные элементы 42, соответствующие валку, образованы линиями, указывающими границы валка. Граница другого валка, который обнаружен, но пока что не отслеживается системой 22 автоматического вождения, обозначен виртуальным элементом 42 в виде штриховой линии.

С отображаемыми объектами 40 могут производить интерактивные манипуляции при сенсорном вводе, в частности при предварительно определенных жестах. Виртуальный элемент 42, соответствующий круглому тюку, могут выбирать посредством сенсорного ввода, например, указательным пальцем и могут увеличивать, например, для указания безопасного расстояния или с ним могут производить другие интерактивные действия. Этот сенсорный ввод передается обратно к устройству 24 формирования трехмерных изображений в качестве обратной связи, включающей в себя двухмерные координаты сенсорного ввода. Если, например, оператор увеличивает размер выбранного отображаемого объекта 40 в виде предупреждения о препятствии, соответствующем круглому тюку, устройство 24 формирования трехмерных изображений на основе массива трехмерных данных генерирует командные сигналы 46 в соответствии с интерактивным взаимодействием с отображаемым объектом 40 для соответствующего привода в действие системы 22 автоматического вождения и автоматического направления транспортного средства 12 вокруг препятствия. Командные сигналы 46 могут посылаться на блок 28 управления сельскохозяйственного транспортного средства 12 для соответствующего управления и направления сельскохозяйственного транспортного средства 12, например его рулевого управления в соответствии с желаемым вводом. При этом командные сигналы 46 могут быть командами для управления сельскохозяйственным транспортным средством 12 определенным образом, в частности хронологически независимо от сенсорного ввода. Специальным типом командных сигналов 46 являются управляющие сигналы 48, генерируемые для непосредственного управления по меньшей мере одним исполнительным механизмом, например системой рулевого управления транспортного средства для непосредственного управления, то есть управления поворотом сельскохозяйственного транспортного средства 12. Управляющие сигналы 48 могут генерироваться блоком 30 управления и/или устройством 24 формирования трехмерных изображений, в частности блоком 32 процессора устройства 24 формирования трехмерных изображений. В случае препятствия в виде круглого тюка перетаскивание соответствующего виртуального элемента 42 может в соответствии с жестом ввода приводить к тому, что сельскохозяйственное транспортное средство 12 направляют посредством рулевого управления в реальном времени и следует за взаимодействием с отображаемым объектом 40, которое может указывать место для направления к нему в виде сенсорного ввода на блоке 28 дисплея.

Выбор отображаемого объекта 40 в виде водоема показан на фиг. 3. Водоем является препятствием, которое выбирают путем интерактивного взаимодействия с отображаемым объектом 40, представляющим водоем, например, путем увеличения связанного с ним виртуального элемента 42, указывающего безопасное расстояние вокруг водоема, которое следует учитывать. Сенсорный ввод передают на устройство 24 формирования трехмерных изображений, которое генерирует командные сигналы 46 для соответствующего позиционирования сельскохозяйственного транспортного средства 12 для его безопасного направления вокруг водоема.

Выбор и изменение виртуальных элементов 42, представляющих путь, по которому должно следовать сельскохозяйственное транспортное средство, показаны на фиг. 4. В соответствии с распознанным путем в качестве виртуальных элементов 42 показаны линии, указывающие путь, определенный системой 10 управления. Линии могут быть перемещены путем выбора и перемещения виртуальных элементов 42 в более точное положение. Таким образом, точность системы автоматического вождения может быть эффективно повышена оператором сельскохозяйственного транспортного средства.

Конкретные конфигурации элементов и особенности описанных и показанных вариантов осуществления имеют исключительно иллюстративный характер; предусматривается также возможность взаимозаменяемости и перестановки теоретических положений данной заявки и патентов и заявок, включенных в качестве ссылок. Для специалистов в данной области понятно, что в пределах объема защиты изобретения, определенного пунктами формулы изобретения, в компетенцию среднего специалиста в данной области входит выполнение различных вариантов, модификаций описанных вариантов осуществления и других вариантов осуществления. Соответственно, предшествующее описание служит только иллюстрацией и не накладывает ограничений. В пунктах формулы изобретения формулировка «содержащий» не исключает других элементов или шагов, а использование единственного числа не исключает множественного. Тот факт, что некоторые меры указаны в пунктах различного подчинения, не означает, что не может быть использована комбинация этих мер. Объем защиты изобретения определен в пунктах формулы изобретения и охватывает эквивалентные решения. Кроме того, позиции, использованные в описании и в формуле изобретения, не ограничивают объема его защиты.

Реферат

Группа изобретений относится к сельскохозяйственному машиностроению. Система управления системой автоматического вождения сельскохозяйственного транспортного средства содержит по меньшей мере одно устройство формирования трехмерных изображений для захвата реального объекта и получения массива трехмерных данных для реального объекта и блок сенсорного дисплея для отображения объекта и для приема сенсорного ввода. Система управления выполнена с возможностью генерирования командных сигналов на основе массива трехмерных данных, соответствующих интерактивному взаимодействию с отображаемым объектом, для управления системой автоматического вождения. Группа изобретений позволяет простым и эффективным образом управлять системой автоматического вождения, снижая напряжение и рабочую нагрузку на оператора. 3 н. и 14 з.п. ф-лы, 4 ил.

Формула