Способ и система автоматического управления сельскохозяйственной машиной, уборочная машина и машина для обработки почвы - RU2361381C2

Чертежи

Показать все 13 чертежа(ей)

Описание

Изобретение относится к способу автоматического управления сельскохозяйственной машиной на поле вдоль обрабатываемой поверхности, а также к соответствующей системе автоматического управления сельскохозяйственной машиной и к уборочной машине.

За прошедшие годы были автоматизированы многие функции сельскохозяйственных машин, управлявшиеся прежде вручную водителем. Для облегчения работы водителя были предложены, например, различные системы управления, автоматически управляющие машиной на поле. Они могут облегчить работу водителя и позволить ему сконцентрироваться на других важных аспектах его работы, например контроле загрузки рабочих устройств машины. В будущем станет также возможным движение подобных машин по полю без водителя.

Были описаны автоматические системы управления, основанные на различных принципах. Бесконтактно работающие системы можно разделить на основанные на измерении удаления системы, которые стремятся определить разность по высоте между срезанной и несрезанной растительной массой, и на основанные на отображении системы, которые стремятся определить отличия во внешнем виде растительной массы на срезанной и несрезанной сторонах кромки или между растениями и почвой.

Примеры систем, основанных на измерении удаления, можно найти в ЕР 0887660 А и ЕР 1271139 А.

В ЕР 0887660 А направленный на почву перед уборочной машиной лазерный дальномер поворачивают по определенному угловому диапазону. На основе его ориентации и положения определяют соответствующее углу поворота положение точки, в которой был отражен лазерный луч. Таким образом, определяют высотный профиль почвы, который позволяет обнаружить валок или край растительной массы на границе между скошенной частью зернового поля и еще не скошенной частью и выработать из этого управляющий сигнал.

В ЕР 1271139 А у подобного лазерного дальномера дополнительно предложено определять с помощью интенсивности отраженного излучения количество подбираемой растительной массы.

Недостаток основанных на измерении удаления систем состоит в том, что для регистрации времени прохождения требуется относительно дорогой дальномер с лазером и электроникой.

Примеры основанных на отображении систем, работающих с направленной на поле камерой и электронной обработкой изображения, можно найти в DE 3507570 А, ЕР 0801885 A, WO 98/46065 A, WO 96/17279 A, JP 01319878 A, JP 03012713 A, US 6278918 В, US 6285930 В, US 6385515 В и US 6490539 В.

В DE 3507570 А раскрыта автоматическая система управления сельскохозяйственной машиной, которая должна двигаться вдоль поля или по полю с возделанными рядами растений. Система выводит ориентацию рядов растений по первоначальному изображению. Затем изображение сканируют вдоль линий, которые проходят параллельно выведенной ориентации, и средние значения серого в каждой строке вводят в память. Во время движения по полю его сканируют вдоль тех же линий. Результаты сканирования каждой линии сравнивают со значениями в памяти и посредством подходящих управляющих сигналов поддерживают опорные значения.

В ЕР 0801885 А описана уборочная машина с камерой, сигнал изображения которой оцифровывают и изображение подвергают обработке. При этом строки исследуют на положение шаговой функции, в котором ступенчато изменяется значение серого. В отдельных строках положение пикселей с соответственно наибольшей вероятностью определяют для шаговой функции. Эти положения привлекают для вырабатывания управляющего сигнала.

В WO 98/46065 А, кроме того, с помощью содержащейся в отдельных строках информации определяют, содержат ли они границу растительной массы. С помощью информации всех строк устанавливают, в какой строке заканчивается убираемое поле.

В WO 96/17279 А предложено провести ограничение (например, параллелограмм) посредством снятого камерой изображения и идентифицировать лежащие в нем объекты с яркостью, которая выше порогового значения. Объекты подвергают регрессионному анализу, чтобы определить их смещение относительно предварительно идентифицированного ряда, которое служит для вырабатывания управляющего сигнала.

JP 01319878 А относится к системе управления, у которой поверхности специфического цвета связывают между собой в снятом камерой изображении, с тем чтобы определить прямую линию. Эта линия рассматривается как ряд растений и служит для вырабатывания управляющего сигнала.

В JP 03012713 А предложена автоматическая система управления трактора, которая определяет окно снятого изображения. В этом окне определяют виртуальную линию, на которой расположены растения. При этом изображение сравнивают с виртуальным рядом растений для вырабатывания управляющего сигнала.

В US 6278918 В предложено разделить снятое изображение на два или четыре сектора. В них определяют место и направление ряда растений. Лучше обнаруживаемый ряд растений привлекают для вырабатывания управляющего сигнала. Решение о том, отображает ли один пиксель одно растение или нет, принимают посредством так называемого метода К средних, при котором получают гистограмму значений пикселей, на которой ось х изображает уровень значений серого, а ось у - число пикселей с соответствующими значениями серого. Пиксели, которые более правдоподобно отображают растения, появляются поэтому с правой стороны гистограммы. Алгоритм делит полученную из изображения камеры гистограмму на заданное число К классов, интервалы между которыми соответственно равны. Данные подвергают рекурсивной обработке, с тем чтобы найти для класса среднее значение серого. Границы между классами рекурсивно смещают на основе заданной метрики или минимизации функции стоимости, пока центры классов не сместятся менее чем на данный допуск. Затем устанавливают порог для различения между растениями и почвой на начало класса К или другого класса. Классификацию можно осуществлять также посредством других алгоритмов кластеризации, таких как метод разделения, самоорганизующиеся карты и нейронная логика или fuzzy-логика. US 6285930 В, US 6385515 В и US 6490539 В также относятся к этой системе.

У описанных основанных на отображении систем с помощью яркости и/или цвета отдельных пикселей различают, представляют ли они растение или нет. Идентифицированные растения у некоторых из этих систем соединяют виртуальной линией, служащей для вырабатывания управляющего сигнала. В некоторых случаях, когда желательно автоматическое управление сельскохозяйственной машиной, однако, непросто или даже почти невозможно распознать с помощью цвета или яркости, относится ли пиксель к линии, за которой необходимо следить, или нет. Типичным примером является валок скошенной травы или лежащей на убранном зерновом поле соломы. Валок состоит из того же материала, что и оставшаяся на поле стерня, и потому во многих случаях имеет более или менее ту же яркость и цвет. Описанные отображающие системы здесь применимы лишь с трудом. Другие описанные системы распознают растения на поле и ориентируются по описанным ими рядам, например для разбрасывания химикатов. При отсутствии растений эти системы использоваться не могут.

В преамбуле к описанию в ЕР 0801885 А (стр.3, 1-й абзац) упомянут возможный способ, в котором локальный двухмерный оператор преобразования Фурье используется в качестве основы для базирующейся на текстуре сегментации, с тем чтобы установить пространственную полосу частот с существенным различием между срезанными и стоящими растениями. Говорится о том, что этот способ при первоначальных тестах не дал ясного указания на подобное различие. Он был поэтому отвергнут.

Лежащую в основе изобретения задачу следует усматривать в создании способа автоматического управления сельскохозяйственной машиной и соответствующей системы управления, которая надежно работала бы и которую можно было бы экономично реализовать.

Эта задача решается, согласно изобретению, в способе автоматического управления сельскохозяйственной машиной на поле (84) вдоль обрабатываемой поверхности, включающем следующие этапы:

- съемку лежащего перед машиной участка поля (84), включая обрабатываемую поверхность, с помощью отображающей камеры (42);

- создание файла пикселей из сигнала изображения камеры (42);

- классификацию пикселей файла с учетом текстурной информации для получения двоичной информации о том, следует ли отнести соответствующий пиксель к обрабатываемой поверхности или нет;

- вырабатывание управляющего сигнала на основе результатов классификации;

- поворот управляющих средств уборочной машины в соответствии с управляющим сигналом, в результате чего происходит автоматическое ведение машины вдоль обрабатываемой поверхности.

Предпочтительным является то, что текстурную информацию получают посредством независимого или зависимого от направления текстурного анализа, в частности анализа зависимости значений серого и/или мультиспектрального анализа.

Также предпочтительным является то, что классификацию того, следует ли отнести отдельные пиксели файла соответственно к обрабатываемой поверхности или нет, осуществляют посредством нейронной сети (112).

Целесообразным является то, что средства для классификации до начала работы подвергают процессу обучения с помощью подаваемого к ним изображения и информации об участках (88) изображения, показывающих обрабатываемую поверхность, и участках (86), не показывающих обрабатываемую поверхность.

Также целесообразным является то, что обрабатываемую поверхность изображают посредством подбираемой растительной массы, в частности валка (48), или посредством почвы, обрабатываемой почвообрабатывающей машиной и/или сеялкой.

Задачей изобретения является также создание автоматической системы (60) управления сельскохозяйственной уборочной машиной на поле (84) вдоль обрабатываемой поверхности, содержащей отображающую камеру (42) для съемки лежащего перед уборочной машиной участка поля (84), включая обрабатываемую поверхность, устройство обработки, в частности процессор (68), к которому подают созданный из сигнала изображения камеры (42) файл пикселей, причем устройство обработки выполнено с возможностью получения текстурной информации о текстуре окружающего пиксели файла пространства, осуществления классификации пикселей файла с учетом текстурной информации для получения двоичной информации о том, следует ли отнести соответствующий пиксель к обрабатываемой поверхности или нет, и на основе результатов классификации вырабатывания управляющего сигнала, подаваемого к средствам управления уборочной машиной, в результате чего машина может автоматически направляться вдоль обрабатываемой поверхности.

Машину снабжают камерой, направленной на зону перед машиной, включая обрабатываемую поверхность. Камера выдает в определенные промежутки времени двухмерные изображения обрабатываемой поверхности и находящихся рядом с ней участков поля. Из сигнала изображения камеры создают файл пикселей, который обрабатывают посредством электронного устройства обработки изображения, с тем, чтобы выработать управляющий сигнал и автоматически вести машину вдоль обрабатываемой поверхности. Преимущество использования отображающей системы по сравнению с основанными на измерении удаления системами заключается в меньших расходах.

Изобретение предлагает вывести из файла пикселей информацию о текстуре окружающего отдельные обработанные пиксели пространства. Получают информацию, содержащую информацию о том, как выглядит структура изображения по соседству с пикселем, т.е., например, равномерная ли она или неравномерная, или в каком направлении ориентированы имеющиеся там подробности, например стебли растительной массы или комки земли. Если камера смотрит, например, на скошенное поле с валком, то поле показывает, в основном, короткие, вертикальные стебли, а валок - более длинные стебли с разной ориентацией. Аналогичным образом обрабатываемая поверхность при обработке почвы отличается от соседних участков поля, поскольку, например, после вспашки или культивации она показывает более или менее большие комки земли и более неровную поверхность, чем до этого. Эта текстурная информация служит основанием классификации, состоящей в том, должен ли быть соответствующий пиксель отнесен к обрабатываемой поверхности или нет (двоичное решение). Поскольку в основу положена, не как в уровне техники, только яркость пикселя, но и, кроме того, информация о классификации, она покоится на относительно надежной основе. Положение обрабатываемой поверхности можно, следовательно, распознать без проблем. С помощью известного положения пикселей, представляющих обрабатываемую поверхность (или больше не обрабатываемую и/или еще не обработанную поверхность), вырабатывают управляющий сигнал, подаваемый к средствам управления машины.

Текстурная информация может быть получена, в частности, за счет независимого или зависимого от направления текстурного анализа. При независимом от направления текстурном анализе учитывают информацию в отношении соседей пикселя во всех направлениях. При зависимом от направления текстурном анализе оценивают только соседей в определенных направлениях. Зависимый от направления текстурный анализ особенно целесообразен тогда, когда в изображении возникают признаки предпочтительно в определенных направлениях. Зависимый или независимый от направления текстурный анализ может быть осуществлен, например, посредством анализа зависимости значений серого.

В качестве альтернативы или дополнительно текстуру можно исследовать посредством мультиспектрального анализа. При этом используют камеру, которая может регистрировать, по меньшей мере, две разные длины световых волн. При разных длинах волн текстура по соседству с пикселями также может отличаться, так что в основу решения о том, представляют ли отдельные пиксели соответственно обрабатываемую поверхность или нет, может быть положена дополнительная информация. В качестве мультиспектрального анализа может быть предусмотрен цветовой анализ, в частности КЗС-анализ.

Решение о том, представляют ли отдельные пиксели соответственно обрабатываемую поверхность или нет, принимают с помощью так называемого классификатора. Подходящим классификатором является нейронная сеть. Преимущественно до начала работы классификатор посредством подаваемого к нему изображения или информации об участках изображения, не показывающих обрабатываемую поверхность, и участках, показывающих обрабатываемую поверхность, подвергают процессу обучения. Процесс обучения может происходить при изготовлении на заводе или до начала работы на поле.

Система управления, согласно изобретению, пригодна, в частности, для ведения уборочной машины вдоль уложенной в валок растительной массы, поскольку она обеспечивает хорошее различение между стеблями в валке и на поле. Подобными уборочными машинами являются, например, полевые измельчители с подборщиком в качестве устройства для подбора растительной массы, самоходные или прицепленные к трактору тюковые прессы или тракторы с самонагружающимся прицепом. Валок распознают и уборочную машину ведут вдоль него. Описанная система управления может быть использована, однако, и в уборочных машинах, движущихся вдоль кромки растений, таких как зерноуборочные комбайны, полевые измельчители с кукурузоуборочными агрегатами или косилки, поскольку система управления способна различать длинные стоячие стебли с колосьями на верхней стороне от стерни на убранном поле. Здесь уборочную машину внешней кромкой устройства для подбора растительной массы ведут вдоль кромки растений.

Следует отметить, что снятое камерой изображение содержит также информацию о количестве или доле подбираемой растительной массы. Эта информация может быть получена из контуров растений и/или их цвета. Система управления может, следовательно, рассчитать ожидаемую долю и положить в основу автоматического управления скорость движения.

Другой возможной областью применения системы управления, согласно изобретению, является обработка почвы, осуществляемая, например, плугом, культиватором, бороной, катком и т.п., и/или сев. Как уже сказано, текстура почвы после обработки отличается от прежней текстуры. Система управления распознает границу между уже обработанной и еще не обработанной частями поля с помощью разной текстуры и ведет сельскохозяйственную машину мимо нее на оптимальном расстоянии, так что внешняя граница ее рабочего орудия направляется вдоль границы между обработанной и необработанной частями поля.

Два более подробно описанных ниже примера выполнения изобретения изображены на чертежах, на которых представляют:

- фиг.1: схематично при виде сбоку полевой измельчитель с автоматической системой управления, согласно изобретению;

- фиг.2: схематично при виде сбоку трактор с автоматической системой управления, согласно изобретению, и прицепленным к нему тюковым прессом;

- фиг.3: блок-схему системы управления;

- фиг.4: пример снятого камерой изображения;

- фиг.5: блок-схему, по которой работает процессор системы управления;

- фиг.6: схему нейронной сети, используемой для принятия решения о том, относится ли пиксель к полю или к валку;

- фиг.7: работу нейронной сети из фиг.6 на этапе обучения;

- фиг.8: работу нейронной сети из фиг.6 на этапе анализа;

- фиг.9: относящееся к изображению на фиг.4 изображение результата независимого от направления анализа значений серого;

- фиг.10: относящееся к изображению на фиг.4 изображение результата зависимого от направления анализа значений серого;

- фиг.11: относящееся к изображению на фиг.9 изображение, вытекающее из решения о том, относятся ли пиксели к валку или к полю;

- фиг.12: изображение из фиг.11 после удаления всех поверхностей, которые оставляют менее 450 пикселей;

- фиг.13: оставшуюся наибольшую поверхность из изображения на фиг.12;

- фиг.14: окончательный результат обработки изображения на фиг.13 с обозначенными осями инерции.

На фиг.1 изображена уборочная машина по типу самоходного полевого измельчителя 10. Полевой измельчитель 10 установлен на раме 12, опирающейся на передние приводные колеса 14 и управляемые задние колеса 16. Управление полевым измельчителем 10 происходит из кабины 18, откуда видно устройство 20 для подбора растительной массы. Подобранную с земли устройством 20 растительную массу, например траву и т.п., подают по питающим валкам (не показаны), расположенным внутри подающего корпуса на передней стороне полевого измельчителя 10, к измельчающему барабану 22, который измельчает ее на мелкие куски и загружает на транспортер 24. Масса покидает полевой измельчитель 10 в направлении движущегося рядом прицепа через выпускную шахту 26, установленную с возможностью вращения вокруг приблизительно вертикальной оси и регулирования по наклону. Между измельчающим барабаном 22 и транспортером 24 проходит дополнительное измельчающее устройство 28, по которому транспортируемую массу подают к транспортеру 24 по касательной.

Устройство 20 для подбора растительной массы выполнено в этом примере в виде так называемого подборщика. Устройство 20 установлено на шасси 32 и опирается на землю через размещенные с обеих сторон опорные колеса 38, каждое из которых закреплено на шасси 32 посредством балки 46. Задача устройства 20 состоит в том, чтобы подобрать уложенную на поле в валок 48 растительную массу и подать ее к полевому измельчителю 10 для дальнейшей обработки. Для этого устройство 20 во время уборки движут на небольшом расстоянии от земли по полю, тогда как для транспортировки по дороге его поднимают. К устройству 20 относится транспортер 36 в виде транспортирующего шнека, который транспортирует подобранную с боков устройства 20 массу к лежащему посередине разгрузочному отверстию (не показано), за которым следуют подающие валки. Устройство 20 содержит также приводимый во вращение, как транспортер 36, подборщик 34, который расположен под транспортером 36, приподнимает своими транспортирующими зубьями массу с земли и передает ее на транспортер 36. Кроме того, на шасси 32 закреплен прижим 40 в виде расположенного над подборщиком 34 листа.

Полевой измельчитель 10 оснащен на верхней стороне опережающей в направлении движения стороны кабины 18 камерой 42. Объектив камеры 42 направлен на валок 48 наискось вперед и вниз. Камера 42 находится на продольной средней оси полевого измельчителя 10. Вместе с электронным блоком управления камера 42 образует описанную ниже автоматическую систему управления, которая автоматически ведет полевой измельчитель 10 вдоль валка 48, чтобы облегчить работу водителя в кабине 18.

Прежде всего, с помощью фиг.2 следует описать другую возможность применения автоматической системы управления. Здесь камера 42 размещена на верхней стороне опережающей в направлении движения стороны кабины 18 трактора 50. Она находится на продольной средней оси трактора, а ее объектив также направлен на валок 48 наискось вперед и вниз. Трактор 50 содержит передние управляемые колеса и задние приводные колеса 54. Он тянет за собой тюковый пресс 56, который подбирает с поля растительную массу из валка 48 посредством подборщика 34 и формирует из нее тюк 58. Вместо изображенного рулонного пресса тюковый пресс 56 может быть также выполнен в виде прямоугольно-тюкового пресса. Он может быть выполнен также самоходным. Изобретение может применяться также на тракторе 50, служащем для обработки почвы.

Полевой измельчитель 10 и трактор 50 оснащены на своих передних сторонах осветительными устройствами, которые позволяют освещать валок 48, в случае если имеющегося света недостаточно.

На фиг.3 схематично изображена система 60 управления полевого измельчителя 10 из фиг.1 или трактора 50 из фиг.2. Камера 42 содержит датчик 62 изображения, в частности в виде ПЗС или КМОП, выходной сигнал которого посредством аналого-цифрового преобразователя 64 оцифровывают и подают к видеоинтерфейсу 66. Данные полученного камерой 42 изображения могут состоять только из данных яркости (значения серого, яркость) или содержать также данные цветности (цвет). Процессор 68 (как правило, микропроцессор или микроконтроллер) двунаправленно связан с видеоинтерфейсом 66. Изображение, полученное объективом 82 камеры 42 на датчике 62, может быть отображено водителю в кабине 18 на соединенном с процессором 68 дисплее 70. Дисплей 70 может отображать также другую информацию, например рабочие данные системы 60 управления и/или полевого измельчителя 10 или трактора 50. В распоряжении водителя имеется также клавиатура 72 или иное устройство ввода (например, мышь, джойстик, речевой ввод), с помощью которого он может осуществлять ввод в процессор 68. Процессор 68 управляет электромагнитными клапанами 74, которые со стороны входа соединены с источником 76 находящейся под давлением гидравлической жидкости, а со стороны выхода - с управляющим цилиндром 78. Управляющий цилиндр 78 поворачивает у полевого измельчителя 10 на фиг.1 задние колеса 16, а у трактора 50 на фиг.2 - передние колеса 52. Датчик 80 колесного угла регистрирует актуальный угол поворота колес 16 или 52 и подает эту информацию процессору 68. Аппаратная часть подобных систем 60 управления достаточно известна из уровня техники, так что здесь можно отказаться от более подробного описания и сослаться на упомянутый в преамбуле уровень техники, раскрытое содержание которого включено в настоящую заявку.

Задача автоматической системы 60 управления состоит в том, чтобы вести полевой измельчитель 10 или трактор 50 с тюковым прессом 56 без вмешательства водителя в процесс вождения вдоль валка 48 по полю. Процессор 68 обрабатывает для этого изображения камеры 42 посредством электронного блока обработки изображения и вырабатывает на основе результата обработки подходящие управляющие сигналы для электромагнитных клапанов 74.

Валок 48 состоит, как правило, из высохшей стебельчатой массы, которая была срезана косилкой, оставлена на просушку на поле и собрана валкообразователем или при уборке зернового поля уложена в виде валка зерноуборочным комбайном. Типичное изображение, зарегистрированное камерой 42 при сенокошении, показано на фиг.4. Видно, что значения яркости между валком 48 и участками поля 84 по бокам рядом с валком 48 не слишком сильно отличаются друг от друга. Таким образом, было бы проблематично или почти невозможно выработать управляющий сигнал, отнеся отдельные точки изображения (ниже «пиксели») сигнала изображения камеры 42 исключительно на основе их яркости к валку 48 или к полю 84. Содержащее данные цветности изображение было бы тогда лучше пригодно для различения между валком 48 и полем 84 с помощью цветов, если стебельчатая масса достаточно отличается по цвету от поля. Этого, однако, не происходит, в частности, тогда, когда оставшиеся на поле стебли, по меньшей мере, частично высохли или когда валок должен быть подобран сразу после скашивания, как при уборке зерна.

На фиг.4, однако, видно также, что на поле 84 остались, в основном, только вертикально стоящие стебли (злаковая стерня), тогда как валок 48 в противоположность этому имеет более длинные стебли, лежащие с разной ориентацией, определенной частью проходящие горизонтально. Настоящее изобретение предлагает поэтому оценить текстуру пикселей и привлечь ее для принятия решения о том, находится ли пиксель на поле 84 или в валке 48. Под текстурой следует понимать локальное распределение и вариацию значений серого (и/или значений цветности) на участке изображения. На поле текстура состоит из коротких, большей частью вертикально проходящих структур (стеблей), тогда как в валке она состоит из более длинных стеблей, проходящих в разных направлениях.

В соответствии с этим процессор 68 работает по процедуре, изображенной на фиг.5. Исходя из снятого на шаге 100 камерой 42 изображения, на шаге 102 через видеоинтерфейс 66 процессор 68 получает файл пикселей. Из этого файла пикселей на шаге 104 для подвергаемых дальнейшей обработке пикселей выводят соответствующую текстурную информацию. На шаге 104 могут быть обработаны все поступающие пиксели или только часть их, содержащая участок изображения с валком 48, с тем чтобы сократить время расчета.

Вывод текстурной информации на шаге 104 может происходить различным образом. Существует возможность проведения анализа зависимости значений серого, при котором вычисляют матрицу зависимости. Матрица зависимости содержит для небольших участков изображения информацию, содержащую комбинации соседних значений серого по соседству с пикселями. Если значения серого по соседству с пикселем одинаковы, то матрица зависимости указывает, таким образом, на то, что имеются лишь идентичные значения серого. Если же значения серого по соседству варьируются слишком сильно, то возникает другая матрица зависимости. В одной предпочтительной форме выполнения при анализе значений серого рассматривают только восемь непосредственных соседей пикселей, а на краю обработанного участка изображения их число уменьшается до трех (по углам) или пяти. Таким образом, получают информацию о том, равномерна ли текстура по соседству с пикселем или нет.

Выведение текстурной информации на шаге 104 может происходить также посредством зависимого от направления анализа зависимости значений серого. Как видно на фиг.4 и уже пояснялось выше, поле 84 содержит очень много вертикальных линейных структур. В валке 48, напротив, стебли лежат хаотично. Поэтому напрашивается оставить диагональные соседние пиксели без внимания и для составления матрицы зависимости привлечь только пиксели выше и ниже, а также слева и справа рассматриваемого пикселя. Таким образом, выведенная на шаге 104 текстурная информация содержит, следовательно, информацию о том, содержит ли текстура вблизи пикселя вертикальные или горизонтальные структуры. Количество информации, однако, необязательно ее содержание, уменьшено по сравнению с независимым от направления анализом зависимости значений серого.

Далее текстурная информация может быть получена на шаге 104 также посредством цветового анализа. При этом исследовании анализируют информацию цветности валка 48. При использовании цветной камеры 42 каждый пиксель полученного цветного изображения содержит три цветовые информации соответственно для красного, зеленого и голубого цветов. Если, следовательно, валок 48 отличается по цвету от поля 84, то с помощью цветовой информации можно легко различить оба, даже при одинаковой яркости.

Наконец существует также возможность комбинации анализа зависимости значений серого или зависимого от направления анализа зависимости значений серого с цветовым анализом. Следовательно, для каждого обрабатываемого пикселя создают независимую или зависимую от направления матрицу зависимости для значений серого и цветовую информацию, обрабатываемые сообща. При названных анализах применяется, в частности, так называемая статистика второго порядка. Кроме того, возможна последовательная комбинация, при которой сначала осуществляют чисто КЗС-анализ, а затем результат КЗС-анализа подвергают текстурному анализу.

После получения на шаге 104 информации о текстуре в окружении пикселей осуществляют шаг 106. Здесь с помощью полученной на шаге 104 текстурной информации осуществляют классификацию, т.е. для каждого обрабатываемого пикселя или пиксельной группы решают, относится ли она к валку или полю. Здесь могут использоваться любые подходящие алгоритмы. Особенно предпочтительным оказалось использование нейронной сети, поскольку благодаря своей обучаемости она может приспосабливаться также к изменившимся условиям съемки изображения. Возможно также применение fuzzy-логики или нейронной fuzzy-логики. Это решение принимается в два этапа: сначала для каждого пикселя или каждой пиксельной группы оценивают значение вероятности, которое отражает вероятность, с которой он или она относится к валку. Затем проверяют, лежит ли данное значение вероятности выше порогового значения (как правило, 50%) или нет.

Возможная форма выполнения подобной нейронной сети 112 схематично изображена на фиг.6. Сеть 112 состоит, по меньшей мере, из двух нейронных слоев 114, 116. Первый нейронный слой 114 имеет вход 118, на который полученную на шаге 104 текстурную информацию подают в виде матрицы зависимости и, при необходимости, цветовой информации. В нейронном слое 114 происходит связь входных значений с изучаемой информацией, результат которой имеется на выходе 120 первого нейронного слоя 114 и подается на вход 122 второго нейронного слоя 116. Как показано, первый нейронный слой 114 предоставляет в распоряжение второго нейронного слоя 116 несколько выходных сигналов параллельно. Второй нейронный слой 116 имеет единственный выход 124. Также во втором нейронном слое 116 происходит связь имеющихся на его входе 122 сигналов с изучаемой информацией. На выходе второго нейронного слоя 116 получают, наконец, представляемую в двоичном виде информацию о том, относится ли исследуемый пиксель или пиксельная группа к валку 48 или к полю 84. Сеть 112 может включать в себя также дополнительные нейронные слои между обоими изображенными нейронными слоями 114, 116. Может использоваться также любая другая архитектура сети, нежели архитектура изображенной сети, так называемой сети с обратным распространением.

Для каждого исследуемого пикселя может быть создана собственная нейронная сеть 112, или используют единственную сеть 112, к которой последовательно подают входные данные для всех пикселей. Как правило, нейронную сеть реализуют с помощью программных средств процессором 68. В других формах выполнения она может быть реализована, однако, специальными аппаратными средствами.

Как уже сказано, нейронная сеть 112 является обучаемой. Ее, тем самым, сначала обучают тому, какие части снятого изображения относятся к валку 48, а какие - к полю 84. Этот процесс схематично изображен на фиг.7. К нейронной сети (вместо текстурной информации, выведенной из снятого камерой 42 изображения) подают полученную из обучающего изображения текстурную информацию, которая может быть записана в память, например, электронным путем, или полевой измельчитель 10, или трактор 50 позиционируют на поле 84 перед валком 48 и валок 48 снимают камерой 42. Далее к нейронной сети 112 подают информацию о положении участков валка 48 и поля 84 в соответствующем изображении. Речь может идти о прямоугольниках 86, 88, показанных на фиг 4. Определяют, таким образом, маски, во внутреннем пространстве которых содержатся относящиеся к полю 84 или к валку 48 количества пикселей. Нейронная сеть 112 способна выучить, как выглядят валок 48 и поле 84, и различать их. Этот процесс обучения может происходить также во время управления водителем полевым измельчителем 10 или трактором 50 вручную вдоль валка 48. Нейронная сеть 112 также учится при этом различать валок 48 и поле 84. Нейронная сеть 112 создает изображение результата, служащего для проверки успеха. Он может быть отображен на дисплее 70 и информировать водителя о том, достаточно ли рабочих условий для автоматической системы 60 управления, или о том, следует ли, например, в темноте или в тумане, переключиться лучше на ручное управление. Фаза обучения нейронной сети 112 может быть повторена или продолжена по соответствующему указанию водителя или происходить иначе, чем описано выше, однократно уже при изготовлении системы 60 управления или для изменившихся рабочих условий могут быть предусмотрены выбираемые накопленные значения или сменные карты памяти.

По завершении фазы обучения (фиг.7) нейронная сеть 112 работает по фиг.8. К ней подают выведенную из изображений камеры 42 текстурную информацию, и она выдает пиксельное изображение, в котором происходит двоичное различение валка и поля. Подача к нейронной сети 112 текстурной информации облегчает различение валка 48 и поля 84 и обеспечивает это даже в неблагоприятных условиях видимости.

Следует сослаться снова на фиг.5, на которой после шага 106 имеет место двоичный файл пикселей. Отдельные пиксели относятся либо к полю 84, либо к валку 48. С помощью этого файла пикселей на следующем шаге 108 определяют продольную ось валка 48, т.е. определяют ее направление (угол к продольной средней оси полевого измельчителя 10 или трактора 50) и ее удаление от продольной средней оси полевого измельчителя 10 или трактора 50. С помощью направления и удаления вырабатывают затем на шаге 110 управляющий сигнал, подаваемый к электромагнитным клапанам 74. Полевой измельчитель 10 или трактор 50 автоматически движется, тем самым, вдоль валка 48. Изображенную на фиг.5 процедуру регулярно повторяют, например 25 раз в секунду. Может использоваться также более высокая или более низкая частота повторения. В конце валка водитель направляет уборочную машину вручную к следующему подбираемому валку. В другой форме выполнения посредством автоматической системы 60 управления распознают также следующий валок и уборочную машину направляют автоматически туда.

На фиг.9-15 для иллюстрации показаны изображения, возникающие во время показанной на фиг.5 обработки из показанного на фиг.4 изображения.

На фиг.9 показан результат независимого от направления анализа зависимости значений серого. На фиг.10 показан результат зависимого от направления анализа зависимости значений серого. На обеих фигурах вычисленные нейронной сетью значения вероятности показывают, что пиксель относится к валку, прежде чем они были бинаризированы. Сравнение фиг.9 и 10, показывающих результат шага 106 на фиг.5 перед классификацией, показывает положительное влияние зависимого от направления анализа зависимости значений серого.

Для дальнейшей обработки используют поэтому только результаты зависимого от направления анализа зависимости значений серого. Фиг.11 показывает результат решения (шаг 106 на фиг.5) о том, относятся ли пиксели к валку 48 (белое) или к полю 84 (черное), т.е. бинаризацию посредством нейронной сети 112. Нейронная сеть 112 была предварительно подвергнута фазе обучения (фиг.7), на которой ей было передано изображение из фиг.4 в качестве обучающего изображения и прямоугольники 86, 88 в качестве относящихся соответственно к полю 84 и валку 48 поверхностей. Эта сеть даже при других изображениях показала хорошие результаты.

Фиг.12-14 соответствуют шагу 108 на фиг.5. На фиг.12 вычислены все взаимосвязанные поверхности и удалены все поверхности, которые меньше порогового значения (здесь 450 пикселей). На фиг.13 оставлена только наибольшая поверхность из фиг.12, у которой на фиг.14 за счет использования растяжения и эрозии удалены маленькие черные мешающие поверхности. На фиг.14, кроме того, показаны две инерционные оси оставшейся поверхности валка 48. С помощью проходящей в продольном направлении инерционной оси можно определить направление валка 48 и его расстояние от продольной средней плоскости полевого измельчителя 10 или трактора 50. Эти величины привлекают для вырабатывания управляющего сигнала для электромагнитных клапанов 74, причем учитывают актуальное значение датчика 80 колесного угла.

Реферат

Группа изобретений относится к автоматическому управлению сельскохозяйственной машиной на поле вдоль обрабатываемой поверхности. Сначала производят съемку лежащего перед машиной участка поля с помощью отображающей камеры и создают файл пикселей из сигнала изображения камеры. Получают информации о текстуре окружающего пиксели файла пространства и классифицируют пиксели файла с учетом текстурной информации для получения двоичной информации о том, следует ли отнести соответствующий пиксель к обрабатываемой поверхности или нет. Вырабатывают управляющий сигнал на основе результатов классификации и осуществляют поворот управляющих средств уборочной машины в соответствии с управляющим сигналом. В результате происходит автоматическое ведение машины вдоль обрабатываемой поверхности. Обеспечивается экономичное и надежное автоматическое управление сельскохозяйственной машиной. 4 н. и 7 з.п. ф-лы, 14 ил.

Формула