Измеритель степени заполнения, сельскохозяйственное транспортное средство и способ контроля заполнения целевой области - RU2529905C2

Чертежи

Описание

Область техники, к которой относится изобретение

Настоящее изобретение относится к измерителю степени заполнения для измерения и отображения остаточной потенциальной возможности (потенциала) заполнения целевой области, заполняемой через мишень продукцией с помощью транспортера для погрузки продукции сельскохозяйственного транспортного средства, в частности, выгрузного желоба кормоуборочного комбайна.

Кроме того, изобретение относится к сельскохозяйственному транспортному средству, включающему измеритель степени заполнения, и способу контроля заполнения целевой области, в частности, контейнера с открытым верхом.

Уровень техники

В сельском хозяйстве, как и в большинстве видов хозяйственно-экономической деятельности, предпринимаются усилия для обеспечения эффективного производства. Например, во время уборочных работ предпринимаются усилия для обеспечения быстрой уборки урожая за счет применения усовершенствованных машин, способных работать на высокой скорости и обладающих большой шириной захвата рабочего органа. Дополнительные усилия предпринимаются для обеспечения безопасной перегрузки собранной продукции на транспортные средства для вывоза продукции с поля. Усовершенствованные и быстрые машины требуют контроля, поэтому они становились бы тяжелым бременем для операторов, если бы не средства автоматизации. Предпринимаются усилия для полной автоматизации уборки урожая, но, вместе с тем, оператор (т.е. человек) выполняет ряд операций управления и контроля и проводит мониторинг других операций. Чтобы не подвергать оператора ненужному стрессу, следует предусмотреть средства мониторинга, способствующие по мере возможности его проведению.

Ниже приведены примеры в соответствии с известным уровнем техники, относящиеся к мониторингу перегрузки товаров в контейнер.

В патентном документе DE-A-4426059 предлагается применение видеокамеры для наблюдения за контейнером, а также установка монитора в кабине водителя, что позволяет водителю наблюдать за загрузкой контейнера. Для распознавания верхнего края, т.е. отверстия контейнера, и удержания желоба в положении, ориентированном на отверстие, может применяться программное обеспечение.

В патентном документе US-A-5575316 предлагается оборудование комбайна оптическим и (или) акустическим дальномером для измерения загружаемого контейнера и определения уровней заполнения в контейнере с целью автоматического заполнения контейнера. Устройство управления включает оптический или акустический дисплей, когда контейнер заполняется до определенной степени, кроме того, предусматриваются другие акустические или оптические средства отображения и устройства сигнализации. Таким образом, предлагается отслеживать степень заполнения, не передавая этих сведений человеку-оператору.

В патентном документе US-A-6097425 предлагается использование трехмерной видеокамеры, например инфракрасной камеры, и установка монитора в кабине водителя с выводом на монитор:

- контура верхнего отверстия загружаемого контейнера;

- углов отверстия;

- точки падения потока продукции, загружаемой в контейнер;

- индикаторных сигналов предлагаемых операций регулирования для перенаправления потока продукции; и

- рабочего сигнала, выдаваемого вместе со звуковым сигналом тревоги для предупреждения о потере.

В патентном документе ЕР-А-1344445 предлагается применение видеокамеры для наблюдения за контейнером, а также установка монитора в кабине водителя, что позволяет водителю наблюдать за контейнером в процессе погрузки. Предлагается обработка изображения, выводимого на монитор, для оптимизации его контрастности и яркости, а также сопровождение изображения накладываемыми данными, например, указателями и текстовыми сообщениями.

В патентном документе ЕР-А-2020174 предлагается применение системы управления с трехмерной видеокамерой для наблюдения за контейнером, загружаемым продукцией, при этом камера и прилагаемое программное обеспечение обеспечивают определение положения стенок контейнера, горизонта высоты заполнения и характеристических линий и ориентирующих точек верхней стороны контейнера, включая его отверстие. Назначение системы управления состоит в том, чтобы насколько возможно освободить оператора от выполнения задачи мониторинга процесса загрузки. Предлагается выводить на монитор последовательность видеокадров с изображением контейнера и визуализацией горизонта высоты заполнения и боковых стенок. Предлагается также индицировать критические условия с помощью графического предупредительного сигнала. Таким образом, предлагается показывать оператору горизонт высоты заполнения, однако этот способ требует со стороны оператора внимания и анализа, чтобы определить степень заполнения или остаточный потенциал заполнения по горизонту высоты заполнения. Далее, известно, что в критических ситуациях оператор получает предупредительный сигнал, но не раньше, чем такие ситуации действительно возникают.

Раскрытие изобретения

С учетом этого известного уровня техники задачей настоящего изобретения является содействие созданию дополнительных возможностей для человека-оператора сельскохозяйственного транспортного средства при мониторинге процесса заполнения целевой области, такой как контейнер, через мишень, такую как открытый верх контейнера, и освобождение оператора от стресса.

Это достигается путем обеспечения измерителя степени заполнения для измерения и отображения остаточного потенциала заполнения целевой области, заполняемой через мишень продукцией с помощью транспортера для погрузки продукции сельскохозяйственного транспортного средства, в частности, выгрузного желоба кормоуборочного комбайна, при этом указанный измеритель степени заполнения содержит трехкоординатный датчик для наблюдения, по меньшей мере, за частью целевой области, включающей, по меньшей мере, часть мишени; систему управления данными; и видео-дисплейное устройство, причем указанная система управления данными обеспечивает на видео-дисплейном устройстве визуальное отображение, показывающее остаточный потенциал заполнения путем индикации текущего уровня из, по меньшей мере, трех различных уровней остаточного потенциала заполнения. Это позволяет оператору легко определять степень заполнения целевой области, не испытывая стрессового состояния из-за того, что целевая область внезапно оказывается заполненной.

Система управления данными предпочтительно содержит процессор данных и устройство памяти, а трехкоординатный датчик может содержать любой подходящий датчик, такой как стереоскопическую камеру, устройство формирования трехмерных изображений, основанное на принципе времени пролета, лазерное сканирующее устройство или ультразвуковое сканирующее устройство и т.д.

Система управления данными предпочтительно обеспечивает на видео-дисплейном устройстве визуальное отображение, показывающее остаточный потенциал заполнения, по меньшей мере, для двух локальных областей. Благодаря этому оператор получает возможность контролировать постепенное заполнение различных областей целевой области.

В одном из вариантов осуществления локальные области являются фиксированными по отношению к трехкоординатному датчику. Это позволяет оператору легко определять, каким образом и когда следует переместить транспортер для погрузки продукции относительно целевой области.

В другом варианте осуществления локальные области являются фиксированными относительно целевой области. При этом оператор легко может выполнить обзор состояния заполнения различных областей целевой области.

Еще в одном варианте осуществления локальные области и их границы являются подвижными («плавающими») в зависимости от уровней остаточного потенциала заполнения. При этом оператор легко может определить, какая область имеет заданный остаточный потенциал заполнения.

В предпочтительном варианте осуществления система управления данными обеспечивает на видео-дисплейном устройстве визуальное отображение с индикацией, по меньшей мере, трех различных уровней остаточного потенциала заполнения, такого как «большой», «небольшой» и «нулевой». При этом «большой» остаточный потенциал заполнения означает, что заполнение целевой области может не потребовать внимания в течение довольно долгого времени, «нулевой» остаточный потенциал заполнения означает, что целевая область (локально) заполнена, и заполнение (этой локальной области) следует прекратить, тогда как «небольшой» остаточный потенциал заполнения означает, что целевая область вскоре будет (локально) заполнена. Таким образом, оператор получает предупреждения постепенно. Можно использовать более трех различных уровней остаточного потенциала заполнения, например, бесконечное число различных уровней, обеспечивая тем самым визуальное отображение в виде непрерывной функции фактического остаточного потенциала заполнения.

Удобно, чтобы система управления данными обеспечивала на видео-дисплейном устройстве визуальное отображение, показывающее различные уровни остаточного потенциала заполнения с помощью различных цветов. При этом оператор легко различает индикацию различных уровней остаточного потенциала заполнения. Таким образом, предпочтительно, чтобы система управления данными обеспечивала на видео-дисплейном устройстве визуальное отображение, при котором для данной локальной области цвет, показывающий уровень остаточного потенциала заполнения, изменялся при изменении уровня остаточного потенциала заполнения для данной локальной области.

В предпочтительном варианте осуществления система управления данными обеспечивает на видео-дисплейном устройстве визуальное отображение, показывающее локальный остаточный потенциал заполнения в виде двухмерной диаграммы. В одном варианте осуществления система управления данными обеспечивает на видео-дисплейном устройстве визуальное отображение, показывающее указанную двухмерную диаграмму в двухмерной системе координат, в которой одна ось представляет положение в целевой области, а другая ось - степень заполнения, при этом в альтернативном или дополнительном варианте осуществления система управления данными обеспечивает на видео-дисплейном устройстве визуальное отображение, показывающее, по меньшей мере, часть целевой области и уровень остаточного потенциала заполнения в локальных областях указанной части целевой области, предпочтительно путем индикации среднего локального остаточного потенциала заполнения для параллельных полос целевой области. При этом оператор легко может выполнить обзор общего состояния заполнения целевой области.

В предпочтительном варианте осуществления предусмотрено устройство формирования изображения для изображения по меньшей мере части целевой области, включая, по меньшей мере, часть мишени, при этом система управления данными обеспечивает вывод изображения, создаваемого устройством формирования изображения, на видео-дисплейное устройство вместе с визуальным отображением, показывающим остаточный потенциал заполнения. Предпочтительно, чтобы выводимое изображение или визуальное отображение, показывающее остаточный потенциал заполнения, накладывались одно на другое, при этом наложенное изображение предпочтительно должно быть прозрачным. Это содействует лучшему восприятию оператором состояния заполнения целевой области, поскольку оператор может наблюдать картину целевой области наряду с индикацией измеренного остаточного потенциала заполнения.

Устройство формирования изображения может представлять собой отдельное устройство, либо его функции может выполнять трехкоординатный датчик, например, если последний представляет собой стереоскопическую камеру или устройство формирования трехмерных изображений, основанное на принципе времени пролета.

В одном варианте осуществления прозрачность наложенного изображения регулируется для индикации остаточного потенциала заполнения. При этом регулировка прозрачности наложенного изображения может быть локальной для обеспечения индикации остаточного потенциала заполнения соответствующей локальной области целевой области.

Альтернативно или дополнительно к двум упомянутым выше двухмерным представлениям остаточного потенциала заполнения трехмерное представление может предусматриваться таким образом, чтобы система управления данными обеспечивала на видео-дисплейном устройстве визуальное отображение, показывающее в двухмерном виде целевую область или мишень и обеспечивающее индикацию для локальных областей в пределах этих двух измерений остаточного потенциала заполнения в виде третьего измерения. Разделение целевой области или мишени на локальные области может быть более или менее грубым в диапазоне от сетки 2×2 до уровня пикселей.

Соответственно, задача решена с помощью сельскохозяйственного транспортного средства, содержащего транспортер для погрузки продукции, подающий продукцию к целевой области указанного средства, содержащего измеритель степени заполнения в соответствии с настоящим изобретением.

Далее, задача, соответственно, решена с помощью способа контроля заполнения продукцией целевой области, в частности, контейнера с открытым верхом, при этом наблюдение, по меньшей мере, за частью целевой области, включая, по меньшей мере, часть мишени, осуществляют при помощи трехкоординатного датчика. Данные, полученные таким образом трехкоординатным датчиком, обрабатывают при помощи системы управления данными, причем указанная система управления данными обеспечивает на видео-дисплейном устройстве визуальное отображение, показывающее остаточный потенциал заполнения целевой области путем индикации текущего уровня из, по меньшей мере, трех различных уровней остаточного потенциала заполнения.

Краткое описание чертежей

Ниже изобретение более подробно объясняется с помощью примеров вариантов осуществления со ссылкой на следующие схематические чертежи.

На фиг.1 показан кормоуборочный комбайн и транспортная тележка.

На фиг.2 показано изображение транспортной тележки.

На фиг.3 показано другое изображение транспортной тележки, иллюстрирующее первый вариант осуществления настоящего изобретения.

На фиг.3а показано изображение, аналогичное фиг.3, но иллюстрирующее второй вариант осуществления.

На фиг.3b показано изображение, аналогичное фиг.3, но иллюстрирующее третий вариант осуществления.

На фиг.4 показана блок-схема, иллюстрирующая способ в соответствии с настоящим изобретением.

Осуществление изобретения

На фиг.1 показан вид спереди кормоуборочного комбайна 1 с жаткой 3, ходовыми колесами 5, кабиной водителя 7 и транспортер для погрузки продукции в виде выгрузного или спускного желоба 9. В процессе работы жатка 3 собирает сельскохозяйственную культуру (продукцию), которая обрабатывается комбайном 1 и выгружается из желоба 9. Для сбора выгруженной продукции транспортная тележка 11 перемещается рядом с бортом кормоуборочного комбайна 1. Из состава транспортной тележки 11 на фиг.1 показаны только ходовые колеса 13 и контейнер 14 для перевозки продукции с днищем 15, боковыми стенками 17, 18 и открытым верхом 19. Таким образом, во время работы контейнер 14 для перевозки продукции образует целевую область, заполняемую продукцией, или сельскохозяйственной культурой, а открытый верх 19 образует мишень, через которую продукция должна поступать в целевую область.

Желоб 9 известным по существу способом монтируется на комбайне 1 с обеспечением возможности контролируемого вращения вокруг вертикальной оси 21 с помощью приводных механизмов, обозначенных номером 22. Измеритель присоединен к приводному механизму 22, благодаря чему известно положение желоба 9 по отношению к комбайну 1. Желоб 9 имеет продолговатую форму и наружный конец 23, снабженный регулируемой насадкой для направления потока 27 продукции, выгружаемой из желоба 9.

Устройство формирования трехмерных изображений в виде стереоскопической камеры 29 монтируется на желобе 9 с нижней стороны и на некотором расстоянии от наружного конца 23. Стереоскопическая камера 29 содержит 2 камеры на ПЗС или видеокамеры с объективами 36а и 36b соответственно, имеющие среднее направление 39 просмотра стереоскопической камеры 29. Две камеры помещаются в общем кожухе 41.

Стереоскопическая камера предпочтительно представляет собой широкоугольную камеру с большим углом обзора β, позволяющим камере «видеть» одновременно открытый верх 19 и ближайшую боковую стенку 17 контейнера 14 для перевозки продукции транспортной тележки 11, как показано на фиг.1.

В показанном варианте осуществления, помимо соединения, обеспечивающего вращение желоба 9 вокруг вертикальной оси 21, желоб 9 не содержит каких-либо других соединений между корпусом комбайна 1 и камерой 29. Таким образом, положение стереоскопической камеры 29, в частности, ее высота над землей, всегда известны. Предполагается, что желоб в альтернативных вариантах осуществления содержит соединения, позволяющие поднимать и опускать желоб, изменяя его общую геометрию. В таких вариантах осуществления измерители могут прикрепляться к соединениям, позволяя задавать текущую геометрию желоба и, тем самым, высоту положения стереоскопической камеры над землей.

Наличие стереоскопической камеры 29 обеспечивает получение монохромных (или даже цветных) изображений, а также диспаратных изображений контейнера для перевозки продукции. Таким образом, стереоскопическая камера 29 служит в качестве трехкоординатного датчика, а также устройства формирования изображений. Монохромные изображения могут, например, передаваться на видео-дисплейное устройство в виде монитора 44 в кабине водителя, чтобы позволить или помочь водителю отслеживать процесс перегрузки продукции в транспортную тележку 11 известным по существу способом, тогда как диспаратное изображение удовлетворяет требованиям к входной информации для автоматического или полуавтоматического управления.

Таким образом, кормоуборочный комбайн 1 содержит систему управления данными с устройством 46 управления, содержащим процессор данных и устройство памяти. Устройство управления принимает изображения или кадры, т.е. файлы данных, содержащие пиксельную информацию об изображениях, от стереоскопической камеры 29 и обрабатывает изображения.

В настоящем варианте осуществления устройство 46 управления использует программное обеспечение, относящееся к известному уровню техники, для обработки стереоизображений, полученных от стереоскопической камеры 29. Таким образом, устройство 46 управления получает стереоскопический кадр, содержащий «левый» и «правый» кадр, обеспечиваемый соответственно двумя объективами 36а и 36b. Следует отметить, что определения «левый» и «правый» используются по отношению к двум кадрам или изображениям, формируемым двумя объективами, в соответствии со стандартом в отношении стереоскопического зрения, несмотря на то, что в настоящем варианте осуществления объективы располагаются один над другим, а не рядом друг с другом. Устройство 46 управления обрабатывает стереоскопический кадр для получения диспаратного изображения, т.е. изображения, содержащего информацию о глубине, т.е. трехмерную информацию. Обычно диспаратное изображение получают, анализируя, например, левый кадр попиксельно, отыскивают для каждого пикселя соответствующий пиксель в правом кадре и рассчитывают расстояние от камеры до точки, изображаемой этими пикселями, методом триангуляции. Информация об этом расстоянии присоединяется к пикселю левого кадра, который, таким образом, содержит трехмерную информацию и формирует диспаратное изображение. Диспаратное изображение обрабатывается устройством 46 управления с помощью программного обеспечения, относящегося к известному уровню техники, для распознавания и определения местоположения транспортной тележки 11, в особенности горизонтального края 51 открытого верха 19.

Для этого требуется довольно хорошее стереоизображение без чрезмерных помех. Такие изображения часто могут быть получены во время работы, но их часто также не удается получить, например, из-за посторонних частиц и пыли, плавающих в воздухе вокруг желоба 9 и под ним.

Если устройство 46 управления не может с достаточной степенью надежности распознать и определить местоположение транспортной тележки на основе данного кадра, то ему не удается определить расположение края. Альтернативно, расположение края может быть определено, при этом устройство управления присоединяет информацию о том, что степень надежности низкая.

После получения стереоскопического кадра или изображения без чрезмерных помех и определения на его основе расположение края 51 открытого верха можно сохранить или отрегулировать положение желоба 9, чтобы направить поток продукции, выгружаемый желобом, на мишень, т.е. открытый верх 19, для заполнения контейнера 14 транспортной тележки 11.

Транспортная тележка 11 содержит, как упоминалось выше, две боковые стенки, т.е. ближнюю боковую стенку 17 и дальнюю боковую стенку 18 по отношению к комбайну 1. Кроме того, транспортная тележка 11 или ее контейнер 14 для перевозки продукции содержит переднюю стенку 20а и заднюю стенку 20b. Соответственно, край 51 содержит ближнюю часть 51а края, дальнюю часть 51b края, переднюю часть 51с края и заднюю часть 51d края.

Определив расположение края 51 на стереоизображении, можно попиксельно анализировать область изображения между ближней частью 51а края и дальней частью 51b края, при этом пиксели, которые на основании информации о диспаратном изображении считаются представляющими точки, расположенные главным образом вертикально ниже дальней части 51b края, относят к дальней боковой стенке 18.

Информация о стереокадре, т.е. диспаратном изображении, сохраняется в памяти устройства 46 управления наряду с информацией о расположении края 51. Расположение края берется относительно комбайна 1. Таким образом, определяется расположение, т.е. позиция и ориентация, края 51 и вследствие этого транспортной тележки 11 по отношению к комбайну 1.

В связи с тем, что расположение или высота стереоскопической камеры 29 над земной поверхностью известна, можно отфильтровать относящуюся к земле информацию, например, исключив информацию, относящуюся к позициям ниже 50 см над уровнем земли. Исключение информации таким способом уменьшает помехи и сокращает обработку данных.

После получения и сохранения таким путем информации о кадре, по которой можно определить расположение края 51 или, по меньшей мере, части края, содержащей либо переднюю часть 51с края, либо заднюю часть 51d края вместе с прилегающими сегментами ближней части 51а края и дальней части 51b края, этот кадр обозначают как «эталонный кадр».

Как показано на фиг.4, система, получив эталонный кадр на начальном шаге 100, действует следующим образом. На первом шаге 101 идентифицируются характеристические точки в эталонном кадре. На втором шаге 103 получают новый стереокадр от стереоскопической камеры 29, при этом новый стереокадр анализируется с целью поиска и идентификации характеристических точек или отличительных признаков в новом стереокадре.

На третьем шаге 105 характеристические точки, найденные в эталонном кадре и новом стереокадре, сопоставляют для выделения группы характеристических точек, демонстрирующих общее изменение расположения от эталонного кадра к новому стереокадру. Общее изменение расположения, найденное таким образом, соответствует изменению расположения транспортной тележки 11 по отношению к стереоскопической камере 29 в течение интервала времени между получением эталонного кадра и нового стереокадра.

Если качество нового стереокадра недостаточно для определения расположения края 51 или его части, как объяснялось выше, то на четвертом шаге 107 расположение края 51, зарегистрированное вместе с информацией о новом эталонном кадре, обновляется с учетом общего изменения расположения и принимается в качестве нового расположения, при этом устройство 46 управления может выдавать какой-либо сигнал управления, чтобы продолжать выгрузку потока продукции желобом 9, направленным на мишень, т.е. открытый верх 19, или заданное место в пределах открытого верха 19.

Если качество нового стереокадра достаточно для определения расположения края 51 или его части, новый стереокадр на альтернативном четвертом шаге 109 используется в качестве нового эталонного кадра.

На фиг.2 представлено изображение транспортной тележки 11, на котором характеристические точки, найденные на указанном изображении и последующем новом изображении, показаны линиями 53, проведенными между парами согласованных характеристических точек. Видно, что на окружающем участке земли не найдено каких-либо точек, которые были отфильтрованы, как упомянуто выше. На изображении виден поток 27 продукции, поступающей в контейнер транспортной тележки 11, при этом следует отметить, что в потоке 27 продукции или в месте его падения внутри транспортной тележки 11 не найдено никаких согласованных характеристических точек. Это вызвано тем, что вокруг потока 27 продукции существуют пыльные условия, создающие помехи, и поверхность продукции, накопленной в транспортной тележке 11 в области падения потока продукции, выглядит живой или подвижной из-за ее постоянного поступления. Эти условия делают невозможным определение фактической позиции поверхности продукции, накопленной в транспортной тележке 11, на основе единственного трехмерного изображения, поскольку для конкретной точки или пикселя, обнаруженной на трехмерном изображении, невозможно определить, принадлежит ли эта точка фактически поверхности накопленной продукции или движущемуся потоку продукции 27. Однако рядом с местом падения потока продукции в течение интервала времени между получением двух последовательных кадров поверхность локально будет находиться в неподвижном состоянии, что позволяет идентифицировать и сопоставить характеристические точки поверхности накопленной продукции. Эти точки надежно идентифицируют текущую поверхность накопленной продукции, тем самым обеспечивая возможность определения степени заполнения транспортной тележки 11.

Как упоминалось выше, пиксели, расположенные между дальней 51b и ближней 51а частями края, подвергаются анализу, по результатам которого могут быть отнесены к дальней боковой стенке 18. Идентифицированные и согласованные характеристические точки, расположенные между дальней 51b и ближней 51а частями края, относят к поверхности накопленной продукции, если они не отнесены к дальней боковой стенке 19.

На пятом шаге 111 (фиг.4) сигнал направляется на монитор 44 в качестве информации для водителя или оператора комбайна 1 о степени заполнения, т.е. остаточном потенциале заполнения контейнера 14.

Обращаясь к фиг.1, отметим, что с помощью стереоскопической камеры 29 можно просматривать поверхность продукции, накопленной в контейнере 14. Таким образом, для различных стадий заполнения показаны различные поверхности продукции 55а, 55b, 55с, 55d, 55e. Однако при конфигурации желоба 9 и стереоскопической камеры 29, а также высоте верха 19 контейнера 14 над уровнем земной поверхности, показанных на фиг.1, поверхность 55а продукции не будет видима для стереоскопической камеры 29, пока не достигнет определенной высоты. Когда поверхность 55а продукции находится ниже этой определенной высоты или несколько выше нее, как показано поверхностью 55b, остаточный потенциал заполнения, т.е. свободное пространство контейнера в данном сечении, можно охарактеризовать как «большой», следовательно, в течение довольно длительного времени риска переполнения не возникнет.

Степень заполнения, или остаточный потенциал заполнения, или вместимость можно оценить различными способами. Поскольку высота стереоскопической камеры 29 над уровнем земли известна, высота h над уровнем земли верхней точки 55′ поверхности продукции в контейнере можно оценить относительно высоты края 51 контейнера. Основываясь на знании или предположении о скорости заполнения для данного контейнера, данного комбайна и данного вида продукции (культуры), остаточный потенциал заполнения можно отнести к определенной категории, например, в соответствии с ожидаемым остаточным временем до достижения состояния «полный».

Состояние «полный» возникает, когда достигнут определенный уровень поверхности 55 продукции, что может произойти, либо когда заполняемый таким образом контейнер достиг или должен достичь заранее заданного веса, либо когда возникает риск, что продукция начнет пересыпаться через край 51. В состоянии «полный» остаточный потенциал заполнения будет отнесен к категории «нулевой».

Состояние «полный», которое, таким образом, представляет собой предел потенциала заполнения, заранее задается с учетом таких параметров, как допустимый вес, допустимая высота заполнения, т.е. допустимо ли, чтобы высота продукции, полная или средняя, превышала высоту края открытого верха, и т.д.

Как показано на фиг.1, когда продукция достигает уровня, обозначаемого поверхностью 55с, остаточный потенциал заполнения можно отнести к категории «небольшой». Переход от поверхности 55b (категория «большой») к поверхности 55с (категория «небольшой») можно разделить на дополнительные категории, чтобы предоставить водителю или оператору удобную информацию.

Как показано далее на фиг.1, при достижении поверхности 55d остаточный потенциал заполнения можно отнести к категории «нулевой», когда продукция закрывает часть 51b дальнего края от стереоскопической камеры 29. После этого может быть достигнута категория «переполнен», когда разница расстояний от части 51а ближнего края и поверхности 55е до стереоскопической камеры 29 приближается к нулю.

На фиг.3 представлено полученное на мониторе изображение транспортной тележки 11, на котором край 51 в качестве визуального отображения показан с помощью сигналов, поступающих от устройства 46 управления, распознающего и определяющего местоположение края с помощью соответствующего программного обеспечения. Край отображается в виде кадра 51′ изображения, генерируемого устройством 46 управления, и накладывается на изображение, получаемое от камеры, т.е. одного из двух объективов 36а и 36b. Далее степень заполнения постепенно индицируется для различных продольных сечений транспортной тележки 11 с помощью полей 61, 63а, 63b, 65 и 67 изображения, генерируемых устройством 46 управления в качестве визуального отображения, и накладывается на изображение, получаемое от камеры. Эта индикация степени заполнения или остаточного потенциала заполнения сообщает о том, какие части контейнера транспортной тележки успешно заполнены, а в каких еще остается место для дополнительной погрузки продукции.

Кадр 51′ изображения и поля 61, 63а, 63b, 65 и 67 изображения заштрихованы, чтобы показать, что им присвоены различные цвета. Так, кадру 51′ изображения присвоен зеленый цвет, чтобы повысить его видимость и показать, что он был надежно распознан, а его позиция надежно определена. В противном случае ему был бы присвоен другой цвет, например желтый. Цвета используются для индикации различных степеней заполнения различных областей контейнера, например, индикация области красным цветом означает, что область заполнена и ей назначен остаточный потенциал заполнения категории «нулевой» (поле 61), индикация областей зеленым цветом - что они еще далеко не заполнены и им назначен остаточный потенциал заполнения категории «большой» (поле 67), а индикация областей одним или несколькими оттенками желтого цвета - что они близки к заполнению (поле 63а, 63b и 65); так, полям изображения 63а и 63b присвоен относительно темный желтый цвет, чтобы показать, что областям ниже контейнера в качестве среднего значения по ширине контейнера назначен остаточный потенциал заполнения категории «небольшой», тогда как полю изображения 65 присвоен желтый цвет более бледного оттенка, чтобы показать, что области ниже контейнера в качестве среднего значения по ширине контейнера назначен остаточный потенциал заполнения категории «приближающийся к небольшому». Помимо цвета, присвоенного полю изображения, можно регулировать плотность цвета или прозрачность поля изображения для индикации (или дополнительной индикации) остаточного потенциала заполнения. Таким образом, вместо темно-желтого и бледно-желтого можно использовать желтый цвет большей и меньшей плотности соответственно. Кроме того, поля изображения, индицирующие небольшой остаточный потенциал заполнения, могут обладать меньшей прозрачностью, чем поля изображения, индицирующие большой остаточный потенциал заполнения, и наоборот.

В дополнение к категориям, показанным на фиг.3, упомянутой выше категории «переполнен» может быть присвоен специальный цвет, например черный.

Поля 61, 63а, 63b, 65 и 67 изображения в настоящем варианте осуществления представлены в виде полос, проходящих по ширине контейнера 14 и показывающих средние значения для соответствующих сечений контейнера 14. Ширина соответствующих полос, т.е. их протяженность в продольном направлении или направлении движения транспортной тележки 11, везущей контейнер 14 (приблизительно слева направо на фиг.3), является «плавающей» и определяется поверхностью находящейся ниже продукции, т.е. позициями сечений, в которых поверхность продукции пересекает заранее заданные уровни, указывающие границы между различными заранее заданными категориями остаточного потенциала заполнения.

На фиг.3, помимо кадра 51′ изображения и полей 61, 63а, 63b, 65 и 67 изображения, представлена также контурная линия 27′, формируемая устройством 46 управления для индицирования позиции потока 27 продукции, рассчитываемой на основе позиции желоба 9.

Наблюдая за цветными полями 61, 63а, 63b, 65 и 67 изображений, за тем как первоначально будет присутствовать только одно зеленое поле изображения, на котором сначала появится бледно-желтое поле изображения, на котором после этого появится более темное желтое поле изображения, на котором вслед за этим появится красное поле изображения, и за тем, как появляющиеся поля изображений будут явно «плавать», т.е. свободно перемещаться в направлении передней и (или) задней частей 51с, 51d края, водитель легко получит четкое представление о ходе процесса заполнения, при этом стереоскопическая камера 29, устройство 46 управления и монитор 44 будут работать совместно, выполняя функции измерителя степени заполнения.

На фиг.3а показано альтернативное визуальное отображение остаточного потенциала заполнения. Три цветные точки 71, 73 и 75 находятся в фиксированных позициях относительно контурной линии 27' потока продукции. Поскольку стереоскопическая камера 29 фиксирована по отношению к желобу 9, и поскольку контурная линия 27′ отражает позицию желоба 9, локальные области, для которых визуальное отображение, т.е. точки 71, 73 и 75, показывает остаточный потенциал заполнения, в настоящем варианте осуществления фиксированы по отношению к трехкоординатному датчику, т.е. стереоскопической камере 29. Точкам присвоены цвета в соответствии с остаточным потенциалом заполнения сечения контейнера, расположенного ниже соответствующей точки. Так, точкам 71 и 73 в данной ситуации присвоен красный цвет, аналогично полю 61 изображения на фиг.3, а точке 75 присвоен темно-желтый цвет, аналогично полю 63b изображения на фиг.3. Такое распределение цветов между точками показывает, что в данной ситуации выгрузной желоб 9 следует передвинуть в направлении передней части 51с края контейнера, поскольку очевидно, что сечение контейнера ниже желоба 9, представленное точкой 73, и сечение контейнера позади или слева от желоба, представленное точкой 71, заполнены.

На фиг.3b показаны другие дополнительные или альтернативные варианты осуществления визуального отображения в соответствии с настоящим изобретением. В то время как на фиг.3 и 3а визуальные отображения накладывались на изображение открытого верха 19 контейнера 14, что влияло на видимость продукции, накопленной в контейнере, на фиг.3b визуальное отображение наложено на изображение ближней боковой стенки 17. Это визуальное отображение представлено в форме двухмерной диаграммы 81 в системе координат, где абсцисса 83 представляет длину контейнера 14, а ордината 85 представляет средний уровень заполнения соответствующего сечения контейнера 14. Поскольку система координат согласована с ближней боковой стенкой 17, данная точка двухмерной диаграммы отражает средний уровень заполнения на стороне, противоположной ближней боковой стенке 17 непосредственно позади этой точки на диаграмме. В системе координат показан уровень «полный» 87. Расстояние от уровня «полный» 87 вниз до двухмерной диаграммы 81 непосредственно показывает остаточный потенциал заполнения для данного сечения контейнера.

Поскольку в настоящем варианте осуществления уровень заполнения и, следовательно, остаточный потенциал заполнения показан непрерывной двухмерной диаграммы 81, для каждого сечения контейнера индицируется текущий из бесконечного числа различных уровней остаточного потенциала заполнения.

Чтобы еще большое упростить распознавание текущего остаточного потенциала заполнения для данного сечения контейнера 14 или данной полосы, проходящей через контейнер 14, область ниже двухмерной диаграммы 81 в системе координат может быть окрашена способом, соответствующим окрашиванию полей 61, 63а, 63b, 65 и 67 изображения на фиг.3, как показано на фиг.3b. В этом случае границы между областями, окрашенными соответственно красным, желтым (темным и бледным) и зеленым цветом, могут быть плавающими, как и в случае с вариантом осуществления фиг.3. Альтернативно двухмерная диаграмма может быть представлена гистограммой, каждый столбик которой представляет данную полосу, проходящую по ширине контейнера 14, и каждый столбик которой достигает высоты, показывающей средний уровень заполнения данной полосы, при этом каждому столбику может быть присвоен цвет, индицирующий средний остаточный потенциал заполнения проходящей через контейнер полосы, которая его представляет.

Если снова обратиться к фиг.4, после четвертого и пятого шагов способ возвращается к первому шагу 101, используя информацию об обновленном эталонном кадре.

Идентификация характеристических точек на первом шаге 101 и втором шаге 103 может быть выполнена любым известным способом, например так называемым способом «обнаружения капли» или так называемым способом «обнаружения углов». Этими способами предусматривается определение чувствительности для пикселя или небольшой группы пикселей, сконцентрированных вокруг какого-либо пикселя. Пиксель, обладающий некоторой чувствительностью, в ближайшем окружении которого обнаруживается другой пиксель с более высокой чувствительностью, отбраковывается, поскольку при слабой чувствительности вероятно возникновение помех.

Сопоставление характеристических точек на третьем шаге 105 может быть выполнено на основе текстурного анализа окрестности соответствующих точек или свойств. Такой анализ выполняется с помощью так называемого «дескриптора свойств», несколько из которых известны специалистам, например, нормальная кросс-корреляция с нулевым средним (Zero-mean Normal Cross Correlation), дескриптор SURF (Speeded Up Robust Features, ускоренное отображение устойчивых признаков изображения) и дескриптор SIFT (Scale-Invariant feature transform, масштабно-инвариантная трансформация свойств).

При сопоставлении характеристической точки, найденной в новом стереокадре, с характеристической точкой в эталонном кадре поиск возможного совпадения можно ограничить областью, где предполагается правильное совпадение. Таким образом, области, которые, как предполагается, относятся не к транспортной тележке 11, а к окружающим ее зонам, например, на внешней стороне передней части края, можно исключить.

Определение общего изменения расположения

Взаимное изменение расположения стереоскопической камеры 29 и транспортной тележки 11 за время между одним (эталонным кадром) и другим кадром (новым стереокадром) описывается матрицей преобразования М:

где

R - матрица 3×3 (3 строки и 3 столбца), выражающая вращение вокруг трех пространственной осей, и

Т - матрица 3×1, определяющая трансляцию в три пространственных направления;

М - представляет собой, следовательно, матрицу 4×4.

Если Р_а обозначает эталонный кадр, относящийся к моменту времени а, а Р_b обозначает новый стереокадр, относящийся к более позднему моменту времени b, т.е. а

P_b=М_ab*Р_а, где М_аb представляет собой матрицу, выражающую преобразование из а в b.

Обращаясь к упомянутому выше третьему шагу 105, получаем, что М представляет собой вариант осуществления настоящего изобретения, полученный по методу ПСД (произвольно-селективного доступа):

Если f_as - характеристическая точка № s в Р_а, которая была сопоставлена с f_bs, представляющей собой характеристическую точку № s в Р_b, и, соответственно, f_at - характеристическая точка № t в Р_a, которая была сопоставлена с f_bt, представляющей собой характеристическую точку № t в Р_b, a f_au - характеристическая точка № u в Р_а, которая была сопоставлена с f_bu, представляющей собой характеристическую точку № u в Р_b, и если f_s, f_t и f_u неколлинеарны, то

где х, у, z являются пространственными координатами f,

образует систему уравнений, по которой можно рассчитать М_аb.

М_аb согласно методу ПСД рассчитывается как оценка большого количества моментов времени для трех произвольно выбранных согласованных пар характеристических точек f_a и f_b. После того, как оценка М_аb была рассчитана таким образом, ее снова проверяют в сравнении с другими согласованными парами характеристических точек в Р_a и Р_b. При этом определяется лучшая оценка М_аb. Согласованные пары характеристических точек, которые согласно лучшей оценке М_аb являются несовпадающими, отклоняются в качестве выбросов.

Благодаря использованию настоящего изобретения могут быть получены несколько благоприятных эффектов.

В периоды времени, когда изображения, полученные стереоскопической камерой 29, имеют плохое качество, можно все же отслеживать взаимное положение стереоскопической камеры (и, тем самым, комбайна) и целевой области, т.е. транспортной тележки.

Можно надежно обнаруживать текущую поверхность материала в целевой области, т.е. продукции в транспортной тележке, и, тем самым, степень заполнения (тележки) или остаточный потенциал заполнения.

Кроме того, благодаря тому, что расположение края или его части определено и информация об этом сохранена, по крайней мере, в предпочтительном варианте осуществления, можно отслеживать любой конец контейнера тележки, т.е. переднюю часть 51с края и заднюю часть 51d края, после того, как соответствующая часть края оказалась в поле зрения камеры 29, даже если край 51 не попадает в поле зрения камеры целиком, т.е. не представлен в данном стереокадре, в любой момент времени.

Реферат

Группа изобретений относится к сельскому хозяйству и может быть использована при уборке сельскохозяйственных культур. Измеритель степени заполнения для измерения и отображения остаточного потенциала заполнения целевой области содержит трехкоординатный датчик, систему управления данными и видео-дисплейное устройство. Целевая область представляет собой открытый верх контейнера, заполняемого с помощью выгрузного желоба продукцией сельскохозяйственного транспортного средства в виде кормоуборочного комбайна. Трехкоординатный датчик используется для наблюдения, по меньшей мере, за частью открытого верха контейнера. Система управления данными обеспечивает на видео-дисплейном устройстве визуальное отображение, показывающее остаточный потенциал заполнения путем индикации текущего уровня сельскохозяйственной продукции из по меньшей мере трех различных уровней остаточного потенциала заполнения. Использование группы изобретений позволяет оператору эффективно контролировать постепенное заполнение различных областей контейнера. 3 н. и 13 з.п. ф-лы, 6 ил.

Формула