Устройство дистанционного управления для крана, строительной машины и/или автопогрузчика - RU2741456C2

Чертежи

Описание

Настоящее изобретение относится к системе дистанционного управления для крана, строительной машины и/или автопогрузчика, с постом управления, имеющим, по меньшей мере, средство ввода данных для ввода команд управления, а также устройство передачи сигналов для передачи введенных команд управления на устройство управления крана, строительной машины или автопогрузчика, а также устройство отображения для отображения изображения окружающей территории вокруг машины и/или рабочего инструмента, как стрелы крана или грузового крюка, причем предусмотрен модуль распознавания движений для распознания движений и/или деформаций компонентов машины в зависимости от введенных команд управления.

Краны и подобные большие устройства, такие, как буронабивные устройства, карьерные комбайны или башенные экскаваторы, очень сложны в обслуживании и в управлении. При этом проблемой является не только множество функций управления и их взаимодействие, а также сопутствующие, действительно сложные по своей совокупности такие средства ввода данных, как джойстики, ножные педали и переключатели управления, но и часто необычные, зависящие от машины реакции структур машин на движения исполнительных приводов. Краны, например, башенно-поворотные краны или телескопические поворотные краны с подъемной стрелой, но также и портовые краны или морские краны имеют длинные, тонкие конструктивные элементы, в частности, структуры стрелы крана или башни, которые перекашиваются и относительно пластичны, поэтому процессам ускорения и торможения исполнительных приводов сопутствуют деформации структур и качающиеся движения, служащие для опытных крановщиков наподобие ответного сигнала для приведения в действие управления. Иначе, чем в небольших устройствах, с допускаемыми почти жесткими структурами, например, в башенно-поворотных кранах могут происходить деформации структуры башни и систем стрелы крана при поднятии груза, или груз начинает раскачиваться при повороте вокруг вертикальной оси, а стрела крана, совершая вращение, продолжает раскачиваться в соответствии с этим. Подобное может возникать в башенных экскаваторах или буронабивных устройствах, поэтому крановщик или машинист становится неуверенным, если он не испытывает к процессам управления обычные, соответствующие им реакции крана.

В такой же степени недостающие реакции крана, а в целом - недостаточная приближенность к реальности, в частности, при дистанционном управлении кранами и строительными машинами или автопогрузчиками, является проблемой, создающей неуверенность для дистанционно управляющего машиниста. Например, при дистанционном управлении краном, оператор дистанционного управления не ощущает обычные реакции крана, создающие ему при непосредственном управлении в кабине крановщика интуитивное ощущение правильного или ошибочного управления краном.

Поэтому, для осуществления дистанционного управления, приближенного к реальности, уже было задумано использовать приближенно реалистичный пост управления, соответствующий, например, кабине крановщика соответствующего типа крана и располагающий предусмотренными в нем средствами ввода данных, такими, как джойстики, педали, управляющие выключатели или сенсорные экраны, посредством которых вводят команды управления. Кроме того, на устройстве отображения, которое может содержать, как известно, несколько дисплеев, расположенных в зоне видимости поста управления, отображается реальное или виртуальное изображение окружения крана, а также видимых из поста управления компонентов крана, например, стрелы крана и грузового крюка, причем в дистанционно управляемой машине создается "реальное" изображение камеры, а графический имитационный модуль рассчитывает виртуальное изображение окружения крана и компонентов крана, в зависимости от введенных команд управления.

Система дистанционного управления для крана известна, например, из документа DE 10 2012 216 489 A1, причем это уже известное дистанционное управление находит применение для рабочих машин разных типов. Для этого дистанционное управление снабжено селекционным механизмом, позволяющим снижать количество обслуживающих меню и меню выбора отображения дистанционного управления, в зависимости от того, в какой конфигурации находится связанная с ним рабочая машина. Тем не менее, в этом дистанционном управлении отсутствует, как это было описано прежде, достаточная приближенность к реальности, которая едва ли становится лучше, даже при адаптации обслуживающих меню к соответствующей рабочей машине.

Симулятор крана, работающий с помощью виртуальных изображений окружения крана, известен, например, из документа DE 10 2013 011 818 A1. В нем предусмотрена кабина крановщика в виде поста управления с соответствующими средствами ввода данных, причем смотровые окна или остекление имитируемой кабины крановщика заменены дисплеями, на которых показывают виртуальное изображение окружения крана. При этом технический имитационный модуль должен имитировать также динамические характеристики компонентов управления и привода и учитывать их на изображении дисплея, причем на нем, изображается, прежде всего, возникающие при определенных движениях крана установочные движения компонентов крана, например, подъемного механизма.

Исходя из этого, в основе данного изобретения лежит задача создать усовершенствованное устройство дистанционного управления прежде указанной конструкции, лишенное недостатков из уровня техники и предпочтительно усовершенствующее последнее. В частности, достигающее более близкой к реальности имитации эксплуатации крана или эксплуатации машин, лучше передающее фактические характеристики крана или машины и делающее более уверенным дистанционное управление.

Согласно изобретению, указанная задача решена посредством системы дистанционного управления согласно пункту 1 формулы изобретения. Предпочтительные варианты исполнения изобретения являются предметом зависимых пунктов формулы изобретения.

В частности, предлагается представлять реакции крана или машины на введенные на посту управления команды управления, например, в виде движений крана и/или деформации, не только в виде изображения на устройстве отображения, а преобразовывать их в фактическое движение поста управления дистанционного управления, сопутствующее реакции крана или машины для передачи оператору дистанционного управления приближенных к реальности динамических реакций машины и их ощущению. Пост управления, который может содержать, например, кресло оператора, больше не установлен статично жестко в пространстве, или на полу, а с возможностью перемещения в пространстве посредством приводного устройства. Согласно изобретению, пост управления устройством дистанционного управления установлен подвижно и с возможностью перемещения посредством приводного устройства в зависимости от движений и/или деформации компонентов машины, распознаваемых модулем распознания движений. При определении модулем распознания движений смещения компонентов машины, например, башни крана при установочных движениях или деформациях, при которых оказывалось бы влияние на положение реальной кабины крановщика, устройство управления приводом управляет соответствующим образом приводным устройством для имитации движения кабины крановщика и перемещает соответствующим образом пост управления. Например, при вводе команды в пост управления для поворачивания крана вокруг вертикальной оси, пост управления приводного устройства поворачивается соответствующим образом вокруг вертикальной оси. Если, например, вводят команду управления для подъема тяжелого груза, что в реальности может приводить к легкому кивку структуры крана при небольшом перекосе башни, пост управления слегка перемещается приводным устройством вперед и/или слегка перекашивается вперед.

Для обеспечения наиболее приближенной к реальности имитации движений поста управления, возникающих при реальной эксплуатации, приводное устройство может быть выполнено с возможностью перемещения в нескольких осях и/или может выполнять как вращательные, так и трансляционные движения. В частности, пост управления может быть установлен подвижно с помощью нескольких осей, а приводное устройство может содержать, по меньшей мере, вертикальную ось вращения и, по меньшей мере, горизонтальную ось качения и/или две горизонтально ориентированные оси трансляционного движения. К тому же, для возможности имитации сложных движений поста управления, приводное устройство может иметь три оси вращения или оси поворота, или быть выполненным работающим с вращением и трансляционно в трех осях, поэтому пост управления может перемещаться вокруг всех трех пространственных осей пространства с поворотом или с перекосом и трансляционно во всех трех направлениях в пространстве. В зависимости от симулятора крана или типа машины могут рассматриваться также более простые исполнения приводного устройства с меньшим количеством осей движения.

В предпочтительном усовершенствованном варианте изобретения систему дистанционного управления можно присоединять к различным устройствам, в частности, к различным типам устройств и осуществлять обмен данными для управления при помощи соответственно выбранного устройства. Ими могут быть, в частности, различные используемые на участке застройки устройства: краны, экскаваторы, гусеничные тракторы или подобные машины, а также и используемые в различных местах устройства. В зависимости от того, каким устройством нужно дистанционно управлять, устанавливают канал связи для управления с устройством дистанционного управления и/или от соответствующего устройства, например, при вызове соответствующего IP- адреса, если соединение осуществляют по сети, или также другим способом. Для обеспечения достаточно быстрого обмена данными между дистанционным управлением и машиной, предпочтительно выбирают канал связи высокочастотного диапазона полосы пропускания для устранения проблем, связанных с реальным временем или временным сдвигом между командами управления и реакциями машин.

Для возможности близкого к реальности воспроизведения реакций машины различных типов машины, устройство дистанционного управления может иметь в усовершенствованном варианте изобретения конфигурационный модуль, посредством которого устройство дистанционного управления может выборочно задавать предварительные настройки для соответствующего дистанционно управляемого типа машины. Названные средства предварительной настройки могут адаптировать известным способом загрузку джойстиков и управляющих клавиш, а также выбор меню управления и изображений дисплея к соответствующему устройству. Однако, в частности, средства предварительной настройки могут предусматриваться для управления движением и/или изображением реакций машин, посредством которых приводные устройства можно переконфигурировать в движению поста управления и адаптировать к реакциям машин соответствующего типа машин: например, верхне-поворотный башенно-поворотный кран реагирует иначе, чем нижне-поворотный башенно-поворотный кран, или телескопический поворотный кран с подъемной стрелой реагирует, в свою очередь, иначе, чем башенно-поворотный кран, или экскаватор реагирует иначе, чем кран. В частности, рабочие параметры и/или индивидуальные параметры модуля распознавания движения также можно переконфигурировать посредством указанных средств конфигурации, поэтому модуль распознавания движения распознает движения и/или деформации компонентов машины, адаптированные к соответствующему типу машины, в зависимости от выбранного типа машины. Реалистичную реакцию поста управления можно создавать при управлении приводным устройством с помощью согласованных таким образом параметров движения.

Кроме того, конфигурационный модуль может иметь также средство предварительной настройки для согласования с устройством отображения и воспроизводимого на нем изображения окружающей территории вокруг машины и/или рабочего инструмента, причем названные средства предварительной настройки могут согласовывать, предпочтительно, изображение и/или устройство отображения с имеющимися в соответствующем дистанционно управляемом типе машины или с используемыми камерами и/или, если изображение обрабатывают виртуально, адаптируют параметры для расчета виртуального изображения к соответствующему типу машины.

Указанный модуль распознавания движений может быть выполнен принципиально по-разному. Например, модуль распознавания движений может регистрировать реальные реакции дистанционно управляемой машины посредством сенсорного устройства, причем соответствующие сигналы датчика передаются на дистанционное управление для приведения в соответствии с ними в движение или для управления его постом управления. Определение таких реальных реакций машины дистанционно управляемой машины может включать в себя, например, распознавание движений, например, пути перемещения крановой тележки, наматывание и сматывание подъемного каната крана и т.д. В частности, могут регистрироваться деформации структуры дистанционно управляемой машины, например, продольная качка кабины крановщика, вследствие деформации башни, например, посредством соответствующих датчиков наклона и/или датчиков ускорения.

Однако альтернативно или дополнительно к определению движений и/или деформаций реальной, дистанционно управляемой машины, модуль распознавания движений может имитировать названные реакции на введенные команды управления в виде движений и/или деформаций деталей машины, а для этого иметь соответствующий имитационный модуль, вычисляющий в зависимости от введенных команд управления соответствующие движения реакции и/или деформации и/или с помощью компонентов управления и/или движения, относящихся к имитационному модулю, отображать и измерять их. Такая имитация может устранять проблемы временного сдвига между постом управления дистанционного управления и дистанционно управляемой машиной, в частности, при более медленных каналах связи или на больших расстояниях.

При использовании устройства дистанционного управления вышеуказанным способом для различных типов машин, конфигурационный модуль адаптирует параметры и/или алгоритм вычисления для имитации движений и/или деформаций к соответственно выбранному типу машины. В частности, пакеты динамических характеристик или файлы с данными или алгоритмами довольно различных дистанционно управляемых машин считываются из базы данных в имитационный модуль для имитации движений и деформаций, подходящих для соответственно выбранной машины. Считывание названных пакетов с данными динамических характеристик может осуществляться для этого интерактивно из базы данных. Альтернативно или дополнительно, сам имитационный модуль также может быть снабжен запоминающим устройством, в котором в виде библиотеки записаны различные файлы с данными или алгоритмами.

В усовершенствованном варианте изобретения возможны также смешанные формы, в которых часть реакций регистрируется в реальной, дистанционно управляемой машине, а другая часть реакций распознается имитационным модулем.

Согласно другому аспекту изобретения, модуль определения движения выполнен для этого так, что структуру крана или машины рассматривают не в качестве жесткой, так сказать, бесконечно жесткой структуры, а принимают в расчет с возможностью упругой деформации, и/или гибкую, и/или относительно пластичную структуру, допускающую, дополнительно с осями перестановочных движений машины, например, осью качения стрелы крана или осью вращения башни, движения и/или изменения положения при деформациях конструктивных элементов. Учет подвижности структур машины, вследствие их деформаций под грузом или динамичных нагрузок, имеет значение, учитывая необходимую безопасность, именно для вытянутых, тонких и намеренно подвергающимся статическим и динамическим граничным условиям структур, таких, как краны, поскольку в этом случае добавляются ощутимые компоненты движения, например, для кабины крановщика, а также и расположение грузового крюка при деформациях конструктивных элементов. Для обеспечения для этого действительно реалистичного обучения или приближенной к реальности тренировки, модуль распознания движений учитывает такие деформации структур машин при статических или динамических нагрузках.

В частности, устройство распознавания для распознавания таких деформаций структур может иметь вычислительный блок, вычисляющий эти деформации структуры посредством вычислительной модели, в зависимости от введенных в пост управления команд управления. Такая модель может быть создана подобно модели конечных элементов или является моделью конечных элементов, причем, тем не менее, предпочтительно использовать, по сравнению с моделью конечных элементов, значительно упрощенную модель, которую можно определять, например, эмпирически посредством распознавания деформаций структуры при определенных командах управления и/или состояниях нагрузки в реальном кране или в реальной машине. Такая вычислительная модель может работать, например, с таблицами, в которых соответствующим определенным командам управления соответствуют определенные деформации, причем промежуточные значения команд управления пересчитывают посредством устройства интерполяции в соответствующие деформации.

Применение такой упрощенной по сравнению с моделью конечных элементов вычислительной модели позволяет более быстрое по времени распознавание деформаций структур, а вместе с этим, более приближенную к реальности имитацию движений машины в режиме реального времени или почти реального времени при небольшой вычислительной мощности.

С одной стороны, учтенные модулем распознавания движений деформации частей структуры могут учитываться при управлении приводным устройством для движения поста управления, так, что пост управления имитирует возникающие при деформациях частей структуры движения поста управления.

Альтернативно или дополнительно, распознанные или зарегистрированные деформации частей структур могут учитываться также при изображении окружающей территории вокруг машины и/или видимых на ней компонентов машин, например, исходя из того, что на изображении воспроизводят прогиб стрелы крана или горизонт окружения крана немного перемещенным вверх для имитации легкого кивка вперед кабины крановщика, например, вследствие деформации башни.

Показанное на посту управления изображение окружающей территории вокруг машины и/или рабочего инструмента дистанционно управляемой машины может содержать реальное изображение, предоставляемое посредством, по меньшей мере, предусмотренной на участке дистанционно управляемой машины камеры, и/или содержать также виртуальное изображение, рассчитываемое посредством графического имитационного модуля, в зависимости от введенных команд управления.

Такое реальное, созданное камерой изображение окружающей территории вокруг машины и/или рабочего инструмента может создаваться, в частности, в виде изображения в реальном времени или подобно телевизионному изображению видеоизображения, причем соответствующий видеосигнал передается, по меньшей мере, от одной камеры в дистанционно управляемой машине к расположенному удаленно посту управления устройства дистанционного управления и воспроизводится на нем предусмотренным блоком отображения.

Альтернативно или дополнительно к видеокамере или телекамере можно работать также с помощью других отображающих изображение датчиков, например, инфракрасного датчика и/или радиолокационного датчика и/или смешанного фото-детектора и/или датчика времени пролета луча в виде так называемого "времяпролетного детектора", в котором измеряемые объекты подсвечивают световыми импульсами и измеряют время распространения сигнала, на основе которого рассчитывают затем расстояние между камерой и объектом и создают трехмерное изображение. Предпочтительно, если также используют несколько отображающих изображение датчиков разного вида изображения, например, камеру в сочетании с инфракрасным датчиком, причем их изображения передаются с наложением и демонстрируются в общем изображении, например, так, что в изображении показывают снятые камерой теплые части инфракрасного изображения, например, людей. Тем не менее, применение видеокамеры и/или телекамеры предпочтительно в том отношении, что воспроизводят приближенное к реальности изображение, передающее машинисту ощущение восприятия собственными глазами.

Такая камера или отображающее изображение сенсорное устройство для изображения окружающей территории вокруг машины или рабочего инструмента дистанционно управляемой машины может устанавливаться на самой машине, например, неподвижно или с возможностью поворота, например, на кабине крановщика крана и/или на крановой тележке башенно-поворотного крана, или в другом месте, причем камера ориентирована так, что можно наблюдать, предпочтительно, рабочий инструмент, например, грузовой крюк крана. Предпочтительно, если на них предусмотрено также несколько камер для возможности наблюдения за рабочим инструментом из различных перспектив.

В предпочтительном усовершенствованном варианте изобретения используют с возможностью движения и/или перемещения в различных местах камеру, позволяющую изображать рабочий инструмент и/или окружающую территорию вокруг машины из различных направлений взгляда.

В усовершенствованном варианте изобретения, можно также использовать камеру, в частности, смонтированную на беспилотном летательном аппарате. Так, предлагается использовать дистанционно управляемый оборудованный камерой беспилотный летательный аппарат, посредством которого предоставляется желаемое изображение, снятое камерой рабочего инструмента и/или окружения рабочего инструмента из различных направлений взгляда. В частности, посредством такого беспилотного летательного аппарата можно получать также перспективное изображение, снятого камерой рабочего инструмента и его окружения под косыми оптическими осями зрения, которое можно получать из точки, находящейся на некотором расстоянии от машины и ее кабины крановщика и выше пола, так, чтобы для машиниста визуально отображался рабочий инструмент и его окружение из направления взгляда, как будто бы смотрел также внешний наблюдатель. В кран могут предоставляться, например, снятые камерой изображения грузового крюка и его окружения, просматриваемые сбоку под косым углом или вертикально на вертикальную срединную плоскость крана через стрелу крана. Также изображения грузового крюка предоставляются из положений беспилотного летательного аппарата, располагающихся в этой проходящей через стрелу крана, вертикальной срединной плоскости крана. Посредством таких перспективных изображений, снятых камерой из различных оптических осей зрения, можно гораздо лучше визуально отображать относительные положения между рабочим инструментом и его окружением, или конечным пунктом.

В усовершенствованном варианте изобретения, для обеспечения простого обслуживания беспилотного летательного аппарата, беспилотным летательным аппаратом можно управлять, в зависимости от положения машины и/или положения рабочего инструмента, так, что беспилотный летательный аппарат автоматически следует за движениями машины, в частности, за движениями рабочего инструмента и, по меньшей мере, примерно удерживает, или пытается удерживать желаемое положение относительно машины и/или ее рабочего инструмента даже при движениях машины, в частности, движениях рабочего инструмента и перемещается вслед за ними. При использовании беспилотного летательного аппарата, например, в сочетании с краном, беспилотный летательный аппарат в активированном, автоматическом режиме последовательного действия может автоматически следовать за грузовым крюком крана. Если, например, желают и устанавливают относительное положение беспилотного летательного аппарата почти на высоте грузового крюка, или немного дальше, выше, с боковым отстоянием от вертикальной срединной плоскости крана через стрелу крана, беспилотный летательный аппарат может автоматически снижать свою высоту полета или повышать ее, если грузовой крюк опускается или поднимается, и/или параллельно лететь вперед или лететь назад к вертикальной срединной плоскости крана при перемещении крановой тележки крана и/или лететь поперек сбоку налево или направо при повороте крана.

Тем не менее, предпочтительно, если беспилотным летательным аппаратом можно управлять дистанционно также и автономно так, что беспилотный летательный аппарат свободно подлетает в различные желаемые положения относительно машины и/или ее рабочего инструмента. Это можно осуществлять, например, посредством ввода желаемого положения для беспилотного летательного аппарата относительно грузового крюка или рабочего инструмента, например, так, что в модуль позиционного управления, который может быть предусмотрен в посте управления устройства дистанционного управления, вводят положение относительно грузового крюка, например, в виде: "два метра выше, сбоку, справа от грузового крюка". Однако альтернативно или дополнительно беспилотный летательный аппарат может также летать, тем не менее, совсем свободно относительно машины и ее рабочего инструмента, например, с помощью джойстика, так, что беспилотный летательный аппарат летает так долго, пока положение камеры и ее угол зрения на рабочий инструмент и его окружение не понравится крановщику или машинисту.

Согласно другому аспекту изобретения, для еще большего увеличения ощущения реальности для пользователя устройства дистанционного управления предусмотрено, что на устройстве отображения, на предоставленные камерой и/или графическим имитационным модулем изображения окружения дистанционно управляемой машины накладывают показываемые изображения в реальном времени из поста управления, например, движения пользователя устройства дистанционного управления. В частности, на устройстве отображения могут одновременно и наложенными отображаться реальные или виртуальные изображения окружающей территории вокруг машины и/или видимых на ней компонентов машины, а, с другой стороны, снятые на посту управления изображения в реальном времени камеры. Такое наложение изображений из мира имитации и изображений в реальном времени создает для пользователя устройства дистанционного управления особенно сильное, приближенное к реальности ощущение.

Предпочтительно для этого может найти применение выполненное с возможностью ношения на голове, в частности, в виде очков, устройство отображения, например, в виде очков виртуальной реальности, и, предпочтительно, также выполненный с возможностью ношения на голове, например, как шлем с камерой или интегрированной в названные очки виртуальной реальности камеры, предоставляющие указанные изображения в реальном времени, отображаемые вместе с искусственно созданным, виртуальным изображением в устройстве отображения, в частности, в очках виртуальной реальности.

Указанная камера для создания изображений в реальном времени поста управления может быть, предпочтительно, стереоскопической камерой, предоставляющая стереоскопические изображения, предпочтительно, по меньшей мере, с приближенно совпадающим с направлением взгляда пары глаз пользователя направлением взгляда камеры, передаваемые в соответствующем месте устройства отображения, в частности, очков виртуальной реальности. Этим достигают особенно приближенного к реальности ощущения для пользователя.

Альтернативно или дополнительно также может находить применение 360° камера, изображения окружения которой могут предоставляться крановщику, например, в указанные очки виртуальной реальности. Такая 360° камера упрощает также конструкцию отображающей изображение системы, в частности, снятое камерой изображение может достаточно просто следовать за движениями головы носителя очков виртуальной реальности, что позволяет исключать дорогостоящее дистанционное управление камерой.

Однако принципиально было бы возможно накладывать изображения дистанционно управляемой машины и названные изображения в реальном времени поста управления в обычном самом по себя дисплее, причем в данном случае, например, пользователь мог бы носить на голове камеру, записывающую изображения в реальном времени, предоставляющую, по меньшей мере, примерно соответствующие направлению взгляда пользователя изображения, так чтобы на устройство отображения, например, в виде нескольких дисплеев вставлялась затем также "вживую" пользовательская рука или "вживую" часть поста управления. Тем не менее, получения более близкой к реальности, а вместе с тем более впечатляющей воспринимаемой имитации можно достичь при наложении на видимых поверхностях очков виртуальной реальности.

Устройство наложения для наложения изображений в реальном времени камеры поста управления на изображение окружения дистанционно управляемой машины может быть выполнено, предпочтительно, при работе по так называемой технологии "зеленого экрана", причем устройство наложения узнает цветные поверхности заданного цвета в изображении в реальном времени, а затем заменяет эти участки изображения на виртуальное изображение из имитационного модуля. Для этого пост управления содержит, предпочтительно, стенку кабины, в которой участки окна, например, в соответствии со смотровыми окнами реальной кабины крановщика, окрашены в ключевой цвет, наиболее отчетливо отличающийся от других цветов остальных, располагающихся в поле зрения камеры компонентов, например, цвета оконных обрамлений, средств ввода данных и одежды оператора, а также цвета кожи, поэтому снятое на посту управления прямое изображение показывает названные окрашенные поверхности в определенной цветопередаче, в то время как все другие поверхности изображения показаны в других цветах. Окрашенные в указанном ключевом цвете, например, в зеленом, поверхности или части поверхности изображения в реальном времени заменяют затем на реальное или виртуальное изображение окружающей территории вокруг машины и/или видимых на ней компонентов машины, так что, с одной стороны, наложенная картинка или наложенное изображение показывает "вживую" пост управления устройства дистанционного управления, его компонентов и находящихся в зоне видимости телекамеры для прямой передачи конечностей пользователя по-настоящему, как изображение в реальном времени, а, с другой стороны показывают, с другой стороны, в снятых телекамерой для прямой передачи участках окна стенки кабины показывают созданное камерой реальное или виртуальное изображение окружающей территории вокруг машины и видимых на ней компонентов машины.

Названное виртуальное изображение окружающей территории вокруг машины может предпочтительно изменяться графическим имитационным модулем и в зависимости от различных файлов данных, которые можно вводить через интерфейс в имитационный модуль, согласованными с различными сценариями. В частности, данные планировки можно вводить в виде CAD - данных (данных системы автоматизированного проектирования) возводимого строительного объекта и/или фактических данных строительной площадки, воспроизводящих истинное состояние возводимого строительного объекта или стройплощадки, в зависимости от продвижения строительных работ, через соответствующий интерфейс данных в имитационный модуль и использовать их имитационным модулем для создания виртуального изображения окружающей территории вокруг машины в соответствии с введенными файлами данных, в частности, в зависимости от введенных данных планировки и/или фактических данных стройплощадки, или для согласования с ними.

Называемая информация о стройплощадке или строительном объекте может быть также, как и выше, данными системы автоматизированного проектирования или другими геометрическими данными строительного объекта или стройплощадки, причем при необходимости могут находить применение также цифровые видеоданные, отображающие фактический строительный объект и продвижение строительных работ. Такие видеоданные вводят в виде данных окружающей территории вокруг машины через названный интерфейс системы автоматизированного проектирования или подходящий интерфейс видеоданных в графический имитационный модуль, согласовывающий затем виртуальное изображение с этими полученными данными системы автоматизированного проектирования и/или видеоданными.

Моделирование запланированной, или уже существующей, или частично выполненной стройплощадки и соответствующее создание виртуального изображения окружающей территории вокруг машины посредством графического имитационного модуля является, в частности, также ценным вспомогательным средством для обеспечения логистики на стройплощадке, а также для возможности имитации и отработки критического развития событий еще перед началом строительных работ.

При работе устройства распознавания движений указанным выше способом, также с имитированными данными, устройство дистанционного управления вычисляет с помощью имитационной ЭВМ не все предпочтительно необходимые для имитации движения параметры движения, а по меньшей мере, частично определяет их способом эмуляции данных, используя действительно движущиеся компоненты вычислительной системы, образующие составную часть устройства дистанционного управления. Такой модуль для эмуляции данных устройства дистанционного управления может содержать, в частности, компоненты исполнительного привода и/или компоненты силовых электронных устройств, с помощью которых выполняются действительно установочные движения, имитирующие реальные движения крана или машины и предоставляющие характеризующие эти движения данные, например, в виде сигналов датчиков, воспроизводящих установочные движения названных компонентов привода. Такая эмуляция данных может предоставлять параметры движения и/или позиционные параметры, которые используют затем для имитации движения, значительно более быстро и при меньшей вычислительной мощности, что дает более реалистичную имитацию в режиме реального времени или почти реального времени.

С помощью такой эмуляции данных можно избегать временного сдвига и проблем передачи данных в каналах связи с меньшими диапазонами полосы пропускания, в частности, возникающих в остальных случаях, когда в реальной машине регистрируют все движения и/или деформации дистанционно управляемой машины, возникающие в зависимости от введенных команд управления, и передают назад, на пост управления устройства дистанционного управления.

Согласно другому аспекту изобретения, для достижения особенно быстрого, реалистичного распознавания движений компонентов машины в зависимости от введенных на посту управления команд управления, названный модуль распознавания движений может быть выполнен в виде гибридного устройства или гибридного модуля, содержащего, с одной стороны, ЭВМ для имитации параметров движения и/или позиционных параметров, а, с другой стороны, по меньшей мере, подобные реальным исполнительным приводам крана или машины такие компоненты вычислительной системы, как блоки приводного устройства, датчики углового положения или частотные преобразователи, посредством установочных движений которых имитируют и определяют параметры движения и/или позиционные параметры. В частности, используются "реальные" компоненты вычислительной системы, также установленные в симуляторе крана или в симуляторе машины в виде конструктивных элементов исполнительного привода и/или устройства управления.

В частности, модуль распознавания движений может содержать стойку коммутации или, по меньшей мере, часть стойки коммутации и ее компоненты, находящую применение также и в симуляторе машины и образующей в ней часть блока управления машины. В частности, силовые электронные устройства и/или по меньшей мере часть силовых электронных устройств, как, например, частотный преобразователь, может использоваться для имитации перестановочных движений, инициируемых введениями команд управления на посту управления.

Кроме того, в усовершенствованном варианте изобретения устройства исполнительного привода могут найти применение, например, в виде серводвигателей, служащих для эмуляции движений исполнительного привода симулятора машины или компонентов машины. Предпочтительно, если для этого блок приводного устройства используется для соответствующей оси сервопривода, например, в виде блока сервопривода, управляемого, в частности, через вышеуказанный частотный преобразователь, в соответствии с командой управления, и соединенный, кроме того, предпочтительно с другим блоком приводного устройства, например, в виде блока сервопривода, посредством которого может прикладываться противодействующий момент и/или противодействующая нагрузка для имитации действительно возникающих нагрузок, противодействий или инерции. Например, посредством указанного второго блока приводного устройства можно имитировать груз, противодействующий подъемному механизму, или можно имитировать момент ветра, противодействующий приводу поворотного механизма.

Выполненное с необходимостью учета противодействующего момента или противодействующей нагрузки перестановочное движение вышеуказанного блока приводного устройства можно регистрировать регистрирующим устройством, причем соответствующий сигнал определения воспроизводит действительно достигнутое перестановочное движение и может использоваться в виде сигнала датчика в следующей имитации, в частности, для определения таким же образом, как указано выше, движений и/или положений и/или деформаций частей структуры, и/или имитации виртуального изображения окружающей территории вокруг машины, и/или видимых на ней компонентов машины.

Предпочтительно, если используют несколько таких блоков приводного устройства или несколько таких пар блоков приводного устройства, содержащих привод и контрпривод, а также соответствующее регистрирующее устройство для возможности определения различных осей установочного движения и выполняемых относительно них установочных движений имитируемой эксплуатации машины.

Согласно другому аспекту изобретения, значения датчика блоков приводного устройства осей установочного движения, приводимых в действие и передвигающихся в зависимости от введенных на посту управления команд управления, имитируются или вычисляются не посредством математической модели, а эмулируются или подстраиваются при помощи компонентов вычислительной системы, наиболее приближенных к реальным компонентам исполнительного привода симулятора машины и непосредственно выводятся в качестве фактических значений датчика.

Посредством такой системы эмуляции данных, модуль распознавания движений может распознавать движения и/или положения компонентов машины намного быстрее и с меньшей вычислительной мощностью, поэтому можно намного быстрее и более приближенно к реальности достигать виртуального изображения окружающей территории вокруг машины и/или компонентов машины, а также сопутствующих установочных движений кабины машины. Кроме того, созданные сигналы датчика могут отображаться на посту управления и/или использоваться для других контрольных мероприятий, как контроль нагрузки или ограничения рабочей зоны, отображаемых и/или имитируемых на посту управления.

При использовании устройства дистанционного управления для дистанционного управления башенно-поворотным краном и его эксплуатации, вышеуказанные пары блоков приводного устройства могут соответствовать для выполнения соответствующих установочных движений и создания соответствующего противодействующего момента или противодействующей нагрузки, в частности, для поворотного механизма башни, или при верхне-поворотном кране – для поворотного механизма стрелы крана, подъемного механизма и механизма перемещения крановой тележки.

Далее приводится более подробное разъяснение изобретения посредством предпочтительного примера выполнения и соответствующих чертежей. На них схематично показаны:

фиг. 1 - изображение дистанционно управляемого крана в виде башенно-поворотного крана, грузовой крюк которого груз маневрирует за зданием на не просматриваемом участке, причем беспилотный летательный аппарат с камерой наблюдает за грузовым крюком для передачи соответствующего изображения, снятого камерой, на пост управления устройством дистанционного управления, и

фиг. 2 - изображение компонентов устройства дистанционного управления с постом управления оператора, согласно предпочтительному варианту исполнения изобретения.

Как показано на фиг. 1 и фиг. 2, устройство 1 дистанционного управления может быть выполнено в виде устройства дистанционного управления краном, содержащего пост 2 управления в виде кабины крановщика, которая может найти применение, по существу, в "реальной" кабине крановщика, как в кране, например, в башенно-поворотном кране, портовом кране или морском кране, или в передвижном телескопическом кране.

Кран 200 может быть выполнен при этом, как башенно-поворотный кран, башня 202 которого несет стрелу 203 крана, на которой установлена крановая тележка 204 с возможностью перемещения. Стрела 203 крана может поворачиваться вместе с башней 202 или также без башни 202, в зависимости от выполнения крана: в виде верхне- поворотного крана или нижне-поворотного крана – вокруг вертикальной оси, для чего предусмотрен привод поворотного механизма. Стрела 203 крана могла бы быть выполнена при необходимости также с возможностью качения вверх и вниз вокруг горизонтальной поперечной оси, причем привод качения мог бы быть предусмотрен, например, во взаимодействии с ослаблением натяжения стрелы. Названная крановая тележка 204 может перемещаться посредством лебёдки для передвижения крановой тележки или другого привода крановой тележки.

Указанный пост 2 управления может содержать, как известно, место 21 для размещения оператора, например, в виде кресла 20 оператора, вокруг которого расположены различного средства 18 ввода данных для ввода команд управления. Указанные средства 18 ввода данных могут иметь, например, джойстик, сенсорный экран, ручку управления, кнопки и переключатели ввода, регуляторы поворота, регуляторы перемещения и подобные устройства.

Рабочее место оператора окружено в нем стенкой 22 кабины крановщика, которая может соответствовать защитному ограждению кабины и иметь участки 23 окна, остекленные в реальных кабинах крановщика, но в данном случае окрашенные в определенный цвет, например, покрытые зеленой пленкой, для передачи реальной, созданной камерой или виртуальной окружающей территории вокруг машины посредством технологии "зеленого экрана", как разъясняется далее.

Пост 2 управления смонтирован на движущейся платформе 7, посредством которой пост 2 управления подвижен в нескольких осях. Для этого движущаяся платформа 7 выполнена предпочтительно движущейся в нескольких осях, в частности, с возможностью наклона или вращения вокруг всех трех осей x, y и z пространства и трансляционного перемещения вдоль этих осей.

Для этого за осями x, y и z вращения движущейся платформы 7 закреплены исполнительные элементы приводного устройства 8, например, в виде электромоторов и/или гидравлических цилиндров, и/или гидравлических двигателей для передвижения поста 2 управления вокруг или вдоль указанных осей.

При этом приводным устройством 8 управляют устройством 24 управления движением, которое может быть реализовано, например, промышленным ПК.

Названное устройство 24 управления движением может быть, в частности, частью модуля 10 распознавания движений, посредством которого распознают движения крана и/или положения, и/или ориентацию компонентов крана, например, стрелы крана или башни, а также перекосы таких конструктивных элементов, как стрела крана или башня, в зависимости от соответственно введенных на посту 2 управления команд управления. Указанный модуль 10 распознавания движений распознает воздействия введенных команд управления в управляемый кран, в частности, какие движения, положения, ориентации и перекосы компонентов крана произошли в управляемом кране вследствие введенных команд управления и выводит названные величины, соответствующие характеризующие сигналы движения.

При этом указанный модуль 10 распознавания движений не распознает названные параметры движения, или не полностью распознает их при расчете посредством математической модели, а использует фактические компоненты вычислительной системы в виде приводных компонентов и компонентов управления, выполняющих фактические движения и имитирующих соответствующие компоненты вычислительной системы в реальном кране.

Как показано на фиг. 2, модуль 10 распознавания движений содержит, по меньшей мере, основные компоненты блока 25 управления краном, которые могут быть реализованы, например, в стойке коммутации крана. В частности, указанный блок 25 управления краном содержит частотный преобразователь 15 различных приводов крана, например, поворотного механизма, механизма перемещения крановой тележки и подъемного механизма. Названный блок 25 управления краном может содержать при необходимости другие конструктивные элементы устройств управления и/или силовых электронных устройств, в частности, компоненты слежением за грузом, компоненты ограничения рабочей зоны и т.д.

Блок 25 управления краном соединен с постом 2 управления и его средствами 18 ввода данных по каналу связи, так что блок 25 управления краном может продолжать перерабатывать введенные команды управления, причем, в частности, частотные преобразователи 15 управляют блоками 12 приводного устройства, например, в виде сервоприводов, в зависимости от введенных команд управления. Введенные в пост 2 управления команды управления преобразуются в реальные движения или в приводные моменты и усилия блоков 12 приводного устройства.

Указанные блоки 12 приводного устройства соединяются для этого с контрблоками приводного устройства 14, посредством которых к блокам 12 приводного устройства могут подключаться противодействия движению для возможности имитации таких реальных противодействий, как поднимаемые грузы, усилия ветра, инерции или динамичные нагрузки. Управление названными контрблоками 14 приводного устройства может осуществляться вышеуказанным промышленным ПК, реализующим также устройство 24 управления движением. Управление контрблоками 14 приводного устройства 14 может осуществляться при этом посредством различных заданных величин или программ, например, заданными величинами поднимаемых грузов, заданными программами ветра или при помощи таких заданных функций или таблиц, как динамические реакции при торможении механизма перемещения крановой тележки или при поворотных движениях. Для этого в блоке памяти устройства управления могут быть записаны соответствующие модели, таблицы или функции для управления контрблоками приводного устройства.

Как показано на фиг. 2, за блоками 12 приводного устройства закреплены регистрирующие устройства 13, например, в виде датчиков углового положения или других датчиков положения и/или датчиков движения, посредством которых предоставляются сигналы движения или положения, характеризующие установочные движения блоков 12 приводного устройства. В частности, модуль 10 распознавания движения предоставляет реальные сигналы датчика, в виде параметров движения, которые, с одной стороны, могут визуализироваться на посту 2 управления, а с другой стороны, использоваться также для дальнейших функций моделирования. В частности, в зависимости от указанных сигналов движения, предоставленных датчиками углового положения, посредством математической модели можно определять перекосы структуры, например, изгибы башни, изгибы стрелы крана и подобные деформации и управлять приводным устройством 8 движущейся платформы 7 для движения поста 2 управления, а также создания виртуального изображения окружения крана, соответственно в зависимости от указанных, реально произведенных сигналов датчика.

Как показано на фиг. 2, модуль 10 распознавания движения может содержать процессор 11, реализованный опять же вышеуказанным промышленным ПК, посредством которого процессор 11, в зависимости от введенных в пост 2 управления команд управления и/или эмулированных данных, генерирует произведенные посредством устройства 19 эмуляции данных или соответствующего блокам 12 приводного устройства регистрирующего устройства 13 сигналы датчика, определяет перекосы структуры, в частности, изгибы и скручивание в башне крана и в стреле крана, причем процессор 11 использует для этого учитывающую жесткость структуры математическую модель, как это уже разъяснялось.

Однако альтернативно или дополнительно к этим эмулированным данным о перемещении, система определения движения может регистрировать "реальные" движения и/или деформации дистанционно управляемого крана, с помощью сенсорного устройства и передавать их посредством дистанционной передачи данных на пост 2 управления для дальнейшего управления посредством этих реальных реакций крана определенными функциями поста 2 управления устройства дистанционного управления.

Посредством указанных эмулированных и/или зарегистрированных реальных данных о перемещениях, а также определенных по ним данных деформации, устройство 24 управления движения управляет приводным устройством 8 движущейся платформы 7 для перемещения поста 2 управления и имитации реальных движений кабины крановщика, возникающих при введении соответствующих команд управления в реальном кране.

С другой стороны, указанные данные о перемещениях, а при необходимости также и названные данные деформации используют для учета реакций крана в виртуальном изображении, создаваемом графическим имитационным модулем 9 и демонстрируемом на устройстве 3 отображения. При этом указанное виртуальное изображение показывает, в частности, окружение крана, а также видимые на нем компоненты крана, например, стрелу крана и грузовой крюк и может соответствовать, по существу, изображению, которое видел бы крановщик из кабины крановщика. Названное виртуальное изображение может соответствовать на нем подобному фотографическому или похожего на цифровое изображение фильма, например, пиксельному многоцветному изображению. Однако, альтернативно может быть предусмотрено упрощенное графическое изображение, хотя предпочтительна наиболее реалистичная, подобная фотографическому или похожая на фильм картинка изображения.

Тем не менее, альтернативно или дополнительно к такому виртуальному изображению на посту 2 управления может использоваться также реальное, созданное камерой изображение окружения крана и/или грузового крюка. Для этого на кране 200 устанавливают, по меньшей мере, одну камеру, передающую картины изображения в реальном времени на пост 2 управления. Такая камера 220 может быть установлена, например, в кабине 206 дистанционно управляемого крана 200 и иметь оптическую ось зрения, предпочтительно, по меньшей мере, приближенно соответствующей оптической оси зрения крановщика в кабине 206 крановщика и/или проходящей от кабины 206 крановщика к грузовому крюку.

Однако альтернативно или дополнительно могут снимать и другие камеры и/или изображения из других перспектив и передавать их на пост управления для их демонстрации на нем. В частности, может использоваться беспилотный летательный аппарат 209, оборудованный, по меньшей мере, камерой и перемещаемый с помощью дистанционного управления относительно крана 200.

Для возможности наблюдения за грузовым крюком 208, соединенным с отходящим от крановой тележки 204 подъемным канатом 207, или за поднимаемым на нем грузом или за окружением грузового крюка 208 даже тогда, когда грузовой крюк 208 находится вне поля зрения кабины 206 крановщика или крановщика, например, если, как показано на фиг. 1, груз нужно ставить за зданием, предусмотрен беспилотный летательный аппарат 209, на котором смонтирована, по меньшей мере, одна камера 210, с помощью которой можно предоставлять снятое камерой изображение грузового крюка 208 и/или окружения грузового крюка. Указанное снятое камерой изображение является, предпочтительно, изображением в реальном времени или изображением в реальном масштабе времени в виде телевизионного или видеоизображения и передается камерой 210 беспилотного летательного аппарата 209 по радио блоку 211 отображения и/или устройству 205 управления краном 201, причем названный блок 211отображения может быть, например, дисплеем машиниста в виде планшета или дисплея, или монитора, установленным в кабине 206 крановщика. При использовании поста дистанционного управления или мобильного пульта управления выше указанным способом для управления краном 201, названный блок 211 отображения может быть предусмотрен на посту дистанционного управления или на мобильном пульте управления.

Беспилотный летательный аппарат 209 снабжен устройством 212 дистанционного управления, позволяющим дистанционно управлять беспилотным летательным аппаратом 209, в частности, узлами управления полетом, например, несущими винтами для дистанционного управления положением полета беспилотного летательного аппарата 209 и/или для дистанционного управления камерой 210, в частности, в отношении угла поворота или оптической оси зрения камеры 210 относительно корпуса беспилотного летательного аппарата 209 и/или фокусным расстоянием камеры 210.

Соответствующий модуль дистанционного управления может быть предусмотрен в кабине 206 крановщика и/или на посту дистанционного управления или на мобильном пульте управления и оснащен, например, соответствующим джойстиком. Для обеспечения простого обслуживания для беспилотного летательного аппарата 209 может быть предусмотрено к тому же речевое управление и/или управление с помощью меню, например, для выбора желаемого относительного положения из нескольких заданных относительных положений беспилотного летательного аппарата 209 относительно крана. Это можно осуществлять, например, посредством того, что по речевому управлению и/или через управление с помощью меню вводят "положение беспилотного летательного аппарата №1", которое можно запрограммировать или записано в устройстве 213 управления положением.

Предпочтительно, если названное реальное или виртуальное изображение окружения крана и видимых на нем компонентов крана перекрывают изображением в реальном времени, показывающим из поста 2 управления реальные компоненты, в частности, от головы пользователя устройства дистанционного управления, в направлении его взгляда – такие видимые конструктивные элементы, как средства 18 ввода данных, руки и предплечья пользователя и другие располагающиеся в поле зрения компоненты.

Для этого предусмотрена предпочтительно камера 16, которая может быть выполнена в виде наголовной камеры с возможностью ношения на голове пользователя и имеющей соответствующие средства крепления и/или фиксации для фиксирования на голове, например, в виде шлема с камерой. При выполнении устройства 3 отображения предпочтительно в виде очков 4 виртуальной реальности, которые носит пользователь, камера 16 может быть интегрирована в эти очки виртуальной реальности.

Предпочтительно, если камера 16 выполнена в виде стереоскопической камеры для предоставления стереоскопических изображений соответствующих оптическим осям зрения обоих глаз пользователя.

Устройство 17 наложения для наложения изображения окружения крана и изображения в реальном времени камеры 16 поста управления 2 может содержать для этого, в частности, базирующийся на цветопередаче модуль 26 обработки изображений, с возможностью работы по так называемой технологии "зеленого экрана". В частности, названный базирующийся на цветопередаче модуль 26 обработки изображений может распознавать в изображении в реальном времени камеры 16 участки изображения, имеющиеся определенный отличающийся от остальных участков поля изображения цвет, а затем заменять эти участки изображения на изображение из имитационного модуля 9.

Для этого пост 2 управления предпочтительно содержит стенку 22 кабины, в которой участки 23 окна окрашены, например, в соответствии со смотровыми окнами реальной кабины крановщика, в ключевом цвете, наиболее отчетливо отличающемся от остальных цветов других располагающихся в поле зрения камеры компонентов, например, от цвета оконных обрамлений, средств 18 ввода данных и одежды оператора, а также цвета кожи, поэтому на снятых на посту 2 управления изображениях в реальном времени указанные окрашенные поверхности видны в определенной цветопередаче, в то время, как все другие поверхности изображения показаны в других цветах. Окрашенные в указанном ключевом цвете, например, в зеленом, поверхности изображения в реальном времени или части поверхностей заменяют затем на изображение окружающей территории вокруг машины и/или на видимые на ней компоненты машины, создаваемые графическим имитационным модулем 9 и/или производимые расположенной на кране камерой, поэтому на наложенном изображении или на накладываемом изображении, с одной стороны, демонстрируются "вживую" в виде изображения в реальном времени пост 2 управления устройства дистанционного управления, его компоненты, находящиеся в поле зрения камеры, показывающей изображение в реальном времени и конечности пользователя, а, с другой стороны, на снятых камерой, передающей изображение в реальном времени, участках 23 окна стенок 22 кабины крановщика, реальное или виртуальное изображение окружающей территории вокруг машины и находящихся на ней видимых компонентов машины.

Реферат

Предложена система дистанционного управления для крана, строительной машины и/или автопогрузчика. Система содержит устройство (1) дистанционного управления с постом (2) управления. Пост управления содержит средство (18) ввода данных, устройство передачи сигналов, устройство (3) отображения, модуль (10) распознавания движений. Пост (2) управления установлен подвижно, и при этом предусмотрено приводное устройство (8) для перемещения поста (2) управления в зависимости от распознанных модулем (10) распознавания движений и/или деформаций компонентов машины. Между краном, строительной машиной и/или автопогрузчиком, с одной стороны, и устройством (1) дистанционного управления, с другой стороны, предусмотрен канал связи, посредством которого введенные на посту (2) управления устройства (1) дистанционного управления команды управления передаются в устройство управления краном, строительной машиной и/или автопогрузчиком. Достигается более близкая к реальности имитация эксплуатации крана или эксплуатация машин, улучшение передачи фактических характеристик крана или машины. Дистанционное управление становится более уверенным. 18 з.п. ф-лы, 2 ил.

Формула