Оценка электромеханических параметров с помощью цифровых изображений и методов фильтрации, основанных на использовании модели - RU2739711C1

Чертежи

Показать все 11 чертежа(ей)

Описание

Область техники

В основном настоящее изобретение относится к области оценки электромеханических параметров, основанной на использовании модели. В частности, настоящее изобретение относится к оценке электромеханических параметров с помощью цифровых изображений и методов фильтрации, основанных на использовании модели, с помощью фотореалистичной электромеханической числовой модели.

Уровень техники

В последние годы было предложено несколько методов объединения экспериментальных измерений с представлением информации в числовой форме («модели») электромеханических или мехатронных машин и/или элементов для вывода (оценки) информации, которую трудно или невозможно измерить напрямую.

Были представлены и усовершенствованы различные способы для повышения уровней сложности, начиная от одного недеформируемого тела (например, для оценки положения объекта) до моделей системы с сосредоточенными параметрами, и до линейных или нелинейных конечно-элементных моделей (уменьшенных) и упругой многотельной модели. Эти методы были успешно применены как в учебной, так и в промышленной средах. Все они имеют основополагающую базовую функциональность: они применяют данные, встроенные в модель, для того, чтобы оценить набор переменных модели (состояния модели, входные данные, характеристики или любые их сочетания), сводя к минимуму в некотором (взвешенном) смысле разницу между измеренными (посредством физического датчика на физическом объекте/системе) и прогнозируемыми параметрами (полученных из оценки числовой модели).

Взаимосвязь между моделью и измерениями достигается за счет использования инверсных или оценочных алгоритмов. Для настройки переменной определенной модели могут быть использованы общие алгоритмы оптимизации для того, чтобы модель наилучшим образом соответствовала измерениям. Для получения оптимального соотношения между числовой моделью и точностью измерения для итоговой оценки могут быть использованы конкретные методы, такие как фильтрация Калмана и оценка движущегося горизонта.

Для разных областей применения используют разные измерения. Часто используют дискретные датчики (акселерометры, датчики деформации, акустические датчики и т.д.), которые могут быть связаны непосредственно с одним или несколькими переменными модели. В последнее время наблюдается повышенный интерес к использованию измерений поля (такие как системы цифрового видеопредставления, видеоизображения и изображения с камеры) за счет их уникальной способности собирать пространственные данные с высокой плотностью из интересующего кадра.

На сегодняшний момент способы из уровня техники практически не используют полный комплекс информации, зафиксированный от датчиков полного поля (например, датчиков камеры). Способы сосредоточены на извлечение информации только для оценки неподвижного положения объекта, которое требует менее точной обработки и информации о модели. Последнее, например, описано в международной патентной заявке WO2014/055355, патентной заявке США US2009/0297020 и патентной заявке Великобритании GB2504822. Использование их в качестве инструментов визуального измерения обычно дополнялось своего рода промежуточным продуктом для того, чтобы получить относительно меньшее число точек данных, которые могут быть использованы в качестве дискретных точек измерения (например, создание облака точек для оценки положения объекта, определение контура для измерений расположения как, например, описано в международной патентной заявке WO 2012/0407009 и патенте США 9412040); или для считывания косвенных измеренных параметров (здесь конкретным примеров является корреляция цифровых изображений, в которой графическую информацию преобразуют в оценочное измерение деформации структуры). В результате, в рамках оценки никогда не было полностью и напрямую использовано измерение поля с помощью камеры.

Это приводит к нескольким ограничениям вышеописанных существующих подходов:

• При использовании дискретных датчиков:

○ для оценки разных параметров требуются различные типы датчиков;

○ для обеспечения достаточной точности может потребоваться неосуществимо большое число датчиков;

○ дискретные датчики имеют тенденцию быть интрузивными (присутствие датчиков нарушает исследуемый параметр);

• При использовании датчиков поля:

○ для создания дискретных точек измерения информацией часто манипулируют. Таким образом, большая часть имеющихся данных теряется, поскольку информация о модели не соответствует оптимально информации, предоставленной датчиком.

○ Часто для того, чтобы извлечь параметры, охватывающие все поле, информацию обрабатывают с помощью других методов (например, корреляцией цифровых изображений (DIC)), в которых ценные знания о физической системе/объекте не могут быть использованы для повышения точности.

○ Методики чистового измерения поля могут потребовать некоторую подготовку рассматриваемой структуры.

○ Методы, подходящие для случая трехмерной электромеханической машины и/или элементов, требуют по меньшей мере один стерео-передатчик для каждой стороны исследуемой электромеханической машины и/или элемента, что для реальных структур быстро приводит к дорогостоящим требованиям. Также эти способы предоставляют информацию только о видимых частях структуры, но не дают какого-либо представления о невидимых параметрах (например, внутренние деформации).

○ Могут применяться способы, использующие более дорогие методы формирования изображений (изображения с помощью компьютерной томографии CTI, магнитно-резонансная томография MRI, однофотонная эмиссионная компьютерная томография SPECT, позитронно-эмиссионная томография PET, и т.д.), но нуждающиеся в контролируемой среде и непосредственно не применимые для электромеханических машин и элементов, например, на протяжении их плановой эксплуатации. Кроме того, упомянутые методы позволяют создавать трехмерные изображения системы, включая внутренние невидимые части, что не требуется в электромеханических областях применения и значительно увеличивает стоимость способа. Более того большинство этих способов может быть использовано только для статически или квазистатически полученных изображений, и их использование для электромеханических областей применения затруднено, если вообще не невозможно вследствие помех от магнитных полей создаваемых измерительным устройством.

В международной патентной заявке WO2014/127321 изображения, поступающие из дорогих и интрузивных медицинских устройств, таких как CTI, MRI, SPECT или PET, используют для оценки положения органов человеческого тела во время операции и помогают хирургу понять точное расположение чувствительных участков, которые трудно, если не невозможно, увидеть с помощью менее точных интраоперационных средств. Он использует такие трехмерные медицинские изображения в сочетании с числовой моделью для решения проблемы оптимизации, которая в конечном итоге позволяет создать трехмерную модель органов человеческого тела, деформируемую во время операций и наложить ее на менее точные интраоперационные изображения. Это позволяет врачу увидеть численно созданную и более детализированную модель органов пациента. Несмотря на то, что такой подход очень интересен, ему не хватает способности достичь уровня точности и динамического диапазона в оценочных параметрах в сочетании с эффективностью вычисления, которая необходима в электромеханических областях применениях. Более того, он как таковой не применим для электромеханических машин и/или элементов, работающих в их эксплуатационных условиях.

Поэтому существует потребность в новых и усовершенствованных способах определения, основанных на использовании модели.

Сущность изобретения

Целью вариантов осуществления объекта настоящего изобретения является обеспечение оценки электромеханических параметров с помощью цифровых изображений и методов фильтрации, основанных на использовании модели. Вышеуказанная цель достигается способом и устройством в соответствии с настоящим изобретением.

Преимущество вариантов осуществления настоящего изобретения заключается в том, что они могут использовать изображения с низкой стоимостью, т.е. возникающих посредством недорогих методов получения изображений, таких как видеоизображения и/или изображения с фотокамеры. Преимущество вариантов осуществления настоящего изобретения заключается в том, что можно использовать видимые части двухмерных изображений. Таким образом, преимущество заключается в том, что варианты осуществления не требуют внутренних изображений или изображений, являющиеся большими или дорогими, например, как полученные посредством устройств трехмерной визуализации, таких как CTI, MRI, SPECT или PET. Преимущество вариантов осуществления настоящего изобретения заключается в том, что используют фильтрацию, основанную на использовании модели, для того, чтобы вывести поверхность, а также и внутренние параметры электромеханических систем, например, машин.

Преимущество вариантов осуществления в соответствии с настоящим изобретением заключается в том, что применяется изменение во времени оцененных параметров и/или графической информации. Последнее позволяет охватить переходное динамическое движение, которое является ключевым в электромагнитных областях применениях. Преимущество вариантов осуществления настоящего изобретения заключается в том, что подход, основанный на использовании видеосистем, сочетается с динамическими алгоритмами оценки, такими как, например, фильтрация Калмана и/или алгоритмы оценки движущегося горизонта.

Преимущество вариантов осуществления в соответствии с настоящим изобретением заключается в том, что используются высокоточные модели, позволяющие получить необходимый уровень точности. При необходимости, можно избежать больших затрат вычислительных ресурсов, приняв усовершенствованные схемы уменьшения порядка модели.

В первом аспекте настоящее изобретение обеспечивает способ определения физического объекта, включающий обеспечение фотореалистичного виртуального объекта физического объекта, выполнение этапа измерения, причем этап измерения включает фиксирование физического объекта и получение измерений физического поля физического объекта, включающего по меньшей мере одно двумерное изображение, и выполнение этапа оценки, причем этап оценки включает прикладывание внешних возбуждений к фотореалистичному виртуальному объекту для создания измерений фотореалистичного виртуального поля и сравнение измерений фотореалистичного виртуального поля с измерениями физического поля и, таким образом, определения физического объекта.

Способ может включать изменение во времени по меньшей мере одного двухмерного изображения.

Определение физического объекта может включать оценку одного или нескольких следующих параметров физического объекта, например, одного или несколько из следующих электромеханических параметров на электромеханической машине или элементе:

• Состояния: включающие, помимо прочего, положения объекта, скорости, ускорения, деформации, скорости деформации и токи;

• Входные данные: включающие, помимо прочего, механические силы, механические моменты, механические давления и напряжения;

• Характеристики: включающие, помимо прочего, модули Юнга, коэффициенты Пуассона, параметры материала, физические размеры, сопротивление и емкость.

Способ может включать обеспечение оценки изменения во времени указанных параметров физического объекта.

Физическим объектом может быть электромеханическая машина и/или элемент.

Обеспечение фотореалистичного виртуального объекта может включать создание фотореалистичной числовой модели физического объекта.

Выполнение этапа измерения может включать сочетание выходных данных физических датчиков, из которых по меньшей мере один является устройством формирования изображения для визуализации внешней поверхности физического объекта по меньшей мере в одном двухмерном изображении.

Выполнение этапа оценки может включать сочетание измерений фотореалистичного виртуального поля с измерениями физического поля для обеспечения оценки необходимого параметра или параметров, причем этап оценки основан на использовании по меньшей мере показателя сходства между по меньшей мере одним двухмерным изображением физического объекта или его частей и изображениями, которые генерируются фотореалистичным виртуальным объектом.

Выполнение этапа оценки может включать сочетание фотореалистичной числовой модели и этапа измерения для обеспечения оценки необходимых электромеханических параметров, причем этап оценки основан на использовании по меньшей мере показателя сходства между по меньшей мере одним двухмерным изображением электромеханической машины или ее частей и изображений, которые генерируются фотореалистичной числовой моделью.

Физические свойства фотореалистичного виртуального объекта физического объекта могут быть описаны статистической или динамической моделью, полученной как дискретизированная аппроксимация системы.

Преимущество вариантов осуществления настоящего изобретения заключается в том, что изображения или датчики, которые обычно фиксируют двухмерные изображения электромеханической машины и/или элемента, объединены с числовыми моделями, которые способны представлять локализованные и распределенные поля. В рамках оценки обеспечивается более эффективный способ сочетания изображений с камеры и видеоизображений, использующих весь потенциал измеряемой информации.

В предпочтительных вариантах осуществления физические свойства фотореалистичной электромеханической числовой модели описываются статистической или динамической моделью, полученной как дискретизированная аппроксимация системы, описываемая обыкновенными дифференциальными уравнениями, частными дифференциальными или дифференциально-алгебраическими уравнениями, таким как, помимо прочего: модели с сосредоточенными параметрами, конечно-элементные модели, вычислительные гидродинамические модели, упругие многотельные модели или их сочетания.

В предпочтительных вариантах осуществления фотореалистичная электромеханическая числовая модель выполнена эффективной в отношении вычисления путем использования одного или нескольких методов уменьшения порядка линейной и нелинейной модели. Высокая точность может быть гарантирована высокоразмерным описанием электромеханической модели или по меньшей мере ее частей, которые сравниваются с изображениями с камеры и/или с видеоизображениями. Высокая точность необходима для того, чтобы получить количественные результаты, в то время как уменьшение порядка модели необходимо для сохранения точности вычисления таких вычислительно затратных моделей. Поскольку модель решается во временном интервале, то это требуется для достижения приемлемых вычислительных нагрузок. Одним или несколькими методами уменьшения порядка линейной или нелинейной модели может быть одно или несколько из синтез составляющих форм колебаний, методов Крылова, собственно ортогональной декомпозиции, динамической формы декомпозиции, сбалансированного усечения данных, дискретного метода эмпирической интерполяции, энергосберегающей дискретизации и весовой обработки данных.

В сущности, эти методы позволяют рассматривать динамические эффекты и изменение во времени электромеханических оценочных параметров, обеспечивая (в определенном смысле) оптимальное соотношение между точностью изображения и точностью модели. В предпочтительных вариантах осуществления оценку получают с помощью методов динамической фильтрации в сочетании как с цифровыми изображениями, так и с фотореалистичной электромеханической числовой моделью. Эти методы включают, помимо прочего: методы, основанные на фильтре Калмана, методы оценки движущегося горизонта, наблюдатель Люэнбергера, и т.д.

В предпочтительных вариантах осуществления алгоритм оценки предусматривает оценивание границ стохастической ошибки расчетных электромеханических параметров.

Модель может быть решена во временном интервале.

Оценка может быть получена за счет методов динамической фильтрации в сочетании как с видеоизображениями, изображениями, так и с фотореалистичной числовой моделью.

Этап оценки может предусматривать оценку границ стохастической ошибки расчетных параметров физического объекта.

Способ может включать измерение и использование набора параметров физического объекта в качестве известных входных данных фотореалистичного виртуального объекта.

Способ может включать измерение и использование дополнительных электромеханических параметров в дополнение к видеоизображениям и изображениям с камеры во время этапа оценки.

В предпочтительных вариантах осуществления известен набор электромеханических параметров. Эти известные параметры используют для улучшения точности остальных оценочных параметров в алгоритме оценки.

В предпочтительных вариантах осуществления измеряется набор электромеханических параметров. Эти измеренные параметры используют для повышения точности оценочных параметров в алгоритме оценки. Такие измерения включают, помимо прочего: датчики деформации, акселерометры, тензодатчики с волоконными решетками Брэгга, гироскопы, датчики напряжения, датчики тока, датчики температуры, акустические датчики и т.д.

В предпочтительных вариантах осуществления обеспечение фотореалистичной электромеханической числовой модели включает создание числовой модели физической электромеханической машины и/или элемента и текстурирование геометрической конфигурации модели по меньшей мере с одним изображением.

В предпочтительных вариантах осуществления измерения физического поля электромеханической машины представляют собой деформированные физические поля.

Во втором аспекте настоящее изобретение обеспечивает процессорную систему, причем процессорная система адаптирована для выполнения способа в соответствии с вариантами осуществления настоящего изобретения.

В третьем аспекте настоящее изобретение относится к системе для характеризации физического объекта, содержащей по меньшей мере одно средство для измерения параметров физического объекта и процессор, адаптированный для приема выходных данных от по меньшей мере одного средства для измерения полей физического объекта и адаптированный для выполнения способа описанного выше.

В одном аспекте, настоящее изобретение также обеспечивает систему для оценки электромеханических параметров, причем система содержит:

• по меньшей мере одно средство для получения цифровых изображений физической электромеханической машины;

• процессор, адаптированный для приема выходных данных по меньшей мере от одного средства для получения изображений и видеоизображений физической электромеханической системы и адаптированный для выполнения способа, предлагаемого в предпочтительных вариантах осуществления.

Преимущество вариантов осуществления заключается в том, что фотореалистичная числовая модель создается так, что ее можно визуализировать за счет одной или нескольких разных видимых точек и конфигураций, и она визуально имеет сходство с физической электромеханической машиной и/или элементом: одним словом, она является фотосогласованной с физической электромеханической машиной и/или элементом.

Электромеханическая числовая модель может отображаться на любом экране или устройстве, позволяющем ее визуализировать.

Способ в соответствии с вариантом осуществления настоящего изобретения включает несколько этапов, использующих различные методы. Преимущество вариантов осуществления настоящего изобретения заключается в том, что оптимальный способ обеспечивается высокой точностью и большой эффективностью вычислений.

Эффективность вычислений может быть реализована следующим образом: используя эффективность числовой модели, подробно описанной далее в описании изобретения, для создания фотореалистичной электромеханической числовой модели могут использоваться двухмерные или трехмерные модели. Методами, предназначенными для получения таких числовых моделей являются (помимо прочего): линейные или нелинейные конечные элементы, конечные объемы, конечные разности, многотельные и упругие многотельные модели, изогеометрические модели или любые способы моделирования, позволяющие дискретизировать системы алгебраических, обычных дифференциальных, частно-дифференциальных и дифференциально-алгебраических уравнений. Описанные методы приводят к точному числовому описанию физической электромеханической машины, но часто приводят к очень большому количеству степеней свободы (до нескольких миллионов) и уравнениям, которые необходимо решить для получения репрезентации двухмерных и трехмерных распределенных полей (положений объекта, ускорений, деформаций и т.д.). Затраты вычислительных ресурсов, необходимые для решения этих систем уравнений (например, уравнений движения, уравнений оценки и т.д.) могут стать непомерно высокими. В последние десятилетия были разработаны некоторые методы, предоставляющие более быстрое, но точное решение, под названием уменьшение порядка линейной или нелинейной модели (MOR). Как таковое применение этих методов является полем исследования и представляет собой нетривиальный шаг, который может быть принять во время подготовки модели. MOR-методы могут быть использованы в предлагаемом изобретении для достижения значительного сокращения затрат вычислительных ресурсов, что приводит к допустимому времени вычисления на этапе оценки изобретения. MOR-методы не нужны для успешной реализации предлагаемого изобретения, но представляют собой метод достижения масштабируемого способа, в котором точность и скорость расчета представляют собой выбор оптимального соотношения, который будет выбран разработчиком модели. В частности, такие (помимо прочего) методы как: отбрасывание форм колебаний, синтез составляющих форм колебаний, уменьшение пространства Крылова, сбалансированное усечение данных, собственно ортогональная декомпозиция, энергосберегающая дискретизация и весовая обработка данных, эмпирический и дискретный метод эмпирический интерполяции, глобальная модальная параметризация, обобщенный синтез составляющих форм колебаний, уменьшение траектории кусочно-линейной модели, ManiMor, правильное обобщенное разложение, методы уменьшения порядка параметрической модели, методы сверхуменьшения, или любой другой способ, который подходит для сокращения затрат вычислительных ресурсов, налагаемых числовыми моделями за счет уменьшения исходного количества степеней свободы и/или уравнений. Эти методы имеют не только преимущества в снижении количества степеней свободы, но могут показать некоторые другие ценные преимущества, такие как снижение числовой жесткости рассматриваемой проблемы с вытекающими из этого преимуществами с точки зрения решающего устройства (более высокий разрешенный временной шаг, улучшение стабильности и т.д.). Если используется MOR-метод, то первостепенное значение имеет выбор правильного способа в соответствии с конкретной проблемой; MOR сам по себе является областью техники, и для получения оптимальных характеристик вычисления без существенного снижения точности все еще необходима надежная техническая оценка.

Также в предлагаемом изобретении может быть использовано эффективное визуальное воспроизведение, но это не является обязательным шагом. Оно может быть задействовано с помощью методов эффективного визуального воспроизведения в качестве процесса получения изображений фотореалистичных электромеханических числовых моделей с использованием графических процессоров с современными архитектурами с их программируемой магистралью. Сочетание с моделями с уменьшенным порядком обеспечивает изобретение, позволяющее быстро генерировать цифровые изображения фотореалистичной электромеханической числовой модели. Более того, использование широкомасштабных параллельных ускорителей для эффективности вычисления имитируемых параметров поля в рамках MOR-схемы является нетривиальным техническим шагом, который повышает потенциальные области промышленного применения настоящего изобретения в противовес другим способам, например, как указано в международной патентной заявке WO2014/127321, которые для своей успешности опираются на контролируемые (медицинские) условия.

Оценка электромеханических параметров может разрешаться с помощью одного или нескольких методов оценки. Преимущество этого изобретения позволяет использовать алгоритмы оценки временного интервала, такие как (помимо прочего) фильтрация Калмана, оценка движущегося горизонта и/или наблюдатель Люэнбергера и т.д. Алгоритмы оценки могут позволить использовать динамические переходные числовые модели электромеханических машин и/или элемента, которые содержат информацию о всем изменении во времени оценочных параметров, включающих видеоизображения и изображения, измеренные с помощью камеры и/или созданные с помощью фотореалистичной электромеханической числовой модели.

В некоторых вариантах осуществления алгоритмы оценки могут позволить получить стохастическую ошибку измерения несоответствия между физическими электромеханическими параметрами и оценочными электромеханическими параметрами.

Качество полученных видеоизображений или изображений с фотокамеры вместе с подходом оценки и степенями сходства может позволить достичь точности, которая на один-три порядка размера меньше, чем размер пикселя.

В одном аспекте настоящее изобретение также обеспечивает способ для оценки одного или нескольких следующих электромеханических параметров на электромеханической машине или элементе:

• Состояния: включающие, помимо прочего, положения объекта, скорости, ускорения, деформации, скорости деформации и токи;

• Входные данные: включающие, помимо прочего, механические силы, механические моменты, механические давления и напряжения;

• Характеристики: включающие, помимо прочего, модуль Юнга, коэффициенты Пуассона, параметры материала, физические размеры, сопротивление и емкость и т.д.

способ, включающий:

• создание фотореалистичной числовой модели электромеханической машины или ее части;

• этап измерения, позволяющий объединять физические датчики, из которых по меньшей мере один является устройством формирования изображения, позволяющим фиксировать вид внешней поверхности физической электромеханической машины или ее частей в одном или нескольких двухмерных изображениях,

• этап оценки, сочетающий фотореалистичную числовую модель и этап измерения для обеспечения оценки необходимых электромеханических параметров.

• В основном этап оценки основан, но не только, на использовании показателя сходства между по меньше мере одним или несколькими двухмерными изображениями электромеханической машины или ее частей и изображениями, образованными посредством фотореалистичной числовой модели.

В одном аспекте настоящее изобретение относится к способу определения физического объекта, причем способ включает обеспечение фотореалистичного виртуального объекта физического объекта, и выполнение этапа эксплуатации, причем этап эксплуатации включает этап измерения, а этап измерения включает фиксирование физического объекта и получение измерений физического поля физического объекта, и этап оценки, причем этап оценки включает приложение внешних возбуждений к фотореалистичному виртуальному объекту для создания измерений фотореалистичного виртуального поля и сравнение измерений фотореалистичного виртуального поля с измерениями физического поля и, таким образом, определение физического объекта.

Сравнение измерений фотореалистичного виртуального поля с измерениями физического поля может включать согласование измерений фотореалистичного виртуального поля с измерениями физического поля и воспроизведение возбуждения, приводящего к указанному согласованию.

Сравнение измерений фотореалистичного виртуального поля с измерениями физического поля может включать минимизацию функции стоимости, представляющей собой меру сходства измерений фотореалистичного виртуального поля с измерениями физического поля.

Внешние возбуждения могут быть известны или оценены.

Обеспечение фотореалистичного виртуального физического объекта может включать создание модели или виртуального объекта физического объекта и текстурирование модели по меньшей мере с одним изображением физического объекта.

Создание модели физического объекта может включать этап создания модели и этап ее фиксирования.

Этап фиксирования модели может включать позиционирование и ориентирование физического объекта и модели.

Модель представлять собой числовую модель.

Модель может представлять собой двух- или трехмерную модель.

Текстурирование модели по меньшей мере с одним изображением может включать использование способа визуализации, основанного на анализе изображений так, что модель или виртуальный объект физического объекта согласуется по меньшей мере с одним изображением физического объекта.

По меньшей мере одно изображение может быть получено при фиксировании во время этапа измерения.

Причем, по меньшей мере одно изображение может быть получено с помощью средства получения фото или видеоизображений, средств получения изображений на магнитной основе, средств радиографической визуализации, средств получения изображения с помощью твердотельных или сканирующих детекторов света и/или средств термографической визуализации.

Измерения физического поля физического объекта могут быть получены с помощью измерения физического объекта при статическом и динамическом возбуждении.

Измерения физического поля физического объекта могут представлять собой распределенные и/или деформированные физические поля.

Настоящее изобретение также относится к процессорной системе, причем процессорная система адаптирована для выполнения описанного выше способа.

Кроме того, настоящее изобретение может относиться к системе для определения физического объекта, причем система содержит

- по меньшей мере одно средство для измерения полей физического объекта;

- процессор, адаптированный для приема выходных данных по меньшей мере от одного средства для измерения полей физического объекта и адаптированный для выполнения описанного выше способа.

Конкретные и предпочтительные аспекты изобретения изложены в прилагаемых независимых и зависимых пунктах формулы. При необходимости, признаки зависимых пунктов формулы могут быть объединены с признаками независимых пунктов формулы и с признаками других зависимых пунктов формулы, а не сугубо точно как указано в формуле изобретения. Аналогично, при необходимости, необязательные и/или стандартные признаки разных аспектов могут быть объединены, а не сугубо точно как указано в формуле изобретения. Эти и другие аспекты изобретения будут очевидными и разъяснены со ссылкой на описанный ниже вариант(-ы) осуществления изобретения.

Краткое описание графических материалов

На ФИГ. 1 изображен способ в соответствии с вариантами осуществления настоящего изобретения.

На ФИГ. 2 изображен способ в соответствии с вариантами осуществления настоящего изобретения.

На ФИГ. 3А-3С изображено создание модели в соответствии с вариантами осуществления настоящего изобретения.

На ФИГ. 4А-4С изображен этап фиксирования модели в соответствии с вариантами осуществления настоящего изобретения.

На ФИГ. 5А-5С изображено создание фотореалистичной (электро)механической числовой модели в соответствии с вариантами осуществления настоящего изобретения.

На ФИГ. 6 показаны изображения измерений физической (электро)механической машины и/или элемента в соответствии с вариантами осуществления настоящего изобретения.

На ФИГ. 7A-7D изображен этап или фаза оценки в соответствии с вариантами осуществления настоящего изобретения.

На ФИГ. 8 изображена возможная схема работы способа в соответствии с вариантами осуществления настоящего изобретения.

На ФИГ. 9 изображены возможные программно-аппаратные комплексы в соответствии с вариантами осуществления настоящего изобретения.

На ФИГ. 10 изображена сущность способа в соответствии с вариантами осуществления настоящего изобретения.

Графические материалы являются только схематичными и не ограничивающими объем настоящего изобретения. В иллюстративных целях размер некоторых элементов на графическим материалах может быть увеличен и не изображен в масштабе. Любые ссылочные позиции в формуле изобретения не должны толковаться как ограничивающие объем настоящего изобретения.

На разных графических материалах одни и те же ссылочные позиции относятся к одинаковым или аналогичным элементам.

Подробное описание иллюстративных вариантов осуществления изобретения

Настоящее изобретение будет описано в отношении конкретных вариантов осуществления и со ссылкой на некоторые графические материалы, причем изобретение не ограничено этим, а только формулой изобретения. Описанные графические материалы являются только схематичными и не ограничивающими объем настоящего изобретения. В иллюстративных целях размер некоторых элементов на графическим материалах может быть увеличен и не изображен в масштабе. На практике размеры и относительные размеры не соответствуют действительным уменьшенным формам изобретения.

Кроме того, термины первый, второй и т.п. в описании и в формуле изобретения используются для различения подобных между собой элементов и не необязательно для описания последовательности либо временным, пространственным образом, либо ранжированием, либо любым другим способом. Следует понимать, что используемые таким образом термины взаимозаменяемые при соответствующих обстоятельствах и, что описанные здесь варианты осуществления изобретения способны функционировать в других последовательностях, нежели здесь описано или проиллюстрировано. Более того, термины «верх», «под» и подобные в описании и формуле изобретения используются в описательных целях, а не обязательно для описания относительных положений. Следует понимать, что используемые таким образом термины взаимозаменяемые при соответствующих обстоятельствах и, что описанные здесь варианты осуществления изобретения способны функционировать в других ориентациях, нежели здесь описано или проиллюстрировано.

Следует отметить, что используемый в формуле термин «включающий», не должен интерпретироваться как ограниченный перечисленными ниже средствами; он не исключает другие элементы или этапы. Таким образом, это должно интерпретироваться как детализирование наличия заявленных признаков, целых чисел, этапов или элементов, как указано, но не исключает наличия или добавления одного или нескольких других признаков, целых чисел, этапов или элементов, или их групп. Таким образом, объем выражения «устройство, содержащее средства А и В» не может быть ограничен устройствами, состоящими только из элементов А и В. Это означает, что в отношении настоящего изобретения, единственными подходящими элементами устройства являются А и В. Ссылка во всем этом описании изобретения на «один вариант осуществления» или «на вариант осуществления» означает что конкретный признак, структура или характеристика, описанные в связи с вариантом осуществления, включены по меньшей мере в один вариант осуществления настоящего изобретения. Таким образом, появление фраз «в одном варианте осуществления» или «в варианте осуществления» в разных местах в тексте данного описания может, но не обязательно, относиться к одному и тому же варианту осуществления изобретения. Кроме того, конкретные признаки, структуры или характеристики могут быть объединены любым подходящим способом, как это было бы очевидно специалисту в данной области техники из данного описания, в одном или нескольких вариантах осуществления изобретения.

Аналогичным образом следует понимать, что с целью упрощения описания и способствования пониманию одно или нескольких различных изобретательных аспектов в описании иллюстративных вариантов осуществления изобретения, различные признаки изобретения иногда группируются вместе в одном варианте осуществления, фигуре или их описании. Однако, этот способ описания не должен быть интерпретирован как отражающий намерение, согласно которому заявленное изобретение требует больше признаков, чем явно указано в каждом пункте формулы изобретения. Скорее, как следует из следующей ниже формулы изобретения, изобретательские аспекты заключаются в меньшей степени, чем все признаки одного вышеизложенного раскрытого варианта осуществления изобретения. Таким образом, формула изобретения, приведенная после подробного описания настоящего изобретения прямо включена в это подробное описание, причем каждый пункт формулы сам по себе является отдельным вариантом осуществления настоящего изобретения.

Хотя описанные здесь некоторые варианты осуществления включают некоторые, но не дополнительные признаки, включенные в другие варианты осуществления изобретения, кроме того, предполагается, что сочетания признаков разных вариантов осуществления находятся в рамках объема изобретения и образуют разные варианты осуществления, как это понимают специалисты в данной области техники. Например, в приведенной ниже формуле изобретения, любой из заявленных вариантов осуществления может использоваться в любом сочетании.

Многочисленные конкретные детали представлены в приведенном здесь описании. Однако, понятно, что варианты осуществления изобретения могут быть осуществлены без этих конкретных деталей. В других случаях хорошо известные способы, структуры и методы не были отображены подробно для того, чтобы не затруднять понимание данного описания.

В первом аспекте, как показано на ФИГ. 1, настоящее изобретение обеспечивает способ определения физической электромеханической машины и/или элемента, причем способ включает обеспечение фотореалистичной электромеханической числовой модели физической электромеханической машины и/или элемента и выполнение этапа оценки. Этап оценки включает этапы измерения и оценки, причем этап измерения включает фиксирование физической электромеханической машины и/или элемента и получение одного или нескольких изображений или видеоизображений физической электромеханической машины и/или элемента, и этап оценки включает выполнение моделирования по времени фотореалистичной электромеханической числовой модели для создания имитированных фотореалистичных изображений электромеханической числовой модели и сравнение имитированных изображений и/или видеоизображений с изображениями и/или видеоизображениями физической электромеханической машины и, таким образом, «определение» физической электромеханической машины и/или элемента в алгоритме оценки. В других вариантах осуществления, как показано на ФИГ. 2, обеспечение фотореалистичной электромеханической числовой модели физической электромеханической машины и/или элемента может быть задействовано на этапе калибровки путем создания числовой модели физической электромеханической машины и/или элемента и текстуризации числовой модели по меньшей мере с одним изображением физической электромеханической машины и/или элемента. В результате, варианты осуществления настоящего изобретения описывают схему работы и методологию для дополнения числовых моделей физических систем и/или объектов.

Конкретнее, для дополнения числовых моделей измерениями поля, например, изображениями и/или видеоизображениями физической электромеханической машины и/или элемента. Это дополнение может быть получено посредством текстуризации числовой модели, используя изображения и/или видеоизображения физической электромеханической машины и/или элемента.

Изображения или видеоизображения физической электромеханической машины и/или элемента могут быть получены с помощью любого оборудования для сбора данных, предназначенного для фиксации изображений, например, цифровых фото/видео камер. В соответствии с вариантами осуществления настоящего изобретения, изображения или видеоизображения представляют собой двухмерные изображения или видеоизображения.

В вариантах осуществления настоящего изобретения фотореалистичную электромеханическую числовую модель создают так, что она (часть ее) внешне очень похожа на электромеханическую машину и/или элемент, который отображается посредством оборудования для получения данных (например, фото и видео камер) и программного обеспечения. Это сходство именуется как «фотопоследовательность». Созданная фотореалистичная электромеханическая числовая модель допускает ее фотореалистичную визуализацию при различных состояниях (например, состояние покоя, движение, деформированное состояние, температура), чтобы впоследствии использовать для получения изображений и/или видеоизображений такой фотореалистичной электромеханической числовой модели.

Фотореалистичная электромеханическая числовая модель может быть дополнена визуализацией (частями) электромеханических оценочных параметров, представляющих интерес для пользователя вариантов осуществления настоящего изобретения.

В современных наработках в области оценки данные, полученные от датчиков поля преобразуются в переменные, которые могут быть найдены непосредственно в виртуальном объекте (например, изображения с камеры преобразуют в движение ограниченного числа точек, которые затем можно будет сравнить с движением таких же точек в механической модели). Однако, в вариантах осуществления настоящего изобретения фотореалистичная электромеханическая числовая модель создается так, что визуально ведет себя как физическая электромеханическая машина и/или элемент. Таким образом, изображения фотореалистичной электромеханической цифровой модели могут быть непосредственно сравнены с изображениями электромеханической машины и/или элемента, например, в условиях ее эксплуатации.

Сравнение может быть основано на способах, относящихся к области корреляции цифровых изображений (DIC), сравнивая интенсивность пикселей, посредством оценки движения, посредством выделения характерных признаков или любыми другими подходящими средствами. Впоследствии могут быть применимы методы оценки с помощью, например, фильтра Калмана, оценки движущегося горизонта (МНЕ) или наблюдателя Люэнбергера. Этот этап является предпочтительным для получения оценок неизвестных электромеханических параметров, таких как «распределенные поля» (например, смещения, скорости, механические напряжения, деформации, ускорения, температуры и т.д.), «локализованные измерения» (например, смещения, скорости, механические и термические напряжения/деформации, ускорения, температуры и т.д.), «состояния системы», неизвестные входные данные или внутренние нагрузки или любой вид «входных данных» (например, силы, крутящие моменты, источники тепла, напряжение и т.д.) и/или «характеристики» (геометрические размеры, жесткость, масса, плотность, свойства материалов и т.д.), возможно, изменяясь со временем. Распределенные поля, неизвестные возбуждения, локализованные состояния измерительных систем и характеристики, указанные далее и ранее, называются оценочными электромеханическими параметрами.

Достижение описанных выше точных оценок переменных связано с одним или несколькими различными этапами.

Варианты осуществления настоящего изобретения обеспечивают числовой/экспериментальный процесс, включающий один или несколько из следующих этапов или аспектов: этап подготовки и этап оценки. При этом, этап подготовки может включать построение модели, этап создания и фотореалистичное «дополнение» электромеханической числовой модели. Этап оценки может включать фазу измерения и фазу оценки, а именно, оценку, основанную на фотореалистичной модели.

Как, в общем, указано, способ в соответствии с вариантами осуществления настоящего изобретения может быть разделен на две основные фазы. Фаза подготовки может включать следующее: этапы, на которых электромеханическую числовую модель готовят, фиксируют и преобразовывают в фотореалистичную электромеханическую числовую модель в соответствии с вариантами осуществления настоящего изобретения. Однако, другие альтернативные методы, известные из уровня техники, приводят к такому же результату, что и фаза подготовки, например, фотореалистичная электромеханическая числовая модель, также может быть использована напрямую как входные данные для фазы оценки, если она доступна с помощью других средств. В соответствии с некоторыми вариантами осуществления настоящего изобретения имитация вычислительной нагрузки фотореалистичной электромеханической числовой модели уменьшается посредством методов уменьшения порядка модели.

В соответствии с вариантами осуществления фаза оценки включает фазу измерения, в которой цифровые изображения или видеоизображения электромеханической машины и/или элемента получают вместе с временными рядами других необязательных датчиков, и соответствующую фазу оценки, в которой оценивают значения необходимых переменных. В контексте оценки фаза оценки преимущественно использует фотореалистичную электромеханическую числовую модель. В соответствии с вариантами осуществления настоящего изобретения изображения или видеоизображения включают двухмерные изображения или видеоизображения.

В вариантах осуществления настоящего изобретения может быть обеспечена фаза или этап подготовки. Указанные фаза или этап калибровки может включать (1) этап определения модели, (2) этап фиксирования модели и (3) создание фотореалистичной модели.

В соответствии с вариантами осуществления настоящего изобретения этап создания модели может включать этап создания, во время которого используют численный метод для создания численного представления физической электромеханической машины и/или элемента, переменные которых должны быть оценены. В частности, используются способы, предоставляющие двух- или трехмерные представления физической электромеханической машины и/или элемента (например, реалистичная визуализация или фотопоследовательность). На ФИГ. 3А-3С изображено определение и создание модели в соответствии с вариантами осуществления настоящего изобретения. В качестве первого этапа создают геометрическую конфигурацию модели, например, облаком точек, CAD и т.д. После этого выполняют дискретизацию модели, например, конечно-элементная модель (FEM), упругая многотельная модель и т.п.

В качестве иллюстрации на ФИГ. 3А и 3В изображены структурные КЭ-модели (электро)механического элемента, например, конструкции двухопорной балки. А именно, на ФИГ. 3А изображен вид сверху КЭ-модели балки, тогда как на ФИГ. 3В изображена КЭ-модель L-образной балки. На ФИГ. 3С изображена подробная упругая многотельная модель подвески транспортного средства. В вариантах осуществления полная или частичная форма реконструкции электромеханической машины и/или элемента отражается в модели. Предпочтительно, причем изобретение не ограничено этим, чтобы выбранный способ был способен представлять распределенные параметры, такие как положения объекта, ускорения, скорости, механические или термические деформации, механические напряжения, температуры и т.д. Помимо прочего, числовые модели и способы моделирования представлять собой: (а) (линейные и нелинейные) конечные элементы, конечные объемы, конечные разности, многотельные и упругие многотельные модели, изогеометрические модели и т.д.; (2) возможные варианты выбора представляют собой способы моделирования, позволяющие дискетизировать системы алгебраических, обыкновенных дифференциальных, частично дифференциальных и дифференциально-алгебраических уравнений; и (3) также возможен дальнейший выбор способов моделирования, позволяющих непрерывное представление электромеханической машины и/или элемента.

Типичными примерами являются структурные и термические конечно-элементные модели механических элементов и упругие многотельные системы механизмов, которые можно найти во всех машинах, транспортных средствах, области энергетики, электромеханических моделях и т.д. Эти трехмерные модели могут быть основаны на разработанных чертежах с помощью CAD или на трехмерном сканировании электромеханической машины и/или элемента. В общем случае двухмерные и трехмерные числовые модели, которые способны представлять распределенные поля, являются затратными в отношении вычисления. В таком случае предпочтительными являются методы, такие как уменьшение порядка линейной или нелинейной модели (MOR) для повышения скорости вычислений с небольшими потерями точности.

Для определения и создания модели доступно несколько исследовательских и промышленных инструментов. В идеальном случае электромеханическая числовая модель должна быть тщательно обновлена, чтобы соответствовать режиму работы физической электромеханической машины и/или элемента по отношению к, например, статистическим и динамическим характеристикам или любым другим характеристикам и режимам работы, представляющим интерес.

В соответствии с вариантами осуществления настоящего изобретения на следующем этапе после создания фотореалистичной электромеханической числовой модели может выполняться фиксирование модели. Фиксирование модели может включать по меньшей мере один из следующих этапов: этап реконструкции формы, обновление геометрической конфигурации и положения модели и изменение ориентации виртуальной и электромеханической машины и/или элемента в соответствии с одним из несколькими способами известными из уровня техники.

Могут быть использованы различные способы для того, чтобы повысить точность сравнения изображений физической электромеханической машины и/или элемента с изображениями фотореалистичной электромеханической числовой модели с помощью добавления большей «глубины детализации» или «контраста» к физической электромеханической машине и/или элементу. Способами могут быть (помимо прочего): применение маркеров или высококонтрастных шаблонов с помощью, например, аэрозольной краски, стакеров или любых средств, которые могут быть использованы для точного отслеживания их геометрической конфигурации. Этот последний этап необязателен, и может быть использована физическая электромеханическая машина и/или элемент (поверхность) природных объектов, когда точность позволяет это.

В дополнительных вариантах осуществления настоящего изобретения этап фиксирования модели может включать изменение геометрической конфигурации, расположения, ориентации в пространстве виртуального объекта для того, чтобы точно соответствовать тем же (геометрическим) характеристикам электромеханической машины и/или элемента по отношению к общей выбранной системе координат. Этот этап может быть достигнут посредством методов оптимизации, позволяющих точное расположение и размещение в пространстве. В частности, две или более точки в исходной конфигурации могут быть использованы для создания прямого соответствие между числовой геометрической конфигурацией модели и геометрической конфигурацией физической системы/элемента в пространстве. Эти точки называют контрольными точками и используются для точной ориентации числовой модели и согласования ее с физической системой/элементом. Последний подход является только одной возможностью, которая может быть использована, а общая структура не ограничивается этим. Может быть использован любой способ, который позволяет точную настройку и геометрическое соответствие между числовой геометрической конфигурацией модели и физической системой/элементом.

На ФИГ. 4А-С изображено фиксирование модели в соответствии с вариантами осуществления настоящего изобретения, где на ФИГ. 4А показано изображение (электро)механической машины и/или элемента, которые зафиксированы, а именно консольная балка, усиленная спекл-структурой. На ФИГ. 4В изображена реконструкция модели, а именно реконструкция облака точек (электро)механической машины и/или элемента. В результате обеспечивается реконструкция трехмерного вида, в которой получено облако точек. Наконец, на ФИГ. 4С изображена обновленная конечно-элементная модель (КЭ) консольной балки, где числовую модель обновляют и ее ориентация изменяется так, что она представляет собой ориентированную КЭ-модель и расположена подобно физической (электро)механической машине и/или элементу. А именно, поверхность числовой КЭ-модели соответствует точечному облаку и ориентирована как объект, представленный на ФИГ. 4А. Чтобы включить вышеописанное, может быть использовано программное обеспечение для получения изображения отслеживания движения: например, получение изображений и видеоизображений, отслеживание сгустка, выявление особенностей и т.д.

Может быть использовано по меньшей мере одно устройство измерения поля при условии, что эти устройства могут представлять собой, помимо прочего (в этом изобретении предпочтительно использование фото и видеокамер, но при этом в рамках этого изобретения могут использоваться другие средства, причем эти другие средства могут повышать или снижать цену наладки, ограничивать или расширять ее промышленную применимость и повышать либо понижать ее точность): (а) фото или видеокамеры, причем качество изображений предпочтительно относительно высокое и малошумное, кроме того могут использоваться статические изображения, усреднение многократных изображений может улучшить использование недорогих камер и в зависимости от необходимой точности камеры могут представлять собой средства с низким качеством изображения, такие как вебкамеры, а также высококачественные и высокоскоростные мегапиксельные камеры. В соответствии с вариантами настоящего изобретения используются по меньшей мере двухмерные изображения или видеоизображения. Изображения и видеоизображения могут быть получены как в сером, так и в цветном виде (например, 8 бит и выше), (b) средства магнитной визуализации, например, МРТ-сканер, где эти сканеры выполняют визуализацию, основанную на магнитной чувствительности исследуемого объекта. Эти сканеры часто объединяют с методами томографии для того, чтобы создавать всю трехмерную информацию. Однако, этот последний этап необязателен для целей оценки, обсуждаемых в этой работе; (с) средства радиографической визуализации, например, рентгеновская визуализация, причем эти устройства выполняют визуализацию поля объекта, основанную на принципах радиографии и, в частности, подходят для получения информации внутри объекта; (d) твердотельные или сканирующие устройства обнаружения света и дальномерные устройства, например, лидар (LiDar), которые предоставляют информационное поле о расстоянии большого количество точек относительно датчика, и (е) средства или камеры для термографической визуализации, которые фиксируют свет в инфракрасном диапазоне (а не в видимом диапазоне как фотокамера), могут использоваться для определения температур, а также могут использоваться в отсутствии источника света.

В дополнительных вариантах осуществления передача данных от камеры на целевой ПК может выполняться с помощью протокола любого типа в зависимости от скорости и количества передаваемых данных, например, CameraLink, USB3, GiGe, CoaXPress и т.д. В зависимости от области применения эта передача данных может выполняться в режиме реального времени, онлайн или оффлайн. В дополнительных вариантах осуществления могут быть использованы устройства ввода и регистрации кадров изображений: при наличии потенциально большого количества полученных данных может потребоваться устройство ввода и регистрации кадров изображений для обеспечения быстрого соединения между камерами и носителем информации, таким как оперативная память, жесткий диск или твердотельный накопитель или любой тип памяти, который может быть использован для этой цели.

В дополнительных вариантах осуществления настоящего изобретения этап подготовки может дополнительно включать создание и визуализацию фотореалистичной электромеханической числовой модели. Процедура позволяющая создать представленное изображение числовой модели, так что к виртуальное поле измерений, близко соответствует измеренному полю /напоминает (часть) измеренного поля на электромеханической машине и/или элементе; или, другими словами, числовая модель становится «фотопоследовательной». В результате созданная модель может быть названа как «фотореалистичная электромеханическая числовая модель». Этот аспект может быть выполнен с помощью любой процедуры визуализации изображений (например, текстурное отображение зависимого изображения) или любой процедуры, которая позволяет достигнуть такого же результата.

Например, могут быть использованы изображения физической электромеханической машины и/или элемента, сохраненные на любых предыдущих этапах, и каждой части реконструированной поверхности фотореалистичной электромеханической числовой модели (состоящая, например, из треугольников и прямоугольников) назначают определенную структуру путем объединения всех или части изображений, которые визуально покрывают эти определенные участки поверхности. Объединение может быть получено, например, с применением методов интерполяции. Интерполяция может быть выполнена, например, путем выбора весов, пропорциональных показателю расстояния между выбранной поверхностью и поверхностью камеры. Для объединения текстур или интерполяции текстур могут применяться другие способы. Интерполяция может соблюдать правило разбиения единицы. Наконец, создают фотореалистичная электромеханическую числовую модель, которая может быть визуализирована из одной или несколько разных видимых точек и конфигураций, и она визуально напоминает электромеханическую машину и/или элемент: одним словом она фото последовательна с физической электромеханической машиной и/или элементом. Фотопоследовательные изображения электромеханической числовой модели или виртуального объекта могут быть получены с помощью таких методов как визуализация текстуры или любым другим методом, который позволяет хранить изображения, воспроизводимые на экранах или устройствах в целом. Этап создания фотореалистичной электромеханической числовой модели может быть выполнен любым подходящим методом из существующего уровня техники, в области моделирования, основанного на анализе изображений, и визуализации.

На ФИГ. 5А-5С изображена фотореалистичная электромеханическая числовая модель или этап создания виртуального объекта в соответствии с вариантами осуществления настоящего изобретения. При моделировании, основанном на анализе изображений, и визуализации (например, с помощью текстурного отображения зависимого изображения) создают фотореалистичную электромеханическую числовую модель или виртуальный объект. На ФИГ. 5А показано изображение физической электромеханической машины и/или элемента, например, консольной балки, причем физическая электромеханическая машина и/или элемент усиливают с помощью спекл-структуры. Затем это изображение используют для создания текстурированного виртуального объекта. На ФИГ. 5В изображена увеличенная в масштабе часть поверхности КЭ-модели (которая включает треугольники), где балка дискретизирована и перекрыта спекл-структурами, представленными изображениями (пятнистая балка, изображенная на ФИГ. 5А). На ФИГ. 5В текстуру назначают треугольникам КЭ-сетки. Наконец, на ФИГ. 5С изображена фотореалистичная электромеханическая числовая модель или виртуальный объект в соответствии с вариантами осуществления настоящего изобретения, а именно, на этой фигуре изображена предоставленная КЭ-модель балки, которая очень похожа или является фотопоследовательной с электромеханической машиной и/или элементом, изображенным на ФИГ. 5А. Варианты осуществления настоящего изобретения включают этап эксплуатации, причем этап эксплуатации включает этапы измерения и оценки. В предпочтительных вариантах осуществления фаза или этап измерения включает фиксирование физической электромеханической машины и/или элемента по средством одного или целого ряда видеоизображений, снимков или изображений. Этим может быть, помимо прочего (а) физическая электромеханическая машина и/или элемент в неподвижном состоянии в его физической среде; (b) физическая электромеханическая машина и/или элемент, подверженные любому виду внешнего или внутреннего возбуждения, являющегося статическим, устойчивым, переходным и т.д. Физическая электромеханическая машина и/или элемент может быть расположен на испытательной установке и может подвергаться внутреннему или внешнему возбуждению (включая нулевое возбуждение), которые приводит к «деформированным распределенным полям». Они могут отличаться от (деформированных или недеформированных) распределенных полей, зарегистрированных в точках (а) и (b). В предпочтительных вариантах осуществления физическая электромеханическая машина и/или элемент подвергаются любому виду внутреннего и внешнего возбуждения, являющегося статическим, устойчивым, переходным и т.п. Физическая электромеханическая машина и/или элемент могут располагаться в их рабочей среде и могут подвергаться внутреннему или внешнему возбуждению (включая нулевое возбуждение), которое приводит к «деформированным распределенным полям». Они могут отличаться от (деформированных или недеформированных) распределенных полей, зарегистрированных в точке (а) и (b).

В предпочтительных вариантах осуществления может быть взята любая ситуация, при которой могут быть созданы распределенные или деформированные распределенные поля, пригодные для фиксирования и/или могут быть сделаны изображения (например, видна физическая электромеханическая машина и/или элемент).

Следуя одному из упомянутых сценариев, фиксируют серию видеозаписей или изображений (одно или несколько).

Потенциальное аппаратное и/или программное обеспечение, которое может быть использовано для запуска этапа измерения, может быть следующим:

• Программное обеспечение для отслеживания движения и получения изображений: например, получение изображений и видеоизображений, отслеживание сгустка, выявление особенностей и т.д. Это могут быть как исследовательские, так и коммерческие коды.

• Фото или видео камеры: в зависимости от требуемой точности камеры могут представлять собой средства с низким качеством изображения, такие как вебкамеры, а также высококачественные и высокоскоростные мегапиксельные камеры. Изображения и видеоизображения можно получить как в сером виде, так и в цветном.

• Система приема и накопления данных с датчиков: помимо визуальных измерений на фазе измерения могут быть получены другие измерения для дополнения визуальных измерений, например, ускорения, скорости, расположения, деформации, температуры и т.д. Для этой цели после стандартных процедур измерений могут использоваться специальные системы приема и накопления данных (DAQ).

• Передача данных с камеры на целевой ПК может выполняться с помощью протокола любого типа, в зависимости от скорости и количества передаваемых данных, например, Cameralink, USB3, GiGe, CoaXPress и т.д.

• Устройства ввода и регистрации кадров изображений: при наличии потенциально большого количества полученных данных может потребоваться устройство ввода и регистрации кадров изображений для обеспечения быстрого соединения между камерами и носителем информации, таким как оперативная память, жесткий диск или твердотельный накопитель или любой тип памяти, который может быть использован для этой цели.

Представленные вместе изображения, как на ФИГ. 6, иллюстрируют некоторые примеры выполнения измерения (изображения) физических полей консольной балки, которые получены при различных условиях нагрузки (например, внешнем (статическом) возбуждении) и виды.

В вариантах осуществления настоящего изобретения способ включает этап оценки, а точнее оценку, основанную на фотореалистичной электромеханической числовой модели. В дополнительных вариантах осуществления фотореалистичную электромеханическую числовую модель используют для создания фотопоследовательных изображений или видеоизображений, или снимков, приводящих к «измерениям фотореалистичного поля», или изображений фотопоследовательной электромеханической числовой модели. На практике, распределенные или деформированные распределенные поля будут вызывать изменение (локально и/или глобально) измерений распределенного поля (или фотореалистичных виртуальных измерений, например, изображения фото последовательной электромеханической числовой модели), например, (помимо прочего) интенсивность пикселей, приводящая к различиям между изображениями физической электромеханической машины и/или элемента и изображениями фотореалистичной электромеханической числовой модели. Изображения фотореалистичной электромеханической числовой модели могут быть сопоставимы различными средствами с изображениями физической электромеханической машины и/или элемента. Если эти изображения имеют несоответствия, фотореалистичная электромеханическая числовая модель может быть обновлена или изменена одним из описанных ниже методов (или любым другим методом, который обеспечивает достижение той же цели) до тех пор, пока в каком-то смысле несоответствие не будет сведено к минимуму. Обновление может быт достигнуто путем изменения или искажения возбуждения, характеристик или системных состояний фотореалистичной электромеханической числовой модели. Проще говоря, когда несоответствие между изображениями фотореалистичной электромеханической числовой моделью и изображениями физической электромеханической машины и/или элемента полностью устранено или сведено к минимуму, то возбуждения, характеристики или состояния виртуального объекта будут приближаться к возбуждениям, характеристикам или состояниям физической электромеханической машины и/или элемента и обеспечивать оценку вышеуказанного. Предпочтительно, но не обязательно, чтобы соответствующий подход использовал оптимальный выбор соотношений между неопределенностью измерения виртуального поля на числовой модели и неопределенностью измерения поля на физической электромеханической машине и/или элементах, что может быть достигнуто с помощью методов, связанных, например, с фильтром Калмана и/или алгоритмами оценки движущегося горизонта.

В частности, во время обновления, распределенные поля или деформированные распределенные поля создают путем возбуждения фотореалистичной электромеханической числовой модели, приводящего к фотопоследовательным видеоизображениям или изображениям по аналогии с физической электромеханической машиной и/или элементом. Полученные с помощью фотореалистичной электромеханической числовой модели изображения используют для вывода информации о физической электромеханической машине/элементе. Варианты осуществления настоящего изобретения предпочтительно преодолевают известные из уровня техники процедуры возбуждения, позволяя этому этапу заблаговременно эффективно и точно использовать изображения распределенных и деформированных распределенных полей, в основном включая изменения измерения распределенного поля, например, (помимо прочего) интенсивность пикселей. Использование устройств измерения поля (например, фото или видео камер) предпочтительно менее инвазивное, чем монтаж широко используемых дискретных сенсоров, таких как мессдоз, акселерометров, тензодатчиков и т.д. Кроме того, варианты осуществления настоящего изобретения позволяют использовать, предпочтительно, (двухмерные) изображения, зафиксированные с помощью потенциально одного датчика поля для вывода информации о полных трехмерных полях, предоставляющих интерес. Этот явный отличительный признак по отношению к любому другому доступному методу и решает проблемы, связанные со стоимостью, калибровкой, простотой использования и переносимостью, что позволяет значительно увеличить производительность.

В вариантах осуществления настоящего изобретения оценка (во время этапа оценки) может осуществляться в режиме онлайн или оффлайн. Здесь термин «онлайн» означает, что оценка выполняется как параллельная задача, но необязательно синхронизируется с получением изображения как рекурсивный безостановочный процесс, в случае, если анализируется физическая электромеханическая машина и/или элемент. Здесь термин «оффлайн» относится к тому факту, что может быть сохранен ограниченный набор изображений, и для дальнейшей обработки оценки потенциально перенесен в другое физическое местоположение на более поздних временных этапах. В этом случае процедура оценки становится этапом последующей обработки.

В соответствии с вариантами осуществления настоящего изобретения применение способа предусматривает (помимо прочего) следующее:

• Обновление модели: В этой области применения некоторые конкретные испытания выполняются на физической электромеханической модели и/или элементе, и изображения фиксируются с одного или нескольких видов и/или датчиков. Во время испытания (потенциально не-) известное возбуждение приводит к тому, что физическая электромеханическая машина и/или элемент изменяют свое физическое состояние по отношению к исходному состоянию, например, для калибровки модели, и создает распределенные поля или деформированные распределенные поля, что, в свою очередь, приводит к изменениям зафиксированных измерений физического поля (или изображений/видеоизображений). В качестве примера можно привести механические элементы, которые подвергаются движению и/или деформации. Эти движения и деформации вызовут (потенциально нулевое) изменение интенсивности пикселей зафиксированных изображений относительно любой другой исходной конфигурации. Фотореалистичная электромеханическая числовая модель может возбуждаться с таким же известным возбуждением, которое было применено для физической электромеханической машины и/или элемента для создания аппроксимаций распределенных или деформированных распределенных полей, которым была подвергнута физическая электромеханическая машина и/или элемент. Измерения фотореалистичного поля имитируются на числовой модели (например, изображения фотореалистичной электромеханической числовой модели). Если измерения фотореалистичного поля из числовой модели и измерения физического поля не соответствуют друг с другом с требуемым уровнем точности, характеристики фотореалистичной числовой модели могут быть обновлены для достижения соответствия. Соответствие может быть получено посредством (но не только) сочетания методов оптимизации, методов корреляции цифровых изображений, выделения характерных особенностей и т.д. Интенсивность пикселей используется в одном варианте осуществления для создания показателя корреляции или сходства, который используют в качестве целевой функции для минимизации с помощью любой подходящей стратегии оптимизации. В качестве примера рассматривается физическая электромеханическая машина и/или элемент, который подвергается движению и/или деформации. Фотореалистичную электромеханическую числовую модель деформируют, и приложенная текстура, напоминающая внешний вид физической электромеханической машины и/или элемента, деформируется вместе с ней. Измерения фотореалистичного поля на числовой модели могут быть затем сымитированы посредством известных методов, таких как визуализация в текстуру. Расчеты могут выполняться, например, как центральным процессором, так и графическим процессором. Характеристики фотореалистичной электромеханической числовой модели могут обновляться до тех пор, пока соответствие между измерениями фотореалистичного поля на числовой модели и измерениями физического поля не будет удовлетворительным (например, представлять распределение интенсивности пикселей как максимально сходное между собой, что означает, что изображения фотореалистичной электромеханической числовой модели схожи с изображениями физической электромеханической машины и/или элемента). Удовлетворительное соответствие может быть достигнуто, например, обновлением характеристик. Помимо прочего, это могут быть характеристики материала, жесткость соединения, демпфирование и т.д. Методы корреляции цифровых изображений позволяют отслеживать изменения интенсивности пикселей с точностью до уровня субпикселей, так что движение или деформация, которые обычно не видны человеческому глазу, потенциально могут быть обнаружены. Помимо прочего, возможны следующие случаи применения: (а) обновление кинематических характеристик (промышленного) механизма (например, манипуляторы роботов, промышленные машины, участвующие в серийном производстве и автоматизации, как, например, ткацкие станки, лазерные резаки, производство цепей, предназначенных для автомобилестроения, и т.д.), системы подвески и т.д.; (b) обновление характеристик материалов элементов в условиях их эксплуатации (например, краны, здания, транспортные средства, элементы транспортных средств, манипуляторы роботов, промышленные машины, участвующие в серийном производстве и автоматизации, ветровые турбины и т.д.)

• Оценка вводных данных-состояний-характеристик: особенно активная область исследования связана с оценкой вводных данных, состояний и характеристик мехатронных, механических и в целом многофизических систем. В частности, фильтрация Калмана и оценка движущегося горизонта (МНЕ) часто используются в качестве основы для объединения локализованных измерений, взятых, например, из: положения, скорости, ускорения, деформации, температуры и т.д. Если доступна обновленная фотореалистичная электромеханическая числовая модель, несколько измерений поля физической электромеханической машины и/или элемента могут быть зафиксированы во время реальных условий эксплуатации или при испытаниях, например, на специальной испытательной установке. Возбуждения могут прилагаться к фотореалистичной электромеханической числовой модели до тех пор, пока измерения виртуального поля (например, изображения и/или видеоизображения) на числовой модели не будут точно соответствовать изображениям и/или видеоизображениям на физической электромеханической машине и/или элементе. В частности, фотореалистичная электромеханическую числовую модель деформируют, и приложенная текстура будет деформироваться вместе с ней, после чего могут быть сымитированы изображения посредством известных методов, таких как визуализация в текстуру, выполненных на центральном процессоре или графическом процессоре.

В одном варианте осуществления, приложенные статические возбуждения известны, при этом интерес представляет оценка состояния физической электромеханической машины и/или элемента, и/или оценка временной эволюции характеристик физической электромеханической машины и/или элемента. Это можно получить с помощью любой подходящей для этой цели доступной стратегии оптимизации (например, нелинейных среднеквадратических средств оптимизации, алгоритма Левенберга-Маркварта, внутренней точки, генетической или эволюционирующей стратегии и т.д.). В качестве вторичной, но актуальной производной оценки, фотореалистичная электромеханическая числовая модель позволяет получать точные оценочные двухмерные и/или трехмерные деформированные распределенные поля объекта. Во втором варианте осуществления, прилагаемые динамические возбуждения известны, при этом интерес представляет оценка состояний физической электромеханической машины и/или элемента, и/или оценка временной эволюции характеристик физической электромеханической машины и/или элемента. Помимо прочего, это можно получить с помощью одного из следующих методов: (1) используя подход, основанный на (линейной или нелинейной) фильтрации Калмана, в котором изображения включены в качестве измерений, а измерения фотореалистичного поля представляют собой уравнения измерений. Измерения фотореалистичного поля на числовой модели потенциально могут быть объединены с одним или несколькими видами альтернативных датчиков, например, такими как акселерометры, датчики положения объекта, тензодатчики и т.д. Методы, основанные на фильтрации Калмана включают (помимо прочего) линейный фильтр Калмана/сглаживающие фильтры/предикторы, нелинейный расширенный или сигматочечный фильтр Калмана, фильтры с минимальной дисперсией и т.д.; (2) с использованием подхода, основанного на (линейной или нелинейной) фильтрации Калмана, в котором один или несколько датчиков, например, таких как акселерометры, датчики положения объекта, тензодатчики и т.д. используют в качестве традиционного оборудования. После обновления оценочных состояний/характеристик визуальные измерения могут быть использованы для получения улучшенного соответствия измерений фотореалистичного поля с измерениями физического поля. Этот двухэтапный подход может выполняться итерационно до тех пор, пока не будут параллельно достигнуты соответствие прогноза Кальмана и визуальных измерений (например, изображения и/или видеоизображения; смотри пункт 1 для неполного списка методов, основанных на фильтрации Кальмана); (3) методы, основанные на оценке движущегося горизонта (МНЕ), в которых измерения фотореалистичных полей используются в качестве уравнений измерений; и/или (4) любой другой способ (например, основанный на оптимизации или фильтрации), который позволяет объединять измерения и числовые модели для получения улучшенных оценочных состояний и/или характеристик (например, фильтры, основанные на градиенте, и фильтры без него, фракционные фильтры и стохастические методы).

В качестве вторичной, но актуальной производной оценки, фотореалистичная электромеханическая числовая модель позволяет получать точные оценочные деформированные распределенные поля, например, такие как поля положения объекта и деформации.

В третьем варианте осуществления приложенные возбуждения неизвестны, при этом интерес представляет оценка самих возбуждений и потенциально состояний и характеристик анализируемого объекта. Помимо прочего, это можно получить с помощью одного из следующих методов: (1) используя подход, основанный на (линейной или нелинейной) фильтрации Калмана, в котором изображения включены в качестве измерений, а измерения фотореалистичного поля на числовой модели представляют собой уравнения измерений. Визуальные измерения полей потенциально могут быть объединены с одним или более видов альтернативных датчиков, например, таких как акселерометры, датчики положения объекта, тензодатчики и т.д. Методы, основанные на фильтрации Калмана (помимо прочего), включают линейный фильтр Калмана/сглаживающие фильтры/предикторы, нелинейный расширенный или сигматочечный фильтр Калмана, фильтры с минимальной дисперсией и т.д.; (2) с использованием подхода, основанного на (линейной или нелинейной) фильтрации Калмана, в котором один или несколько датчиков, например, такие как акселерометры, датчики положения объекта, тензодатчики и т.д. используют в качестве традиционного оборудования. После обновления оценочных состояний/характеристик визуальные измерения могут быть использованы для получения улучшенного соответствия измерений фотореалистичного поля на числовой модели с измерениями визуального физического поля на физическом объекте. Этот двухэтапный подход может выполняться итерационно до тех пор, пока не будут параллельно достигнуты согласование прогноза Кальмана и визуальных измерений (смотри предыдущий пункт для неполного списка методов, основанных на фильтрации Кальмане); (3) методы, основанные на оценке движущегося горизонта (МНЕ), в которых измерения фотореалистичных полей на числовой модели используются в качестве уравнений измерений; и/или (4) любой другой способ (например, основанный на оптимизации или фильтрации), который позволяет объединять измерения и числовые модели для получения улучшенных оценочных состояний и/или характеристик (например, фильтры, основанные на градиенте, и фильтры без него, фракционные фильтры и стохастические методы). В качестве вторичной, но актуальной производной оценки, фотореалистичная электромеханическая числовая модель позволяет получать точные оценочные деформированные распределенные поля.

Аппаратное и программное обеспечение, которое может использоваться в фазе оценки, потенциально может быть следующим:

• Среда моделирования: Исследовательское и промышленное программное обеспечение, может быть использовано для выполнения статистических и динамический имитаций (например, конечные элементы, конечные объемы, программное обеспечение конечных разностей, программное обеспечения для (упругих) многотельных моделей)

• Программное обеспечение для сопоставления изображения/поля: Согласование изображения может выполняться с помощью специализированного программного обеспечения (исследовательского или промышленного, если оно доступно), которое позволяет выполнять любую или некоторую корреляцию и сопоставление изображений (например, программное обеспечение, которое используется для выполнения сопоставления изображения между фотореалистичной моделью и физической системой/элементом, используя интенсивность пикселей на отдельных пикселях или подмножестве пикселей, программное обеспечение для корреляции цифровых изображений и т.п.).

• Программное обеспечение для оптимизации и оценки: Оценка состояния, входных данных и характеристик может быть получена посредством (адаптации) библиотек, основанных на фильтрах Калмана, библиотек, основанных на МНЕ, библиотек наблюдателей Люэнбергера и алгоритмов оптимизации, таких как, помимо прочего, методы внутренних точек, алгоритм Левенберга-Маркварта, линейные и нелинейные среднеквадратические методы и т.д. Это могут быть как исследовательские, так и промышленные коды.

На ФИГ. 7A-7D обобщен этап оценки в соответствии с вариантами осуществления настоящего изобретения. На ФИГ. 7А показано фотореалистичное изображение, реализуемое путем приложения внешних возбуждений к фотореалистичной электромеханической числовой модели (фотореалистичная балка). А именно, это свидетельствует об измерении деформированного фотореалистичного поля на числовой модели, используемой в вариантах осуществления настоящего изобретения. На ФИГ. 7В показаны три изображения, которые представляют собой вычитание между измерением физического поля (изображение физической балки) и измерением фотореалистичного поля на числовой модели (изображение, созданное с использование фотореалистичной модели балки). Каждая фигура представляет собой разное возбуждение, приложенное к фотореалистичной электромеханической числовой модели. Понятно, что крайняя правая фигура показывает более высокую степень сходства (в основном она черная; это показывает, что разница между двумя изображениями мала). Здесь проиллюстрировано сопоставление измерения физического поля и измерения фотореалистичного поля, так как по сравнению с первыми двумя фигура справа показывает лучшее сходство, что свидетельствует о том, что возбуждение хорошо зафиксировано. На ФИГ. 7С показан график, на котором горизонтальная ось представляет собой нагрузку, приложенную к фотореалистичной электромеханической числовой модели и функцию стоимости, представляющую собой меру сходства между измерениями физического поля (физическое изображение) и измерением фотореалистичного поля (полученного с помощью фотореалистичной электромеханической числовой модели). Таким образом, обеспечивается функция стоимости (степень сходства изображений) в зависимости от одного внешнего возбуждения. Отчетливо обнаружено минимальное место расположения точной нагрузки, прикладываемой к физической консольной балке. На ФИГ. 7D показан график, на котором горизонтальная плоскость представляет собой амплитуду двух внешних нагрузок, приложенных к фотореалистичной электромеханической числовой модели, и функцию стоимости, представляющую собой степень сходства между измерениями физического поля (физическое изображение) и измерением фотореалистичного поля на числовой модели (полученного с помощью фотореалистичной электромеханической числовой модели). Таким образом, обеспечивается функция стоимости (степень сходства изображений) в зависимости от множества внешних возбуждений. Отчетливо обнаружено минимальное место расположения точной нагрузки, прикладываемой к физической консольной балке. Одно направление явно более «жесткое», нежели другое, поскольку минимум существует, но менее выражен. На ФИГ. 8 изображено подробное представление рабочей схемы, на которой изображена и объединена фаза эксплуатации, включающая этапы измерения и оценки. В таблице ниже показаны различные этапы/особенности. Левая часть графика иллюстрирует фазу измерения, которая может быть начата до фазы оценки (представленной на правой части графика) или одновременно с ней. Блок-схема показывает потенциальное объединение с более стандартными рабочими схемами оценки, включающими дискретные датчики. Выделенные в схеме блоки, подчеркивают новые элементы, предложенные в вариантах осуществления настоящего изобретения. На ФИГ. 9 показана система аппаратно-программного обеспечения в соответствии с вариантами осуществления настоящего изобретения, которая может быть использована для реализации вариантов осуществления способа в соответствии с настоящим изобретением. На ФИГ. 10 представлено краткое описание способа в соответствии с вариантами осуществления настоящего изобретения. В вышеизложенном описании подробно описаны варианты осуществления настоящего изобретения. Однако, следует принять во внимание, что независимо от того, насколько подробно описано вышеизложенное в тексте, настоящее изобретение может быть реализовано многими способами. Следует отметить, что использование конкретной терминологии при описании некоторых особенностей или аспектов раскрытия изобретения, не следует принимать, подразумевая, что терминология пересмотрена в данном документе, чтобы ограничиваться включением любых конкретных характеристик особенностей или аспектов раскрытия, с которыми связана эта терминология.

Следует понимать, что несмотря на то, что приведенное выше подробное описание показало, описало и отметило новые признаки настоящего изобретения, применительно к различным вариантам осуществления, специалистами в данной области техники могут быть сделаны различные исключения, замены и изменения в форме и деталях проиллюстрированного устройства или процесса, без отхода от объема настоящего изобретения.

Реферат

Изобретение относится к области вычислительной техники. Технический результат заключается в повышении точности оценочных параметров в алгоритме оценки. Способ включает обеспечение фотореалистичного виртуального объекта физического объекта, выполнение этапа измерения, выполнение этапа оценки, причем этап оценки включает приложение внешних возбуждений к фотореалистичному виртуальному объекту для создания результатов измерений фотореалистичного виртуального поля и сравнение результатов измерений фотореалистичного виртуального поля с результатами измерения физического поля и, таким образом, определение физического объекта, отличается тем, что фотореалистичный виртуальный объект воспроизводит интенсивности пикселей изображения физического объекта, и по меньшей мере одно двумерное изображение представляет собой по меньшей мере одно двумерное изображение для предоставления интенсивностей пикселей изображения, причем указанное сравнение включает сравнение интенсивностей пикселей измерений фотореалистичного виртуального поля с соответствующими интенсивностями пикселей измерений физического поля. 3 н. и 20 з.п. ф-лы, 10 ил.

Формула