Способ реконструкции 3d модели статичного объекта и устройство для его реализации - RU2693327C1

Чертежи

Описание

Изобретение относится к области реконструкции электронной 3D модели статичного объекта, в частности, к реконструкции трехмерной формы поверхности и сопоставлении ей исходных изображения реконструируемого объекта и может быть использовано в разных отраслях промышленности, в том числе, дефектоскопии, строительстве, мониторинге форм конструкций, а также в медицине, археологии, игровой и киноиндустриях.

Известен способ [1] для реконструкции формы поверхности статичного объекта по его изображениям снятых с несколькими углами фильтрации поляризационного фильтра, в котором восстановление формы поверхности включает в себя этап получения карты нормалей и 3-х мерной формы поверхности объекта, имеющего отражающую металлическую поверхность. Однако известный способ является неточным при воспроизведении формы поверхности 3D модели статичного объекта за счет того, что при воспроизведении реконструируемого объекта ориентация его поверхности определяется неоднозначно с учетом существующих проблем Пи неоднозначности вычисления нормалей, неточности вычисления нормали для фронто-параллельных поверхностей, возможности получения только относительной 3-х мерной формы поверхности, и не позволяет получить многоракурсную 3D реконструкцию. Так же этот способ имеет ограничение в применении, так как он рассчитан только на анализ статичных объектов с отражающей поверхностью.

Известен способ [2] для реконструкции 3D поверхности с помощью изображений, по которым анализируется часть поверхности, подлежащей восстановлению. В известном способе форма поверхности статичного объекта реконструируется по поляризационным изображениям и по изображениям теней, возникающих при его освещении под различными углам при использовании восстановления поверхности изображения по поляризации, где измеренные значения могут быть объединены друг с другом в контексте минимизируемой функции ошибки. Однако данный способ воспроизводит не точную форму поверхности 3D модели статичного объекта за счет того, что при воспроизведении реконструируемого объекта ориентация его поверхности определяется неоднозначно с учетом существующих проблем Пи неоднозначности вычисления нормалей, а также рефракционной неточности вычисления зенитного угла вследствие неизвестного индекса рефракции поверхности, неточности вычисления нормали для фронто-параллельных поверхностей, разрывов в карте глубины, что не позволяет получать многоракурсную 3D реконструкцию, и это сужает как сферу применения, так и качество реконструкции 3D моделей. Кроме того, известный способ ограничивает сферу своего применения за счет использования активного метода реконструкции, который требует проведение съемки исключительно с использованием контролируемого освещения, что обеспечивается более сложным конструктивным устройством за счет необходимости контролируемого освещения в зависимости от 3-х мерной формы реконструируемой поверхности статичного объекта.

Известен способ [3] реконструкции 3D формы объекта с помощью изображений объекта, на который проецируются кодированные световые шаблоны. Однако известный способ обеспечивает низкое разрешение реконструкции 3-х мерной формы поверхности, так как она зависит от разрешения используемого устройства проецирования с более низким разрешением относительно камеры этого устройства. Также, известный способ является сложным и дорогим в реализации, поскольку требует наличия дополнительного оборудования для проецирования светового шаблона на объект. Кроме того, данный способ имеет ограниченное применение, так как требует специального освещения устройством проецирования.

Наиболее близким техническим решением к заявленному изобретению является способ [4], принятый в качестве прототипа, который состоит в реконструкции трехмерной формы поверхности объекта, заключающийся в получении уточненной и дополненной карты глубины статичного объекта и последующей его 3-х мерной формы с помощью карты глубины и поляризационных изображений объекта.

Недостатком известного способа, принятого в качестве прототипа, является относительно низкая точность реконструкции статичного объекта за счет того, что карта глубины, полученная от стереокамеры, имеет ограниченную информацию о 3-х мерной форме поверхности статичного объекта, а также неизбежных ошибок при измерении углов фильтрации поляризованного света. Кроме того, известный способ имеет меньшую информативность вследствие ограниченности одноракурсной съемки и, как следствие, получение менее качественной по визуализации искомой 3D модели статичного объекта.

Наиболее близким устройством [4] для реализации способа по совокупности признаков с заявляемой группой изобретения (способа и устройства) является принятое в качестве прототипа устройство, использующее сенсор глубины для создания первоначальной карты глубины объекта, камер для получения поляризационных изображений и вычислительного устройства.

Недостатком этого устройства является ограниченность получения карты глубины по стереокамере за счет конструктивного расположения имеющихся в нем камер, что влечет за собой информационные ошибки при получении карты глубины с помощью триангуляции по двум поляризационным камерам, установленным под ненулевым углом друг к другу, поскольку при таком расположении камер поляризационные фильтры существенно изменяют видимое изображение статичного объекта по разному для каждой из камер. Кроме того, усложняет устройство и увеличивает ошибку наличие у каждой из камер независимого поляризационного фильтра.

Техническим результатом заявленного изобретения является повышение точности 3D реконструкции статичного объекта и информативности реконструируемой 3D модели, а также упрощение устройства для реализации способа.

Указанный технический результат достигается тем, что в известном способе реконструкции 3D модели статичного объекта, заключающимся в поляризационной стереосъемке статичного объекта при различных углах фильтрации поляризованного света при последовательном их изменении и по полученным двум формируемым наборам поляризованных изображений получают две поляризационные карты нормалей и разреженную карту глубины поверхности, и определении по ним дополненной поляризационной карты глубины, по которой определяют трехмерную форму поверхности статичного объекта, и получении по этой 3-х мерной форме поверхности 3D модели статичного объекта, в соответствии с заявленным изобретением, в каждом из двух формируемых наборов из не менее 4-х поляризованных изображений статичного объекта изменяют углы поляризации, которые выбирают равномерно в диапазоне от 0 до 180 град., при этом каждый из формируемых наборов принимают в качестве базы для определения поляризованной карты нормалей, после чего по каждому из двух наборов поляризованных изображений получают два скорректированных по интенсивности изображения, по которым получают стереокарты глубины, затем получают поляризационную карту глубины по двум поляризационным картам нормалей, после чего объединяют стереокарты глубины и поляризационную карту глубины в поляризационную стереокарту глубины и получают поверхностную карту нормалей на основе дополненной карты глубины, после чего повторяют поляризационную стереосъемку не менее двух раз с разных ракурсов, попарно пересекающихся по области наблюдения статичного объекта, и для каждого ракурса по дополненной поляризационной карте глубины получают поляризационное облако точек, которые объединяют в многоракурсное облако точек 3D поверхности статичного объекта, 3-х мерную форму поверхности получают по сформированному многоракурсному облаку точек, а исходные поляризованные изображения статичного объекта корректируют по картам интенсивностей цвета, полученных из каждого набора поляризованных изображений, после чего сопоставляют скорректированные исходные поляризованные изображения статичного объекта с трехмерной поверхностью статичного объекта, и по полученным результатам их сопоставления определяют 3D модель статичного объекта.

Кроме того, указанный технический результат достигается тем, что количество углов фильтрации выбирают по количеству поляризованных изображений в одном наборе изображений.

Помимо этого, указанный технический результат достигается тем, что ракурсы поляризационной съемки выбирают равномерно вокруг статичного объекта.

Указанный технический результат достигается также тем, что в известном устройстве, содержащим систему из 2-х зафиксированных друг относительно друга камер получения изображений, одна из которых имеет расположенный перед ее объективом поворотный поляризационный фильтр, и вычислительное устройство, в соответствии с заявленным изобретением по п. 2, вторая камера получения изображений снабжена расположенным перед ее объективом поворотным поляризационным фильтром, при этом поляризационные фильтры обеих камер имеют одинаковые углы поворота и соединены поворотным устройством, оптические оси камер получения изображений расположены друг относительно друга параллельно, корпус каждой из камер изображений имеет по два разъема, один из которых соединен кабелем с вычислительным устройством, а другой со второй камерой получения изображений, к вычислительному устройству подсоединен поворотный стол для кругового вращения статичного объекта.

Сущность заявленного изобретения поясняется многочисленными экспериментальными результатами реконструкции 3D модели статичного объекта, апробированных в лабораторных условиях на оборудовании компании ООО «ИТ центр СПбГУ» и ниже поясняется теоретическими и прикладными исследованиями, которые дали реальное подтверждение заявленному в данном изобретении повышению точности 3D реконструкции статичного объекта, повышению информативности реконструируемой 3D модели, а также упрощению устройства для реализации заявленного способа.

Как известно, способ реконструкции нормалей по поляризованных изображениям основан на измерении интенсивности света для различных углов фильтрации поляризованного света, по которому происходит вычисление углов азимута ϕ и зенита θ нормалей к поверхности в сферической системе координат.

В соответствии с уравнениями Френеля, измеренная освещенность в одной точке сцены выражается как [6]:

где ϕ - азимутальный угол,

I_max и I_min - максимум и минимум интенсивности света.

Поскольку гармоника имеет три неизвестных, имея три различных измерения ϕ_pol можно рассчитать ϕ, I_max и I_min.

При вычислении азимутального угла ϕ возникает две основные проблемы.

Во-первых, поскольку в уравнении 1 аргумент косинуса умножается на 2, то в диапазоне от 0 до 2π угол ϕ может иметь 2 значения, сдвинутых на π радиан, и определить правильное из этих 2-х решение на основе только анализа поляризованных изображений без дополнительных допущений невозможно. Это первая проблема называется азимутальной двусмысленностью и имеется у всех методов реконструкции нормалей по поляризованным изображениям.

Во-вторых, если тип поверхности неизвестен априори - диффузный или зеркальный, то не определено смещение азимутального угла ϕ на π/2 радиан. Эта вторая неоднозначность, обусловлена отражением поверхности, и называется несоответствием азимутальной модели, и критически относится к реконструкции нормалей по поляризованных изображениям.

Как известно, расчет зенитного угла зависит от степени поляризации, и имеет вид:

Подставляя в данное уравнение формулу Френеля, получаем следующую формулу, по которой можно вычислить зенитный угол для диффузных поверхностей:

где n - обозначает показатель преломления, а θ - зенитный угол.

И зенитный угол для зеркальных поверхностей:

На основе изложенных формул (1-4) в заявленном способе получают карты нормалей с использованием 4-х и более изображений с разным углом фильтрации поляризованного света. Система уравнений состоит из уравнений по количеству изображений с 3-мя неизвестными. При расчете карты нормалей задача решается с помощью метода наименьших квадратов. Решение данной задачи приводит к решению системы таких уравнений:

Таким образом, за счет большего количества данных, полученных при различных углах фильтрации поляризованного света, точность определения фазы синусоидально изменяющейся интенсивности увеличивается при наличии различных помех в системе, связанных с неточностью измерения интенсивностей отдельных пикселей камеры, которые появляются вследствие возмущений, действующих на систему извне, и при наличии неточности в измерении углов фильтрации поляризованного света.

После решения данной системы уравнений для каждого пикселя изображения, полученного с камер, получают минимальную и максимальную интенсивность света, углы азимута ϕ и зенита θ нормали к участку поверхности объекта, свет от которой попадает в данный пиксель, которые в совокупности формируют поляризационную карту нормалей поверхности статичного объекта, карту минимальной интенсивности света и карту максимальной интенсивности света. По карте минимальной интенсивности света и карте максимальной интенсивности света получают карту средней интенсивности света. Такие карты получают для каждого из двух наборов изображений реконструируемого статичного объекта.

Так как изображения получены с камер, оптические оси которых направлены параллельно, плоскости сенсоров изображения расположены параллельно и направления фильтрации поляризованного света также параллельны, то пиксели в двух картах средней интенсивности света, соответствующие одним и тем же участкам поверхности, будут иметь одинаковые значения. Таким образом, на основе данных о калибровке стереокамер путем корреляции изображений по эпиполярным линиям путем триангуляции получают стереокарту глубины. Полученные поляризационные карты нормалей по двум наборам изображений также будут иметь одинаковые значения для одинаковых участков поверхности. Таким образом, коррелируют карты нормалей вдоль эпиполярных линий и путем триангуляции получают поляризационную карту глубины. Полученные стереокарту глубины и поляризационную карту глубины объединяют в поляризационную стереокарту глубины.

Соединение карт глубин происходит следующим образом: при отсутствии данных в одной из карт глубин, берут данные из другой, в остальных случаях берут среднее арифметическое между значениями карт глубин, получая поляризационную стереокарту глубины. Далее из поляризационной карты нормалей и поляризационной стереокарты глубины рассчитывают дополненную карту глубины.

Используя поляризационную карту нормалей, дополненную карту глубины и внутренние параметры камер получают 3D облако точек, в котором каждая точка имеет 3D координаты и поляризационную нормаль. Для каждой точки в 3D облаке точек получают нормаль к поверхности.

По методу выше производят многоракурсную съемку статичного объекта, повторяя предыдущие шаги, после чего для каждого ракурса получают 3D облако точек, которые объединяют в единое 3D облако точек путем сопоставления точек поверхности статичного объекта, наблюдаемых с нескольких ракурсов. При сопоставлении происходит минимизация ошибки сопоставления по формуле среднего квадратического отклонения координат точек в облаках, поверхностных карт нормалей и поляризационных карт нормалей для тех точек, которые были сопоставлены как точки, принадлежащие одной и той же точкой поверхности статичного объекта. Две точки из двух разных 3D облаков точек считают сопоставленными, если расстояние между ними не превышает заданное пороговое значение, которое определяется по параметрам камер и размеру объекта. В совокупности этот способ позволяет точнее реконструировать объект, так как при сопоставлении учитывается индекс рефракции материала.

Затем по облаку точек 3D поверхности статичного объекта получают 3-х мерную форму поверхности статичного объекта по алгоритму ближайшего соседа.

После этого получают текстуру 3D поверхности статичного объекта. Для этого исходное поляризованное изображение необходимо скорректировать по интенсивности, чтобы уменьшить эффект поляризации, приводящий к изменению интенсивности цвета каждого пикселя изображения в зависимости от угла между соответствующей точкой поверхности объекта и плоскостью фильтрации поляризованного света. На основе решения системы уравнений при расчете поляризационной карты нормалей определяют значения минимальной и максимальной интенсивности света для каждого анализируемого пикселя исходного изображения. В качестве интенсивности цвета изображения в скорректированном поляризованном изображении выбирают среднее арифметическое значений минимальной и максимальной интенсивности света.

Таким образом, для каждого ракурса съемки получают по два скорректированных поляризованных изображения, которые сопоставляют с 3-х мерной формой поверхности статичного объекта. Если одному плоскому сегменту 3D поверхности статичного объекта соответствует больше одного изображения, то для сопоставления выбирается то изображение, которое обеспечивает наибольшее количество пикселей для данного сегмента. Сопоставленные фрагменты скорректированных изображений в совокупности определяют текстуру 3-х мерной поверхности статичного объекта.

После чего, по 3-х мерной форме поверхности статичного объекта и сопоставленным изображениям объекта (текстурам) определяют 3D модель реконструированного статичного объекта.

Сущность заявленного изобретения поясняется Фиг. 1 - Фиг. 7.

На Фиг. 1 показано устройство для реализации способа реконструкции 3D модели статичного объекта поляризационной съемкой, состоящее из двух камер 1 и 2, зафиксированные друг относительно друг друга, например, общей стойкой 3, образуя стереопару, подключения для синхронизации затворов камер кабелем 10, поляризационных фильтров 4 и 6, с поворотным механизмом для поляризационных фильтров 7, вычислительного устройства 5, подключения камер к вычислительному устройству кабелями 8 и 9, поворотного механизма 12 и подключения поворотного механизма к вычислительному устройству кабелем 11.

Заявленное устройство для реализации способа по п. 1 изобретения предназначено для съемки двумя камерами (1-2), имеющими свойства стереокамеры, две камеры закреплены на стойке (3) и соединены друг с другом кабелем (10), перед камерами установлены два синхронизированных поляризационных фильтра (4 и 6), поляризационные фильтры соединены поворотным механизмом (7) для построения более точной карты глубины за счет минимизации разности интенсивностей отражения света от статичного объекта, камеры подключены к вычислительному устройству (5) с помощью кабелей (8 и 9), к вычислительному устройству подключен поворотный стол (12) кабелем (11).

На Фиг. 2 представлен набор поляризованных изображений, полученных от камеры (1), изображенной на Фиг. 1, с указанными углами поворота поляризационного фильтра в градусах 0, 45, 90, 135.

На Фиг. 3 представлен набор поляризованных изображений, полученных от камеры (2), изображенной на Фиг. 1, с указанными углами поворота поляризационного фильтра в градусах 0, 45, 90, 135.

На Фиг. 4 показана карта глубины, полученная с помощью двух изображений из первого и второго набора изображений, полученных с камер (1-2), изображенных на Фиг. 1, полученных при одном ракурсе.

На Фиг. 5 показана карта глубины, полученная с помощью двух карт нормалей из первого и второго набора изображений, полученных с камер (1-2), изображенных на Фиг. 1, полученных при одном ракурсе.

На Фиг. 6 показано облако точек, полученное с помощью многоракурсной съемки статичного объекта, сформированной по карте глубины, которая скорректирована и дополнена с помощью карты нормалей поверхностей.

На Фиг. 7 показан итог 3D реконструкции статичного объекта.

Заявленное изобретение, как было указано выше, экспериментально апробировано на оборудовании и в лаборатории компании ООО «ИТ центр СПбГУ»

Примеры конкретной реализации приведены ниже.

Пример 1

В качестве примера получения конкретного ожидаемого результата с более высокой точностью реконструкции 3D модели статичного объекта, он был расположен на поворотном столе (12), изображенном на Фиг. 1. На Фиг. 2 и Фиг. 3 показаны два набора поляризованных изображений, полученных с одного ракурса. По каждому набору строятся изображения I_max, I_min и усредненная карта I_avg. По двум картам I_avg строится стереокарта глубины с помощью триангуляции, которая показана на Фиг. 4. По двум наборам изображений был проведен расчет поляризационных карт нормалей, на основе которых при помощи триангуляции была рассчитана поляризационная карта глубины, показанная на Фиг. 5. Данный пример экспериментально подтверждает, что заявленный способ, основанный на построении карты глубины с помощью поляризационных карт нормалей дополняет стереокарту глубины, которая дает дополнительную более объективную информацию о глубине точек, а, значит, для участков поверхности, где произошло дополнение карты глубины, позволяет дополнительно разрешать π неоднозначность и уточнять рефракционную неточность вычисления зенитного угла, тем самым увеличивая как точность, так и качество реконструируемой 3D модели.

Пример 2

Для создания полной 3D модели статичного объекта требуется многоракурсная съемка и текстурирование объекта. При соединении поляризационной и стереокарт глубин, полученных при помощи поляризационных карт глубин и стереоизображений, была произведена корректировка поляризационной стереокарты глубины с помощью поляризационной карты нормалей. После многократно проведенной съемки при различных ракурсах и использования вышеприведенных в примере 1 вычислений карт глубин, были рассчитаны облака точек, которые были сведены в одно облако, которое изображено на Фиг. 6. На основе облака точек была сформирована 3-х мерная поверхность статичного объекта. После этого было получено усредненное изображение статичного объекта I_avg с помощью карт I_max и I_min, рассчитанных по выше приведенным уравнениям Френеля (1-4), что позволило получить более точную текстуру поверхности статичного объекта. После этого полученное усредненное изображение I_avg сопоставили с 3-х мерной поверхностью статичного объекта, что позволило получить текстурированную 3D модель, изображенную на Фиг. 7, что экспериментально подтверждает достижение заявленным изобретением высокой информативности реконструкции 3D модели статичного объекта.

Пример 3.

На Фиг. 1 показана схема конкретного устройства, состоящего из двух цветных камер PointGrey CM3-U3-31S4C-CS с разрешением 3 МП, камеры оснащены объективами Kowa LM8JC10M с фокусным расстоянием 8 мм, перед камерами установлены поляризационные фильтры Goyo CPL диаметром 57 мм, каждый из которых имеет привод к одному шаговому двигателю. Камеры установлены так, что их оптические оси параллельны, а стороны сенсоров изображений внутри них параллельны друг другу. Расстояние между центрами камер составляет 76 мм. На расстоянии 2х метров от камер расположен поворотный стол. Экспериментальный образец заявленного устройства позволяет осуществлять поляризационную съемку статических объектов размером до 1×1×1 м³. За счет расположения фильтров в одной плоскости параллельно друг другу установка приводов к одному шаговому двигателю упрощается, и существенно уменьшает ошибки измерения углов поворота фильтров. Кроме того, заявленное устройство, реализованное в виде конкретной экспериментальной установки, позволяет получать изображения двумя камерами, где одна и та же точка поверхности статичного объекта имеет одинаковые максимальную и минимальную интенсивность, а значения азимутального и зенитного углов нормали имеют одинаковое значение в системах координат этих камер, что значительно увеличивает точность триангуляции.

Заявленное изобретение, как показывают результаты проведенных испытаний, могут быть использованы для реконструкции 3D модели статичного объекта с высокой точностью и информативностью.

Заявленное изобретение имеет широкий спектр применения, в частности, оно наиболее эффективно для решения, например, медицинских задач при контроле за процессом лечения и выздоровления пациентов, а также в археологии для реконструкции физически устаревших памятников, скульптур и разных видов ископаемых; эффективно также использование реконструированных 3D моделей объектов в киноиндустрии, игровой индустрии и многих других отраслях и сферах производства, где требуется высокое качество, точность и информативность реконструируемых объектов.

Список использованной литературы

[1] PCT/FR2006/002550 WO 2007057578 A1 «Method and system for reconstructing surfaces of objects by polarization imagery», МПК G01B 11/24

[2] Патент DE102004062461A1 "Image supported surface reconstruction procedure uses combined shape from shading and polarisation property methods" от 2008.01.31, МПК G01B 11/24

[3] PCT/IL2007/001432 WO2008062407A2 "3d geometric modeling and 3d video content creation", МПК G06T 15/205.

[4] Патент США №20160261844 "Methods and Apparatus for Enhancing Depth Maps with Polarization Cues" от 27.12.2015; МПК H04N 13/00, H04N 13/02 (прототип)

[5] Daisuke Miyazaki, Masataka Kagesaway and Katsushi Ikeuchi, "Polarization-based Transparent Surface Modeling from Two Views" Proceedings of the Ninth IEEE International Conference on Computer Vision, 2003

[6] Matthew Howard. (2018) CV online, [Shape from Polarisation] // (https://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/AV0405/HOWARD/prac2.htm 1)

Реферат

Изобретение относится к вычислительной технике. Технический результат – повышение точности 3D реконструкции статичного объекта. Способ реконструкции 3D модели статичного объекта включает: стереосъемку статичного объекта при различных углах фильтрации поляризованного света; получение поляризационных карт нормалей и разреженной карты глубины поверхности; определение дополненной поляризационной карты глубины для определения 3D формы поверхности; получение 3D модели статичного объекта, причем получают скорректированные по интенсивности изображения, стереокарты глубины и поляризационную карту глубины по поляризационным картам нормалей, объединяют стереокарты глубины и поляризационную карту глубины в поляризационную стереокарту глубины и получают поверхностную карту нормалей на основе дополненной карты глубины, повторяют съемку, причем для каждого ракурса по дополненной поляризационной карте глубины получают поляризационное облако точек, которые объединяют в многоракурсное облако точек 3D поверхности статичного объекта, 3D форму поверхности получают по сформированному многоракурсному облаку точек, а исходные поляризованные изображения статичного объекта корректируют по картам интенсивностей цвета. 2 н. и 2 з.п. ф-лы, 7 ил.

Формула