Устройство и способ формирования изображения с обеспечением увеличенной глубины изображаемого пространства (варианты) - RU2782980C1

Код документа: RU2782980C1

Чертежи

Показать все 31 чертежа(ей)

Описание

Область техники

Изобретение относится способам и устройствам формирования изображения с увеличенной глубиной изображаемого пространства, и может использоваться, в частности, для фото- и видеосъемки камерами смартфонов, а также в планшетных компьютерах под управлением операционных систем Android, iOS, HarmonyOS и подобных системах, а также в других подобных устройствах, в которых имеется потребность к обеспечению увеличенной глубины изображаемого пространства.

Описание предшествующего уровня техники

В уровне техники существует множество средств формирования изображения с обеспечением увеличенной глубины изображаемого пространства.

К ним можно отнести следующие патентные публикации:

Система формирования изображения с оптимизированной увеличенной глубиной резкости, раскрыта в заявке US20190212478А1, опубл.11.07.2019г., IPC G02B3/00, в которой оптический процессор содержит паттерн в виде разнесенных областей с разными оптическими свойствами. Паттерн сконфигурирован с формированием двух фазовых масок в виде фазового кодера и кодера профиля дисперсии. Фазовый кодер влияет на форму модуляционной передаточной функции (в зависимости от дефокусировки), увеличивая глубину резкости линзового блока, при этом спектральные компоненты передаточной функции оказываются сдвинуты относительно друг друга. Кодер профиля дисперсии компенсирует этот сдвиг. Недостатками указанного технического решения является наличие множества оптических компонентов, составляющих систему формирования изображения, а именно линзового блока формирования изображения, двух фазовых масок, что влияет на качество формируемого изображения. При этом в указанном устройстве, как наглядно проиллюстрировано на графике фиг. 4B заявки US20190212478, получаемый профиль передаточной функции является неравномерным, что затрудняет последующую обработку изображения, кроме того не раскрыты средства обработки изображения для обеспечения устранения размытости получаемого изображения.

В US7593161B2, опубл.22.09.2009г., IPC G02B 5/02, раскрыто устройство и способ формирования изображения с увеличенной глубиной изображаемого пространства. Увеличенная глубина резкости достигается с помощью вычислительной системы формирования изображения, которая объединяет подсистему мультифокального изображения для создания размытого промежуточного изображения с подсистемой цифровой обработки для создания восстановленного изображения, имеющего увеличенную глубину резкости. Мультифокальная подсистема формирования изображения предпочтительно использует сферическую аберрацию как доминирующий признак целенаправленного размытия. Центральное экранирование мультифокальной подсистемы формирования изображения делает функции рассеяния точек объекта более равномерными в диапазоне расстояний до объекта. Алгоритм итеративной цифровой деконволюции (обратной свертки) для преобразования промежуточного изображения в восстановленное изображение содержит параметр метрики, который увеличивает эффективность алгоритма и улучшает качество изображения. Недостатками указанного технического решения является наличие множества оптических компонентов, составляющих мультифокальную систему формирования изображения, что влияет на качество формируемого изображения. При этом для увеличения глубины изображаемого пространства используется только сферическая аберрация и не раскрыты средства обработки изображения для обеспечения устранения размытости получаемого изображения.

US7616842B2, 10.11.2009г., IPC G06K7/00, раскрывает способ и систему для проектирования системы формирования изображения, включающей оптическую подсистему, подсистему детектирования и подсистему цифровой обработки изображений, включающую по меньшей мере один цифровой фильтр, при этом согласно способу обеспечивается прогнозирование характеристик конечного изображения с использованием пространственной модели источника и моделей для оптической подсистемы, подсистемы детектирования и подсистемы цифровой обработки изображений. Оптическая подсистема и подсистемы цифровой обработки изображений проектируются совместно с учетом свойств всей системы в целом. Промежуточное изображение, создаваемое оптической подсистемой, не обязательно должно быть высокого качества, поскольку качество может корректироваться подсистемой обработки цифрового изображения.

Недостатки: в данном решении предлагается способ проектирования, а не система формирования изображения с увеличенной глубиной резкости (EDoF).

US11022815B2, опубл. 01.06.2021г., IPCG02C 7/02, раскрывает системы и способы для обеспечения улучшенного качества изображения с увеличенной глубиной изображаемого пространства, которые включают способы лечения глазных болезней и офтальмологические линзы, такие как контактные линзы и интраокулярные линзы (ИОЛ). ИОЛ включает первую и вторую поверхность линзы. Первая или вторая поверхность представляют собой преломляющую поверхность с асферическим или дифракционным профилем. Преломляющая поверхность с асферическим профилем может фокусировать свет в сторону дальнего фокуса. Поверхность с дифракционным профилем может включать в себя центральную зону, которая распределяет первую часть света в сторону дальнего фокуса и вторую часть света в сторону промежуточного фокуса. Дифракционный профиль также может включать периферийную зону, окружающую центральную зону, которая распределяет третью часть света в сторону дальнего фокуса и четвертую часть света в сторону промежуточного фокуса. Указанное решение направлено на использование только в медицинских целях для контактных и интраокулярных линз и не предусматривает наличие средства обработки изображения для исключения размытости формируемого изображения.

В US5715031A, опубл. 03.02.1998г, IPC G02C7/04, раскрыты конструкции концентрических асферических мультифокальных линз, в которых используется комбинация асферической передней поверхности, которая приводит к уменьшению аберраций и усилению воспринимаемого контраста, наряду с концентрической многофокальной задней поверхностью, для создания конструкции линзы, которая обеспечивает четкое зрение на дальнем расстоянии, а также вблизи без потери контраста. Асферическая поверхность улучшает модуляционную передаточную функцию (MTF) системы линза-глаз, что улучшает фокусировку и контраст изображения, как для дальнего, так и ближнего расстояния. Указанное решение направлено на использование только в медицинских целях для контактных и интраокулярных линз и не предусматривает наличие средства обработки изображения для исключения размытости формируемого изображения.

В US8985767B2, опубл. 24.03.2015г., IPC G02C 7/02, раскрыт способ создания прогрессивной линзы, включающий в себя измерение искажений волнового фронта глазом, определение начальной конструкции прогрессивной линзы на основе измерения волнового фронта, определение информации о том, как изменения в одной или нескольких аберрациях высшего порядка глаза влияют на коррекцию аберраций второго порядка глаза на основе информации, полученной в результате измерения волнового фронта. На основании, полученных данных, модифицируют первоначальную конструкцию прогрессивной линзы для получения финальной конструкции прогрессивной линзы. Указанное решение направлено для использования в медицинских целях для коррекции зрения и не относится к системам с увеличенной глубиной изображаемого пространства.

В заявке EP01865827, опубл. 19.12.2007г., IPC A61B 3/103, описывается способ и устройство для изменения свойств оптической системы посредством непрерывного мультифокального профиля, в котором профиль содержит компонент для увеличения глубины резкости формируемого оптической системой изображения, при этом указанный профиль содержит компонент для увеличения глубины резкости, который рассчитывается на основании полинома Цернике четвертого порядка. При этом, изменение базовой рефракции глаза предотвращается тем, что компонент для увеличения глубины резкости дополнительно вычисляется на основании полинома Цернике второго порядка. Указанное решение направлено на использование только в медицинских целях для контактных и интраокулярных линз и для увеличения глубины резкости используются только вычисления на основе полиномов Цернике второго и четвертого порядков, но не предусматривается наличие системы обработки изображения для исключения размытости формируемого изображения.

JP2011232606, опубл. 17.11.2011, IPC G01B 11/24, раскрывает камеру, оптическую систему, сменный объектив с двулучепреломляющим устройством. При этом двулучепреломляющее устройство выполнено с возможностью выборочного ослабления боковых максимумов (боковых лепестков) функции рассеяния объектива при дефокусировке. Указанная оптическая система требует наличия дополнительных оптических блоков, в частности двулучепреломляющего устройства, что значительно повышает его стоимость.

Ближайшим аналогом заявленного изобретения является оптическая система с увеличенной глубиной изображаемого пространства, раскрытая в US8559118, опубл. 15.10.2013, IPC G02B 13/18. Указанная оптическая система обеспечивает асимметричную модуляционную передаточную функцию (MTF). В некоторых аспектах асимметричная MTF приводит к увеличению глубины изображаемого пространства для близкорасположенных объектов. Оптическая система состоит из набора линз (например четыре линзы или пять линз), где первая линза имеет положительную оптическую силу, причем как поверхность линзы, обращенная к стороне предмета, так и поверхность, обращенная к стороне изображения, имеют выпуклые формы; первую линзу, имеющую положительную преломляющую способность, причем как поверхность, обращенная к стороне объекта, так и поверхность, обращенная к стороне изображения, имеют выпуклые формы; вторая линза имеет отрицательную оптическую силу и форму мениска, причем поверхность, обращенная к стороне предмета имеет вогнутую форму у оптической оси, а поверхность, обращенная к стороне изображения, имеет выпуклую форму у оптической оси; при этом четвертая линза имеет форму мениска у оптической оси, при этом поверхность, обращенная к стороне предмета, имеет выпуклую форму около оптической оси, и поверхность, обращенная к стороне изображения, имеет вогнутую форму около оптической оси. При этом длина оптической системы остается меньше, примерно 5,3 мм. Указанные оптические системы могут использоваться для компактной камеры с высоким разрешением, например, в сочетании с электронным вычислительным устройством, устройством связи, устройством отображения, оборудованием наблюдения или т.п. В данном устройстве используют особые формы линз и авторы посредством этого пытаются обеспечить требуемые оптические характеристики устройства. Однако, оперируя только формой линз не удается получить инвариантные оптические характеристики в зависимости от расстояния до предмета. Недостатком указанной оптической системы является небольшая глубина изображаемого пространства и неравномерность модуляционной передаточной функции в зависимости от дефокусировки.

В отличие от прототипа(US8559118), где используют особую форму линз для получения увеличенной глубины, в заявленном устройстве формирования изображения используется многозонная оптическая система, где каждая зона работает на свою глубину. Оптическая система прототипа формирует функцию рассеяния с боковыми лепестками, что приводит к искажениям изображения удаленных точеных объектов: они формируются с ореолами в виде колец или полуколец. Многозонная оптическая система предлагаемого изобретения решает данную проблему. При этом, хотя наличие блока обработки изображения предполагается в прототипе, но детали реализации и алгоритм его работы не раскрыты в US8559118. Авторы предлагаемого изобретения использует блок обработки изображения для восстановления размытого промежуточного изображения на основании функции рассеяния (PSF) или модуляционной передаточной функции (MTF) оптического устройства формирования изображения, причем параметры оптической системы и блока обработки изображения рассчитаны совместно, используя методы сквозной оптимизации.

Задачей настоящего изобретения является разработка способа и устройства формирования изображения с обеспечением увеличенной глубины изображаемого пространства.

При этом авторы изобретения разработали способ и устройство устраняющие недостатки традиционных способов формирования изображения с обеспечением расширенной или увеличенной глубины изображаемого пространства:

-обеспечение увеличенной глубины изображаемого пространства (extended depth of field (EDoF) оптической системы камеры смартфона без функции автофокусировки,

-отсутствие задержки фокусировки,

-быстрый алгоритм восстановления изображения,

-отсутствие необходимости взаимодействия с пользователем (отсутствие необходимости выбора области фокусировки),

-недорогая, компактная, оптическая система заявленного устройства формирования изображения, применяемая для массового производства.

Таким образом задачей заявленного изобретения является создание способа и устройства формирования изображения с увеличенной глубиной изображаемого пространства без дополнительных оптических элементов, формирующего высококачественные изображения после обработки с помощью искусственных нейронных сетей с использованием информации о функции рассеяния.

Основные проблемы известного уровня техники в области камер смартфонов заключается в том, что:

-в известных камерах с функцией автофокусировки применяются подвижные компоненты, например, электромагнитный привод для перемещения линз камеры относительно приемника, что в свою очередь вызывает задержку автофокусировки и усложняет конструкцию устройства,

-в известных камерах без функции автофокусирования применяются дополнительные оптические элементы, такие, как фазовые пластинки, для обеспечения увеличенной глубины резкости, что ведет к дополнительным затратам для производства.

Следует отметить, что в известных из уровня техники системах автофокусировки предусмотрены движущиеся механические компоненты (двигатель, кулачки, шестерни) для смещения линз для обеспечения фокусировки на объекте, что приводит к задержке фокусировки, и влияет на качество съемки быстро движущихся объектов. При этом в некоторых системах автофокусировки (AF системах), требуется вмешательство пользователя для выбора области фокусировки вручную и корректировки позиции фокуса, чтобы исключить возможные ошибки в режиме автофокусировки.

Кроме того, в известных AF системах при наведении на целевой объект и формировании четкого (резкого) изображения объекта, наблюдается неестественный эффект размытого изображения фона (боке) в виде ореолов в форме овалов, колец или полуколец (англ. donut-shaped bokeh).

На фиг.1а и 1b, представлены примеры неестественного представления фона, где на фиг.1а слева представлено резкое (четкое) изображение лица девушки в фокусе и на заднем плане изображение фона в виде дерева, где в рамке наблюдается эффект неестественно размытого фона. На фиг.1b размытое изображение фона представлено в увеличенном виде: удаленные от камеры промежутки между листьями и ветвями дерева изображаются с ореолами.

Известные системы с увеличенной глубиной изображаемого пространства (EDoF), как правило, имеют дорогостоящие конструкции, поскольку функция обеспечения увеличенной глубины изображаемого пространства предусматривает наличие дополнительных оптических элементов или покрытий, таких как фазовые маски, фазовые пластины, маски с кодированной апертурой, которые вносят фазовую задержку для обеспечения равномерного контраста по требуемой глубине изображения. Изображение с низким контрастом регистрируется приемником и далее выполняется обработка изображения для повышения контраста и повышения качества изображения. При этом наличие фазовых масок, например, маски с профилем параболы четвертой степени, кубической фазовой маски (Cubic polynominal shape mask), маски Торальдо (Toraldo mask) или кодированной апертуры в EDoF системах значительно повышает их стоимость или ухудшает светоэнергетические характеристики.

На фиг.2a, 2b, 2c схематично представлены изображения сцены с целевыми объектами, расположенными на различных расстояниях до камеры смартфона (ближняя зона, средняя зона - область фокусировки, дальняя зона), формируемыми известными устройствами формирования изображения.

При этом на фиг.2а представлено изображение сцены при обычном объективе известного уровня техники, где объекты в виде елки и человека размыты, потому что находятся не в фокусе, а объект в виде машины, находящийся в фокусе камеры смартфона, имеет четкое (резкое) изображение.

На фиг.2b представлено изображение сцены, получаемые при использовании известного объектива с увеличенной глубиной изображаемого пространства (EDoF), в которой используется фазовая маска. При этом все объекты сцены примерно одинаково размыты, в том числе машина.

На фиг.2с представлено изображение сцены после процесса обработки изображения, получаемого известным EDoF объективом согласно фиг.2b при наличии в оптической схеме фазовой маски.

При этом все объекты сцены, т.е. елка, машина и человек изображаются одинаково резко.

На фиг. 2d представлены графики, иллюстрирующие величину коэффициента передачи модуляции (T) или резкости изображения в зависимости от величины дефокусировки (z) для обычного объектива и EDoF объектива. На фиг.2d кривая, иллюстрирующая зависимость коэффициента передачи модуляции от дефокусировки для обычного объектива, имеет резкий пик в зоне фокусировки на целевом объекте сцены, что наглядно представлено на фиг.2а, а кривая, иллюстрирующая зависимость коэффициента передачи модуляции от дефокусировки для EDoF объектива имеет равномерный, плавный характер в требуемом диапазоне дефокусировок (z), что соответствует размытому изображению всех объектов сцены (2b) в пределах требуемой глубины.

На фиг.3а-3с представлена в общем виде схема заявленного технического решения (фиг. 3b), предложенного авторами настоящего изобретения, где условно представлена сцена в момент снятия изображения с помощью смартфона (см. фиг.3а) и изображения сцены после обработки захваченного изображения (фиг.3с).

Основные решения заявленного изобретения (Ключевое положение 1 и Ключевое положение 2).

Как видно на фиг.3b, oптическое устройство формирования изображения имеет несколько зон на зрачке (PZ1, PZ2).

Каждая зона характеризуется своим собственным фокусом (F1, F2) и аберрационными свойствами.

Каждый фокус соответствует некоторому расстоянию (глубине) в пространстве объектов. При этом каждой зоне зрачка соответствует пучок лучей L1,L2, например зоне PZ1 соответствует пучок лучей L1 и фокус F1.

Аберрационные свойства определяют качество изображения в соответствии с критериями качества изображения для диапазона расстояний.

Приемник регистрирует изображения с разных расстояний одновременно. Изображения на приемнике содержат информацию об объектах на разном расстоянии. При этом, получаемые на приемнике изображения являются размытыми, потому что объекты на разных расстояниях могут находиться не в фокусе и перекрывают друг друга. Для компенсации размытия предусмотрена функция обработки получаемых изображений посредством блока обработки изображения (Ключевое положение 2), который выполнен с возможностью восстановления изображений на желаемом расстоянии (глубине), на основании использования информации о характеристиках оптической системы (модуляционной передаточной функции (MTF) или функции рассеяния в зависимости от расстояния). В результате этой обработки изображений на экране смартфона получается четкое изображение объектов по всему полю сцены (см. фиг.3с).

Далее представлены основные преимущества и характерные особенности заявленного изобретения по сравнению с известным уровнем техники.

Заявленное изобретение

1)обеспечивает устройство формирование изображения с увеличенной глубиной изображаемого пространства (EDoF),

2) применяется в камерах смартфонов и подобных устройствах,

требуются только данные из текущего кадра для восстановления изображения и информация о характеристиках системы (функция рассеяния или модуляционная передаточная функция),

3) устройство формирования изображения представляет собой оптический блок с матричным приемником и блок обработки изображения,

4) Фокусное расстояние устройства формирования изображения обычно составляет менее 100 мм, предпочтительно около 3 мм в камере смартфона,

5) оптический блок содержит, как правило, больше двух линз и предусмотрено формирование промежуточного размытого изображения на приемнике,

6) используется многозонная оптическая система, где каждая зона работает на свою глубину.

7) заявленное решение обеспечивает формирование изображения объекта с высокой резкостью вне зависимости от расстояния до объекта, при этом нет границ между частями изображения и не изменяется разрешение изображения по полю зрения.

Уровень техники

A -Известные решения (US11022815B2, US5715031A, US8985767, EP01865827B1, используемые в офтальмологии):

1) обеспечивают коррекцию зрения, обеспечивают формирование изображения на сетчатке глаза,

2) применяются в контактных линзах, ИОЛ и очках,

3) содержат устройство формирования изображения, которое представляет собой одиночную линзу, работающую совместно с глазом,

4) имеют фокусное расстояние устройства формирования изображения обычно более 150мм,

5) оптический блок содержит только одну линзу и не предусмотрена обработка изображения,

6) обеспечивают формирование изображения на дальнем и близком расстоянии, что требует аккомодацию глаза пользователя.

B -Известные решения (US20190212478, US7593161, US8559118, используемые в системах формирования изображения с увеличенной глубиной изображаемого пространства).

1) оптическая система имеет значительное количество оптических компонентов (линзы особой формы, фазовые маски,), составляющих систему формирования изображения, что влияет на качество формируемого изображения и стоимость системы,

2) получаемый профиль передаточной функции(MTF) является неравномерным, что затрудняет последующую обработку изображения,

3) Оптическая система формирует функцию рассеяния(PSF) с боковыми лепестками, что приводит к искажениям изображения удаленных точечных объектов(они формируются с ореолами в виде колец),

4) отсутствует блок обработки изображения или, в случае его наличия, не раскрыты особенности его алгоритма работы в совокупности с оптической системой.

При этом авторы изобретения разработали способ и устройство формирования изображения с обеспечением расширенной или увеличенной глубины изображаемого пространства, устраняющие недостатки решений известного уровня техники, описанных выше.

Сущность изобретения

Согласно первому аспекту изобретения предлагается устройство формирования изображения с обеспечением увеличенной глубины изображаемого пространства, содержащее:

-оптический блок, выполненный с возможностью одновременного формирования промежуточных изображений объекта на различных расстояниях с эффектом размытия по меньшей мере частей изображений объекта, и содержащий, по меньшей мере один оптический элемент, и имеющий по меньшей мере две зоны зрачка, сформированных таким образом, чтобы обеспечить предварительно заданное распределение оптических сил и аберраций в пределах каждой, из по меньшей мере двух зон зрачка, на основании которых формируется функция рассеяния, характеризующаяся кривой с минимизированными боковыми максимумами по сравнению с центральным максимумом в заданном диапазоне расстояний до объекта, при этом каждой, из по меньшей мере двух зон зрачка соответствует заданный соответствующий диапазон расстояний до объекта и заданный соответствующий диапазон углов поля зрения,

- приемник, выполненный с возможностью регистрации промежуточных изображения, сформированных оптическим блоком, с разных расстояний до объекта и под разными углами поля зрения, одновременно,

- блок обработки изображения, соединенный с приемником, и выполненный с возможностью обработки промежуточных изображений объекта с эффектом размытия по меньшей мере частей изображений объекта, зарегистрированных приемником, при этом обработка указанного изображения выполняется на основе полученной функции рассеяния в заданном диапазоне расстояний и углов поля зрения, с восстановлением на выходе результирующих изображений без эффекта размытия вне зависимости от расстояний до объекта.

При этом, минимизированные боковые максимумы функции рассеяния, формируемые оптическим блоком, не превышают 10% центрального максимума в заданном диапазоне расстояний до объекта.

Согласно изобретению, заданный диапазон расстояний до объекта составляет от 400мм до 5000мм и заданный диапазон углов поля зрения составляет от -40 до +40 градусов.

Кроме того, оптический блок выполнен таким образом, что обеспечивает формирование инвариантной функции рассеяния не зависящей от расстояния до объекта в заданном диапазоне, или

не зависящей от угла поля зрения, или не зависящей от угла поля зрения и расстояния до объекта.

Оптический блок может быть выполнен с возможностью формирования равномерной модуляционной передаточной функции (MTF), не зависящей от расстояния до объекта.

Кроме того, оптический блок может быть с возможностью одновременного формирования промежуточных изображений объекта на различных расстояниях с эффектом размытия всего изображения объекта и содержит по меньший мере один оптический элемент, представляющий собой по меньшей мере один из: линзы с различными профилями поверхностей, составной линзы, дифракционного оптического элемента, голографического оптического элемента, поляризационного элемента, амплитудно-фазовой маски.

Одна или более линз оптического блока может иметь асферическую поверхность и/или, в частности, поверхность Цернике, обеспечивающие коррекцию аберраций.

При этом согласно одному варианту изобретения, оптические элементы оптического блока представляет собой, расположенные вдоль оптической оси со стороны предмета до поверхности изображения: первую линзу, вторую линзу, третью линзу, четвертую линзу, пятую линзу и шестую линзу, при этом

первая линза имеет положительную оптическую силу, при этом поверхность первой линзы со стороны предмета является выпуклой, а поверхность первой линзы со стороны поверхности изображения является вогнутой;

вторая линза имеет отрицательную оптическую силу, при этом поверхность второй линзы со стороны предмета является вогнутой и поверхность второй линзы со стороны поверхности изображения является также вогнутой;

третья линза имеет положительную оптическую силу,

четвертая линза имеет форму мениска,

пятая линза и шестая линза, каждая, имеют форму мениска в области близкой к оптической оси, при этом поверхность, каждой из пятой и шестой линзы, со стороны предмета, является выпуклой в области близкой к оптической оси, и поверхность, каждой из пятой и шестой линзы, со стороны поверхности изображения является вогнутой в области близкой к оптической оси.

При этом в оптическом блоке составная линза, представляет собой по меньшей мере одну из: бифокальной линзы, прогрессивной линзы, линзы Френеля и/или их комбинаций, дифракционный оптический элемент представляет собой дифракционную микроструктуру, выполненную с возможностью обеспечения амплитудно-фазовой модуляцию проходящего или отраженного излучения, голографический элемент выполнен и размещен таким образом, чтобы вносить вклад в устранение хроматических аберраций.

Кроме того, поляризационный элемент представляет собой поляризатор и/или фазовую пластинку и/или поляризационный фильтр, при этом поляризационный элемент, представляющий собой поляризатор и/или фазовую пластинку, выполнен с возможностью обеспечения многократного прохождения излучения через оптические элемента оптического блока, а поляризационный элемент представляющий собой поляризационный фильтр, выполнен с возможностью устранения бликов.

Следует отметить, что в устройстве согласно изобретению, амплитудно-фазовая маска выполнена и размещена в оптическом блоке таким образом, чтобы обеспечивать фазовую задержку или амплитудную модуляцию излучения для обеспечения равномерного коэффициента передачи модуляции по требуемой глубине изображения и представляет собой одну из: маски с фазовым профилем параболы четвертой степени, кубической фазовой маски, маски с концентрическими кольцевыми отверстиями в экране.

При этом, каждый из оптических элементов оптического блока выполнен из оптически прозрачного материала, выбранного из по меньшей мере одного из: оптического стекла, оптического кристалла и полимера.

Согласно первому аспекту изобретения, устройство может содержать затвор, расположенный в плоскости апертурной диафрагмы или сопряженной с ней плоскости устройства формирования изображения, и выполненный с возможностью регулирования открытия или закрытия заданного количества зон зрачка.

Приемник в заявленном устройстве представляет собой матричный фотодетектор, в частности КМОП матричный фотоприемник или ПЗС приемник, который выполнен с возможностью регистрации электромагнитного излучения в диапазоне 0,4-0,7 мкм, а размер пикселя датчика составляет от 0,7 мкм до 1,5 мкм.

Блок обработки изображения выполнен с возможностью обработки промежуточных изображений объекта с восстановлением на выходе результирующих изображений на основании сверточной нейронной сети и/или фильтра Винера, параметры которых предварительно определяются на основании параметров оптического блока и приемника.

При этом к параметрам оптического блока относятся по меньше мере одно из: радиусы поверхностей оптических элементов, коэффициенты асферических поверхностей оптических элемeнтов, толщины оптических элементов, показатели преломления материалов оптических элементов, величина дисперсии оптических элементов, расстояния между оптическими элементами в оптическом блоке, длина устройства, представляющая аксиальное расстояние между поверхностью первого оптического элемента со стороны объекта и поверхностью изображения на приемнике, а к параметрам приемника относятся по меньшей мере одно из: спектральной чувствительности, шума, параметры оцифровки.

Согласно второму аспекту изобретения предусмотрено устройство формирования изображения с обеспечением увеличенной глубины изображаемого пространства, содержащее:

-оптический блок, выполненный с возможностью одновременного формирования промежуточных изображений объекта на различных расстояниях с эффектом размытия по меньшей мере частей изображений объекта, и содержащий совокупность оптических элементов, и имеющий по меньшей мере две зоны зрачка, сформированных таким образом, чтобы обеспечить предварительно заданное распределение оптических сил и аберраций в пределах каждой, из по меньшей мере двух зон зрачка, на основании которых формируется функция рассеяния, характеризующаяся кривой с минимизированными боковыми максимумами по сравнению с центральным максимумом в заданном диапазоне расстояний до объекта, при этом каждой, из по меньшей мере двух зон зрачка соответствует заданный соответствующий диапазон расстояний до объекта и заданный соответствующий диапазон углов поля зрения, --при этом совокупность оптических элементов содержит, расположенные вдоль оптической оси со стороны предмета до поверхности изображения: первую линзу, вторую линзу, третью линзу, четвертую линзу, пятую линзу и шестую линзу, при этом

третья линза имеет положительную оптическую силу,

четвертая линза имеет форму мениска,

- блок обработки изображения, соединенный с приемником, и выполненный с возможностью обработки промежуточных изображений объекта с эффектом размытия по меньшей мере частей изображений объекта, зарегистрированных приемником, при этом обработка указанных изображений выполняется на основе полученной функции рассеяния в заданном диапазоне расстояний и углов поля зрения, с восстановлением на выходе результирующих изображений без эффекта размытия вне зависимости от расстояний до объекта.

не зависящей от угла поля зрения, или не зависящей от угла поля зрения и расстояния до объекта.

Кроме того, в устройстве согласно второму аспекту изобретения оптический блок дополнительно выполнен с возможностью одновременного формирования промежуточных изображений объекта на различных расстояниях с эффектом размытия всего изображения объекта.

Согласно второму аспекту изобретения, устройство может содержать затвор, расположенный в плоскости апертурной диафрагмы или сопряженной с ней плоскости устройства формирования изображения, и выполненный с возможностью регулирования открытия или закрытия заданного количества зон зрачка.

Приемник в заявленном устройстве представляет собой матричный фотодетектор, или КМОП матричный фотоприемник или ПЗС приемник, который выполнен с возможностью регистрации электромагнитного излучения в диапазоне 0,4-0,7 мкм, а размер пиксела датчика составляет от 0,7 мкм до 1,5 мкм.

Согласно третьему аспекту изобретения предлагается способ формирования изображения с обеспечением увеличенной глубины изображаемого пространства, содержащий этапы, при которых:

-обеспечивают одновременное формирования промежуточных изображений объекта на различных расстояниях с эффектом размытия по меньшей мере частей изображений объекта посредством оптического блока, имеющего по меньшей мере две зоны зрачка, сформированных таким образом, чтобы обеспечить предварительно заданное распределение оптических сил и аберраций в пределах каждой, из по меньшей мере двух зон зрачка, на основании которых формируют функцию рассеяния, характеризующуюся кривой с минимизированными боковыми максимумами по сравнению с центральным максимумом в заданном диапазоне расстояний до объекта, при этом каждой, из по меньшей мере двух зон зрачка соответствует заданный соответствующий диапазон расстояний до объекта и заданный соответствующий диапазон углов поля зрения,

- обеспечивают регистрацию промежуточных изображений, сформированных оптическим блоком, с разных расстояний до объекта и под разными углами поля зрения, одновременно, посредством приемника,

- блоком обработки изображения осуществляют обработку промежуточных изображений объекта с эффектом размытия по меньшей мере частей изображений объекта, на основании полученной функции рассеяния в заданном диапазоне расстояний и углов поля зрения, и

- восстанавливают результирующие изображения без эффекта размытия вне зависимости от расстояний до объекта.

не зависящей от угла поля зрения, или не зависящей от угла поля зрения и расстояния до объекта.

Кроме того, в устройстве согласно третьему аспекту изобретения оптический блок дополнительно выполнен с возможностью одновременного формирования промежуточных изображений объекта на различных расстояниях с эффектом размытия всего изображения объекта.

Краткое описание чертежей

Вышеописанные и другие признаки и преимущества настоящего изобретения поясняются в последующем описании, иллюстрируемом чертежами, на которых представлено следующее:

Фиг. 1а - схематично представлено формируемое изображение сцены, включающей целевой объект и фон, согласно известному уровню техники.

Фиг. 1b - схематично представлено в увеличенном масштабе изображение фона формируемого изображения сцены с фиг.1а, согласно известному уровню техники.

Фиг.2а - схематично представлено изображение сцены, формируемое обычным объективом известного уровня техники.

Фиг.2b - схематично представлено изображение сцены, получаемые при использовании известного объектива с увеличенной глубиной изображаемого пространства (EDoF).

Фиг.2с - схематично представлено изображение сцены после процесса обработки изображения, получаемого известным EDoF объективом согласно фиг.2b.

Фиг.2d - представлены графики модуляционной передаточной функции, иллюстрирующие коэффициент передачи модуляции (T) изображения в зависимости от величины дефокусировки (z) для обычного объектива и EDoF объектива.

Фиг. 3а-3с - представлена в общем виде схема заявленного технического решения, где на фиг.3а - условно представлена сцена в момент снятия изображения с помощью смартфона, фиг.3b - представлена схема заявленного технического решения (Ключевое положение 1 и Ключевое положение 2) и на фиг.3с - представлено изображения сцены после обработки захваченного изображения.

Фиг.4 - схематично представлено устройство формирования изображения с обеспечением увеличенной глубины изображаемого пространства и формируемые им промежуточное размытое изображение и выходное резкое (четкое) изображение согласно изобретению.

Фиг.5a-5c - схематично представлен процесс формирования изображения устройством формирования изображения с обеспечением увеличенной глубины изображаемого пространства без процесса обработки изображения согласно первому варианту реализации изобретения, где на фиг.5а условно представлена сцена в момент снятия изображения с помощью смартфона с EDoF, на фиг.5b представлен процесс формирования изображения без обработки изображения, на фиг.5с - представлено формируемое промежуточное размытое изображение.

Фиг.6а - представлен график функции рассеяния (PSF) для системы с автофокусировкой в дефокусированной позиции согласно известному уровню техники.

Фиг.6b - представлена график функции рассеяния (PSF) для системы EDoF согласно известному уровню техники.

Фиг.6c - представлена график функции рассеяния (PSF) заявленного устройства формирования изображения с обеспечением увеличенной глубины изображаемого пространства.

Фиг.7 - представлены графики функций рассеяния (PSF) для устройства формирования изображения с обеспечением увеличенной глубины изображаемого пространства в зависимости от угла поля зрения (W) и расстояния до предмета (d) согласно варианту реализации изобретения.

Фиг.8 - представлена схема формирования промежуточного размытого изображения на приемнике устройства формирования изображения с обеспечением увеличенной глубины изображаемого пространства и формирования выходного резкого (четкого) изображения после процесса восстановления блоком обработки изображения согласно варианту реализации изобретения.

Фиг.9а - представлена схема формирования промежуточного изображения устройством формирования изображения с обеспечением увеличенной глубины изображаемого пространства, имеющего по меньшей мере две зоны зрачка согласно варианту реализации изобретения.

Фиг.9b - представлены графики модуляционной передаточной функции, характеризующие зависимости коэффициента передачи модуляции (T) от дефокусировки (z) для устройства формирования изображения с обеспечением увеличенной глубины изображаемого пространства с двумя, тремя и множеством зон зрачков согласно варианту реализации изобретения.

Фиг.10 - представлена схема формирования промежуточного изображения устройством формирования изображения с обеспечением увеличенной глубины изображаемого пространства, имеющего по меньшей мере две подзоны зон зрачка согласно варианту реализации изобретения.

Фиг. 11а - представлена схема формирования двух пучков лучей с соответствующими фокусами F1, F2 для устройства формирования изображения с двумя зонами зрачка согласно варианту реализации изобретения.

Фиг. 11b - представлен в увеличенном виде ход пучков лучей в области фокусов F1, F2 со схемы фиг.11а согласно варианту реализации изобретения.

Фиг. 11c - представлен график, иллюстрирующий модуляционную передаточную функцию (MTF), характеризующую зависимость коэффициента передачи модуляции (T) от дефокусировки (z) согласно варианту реализации изобретения.

Фиг.12а - представлен ход лучей для схемы формирования изображения с двумя фокусами согласно варианту реализации изобретения.

Фиг.12b - представлен ход лучей для схемы формирования изображения с тремя фокусами, согласно варианту реализации изобретения.

фиг.12с - представлен график, иллюстрирующий модуляционную передаточную функцию (MTF), характеризующую зависимость коэффициента передачи модуляции (T) от дефокусировки (z) для схемы формирования изображения с двумя фокусами согласно фиг.12а.

Фиг.12d - представлен график, иллюстрирующий модуляционную передаточную функцию (MTF), характеризующую зависимость коэффициента передачи модуляции (T) от дефокусировки (z) для схемы формирования изображения с тремя фокусами согласно фиг.12b.

Фиг.13 - схематично представлен оптический блок устройства формирования изображения с обеспечением увеличенной глубины изображаемого пространства с разделением зоны зрачка на по меньшей мере две зоны, где функция рассеяния (PSF) не зависит от расстояния до объекта, при этом под позицией 13а) представлены функции рассеяния (PSF) для дальней позиции, центральной позиции и ближней позиции, а под позицией 13b) представлены функции рассеяния (PSF) в зависимости от угла поля зрения.

Фиг.14 - схемматично представлен оптический блок устройства формирования изображения с обеспечением увеличенной глубины изображаемого пространства с разделением зоны зрачка на по меньшей мере две зоны, где функция рассеяния PSF зависит от глубины поля зрения, при этом под позицией 14а) представлены функции рассеяния (PSF) в зависимости от глубины изображаемого пространства для дальней позиции, центральной позиции и ближней позиции, а под позицией 14b) представлены функции PSF в зависимости от угла поля зрения.

Фиг.15а - представлен схематичный вид пятен рассеяния в плоскости изображения в соответствии с функцией рассеяния (PSF) для устройства формирования изображения с обеспечением увеличенной глубины изображаемого пространства согласно фиг.13.

Фиг.15b - представлен схематичный вид пятен рассеяния в плоскости изображения в соответствии с функцией рассеяния (PSF) для устройства формирования изображения с обеспечением увеличенной глубины изображаемого пространства согласно фиг.14.

Фиг.15с - представлен график, иллюстрирующий модуляционную передаточную функцию (MTF), характеризующую зависимость коэффициента передачи модуляции (T) от дефокусировки (z) согласно вариантам реализации изобретения.

Фиг.16а - схематично представлено устройство формирования изобретения с обеспечением увеличенной глубины изображаемого пространства с затвором без устройства обработки изображения.

Фиг.16b,16c,16d - представлены графики, иллюстрирующие модуляционные передаточные функции (MTF), характеризующие зависимости коэффициента передачи модуляции (T) от дефокусировки(z)в зависимости от открытия зон зрачка согласно вариантам реализации изобретения.

Фиг.17а, 17b,17c,17d - представлены карты распределения оптической силы в зависимости от формы зрачковых зон.

Фиг.18 - схематично представлено устройство формирования изображения с обеспечением увеличенной глубины изображаемого пространства и формируемые им промежуточное изображение и выходное изображение согласно изобретению.

Фиг.19а и 19b - представлены изображения, полученные заявленным устройством формирования изображения с обеспечением увеличенной глубины изображаемого пространства до и после обработки устройством формирования изображения.

Фиг.20а - представлена схема примера реализации оптического блока устройства формирования изображения с обеспечением увеличенной глубины изображаемого пространства согласно изобретению.

Фиг.20b - представлен график, иллюстрирующий модуляционную передаточную функцию (MTF), характеризующую зависимость коэффициента передачи модуляции (T) от дефокусировки (z) известного уровня техники.

Фиг.20с - представлен график, иллюстрирующий модуляционную передаточную функцию (MTF), характеризующую зависимость коэффициента передачи модуляции (T) от дефокусировки (z) заявленного устройства формирования изображения с обеспечением увеличенной глубины изображаемого пространства.

Фиг. 21 - представлены графики, иллюстрирующие модуляционные передаточные функции (MTF), характеризующие зависимость коэффициента передачи модуляции (T) от дефокусировки (z) для оптического блока, имеющего асферическую поверхность и/или поверхность Цернике согласно варианту реализации заявленного устройства формирования изображения с обеспечением увеличенной глубины изображаемого пространства.

Фиг.22а - представлены примеры графиков передаточной функции MTF для оптического блока устройства формирования изображения согласно изобретению.

Фиг.22b - представлены примеры графиков функций рассеяния (PSF) для оптического блока устройства формирования изображения в зависимости от расстояния до предмета (d) согласно варианту реализации изобретения.

Фиг.22с представлены графики, иллюстрирующий дисторсию оптического блока устройства формирования изображения с обеспечением увеличенной глубины изображаемого пространства согласно варианту реализации изобретения.

Фиг.23а - схематично представлен оптический блок с разделением входного зрачка на две зоны зрачка (PZ1, PZ2) и приемник согласно варианту реализации устройства формирования изображения с обеспечением увеличенной глубины изображаемого пространства.

Фиг.23b - представлен профиль распределения оптической силы оптического блока в сагиттальном сечении зрачка согласно фиг.23а устройства формирования изображения с обеспечением увеличенной глубины изображаемого пространства согласно изобретению.

Фиг.23с - представлен профиль распределения фокусного расстояния оптического блока в сагиттальном сечении зрачка согласно фиг.23а устройства формирования изображения с обеспечением увеличенной глубины изображаемого пространства согласно изобретению.

Фиг.23d - представлена карта распределения фокусного расстояния оптического блока согласно фиг.23а устройства формирования изображения с обеспечением увеличенной глубины изображаемого пространства согласно изобретению.

Фиг.24а - представлен график функции рассеяния (PSF) с минимизированными боковыми лепестками оптического блока устройства формирования изображению с обеспечением увеличенной глубины изображаемого пространства согласно изобретению.

Фиг.24b - представлен график модуляционной передаточной функции (MTF) в зависимости от дефокусировки (глубины резкости), иллюстрирующий плавную кривую Функции MTF.

Фиг.25а-25е - процесс формирования изображения оптическим блоком и регистрации на приемнике, где на фиг.25а - представлено условное разделение объекта на части, на фиг.25b - изображено математическое представление изображения, формируемого оптическим блоком в виде свертки распределения интенсивности и функции рассеяния, 25с - представлен расчет функции рассеяния для каждой части приемника, 25d - представлены операции по регистрации изображения на приемнике, 25e - представлено получение промежуточного изображение на приемнике Yc.

Фиг.26 - схематично представлен вид изображения объекта (Yc), получаемого на приемнике (см. результирующее промежуточное изображение на фиг.25d) и восстановленного изображения, получаемого после обработки в блоке обработки изображения.

Фиг.27 - схематично представлен пример разделяемой функции рассеяния (PSF)согласно варианту реализации изобретения.

Фиг.28 - схематично представлен пример архитектуры нейронной сети с семью уровнями согласно варианту реализации изобретения.

Предпочтительные варианты осуществления изобретения

Примеры вариантов осуществления настоящего раскрытия будут подробно описаны ниже. Примеры вариантов осуществления были проиллюстрированы на прилагаемых чертежах, на которых одинаковые или подобные ссылочные позиции относятся к одинаковым или подобным элементам или элементам, имеющим одинаковые или подобные функции. Примерные варианты осуществления, описанные со ссылкой на прилагаемые чертежи, являются иллюстративными, используются только для объяснения настоящего раскрытия и не должны рассматриваться как какие-либо ограничения к нему.

В рамках настоящего изобретения будут использоваться следующие понятия и термины, толкование которых предоставляется ниже авторами изобретения:

Целевой объект - объект, выбранный пользователем для съемки.

Апертурная диафрагма - диафрагма, ограничивающая пучок лучей, выходящих из осевой точки предмета.

Зрачок - параксиальное изображение апертурной диафрагмы.

Зона зрачка (Pupil zone(PZ)) - выделенная область зрачка с собственными свойствами оптической системы (фокусным расстоянием, аберрационными свойствами).

Поле зрения - угол между двумя лучами, проходящими через центр входного зрачка объектива (линзы) к наиболее удаленным от оптической оси отображаемым точкам объекта в пространстве предметов.

Угол поля зрения - угол между оптической осью и лучом, проходящим через точку предмета в поле зрения

Пятно рассеяния-изображение точки, образуемое реальной оптической системой.

Промежуточное изображение-изображение, сформированное оптическим блоком на приемнике.

Восстановленное изображение-изображение на выходе блока обработки изображения.

Функция рассеяния (Point Spread Function (PSF)) - описывает зависимость распределения освещенности изображения точечного объекта от координат в плоскости изображения.

Эффект боке (boken-effect)- размытие (нерезкость) части изображения, как правило фона, находящейся не в фокусе.

Ореол - световая кайма вокруг изображения точек предмета.

Коэффициент передачи модуляции - отношение контраста изображения гармонического (синусоидального) объекта к контрасту самого объекта.

Модуляционная передаточная функция (MTF) - показывает изменение коэффициента передачи модуляции (контраста) изображения в зависимости от пространственной частоты гармонического объекта. Другими словами, она характеризует, насколько точно пространственно-частотное содержание объекта передается изображению.

Дефокусировка - смещение плоскости анализа относительно плоскости установки приемника.

Оптическая система (блок) - совокупность оптических элементов определенным образом расположенных в пространстве, обеспечивающих необходимое формирование пучков лучей (без приемника и блока обработки).

Согласно первому варианту реализации предусмотрено устройство формирования изображения с обеспечением увеличенной глубины изображаемого пространства (см. фиг.4), содержащая оптический блок, приемник и блок обработки изображения. На фигурах 5а-5с представлена схема устройства формирования изображения с обеспечением увеличенной глубины изображаемого пространства без блока обработки изображения. При этом оптический блок имеет по меньшей мере две зоны зрачка (PZ1, PZ2) (см. фиг.3b,4 и 5b). При этом каждая зона зрачка c соответствующими аберрационными свойствами функционирует с соответствующим диапазоном расстояний (d1, d2, d3) до объекта, которым соответствует свой фокус (F1, F2, F3) и диапазоном углов поля зрения (угол 1, угол 2, угол 3). При этом аберрационные свойства (например, волновые аберрации (OPD)) каждой зоны зрачка определяют качество изображения в соответствии с характеристиками оптического блока для диапазона расстояний d1, d2, d3,…,dN. К характеристикам относятся, например, функция рассеяния (PSF) или модуляционная передаточная функция (MTF) для диапазона расстояний до объекта и углов поля зрения. При этом оптический блок формирует промежуточное размытое изображение, которое далее корректируется блоком обработки изображения, используя характеристики оптической системы (функции PSF или MTF) в диапазоне расстояний до объекта и углов поля зрения и на выходе блока обработки изображения обеспечивается четкое контрастное изображение объектов по всему полю зрения.

Характеристики и свойства зон зрачка совместно оптимизируются таким образом, что оптический блок формирует функцию рассеяния (PSF) с минимизированными боковыми лепестками (боковыми максимумами, боковыми пиками) для точек вне фокуса.

Далее на фиг.6а-6с представлены примеры графиков функции рассеяния (PSF). На фиг.6а представлен график функции рассеяния (PSF) при дефокусировке оптической системы камеры согласно известному уровню техники, в результате изображения точечных объектов фона представляют собой пятна рассеяния в виде колец или полуколец, что приводит к неестественному размытию фона (donut-shaped bokeh).

На фиг.6b представлен график функции рассеяния (PSF) при дефокусировке для системы EDoF согласно известному уровню техники, на графике представлены боковые максимумы (боковые лепестки), в результате изображения точечных объектов фона представляют собой пятна рассеяния с ореолом в виде колец, что приводит к неестественному размытию фона (donut-shaped bokeh).

Фиг.6c представлена график функции рассеяния (PSF) заявленного устройства формирования изображения, в которой функция PSF в положении вне фокуса без боковых лепестков или с максимально минимизированными боковыми лепестками, что приводит к равномерному размытию фона.

Указанный эффект достигается посредством использования мультифокального оптического блока с множеством зон зрачка. При этом в результате, на выходе из блока обработки изображения обеспечивается получение естественного размытия фона (эффекта боке) в финальном изображении объекта.

Следует отметить, что известные EDoF системы работают следующим образом:

1) оптический блок регистрирует размытое изображение. Его специально делают размытым (с помощью амплитудно-фазовых масок или ведения сферической аберрации), чтобы увеличить глубину изображаемого пространства. У таких систем функция рассеянии получается с боковыми максимумами (боковыми лепестками). Эти боковые максимумы приводят к тому, что в изображении точки появляется ореол в виде колец или полуколец. Особенно это критично для удаленных объектов, где много точечных источников, например, промежутки между листьями и ветками деревьев (см. фиг.1а, 1b). С расстояния они кажутся точками, но EDoF регистрирует их в виде пятна с ореолом из-за боковых максимумов в функции рассеяния.

2) сформированное оптическим блоком размытое изображение регистрируется приемником

3) блок обработки восстанавливает резкое изображение из размытого. Если в изображении есть размытые точки (пятна) с ореолами, то после обработки они преобразуются в резкие точки с резким ореолом. Т.е. изображение искажается: должны были получить точку, а получили точку с резким кольцом.

В заявленном устройстве формирования изображения в оптическом блоке размытие достигается не фазовой маской или введением сферической аберрации, а путем разбития зрачка на зоны со своими аберрационными свойствами, но при этом не исключается использование маски. В результате оптический блок формирует размытое изображение и дополнительно, в отличие от других EDoF известных из уровня техники, у функции рассеяния (PSF) отсутствуют боковые максимумы. Точечный объект (или точка на объекте, точечный источник) преобразуется в размытую точку (пятно), но без ореолов.

При этом блок обработки изображения выполнен с возможностью обработки промежуточного размытого изображения (см.4, 5b) и восстановления размытого изображения, формируемого оптическим устройством. При этом обработка изображения выполняется на основании распределения функции PSF или MTF по диапазону расстояний до объекта и углов поля зрения. При этом восстановление изображения используется также с учетом параметров приемника устройства формирования изображения, к которым относятся: спектральная чувствительность, шум, параметры дискретизации, и которые используются при выполнении процесса восстановления изображения. Таким образом, блок обработки восстанавливает резкое изображение из размытого. Поскольку в изображении нет ореолов, размытое изображение точки (пятно) превращается в точку, как и должно быть в натурально выглядящем изображении.

На фиг.7 представлены графики, иллюстрирующие Примеры изменения формы функции рассеянии в зависимости от угла поля зрения и расстояния до предмета. При этом авторы изобретения наглядно продемонстрировали, как функция рассеяния (PSF) зависит от угла поля зрения (W) и расстояния до предмета (d). На графиках на фиг.7, (где x - координата в плоскости изображения, I - значение функции рассеяния), представлены Примеры функции рассеяния для расстояния до предмета (целевого объекта) равного 400мм, 1000мм, 5000мм и углам поля зрения (W) равным 0 градусов, 23 градуса и 40 градусов. Информация, полученная в результате экспериментальных исследований, проведенными авторами изобретения, часть из которых представлена на фиг.7, в качестве неограничивающего примера, далее используется в блоке обработке изображения для восстановления размытого изображения.

Следует отметить, что при проведении экспериментальных исследований авторы изобретения выявили, при каждом из расстояний 400 мм, 1000м и 5000мм до объекта устройство формирования изображения согласно изобретению формирует функцию рассеяния с минимизированными боковыми лепестками, что свидетельствует о получении равномерно размытого промежуточного изображения, и что в свою очередь обеспечивает восстановление четкого (резкого) изображения после обработки в блоке обработки изображения.

Кроме того, при проведении экспериментальных исследованиях авторы изобретения было получено, что при углах поля зрения равных: -40 градусов, 0 градусов, 23 и +40 градусов и при заданных расстояниях до объекта устройство формирования изображения согласно изобретению формирует функцию рассеяния с минимизированными боковыми лепестками, что свидетельствует о получении равномерно размытого промежуточного изображения, и что в свою очередь обеспечивает восстановление четкого (резкого) изображения после обработки в блоке обработки изображения.

На основании проведенных исследований было получено, что устройство формирования изображения согласно изобретению обеспечивает формирование функции рассеяния, у которой минимизированные боковые максимумы (боковые лепестки) функции рассеяния, формируемые оптическим блоком, не превышают 10% центрального максимума в заданном диапазоне расстояний до объекта.

На фиг.8 схематично представлен процесс формирования размытого изображения на приемнике, и данные изображения с приемника поступают в блок обработки изображения, где осуществляется восстановление изображения. При этом, в данном случае, обработка изображения выполняется на основании распределения функции рассеяния (PSF), как показано на фиг.7 по диапазону расстояний до объекта и углов поля зрения. При этом восстановление изображения используется также с учетом параметров приемника устройства формирования изображения, к которым относятся: спектральная чувствительность, шум, параметры дискретизации, и которые используются при выполнении процесса восстановления изображения.

При этом следует отметить, что приемник представляет собой матричный фотодетектор, в частности КМОП матричный фотоприемник или ПЗС приемник, который выполнен с возможностью регистрации электромагнитного излучения в диапазоне 0,4-0,7 мкм, а размер пикселя приемника составляет, как 0,7 мкм, 1 мкм, так и 1, 5 мкм. Согласно другому варианту реализации изобретения предусмотрено устройство формирование изображение, имеющее по меньшей мере 2 зоны зрачка, схема, которой представлена на фиг.9а.

При этом каждая зона зрачка функционирует с соответствующим диапазоном расстояний (d1, d2, dN) до объекта (не показан на фиг.9а), которым соответствует свой фокус (F1, F2, FN) и диапазоном соответствующих углов поля зрения. На фиг.9a каждой зоне зрачка соответствует свой пучок лучей, т.е. зоне PZ1 соответствует пучок L1 и т.д., и своя область пятна рассеяния.

При этом волновые аберрации (OPD) каждой зоны зрачка определяют качество изображения в соответствии с функцией рассеяния (PSF) или модуляционной передаточной функцией (MTF) для диапазона расстояний до объекта и углов поля зрения. При этом обработка изображения выполняется на основании зависимости функции PSF или MTF от диапазона расстояний до объекта и углов поля зрения. При этом восстановление изображения используется также с учетом параметров приемника системы формирования изображения, к которым относятся: спектральная чувствительность, шум, параметры дискретизации, и которые используются при выполнении процесса восстановления изображения.

При этом на фиг.9b представлены графики зависимости коэффициента передачи модуляции (T) от дефокусировки (z) для устройства с двумя, тремя и множеством зон зрачков, и соответствующего количества фокусов. Понятие множество в контексте фокусов используется условно и предусматривает диапазон фокусов, например, от 3,1 мм до 2,9 мм, используемый в камерах смартфонов.

При этом график для устройства формирования изображения с множеством зон зрачка, т.е. при разбиении зрачка на множество зон представляет собой более плавную зависимость коэффициента передачи модуляции (T) от дефокусировки (z) в отличие графиков при разбиении зрачка на две или три зоны.

Таким образом оптическое устройство формирования изображения, имеющее более 2 или 3 зрачковых зон характеризуется более плавной модуляционной передаточной функцией и большей глубиной изображаемого пространства.

Согласно еще одному варианту реализации устройства формирования изображения предлагается структура, в которой помимо разделения зрачка на 2 зоны предусматривается разделение каждой зоны на подзоны (подзона 1, подзона 2, подзона 3 и подзона N), см. фиг.10.

Каждой подзоне соответствует свой фокус (F1…FN) и свой пучок лучей L1, L2, LN. При этом сечение 1 представляет собой сечение линзы, например, меридиональное, а сечение 2-сагиттальное, или наоборот. У обычной осесимметричной поверхности (например, сферической) эти сечения имеют одинаковый профиль. На примере, представленном на фиг.12 профили сечения 1 и 2 отличаются друг от друга, в данном случае ассиметричный профиль линзы, используемый в устройстве формирования изображения согласно фиг.10 обеспечивает большую глубину изображаемого пространства и формирование равномерно размытого промежуточного изображения по всей глубине и полю сцены.

При этом оптическое устройство формирует промежуточное размытое изображение изображения, которое далее корректируется блоком обработки изображения в соответствии с функцией рассеяния (PSF) или модуляционной передаточной функцией (MTF) для диапазона расстояний до объекта и углов поля зрения. При этом восстановление изображения используется также с учетом параметров приемника системы формирования изображения, к которым относятся: спектральная чувствительность, шум, параметры дискретизации, и которые используются при выполнении процесса восстановления изображения.

Следует отметить, что в зависимости от количества зон зрачка, каждой из которой соответствует свое фокусное расстояние (F1, F2, FN) для соответствующего пучка лучей (L1, L2, LN) формируется своя модуляционная передаточная функция (MTF).

На фиг. 11а и 11b представлены схемы формирования двух пучков лучей с соответствующими фокусами F1, F2 для устройства формирования изображения с двумя зонами зрачка. На фиг.11а представлена схема формирования двух пучков излучения, сходящихся в фокусы F1, F2. На фиг.11b представлен в увеличенном виде ход лучей вблизи фокусов F1, F2 (т.е. в области, которая выделена овалом на фиг.11а).

При этом для такой конструкции с двумя зонами зрачка характерна модуляционная передаточная функция (MTF), характеризующая зависимость коэффициента передачи модуляции (T) от дефокусировки (z) (см. фиг.11с), и имеющие на графике два максимума одинаковой высоты, что обеспечивает формирование четкого резкого изображения одинакового коэффициента передачи модуляции в точках максимума.

На фиг.12а и 12b представлен ход пучков лучей для схем с двумя и тремя фокусами, соответственно.

На фиг.12с и 12d представлены соответствующие функции MTF в зависимости от величины дефокусировки (z).

При этом для оптической схемы с двумя зрачковыми зонами оптическое устройство формирования изображения обеспечивает изображения разного контраста в зависимости от различной глубины (дефокусировки), см. фиг.12с, где наглядно проиллюстрировано наличие по меньшей мере двух максимумов различной высоты. А на фиг.12d представлена функция MTF для оптического устройства формирования изображения с тремя и более фокусами, обеспечиваемыми посредством разделения зоны зрачка на множество зон или подзон, что позволяет получать изображения на различных дистанциях до объекта без фокусировки. При этом как наглядно проиллюстрировано на фиг.12d наличие множества максимумов на графике функции MTF обеспечивает более равномерный характер функции MTF.

Согласно одному варианту реализации устройства формирования изображения (см. фиг.13) с разделением зоны зрачка на по меньшей мере две зоны, предлагается оптический блок, иллюстрирующий схему формирования пучков излучения L1, L2 с соответствующими фокусами, где функция рассеяния PSF не зависит от расстояния до объекта или т.е. глубины изображаемого пространства. Каждая зона (PZ1, PZ2) характеризуется своим собственным фокусом (F1, F2) и аберрационными свойствами.

Следует отметить, что глубина изображаемого пространства и глубина резкости - оба эти понятия относятся к расстоянию вдоль оптической оси, в пределах которых допускаются перемещения плоскости предметов и плоскости изображений, соответственно, при условии, что качество изображения остается еще удовлетворительным, т.е. в нашем случае его можно восстановить блоком обработки.

При этом каждой зоне зрачка соответствует соответствующий пучок излучения L1, L2, например, зоне PZ1 соответствует пучок L1 и фокус F1.

Инвариантность оптического блока согласно фиг.13 проиллюстрирована на графиках функции рассеяния для дальней позиции, центральной позиции и ближней позиции, которые имеют примерно одинаковую форму функции PSF (см. графики а) фиг.13) вне зависимости от расстояния до объекта, где PSF2, PSF0, PSF3-функции PSF для дальней позиции, центральной позиции и ближней позиции, соответственно.

Таким образом, функции рассеяния инвариантны (PSF0~PSF2~PSF3) вне зависимости от расстояния от объекта.

При этом, как наглядно видно на графиках b) фиг.13 функции PSF отличаются в зависимости от угла поля зрения. Таким образом функции рассеяния различны (PSF0≠PSF1) для разных углов поля зрения.

Как видно на фиг.15а, где представлен вид пятен рассеяния в плоскости изображения в соответствии с функцией PSF для устройства формирования изображения согласно фиг.13, т.е. пятна рассеяния отличаются друг от друга в зависимости от угла поля зрения, но одинаковы по глубине.

Такая способность оптического блока устройства формирования изображения согласно изобретению, т.е. независимость качества формируемого изображения от расстояния (глубины резкости) до целевого объекта, делает обработку получаемых изображений с разных расстояний менее сложной.

Согласно еще одному варианту реализации устройства формирования изображения (см. фиг.14) с разделение зоны зрачка на по меньшей мере две зоны, предлагается оптический блок, иллюстрирующий схему формирования пучков лучей L1, L2 с соответствующими фокусами, где функция рассеяния PSF зависит от глубины поля зрения. Каждая зона (PZ1, PZ2) зрачка характеризуется своим собственным фокусом (F1, F2) и аберрационными свойствами.

При этом каждой зоне зрачка соответствует соответствующий пучок лучей L1, L2, например зоне PZ1 соответствует пучок L1 и фокус F1.

Функциональность оптического блока согласно фиг.14 проиллюстрирована на графиках функции рассеяния для дальней позиции, центральной позиции и ближней позиции, которые имеют различную форму функции PSF (см. графики а) фиг.14) в зависимости от глубины изображаемого пространства, где PSF2, PSF0, PSF3-функции PSF для дальней позиции, центральной позиции и ближней позиции, соответственно. Таким образом, функции рассеяния различны (PSF0≠PSF2≠PSF3) при различных значениях глубины изображаемого пространства.

При этом, как наглядно видно на графиках b) фиг.14, иллюстрирующих зависимость функции PSF от угла поля зрения, где функции PSF примерно одинаковы в зависимости от угла поля зрения. Таким образом функции рассеяния инвариантны (PSF0~PSF1) для разных углов поля зрения.

Как видно на фиг.15b, где представлен вид пятен рассеяния в плоскости изображения в соответствии с функции PSF для устройства формирования изображения согласно фиг.14, т.е. пятна рассеяния имеют одинаковый размер в зависимости от угла поля зрения, но отличаются по глубине.

Такая способность оптического блока устройства формирования изображения согласно изобретению, т.е. независимость качества формируемого изображения от поля зрения, обеспечивает менее сложную обработку получаемых изображений.

Согласно еще одному варианту реализации устройства формирования изображения признаки, представленные на фиг. 13 и фиг. 14, могут сочетаться в одном устройстве, т.е. одновременно обеспечивается инвариантность функции рассеяния и по полю зрения и по глубине, что упрощает последующую обработку изображения.

Согласно еще одному варианту реализации оптический блок устройства формирования изображения обеспечивает также равномерную модуляционную передаточную функцию (MTF), характеризующую зависимость коэффициента передачи модуляции от дефокусировки (z), т.е. MTF не зависит от величины дефокусировки в требуемом диапазоне (равномерный диапазон MTF на фиг.15с).

Согласно еще одному варианту реализации оптический блок устройства формирования изображения обеспечивает одновременно равномерную модуляционную передаточную функцию и инвариантную функцию рассеяния (см. фиг.15с).

Такая способность оптического блока устройства формирование изображения согласно изобретению, обеспечивает менее сложную обработку получаемых изображений.

Оптический блок устройства формирования изображения представляет собой совокупность оптических элементов определенным образом расположенных в пространстве, обеспечивающих необходимое формирование пучков лучей (без приемника и блока обработки). При этом в качестве оптических элементов могут быть использованы линзы, имеющие различный профиль поверхностей, и/или составная линза, и/или дифракционный оптический элемент, и/или голографический оптический элемент, и/или поляризационный элемент и/или амплитудно-фазовая маска.

При этом составная линза представляет собой структуру, состоящую из по меньшей мере двух зон с различными оптическими свойствами. В качестве составной линзы могут использоваться бифокальная линза, прогрессивная линза, линза Френеля.

Бифокальная линза - это составная линза с двумя зонами, имеющими разные фокусные расстояния.

Прогрессивная линза - это составная линза, состоящая из нескольких зон, характеризующихся градиентом фокусного расстояния.

Линза Френеля - это составная линза, состоящая из нескольких ступенчатых зон, представляющих собой соответствующие зоны непрерывного профиля поверхности обычной линзы.

При этом дифракционный оптический элемент представляет собой дифракционную микроструктуру, осуществляющую амплитудно-фазовую модуляцию проходящего или отраженного излучения.

Голографический оптический элемент - дифракционный оптический элемент, изготовляемый методами интерференции световых волн.

Дифракционный оптический элементы и в частности голографический оптический элемент позволяет эффективно исправлять или вносить хроматические аберрации, имея небольшую толщину от 5 мкм.

Поляризационный элемент представляет собой устройство, изменяющее состояние поляризации. Например, в качестве поляризационного элемента может использоваться поляризатор или фазовая пластинка. Поляризатор, предназначен для получения поляризованного или частично поляризованного излучения. Фазовая пластинка вносит разность фаз между ортогональными линейно поляризованными составляющими излучения. В частности, в качестве фазовой пластики может использоваться четвертьволновая пластинка, если разность фаз советует четверти длины волны, или полуволновая пластинка, если разность фаз соответствует половине длины волны. Фазовую пластинка, может быть выполнена с возможностью преобразования излучения из состояния p-поляризации в состояние s-поляризации или наоборот, преобразования правой циркулярной поляризации в левую циркулярную поляризацию или наоборот, преобразования линейно поляризованного излучения в циркулярно поляризованное или наоборот.

Наличие поляризационного элемента в оптическом блоке согласно изобретению позволяет, например, обеспечить многократное прохождение излучения через небольшое количество оптических элементов, составляющих оптический блок. При этом многопроходное прохождение излучения позволяет сократить общую длину оптического блока и устройства формирования изображения в целом, тем самым обеспечивая компактность устройства, что является важным требованием для смартфонов.

Также поляризационный элемент может использоваться в качестве поляризационного фильтра, например, для устранения бликов.

Амплитудно-фазовая маска - устройство, осуществляющее амплитудно-фазовую модуляцию проходящего или отраженного излучения.

Амплитудно-фазовые маски представляют собой, например: маски с фазовым профилем параболы четвертой степени, кубической фазовой маски, маски с концентрическими кольцевыми отверстиями в экране и выполнены с возможностью обеспечения фазовой задержки или амплитудной модуляции для обеспечения равномерного коэффициента передачи модуляции по требуемой глубине изображения. Наличие амплитудно-фазовых масок в оптическом блоке обеспечивает оптимизацию формы функции рассеяния (PSF).

При этом, каждый оптический элемент из указанного блока оптических элементов выполнен из оптически прозрачного материала, выбранного из одного из оптических стекол, оптических кристаллов и полимеров.

В одном из вариантов осуществления изобретения в оптическом блоке предусматривается наличие затвора, например оптического затвора, предпочтительно в плоскости апертурной диафрагмы или сопряженной с ней плоскости устройства формирования изображения. Наличие оптического затвора позволяет регулировать количество фокусных расстояний устройства, т.е. регулирование открытия или закрытия определенного количества зон зрачка (PZ). Согласно фиг.16а предусмотрено три зоны: PZ1, PZ2 или PZ3, при этом на приемнике будет получено промежуточное изображение со следующими характеристиками MTF, т.е. зависимостями контраста (T) от дефокусировки (z) (см. графики на фиг.16b-16d).

График 16b соответствует варианту, когда все три зоны зрачка открыты, вариант 16c-открыта одна зона зрачка и вариант 16d-открыты PZ2 и PZ3.

Оптический затвор позволяет варьировать фокусное расстояние системы без изменения положения линз или изменения фокусного расстояния отдельных линз.

Наличие оптического затвора в оптическом блоке влечет за собой уменьшение площади апертурной диафрагмы и потерю энергии (светосилы) оптического блока, которая далее компенсируется обработкой изображения в блоке обработки изображения.

Согласно изобретению предусмотрено разделение зон зрачка на зоны и подзоны, при этом зоны зрачка могут иметь различную форму и различное распределение оптических сил в пределах зоны.

При этом на фиг.17а-17d представлены карты распределения оптической силы в зависимости от формы оптических зон.

На фиг.17а представлено непрерывное мультифокальное ассиметричные распределение оптической силы, посредством которого возможно обеспечивать заданное распределение функции рассеяния (PSF) или модуляционной передаточной функции (MTF). Такая конфигурация достаточна проста в изготовлении.

На фиг.17b представлено непрерывное мультифокальное осесимметричное распределение оптической силы. Такая конфигурация достаточна проста в изготовлении.

На фиг.17с представлены дискретные распределения оптической силы (P1, P2, PN) осесимметричное с кольцевой формой зрачка и планарносимметричное с сегментированной формой зрачка, посредством которых возможно обеспечивать разделение по глубине изображений, сформированных различными зонами, и такой профиль оптической силы упрощает процесс обработки изображения.

На фиг.17d представлен дискретное мультифокальное (P1, P2, PN) произвольное распределение оптической силы, посредством которого возможно обеспечивать заданное распределение функции рассеяния(PSF)или модуляционной передаточной функции (MTF).

Согласно одному из вариантов осуществления изобретения предусмотрены устройство и способ формирования изображения с обеспечением увеличенной глубины изображаемого пространства, основанного на совместном проектировании оптического блока и блока обработки изображения, при этом оба блока рассчитываются и настраиваются совместно с учетом особенностей и параметров каждого блока (так называемая сквозная оптимизация).

Схематично устройство формирования изображения представлено на фиг.18, где последовательно расположены оптический блок, содержащий совокупность оптических элементов в виде линз с различными профилями поверхностей через которые проходят лучи L1,L2,и L3, приемник и блок обработки изображения.

К параметрам оптического блока относятся: параметры поверхностей оптических элементов, например радиусы поверхностей линз (r₁,r₂,..,r_i), параметры оптических материалов, например показатели преломления оптических элементов (n₁, n₂,.. n_i), толщины оптических элементов и расстояния между ними в оптическом блоке (d₁,d₂,..d_i), L - длина системы (аксиальное расстояние между поверхностью первого оптического элемента со стороны объекта и поверхностью изображения на приемнике).

К параметрам приемника относятся, например спектральная чувствительность κ_λ, шум ƞ, параметры оцифровки S.

К параметрам блока обработки изображения относятся, например параметры цифровых фильтров или весовые коэффициенты слоев (w₁,w₂, …,w_i) нейронной сети. Блок обработки изображения с учетом вышеуказанных параметров оптического блока, в том числе модуляционной передаточной функции (MTF) или функции рассеяния(PSF) в зависимости от расстояния до целевого объекта и параметров приемника обеспечивает обработку изображения с последующим его восстановлением.

С учетов указанных параметров оптического блока, приемника и блока обработки изображения, устройство формирования изображения обеспечивает процесс формирования и обработки изображения таким образом, что невязка между восстановленным изображением

и исходным изображением I_λ целевого объекта минимизируются,

Например, квадратичная невязка (1):

Таким образом, промежуточное изображение, формируемое на приемнике оптическим блоком не обязательно должно быть высокого качества и разрешения, что упрощает требования к оптике, поскольку качество изображения корректируется в блоке обработки изображения.

Обработка изображения и его восстановление выполняется в блоке обработки изображения таким образом, что оценочная функция в виде нормы невязки между восстановленным изображением

и исходным изображением I_λ (референсное изображение, соответствующее идеальному изображению целевого объекта), нормы их визуального сходства VGG (детальное описание VGG раскрыто в источнике: https://arxiv.org/abs/1409.1556v6) или их комбинации минимизируется.

В качестве неограничивающего примера блок обработки может быть реализован с помощью искусственных нейронных сетей, фильтра Винера или их комбинации.

В качестве одного из решений предлагается реализация на основе широко используемой в области обработки изображений сети типа U-net, раскрытая в источнике: (https://arxiv.org/pdf/1505.04597.pdf).

При разработке и анализе предлагаемого изобретения авторы используют реализацию вышеуказанной архитектуры сети с семью уровнями, см. фиг. 28. В направлении уменьшения размерности (входного изображения) сеть содержит блоки из нескольких сверток (см. фиг. 28, Блок Тип1 - Блок Тип3), а в направлении повышения размерности используются (Блок Тип4 - Блок Тип7). Подробное описание блоков представлено в источнике: https://arxiv.org/pdf/1505.04597.pdf .

Для тренировки сети используется набор пар изображений (референсное изображение и обрабатываемое изображение). В процессе тренировки определяются параметры блоков, т.е. весовые коэффициенты слоев w₁,w₂, …,w_i нейронной сети, преимущественно используя градиентные методы оптимизации, примеры которых раскрыты в: https://arxiv.org/pdf/1609.04747.pdf .

В качестве базового такого набора пар изображений используются для референсных изображений - высококачественные изображения, для обрабатываемых - модель изображения на приемнике. Простейшая модель описывающая влияние оптической системы - свертка с соответствующей функцией рассеяния PSF с добавлением параметризированного шума.

Учет шума при построении изображения на приемнике позволяет использовать сеть для подавления шума при обработке изображения, что является важным в виду неизбежности присутствия шума и его влияния на результат обработки.

В качестве оценочной функции используется норма L1 (сумма модулей попиксельной разности между восстановленным и референсным изображением), или взвешенная комбинация нормы L1 и метрики визуального восприятия сходства (VGG), раскрытая в:https://arxiv.org/abs/1409.1556v6) или их комбинации. Также возможно применение альтернативные решений на основе искусственных нейронных сетей, с использованием различных вариантов архитектуры сети и оценочной функции. Например, квадратичная норма, обратная функция оценки, или пирамидальная функция потерь.

Следует отметить, что обработка промежуточных изображений объекта на основании сверточной нейронной сети, например сети типа U-net, выполняется с учетом параметров оптического блока и приемника. При этом к параметрам оптического блока относятся по меньше мере одно из: радиусы поверхностей оптических элементов, коэффициенты асферических поверхностей оптических элемeнтов, толщины оптических элементов, показатели преломления материалов оптических элементов, величина дисперсии оптических элементов, расстояния между оптическими элементами в оптическом блоке, длина устройства, представляющая аксиальное расстояние между поверхностью первого оптического элемента со стороны объекта и поверхностью изображения на приемнике, а к параметрам приемника относятся по меньшей мере одно из: спектральной чувствительности, шум, параметры оцифровки.

Одной из альтернатив решению на основе нейронной сети, для восстановления изображения сформированного на приемнике, является применение известных из уровня техники классических алгоритмических подходов.

Таким, например, является метод восстановления размытого изображения с использованием фильтра Винера (Wiener, Norbert (1949). Extrapolation, Interpolation, and Smoothing of Stationary Time Series. New York: Wiley. ISBN 978-0-262-73005-1.), т.н. обратная свертка с винеровской фильтрацией).

В рамках данного подхода оптимальная оценка резкого изображения x по изображению, сформированному на приемнике y, получается в результате применения фильтра Винера (X, Y - соответствующие изображения в частотном представлении):

, (2)

Где

H - соответствующая функция рассеяния в частотном представлении (т.е. модуляционная передаточная функция), и

- обратное отношение сигнал-шум устройства формирования изображения,

X - спектр изображения в частотном представлении после обработки в блоке обработки изображения,

Y - спектр промежуточного изображения, регистрируемого на приемнике.

Решения на основе винеровской фильтрации позволяют реализовать работу блока обработки изображения в режиме реального времени и таким образом, подобное решение может быть использовано для реализации функции предпросмотра восстановленного изображения пользователем.

Следует отметить, что обработка промежуточных изображений объекта на основании фильтра Винера выполняется с учетом параметров оптического блока и приемника. При этом к параметрам оптического блока относятся по меньше мере одно из: радиусы поверхностей оптических элементов, коэффициенты асферических поверхностей оптических элемeнтов, толщины оптических элементов, показатели преломления материалов оптических элементов, величина дисперсии оптических элементов, расстояния между оптическими элементами в оптическом блоке, длина устройства, представляющая аксиальное расстояние между поверхностью первого оптического элемента со стороны объекта и поверхностью изображения на приемнике, а к параметрам приемника относятся по меньшей мере одно из: спектральной чувствительности, шум, параметры оцифровки.

Ускорение обработки изображений при восстановлении изображения сформированного на приемнике также реализуется в рамках настоящего изобретения, если Функция рассеяния PSF может быть представлена в разделяемом (сепарабельном) виде, т.е. если данную функцию можно разделить на два одномерных сигнала, в вертикальной проекции и в горизонтальной проекции.

На фиг.27 представлен пример разделяемой функции рассеяния (PSF) в виде горизонтального и вертикального профиля.

Значение каждого пикселя x[r, c] в изображении равно соответствующей точке в горизонтальной проекции horz[c] умноженной на соответствующую точку.

Использование разделяемых функций рассеяния (PSF) обеспечивает ускорение процесса обработки данных изображения.

На фигурах 19а и 19b представлены изображения, полученные заявленным устройством формирования изображения до и после обработки устройством формирования изображения.

На фиг.19а представлены два изображения: машины и на заднем фоне ворот гаража, на среднем расстоянии, первое (размытое), как входное изображение, захваченное камерой, и второе (четкое), как выходное изображение, т.е. восстановленное изображение после обработки блоком обработки изображения.

На фиг. 19b представлены два изображения: балкона и на заднем фоне элементы дома, на дальнем расстоянии, первое, как входное изображение, захваченные камерой, и второе (четкое), как выходное изображение, т.е. восстановленное изображение после обработки блоком обработки изображения.

Далее на фиг.20а представлен пример реализации оптического блока устройства формирования изображения, который содержит оптические компоненты, последовательно расположенные вдоль оптической оси со стороны предмета до поверхности изображения: апертурную диафрагму, первую линзу (l₁), вторую линзу (l₂), третью линзу (l₃), четвертую линзу (l₄), пятую линзу (l₅) и шестую линзу (l₆), при этом

третья линза имеет положительную оптическую силу,

четвертая линза имеет форму мениска,

и осевое расстояние между поверхностью первой линзы со стороны предмета и поверхностью изображения составляет менее около 4, 5 мм.

Такая конфигурация оптического блока в отличие от EDoF систем известного уровня техники (US S8559118) детально раскрытых в настоящем описании, позволяет получить большую глубину изображаемого пространства (от 200 мм до бесконечности), плавную функцию MTF, в отличие от известного уровня техники, имеющего выраженный максимум в функции МTF, при этом указанном Примере оптического блока функция MTF в сагиттальном и меридиональном сечениях практически совпадают, как наглядно проиллюстрировано на фиг.20с.

На фиг.20b представлен график, иллюстрирующий функцию MTF, характеризующую зависимость коэффициента передачи модуляции (T) от дефокусировки (z) известного уровня техники.

На фиг.20с представлен график, иллюстрирующий функцию MTF, характеризующую зависимость коэффициента передачи модуляции (T) от дефокусировки (z) заявленного устройства формирования изображения (EDoF).

Авторы изобретения при разработке оптической части устройства формирования изображения рассмотрели возможность выполнения по меньшей мере одной из линз, входящей в оптический блок, имеющей асферическую и/или поверхность Цернике.

При этом профили асферических поверхностей линз заявленного устройства формирования изображения описываются следующим выражением (3):

где,

z - аксиальная координата точки поверхности относительно вершины поверхности, r - радиальное расстояние от оптической оси, к - коническая константа, с - кривизна поверхности, A, B, S, D, E, F, G, H, J - асферические коэффициенты.

При этом при k=0 поверхность имеет профиль сферы,

-1˂ к ˂0 поверхность имеет форму эллипсоида с главной осью на оптической оси (вытянутый эллипсоид (сфероид)

к=-1 поверхность имеет форму параболоида

к˂-1 поверхность имеет форму гиперболоида.

Сложная форма поверхностей линз, в том числе асферических, рассчитанных согласно выражению (3) обеспечивает коррекцию аберраций и повышает качество, формируемого заявленным устройством, изображения.

Следует отметить, что использование асферических поверхностей обеспечивает исправление полевых аберраций малым количеством линз, в данном случае пятью или шестью, обеспечивая компактность патентуемого устройства.

При этом, изготавливаемые из оптического пластика, линзы с асферическими поверхностями согласно изобретению, легко формуются, что приводит к снижению их стоимости.

При изготовлении линз с асферическими поверхностями из оптического стекла порядок асферических поверхностей выбирается более низким ввиду более высокого показателя преломлении стекла и низкого значения числа Аббе, что также играет роль в снижении стоимости изготовления устройства формирования изображения согласно изобретению и смартфонов, использующих указанные устройства.

Профили поверхностей Цернике линз заявленного устройства формирования изображения описываются следующим выражением (4):

где,

z - координата точки поверхности вдоль оптической оси относительно вершины поверхности, r - радиальное расстояние от оптической оси, к - коническая константа, с - кривизна поверхности при вершине, ZP_j- j-ый полином Цернике (диапазон j от 1 до 66),

С_(j+1) - коэффициент при ZP_j.

Выполнение поверхностей линз, описываемых выражением (4), т.е. поверхностей Цернике, обеспечивает коррекцию аберраций и повышает качество, формируемого заявленным устройством согласно изобретению, изображения.

Следует отметить, что использование поверхностей Цернике обеспечивает исправление полевых аберраций малым количеством линз, в данном случае пятью или шестью, обеспечивая компактность патентуемого устройства.

При этом, изготовление указанных линз является достаточным сложным процессом, но вклад в качество формируемого изображения при этом очень большой.

На фиг. 21 представлены графики, иллюстрирующие функции MTF, характеризующую зависимость коэффициента передачи модуляции (T) от дефокусировки (z) для оптического блока, имеющего асферическую поверхность и/или поверхность Цернике согласно варианту реализации заявленного устройства формирования изображения (EDoF).

Как видно из графиков, применение поверхности Цернике обеспечивает более равномерную модуляционную передаточную функцию в диапазоне расстояний до предмета от 200 мм до 5000 мм (соответствующая глубина резкости примерно от -0,03 мм до 0,03 мм) по сравнению с асферической поверхностью.

На фиг.22а представлены примеры графиков модуляционной передаточной функции MTF для заявленного оптического блока, характеризующих зависимость коэффициента передачи модуляции (T) от дефокусировки (z) на частоте 100 линий/мм для точек с координатами 0, 1,9 и 2,5 мм. При этом сплошной линией обозначено меридиональное сечение, а пунктирной-сагиттальное сечение.

На фиг.22b представлены соответствующие графики функции рассеяния для точки на оси при дальности до предмета (целевого объекта) d равного 200мм, 400мм, 5000мм. При этом на графиках x - координата в плоскости изображения, I - значение функции рассеяния. Следует отметить, что для удаленного предмета (d=5000мм), боковые максимумы практически отсутствуют, что обеспечивает естественный боке-эффект (без изображений точечных объектов в виде колец и овалов).

На фиг.22с представлены примеры графиков, иллюстрирующих дисторсию оптического блока согласно варианту реализации заявленного устройства формирования изображения (EDoF).

По оси абсцисс представлено значении дисторсии в процентах, а оси ординат размер изображения в мм. В одном из вариантов осуществления максимальный размер изображения 2.78 мм соответствует углу поля зрения 40 градусов (поле зрения 80 градусов). При этом для оптического блока дисторсия не превышает 2%.

Предпочтительный вариант заявленного устройства формирования изображения (см. фиг.18) характеризуется функцией рассеяния (PSF) в положении вне фокуса с минимальными боковыми лепестками, который представлен на графике фиг. 24а. На графике наглядно проиллюстрировано максимальное значение P пиков боковых лепестков (уровень боковых лепестков или значение боковых максимумов), которое составляет менее, чем 0,1*A, где А максимальное значение функции PSF (или центральный максимум), т.е. P≤0,1*A, что приводит к отсутствию ореолов в виде колец или полуколец на изображении точек предмета.

Указанный эффект достигается посредством использования мультифокальной оптической системы с множеством зон зрачка. При этом в результате, на выходе из оптического блока обработки изображения обеспечивается получение естественного эффекта боке в промежуточном размытом изображении объекта.

Предпочтительный вариант заявленного устройства формирования изображения (см. фиг.18) характеризуется также модуляционной передаточной функцией (MTF).

На фиг.24b - представлен график MTF функции в зависимости от дефокусировки (глубины резкости), иллюстрирующий плавную кривую Функции MTF. При этом неравномерность U функции MTF в зависимости от фокусных расстояний в заданном диапазоне глубины резкости, определяемой фокусными расстояниями составляет менее 20% в диапазоне частот от 0,5N до 0,9N, где N - частота Найквиста.

При этом неравномерность U определяется согласно следующему выражению (5):

U=(max-min)/(max+min)*100%,

где max - максимальное значение функции MTF в заданном диапазоне,

min - минимальное значение функции MTF в заданном диапазоне.

При этом заданный диапазон глубин резкости составляет от -0,03 мм до 0,03 мм, а соответствующая ему глубина изображаемого пространства от 200мм до 5000 мм.

Графики, представленные на фиг.24а, 24b, получены на основе экспериментальных данных, проведенными авторами в ходе подготовки изобретения.

Таким образом авторы изобретения разработали способ и устройство формирования изображения с обеспечением увеличенной глубины изображаемого пространства, в котором:

-не требуется перемещение оптических элементов,

-не требуется сложная оптика (дополнительные оптические элементы),

-обеспечение оптического устройства с обеспечением увеличенной глубины изображаемого пространства без функции автофокусировки,

-отсутствие задержки фокусировки,

-быстрый алгоритм восстановления,

-отсутствие необходимости взаимодействия с пользователем,

-не требуется контроль процесса снятия изображения пользователем смартфона (т.е. пользователю не нужно выбирать область фокусировки),

-объект вне зависимости от расстояния до камеры всегда находится в фокусе,

-простой алгоритм обработки данных изображения,

-недорогое, компактное устройство формирования изображения, с возможностью применения для массового производства.

На фиг.23а схематично представлен оптический блок с разделением входного зрачка на две зоны зрачка (PZ1, PZ2) и приемник согласно варианту реализации устройства формирования изображения. Пучки лучей поступают в оптический блок условно представленный в виде одной линзы, через входной зрачок, расположенный в пространстве предметов (объектов), и разделенный на две зоны. Два параллельных пучка лучей (количество пучков лучей соответствует количеству зрачковых зон и их количество не ограничено примером, представленным на фиг.23а) проходят через оптический блок в виде совокупности линз (на фиг.23а условно представлена одна линза). При этом точка пересечения лучей в пучке задает фокусное расстояние EFL (EFL1-для первого пучка лучей L1 и EFL2-для второго пучка лучей L2), измеряемое от главной плоскости оптического блока до точки пересечения лучей в пучке вдоль оптической оси. Изменение оптической силы P или фокусного расстояния EFL в зависимости от координат зрачка (x, y) задает карту распределения оптической силы или карту распределения фокусного расстояния соответственно, представленные на фиг.23b и 23d. Приемник расположен на расстоянии z’ от оптического блока и выполнен с возможностью захвата изображений, формируемых оптическим блоком через зрачковые зоны (PZ1,PZ2). При этом различные фокусные расстояния соответствуют различным расстояниям z в пространстве предметов, где z=z’/EFL². Таким образом, на приемнике имеется информация об целевых объектах на различных расстояниях, но изображение, формируемое на приемнике получается размытым, как уже детально было раскрыта в описании. При этом уровень «размытости» изображения характеризуется функцией рассеяния (PSF).

Карты распределения оптической силы оптического блока согласно фиг.23а устройства формирования изображения согласно изобретению, представлены на фиг.23b, 23c, 23d. Карта распределения оптической сила (P) может представлена как функция координат зрачка от фокусного расстояния (EFL) или P=1/EFL, как наглядно видно на графиках фиг.23b, фиг.23c. На фиг. 23d представлена карта распределения фокусного расстояния в виде функции от координат зрачка. На фиг.23с представлено распределение фокусного расстояния в сагиттальном сечении зрачка (т.е. это профиль распределения фокусного расстояния на карте с фиг. 23d при y координате на зрачке равной нулю).

Уровень размытости можно описать функцией рассеяния PSF(x, y), где x, y - координаты на приемнике. Функция рассеяния зависит от расстояния до предмета (объекта) и угла поля зрения, под которым наблюдается объект. При этом функция PSF(x, y) определяется формой зрачка и аберрационными свойствами (например, волновыми аберрациями (OPD)). Волновые аберрации (OPD) каждой зоны зрачка определяют или задают качество изображения в соответствии с характеристиками оптической системы для диапазона расстояний d1, d2, d3…dN. Функция PSF описывает отклик оптического блока на точечный объект. Получение функции рассеяния (PSF) детально раскрыто в книге: Goodman J.W. «Introduction to Fourier Optics» second edition, New York: McGraw-Hill, 1996, p.145

Распределение интенсивности или интенсивность изображения Ic в зависимости от координат на изображении (далее, как изображение Ic), сформированное оптическим блоком на по меньшей мере части приемника, в пределах которой функцию рассеянии можно считать инвариантной (т.е. функция рассеяния не зависит от угла поля зрения) можно представить в виде свертки распределения интенсивности объекта

(или интенсивности объекта, приведенной к приемнику, которая соответствует идеальному изображению объекта) и функции

PSF:. Следует отметить, что λ в нижнем индексе означает зависимость от длины волны. Учитывая чувствительность приемника к длине волны

т.е. спектральную чувствительность, сформированное изображение

где Ic - интенсивность изображения (далее, как изображение), сформированного на по меньшей мере части приемника,

- интенсивность объекта в зависимости от длины волны (λ), сформированного на по меньшей мере части приемника,

- функция рассеяния в зависимости от длины волны (λ),

- чувствительность приемника к длине волны (λ), d_λ - дифференциал длины волны излучения.

Изображение Ic, сформированное на приемнике, оцифровывается, т.е. становится дискретным с частотой следования пикселей приемника, квантуется по уровню (в предпочтительном варианте 256 уровней квантования), попиксельно интегрируется на приемнике и становится зашумленным η, что дает результирующее (промежуточное) изображение:

где S - оператор оцифровки, η - шум, Ic - интенсивность изображения, сформированного на по меньшей мере части приемника. Полученное изображение отправляется в блок обработки изображения.

На фиг.25а-e схематично представлен процесс формирования изображения, происходящий в оптическом блоке и на приемнике. На фиг.25а рассматриваемый объект условно делится на части, в пределах которых функцию рассеяния можно считать инвариантной, т.е. функция PSF рассматривается как инвариант. Математически оптический блок устройства формирования изображения может быть представлен в виде свертки распределения интенсивности на объекте и функции рассеяния (фиг.25b). Функция PSF рассчитывается для каждой части приемника (см. фиг.25с). Приемник характеризуется спектральной чувствительностью

и привносит (добавляет) шум (η) в промежуточное изображение (фиг.25d). Изображение, сформированное на приемнике, оцифровывается (S). На фиг.25e представлено получение результирующего промежуточного изображения на приемнике

На фиг.26 схематично представлен вид изображения объекта (Yc), получаемого на приемнике (см. результирующее промежуточное изображение на фиг.25d и восстановленного изображения, получаемого после обработки в блоке обработки изображения. Таким образом, используя информацию зарегистрированного изображения (Yc) приемником и зависимость функции рассеяния от координат на приемнике PSF (x, y), блок обработки изображения выполнен с возможностью обработки изображения таким образом, что невязка или расхождение между восстановленным изображением

и идеальным изображением

объекта минимизируется, например :

Промышленная применимость

Устройство и способ формирования изображения с обеспечением увеличенной глубины изображаемого пространства может использоваться в компактных, переносных устройствах, например, планшетных компьютерах, ноутбуках, системах телеконференций, кроме того, может использоваться для фото- и видеосъемки камерами EDoF смартфонов под управлением операционных систем Android, iOS, HarmonyOS, а также подобных им систем, и в других устройствах, в которых имеется потребность к обеспечению съемки в реальном временя объектов на разных расстояниях. Кроме того, может использоваться в защитных устройствах, камерах видеонаблюдения, в устройствах для снятия биометрических данных, в микроскопии, в системах безопасности для сканирования сетчатки движущихся объектов c мгновенной фиксацией объекта без его фокусировки и бесконтактного снятия отпечатков пальцев.

Реферат

Устройство формирования изображения с обеспечением увеличенной глубины изображаемого пространства содержит оптический блок, выполненный с возможностью одновременного формирования промежуточных изображений объекта на различных расстояниях с эффектом размытия по меньшей мере частей изображений объекта, и содержащий по меньшей мере один оптический элемент, и имеющий по меньшей мере две зоны зрачка, сформированные таким образом, чтобы обеспечить предварительно заданное распределение оптических сил и аберраций в пределах каждой из зон зрачка, на основании которых формируется функция рассеяния, характеризующаяся кривой с минимизированными боковыми максимумами, при этом каждой из зон зрачка соответствует заданный соответствующий диапазон расстояний до объекта и заданный соответствующий диапазон углов поля зрения, приемник, выполненный с возможностью одновременной регистрации промежуточных изображений, сформированных оптическим блоком, с разных расстояний до объекта и под разными углами поля зрения, блок обработки изображения, которая выполняется на основе полученной функции рассеяния в заданном диапазоне расстояний и углов поля зрения, с восстановлением на выходе результирующих изображений без эффекта размытия вне зависимости от расстояний до объекта. Технический результат - обеспечение увеличенной глубины изображаемого пространства. 3 н. и 56 з.п. ф-лы, 28 ил.

Формула

1. Устройство формирования изображения с обеспечением увеличенной глубины изображаемого пространства, содержащее:

- оптический блок, выполненный с возможностью одновременного формирования промежуточных изображений объекта на различных расстояниях с эффектом размытия по меньшей мере частей изображений объекта, и содержащий по меньшей мере один оптический элемент, и имеющий по меньшей мере две зоны зрачка, сформированных таким образом, чтобы обеспечить предварительно заданное распределение оптических сил и аберраций в пределах каждой, из по меньшей мере двух зон зрачка, на основании которых формируется функция рассеяния, характеризующаяся кривой с минимизированными боковыми максимумами по сравнению с центральным максимумом в заданном диапазоне расстояний до объекта, при этом каждой из по меньшей мере двух зон зрачка соответствует заданный соответствующий диапазон расстояний до объекта и заданный соответствующий диапазон углов поля зрения,

- приемник, выполненный с возможностью регистрации промежуточных изображений, сформированных оптическим блоком, с разных расстояний до объекта и под разными углами поля зрения одновременно,

- блок обработки изображения, соединенный с приемником и выполненный с возможностью обработки промежуточных изображений объекта с эффектом размытия по меньшей мере частей изображений объекта, зарегистрированных приемником, при этом обработка указанных изображений выполняется на основе полученной функции рассеяния в заданном диапазоне расстояний и углов поля зрения, с восстановлением на выходе результирующих изображений без эффекта размытия вне зависимости от расстояний до объекта.

2. Устройство по п. 1, в котором минимизированные боковые максимумы функции рассеяния, формируемые оптическим блоком, не превышают 10% центрального максимума в заданном диапазоне расстояний до объекта.

3. Устройство по п. 1 или 2, в котором заданный диапазон расстояний до объекта составляет от 400 до 5000 мм.

4. Устройство по п. 2, в котором заданный диапазон углов поля зрения составляет от -40 до +40 градусов.

5. Устройство по одному из пп. 1-4, в котором оптический блок выполнен таким образом, что обеспечивает формирование инвариантной функции рассеяния, не зависящей от расстояния до объекта в заданном диапазоне.

6. Устройство по одному из пп. 1-4, в котором оптический блок выполнен таким образом, что обеспечивает формирование инвариантной функции рассеяния, не зависящей от угла поля зрения.

7. Устройство по одному из пп. 1-4, в котором оптический блок выполнен таким образом, что обеспечивает формирование инвариантной функции рассеяния, не зависящей от угла поля зрения и расстояния до объекта.

8. Устройство по одному из пп. 1-4, в котором оптический блок выполнен с возможностью формирования равномерной модуляционной передаточной функции (MTF), не зависящей от расстояния до объекта.

9. Устройство по одному из предыдущих пунктов, в котором оптический блок дополнительно выполнен с возможностью одновременного формирования промежуточных изображений объекта на различных расстояниях с эффектом размытия всего изображения объекта.

10. Устройство по п. 1, в котором оптический блок содержит по меньшей мере один оптический элемент, представляющий собой по меньшей мере один из: линзы с различными профилями поверхностей, составной линзы, дифракционного оптического элемента, голографического оптического элемента, поляризационного элемента, амплитудно-фазовой маски.

11. Устройство по п. 10, в котором по меньшей мере одна линза имеет асферическую поверхность и/или, в частности, поверхность Цернике.

12. Устройство по п. 11, в котором линзы с асферической поверхностью и/или, в частности, поверхностью Цернике обеспечивают коррекцию аберраций.

13. Устройство по п. 10, в котором оптические элементы оптического блока представляют собой расположенные вдоль оптической оси со стороны предмета до поверхности изображения: первую линзу, вторую линзу, третью линзу, четвертую линзу, пятую линзу и шестую линзу, при этом

третья линза имеет положительную оптическую силу,

четвертая линза имеет форму мениска,

пятая линза и шестая линза, каждая, имеют форму мениска в области, близкой к оптической оси, при этом поверхность каждой из пятой и шестой линзы со стороны предмета является выпуклой в области, близкой к оптической оси, и поверхность каждой из пятой и шестой линзы со стороны поверхности изображения является вогнутой в области, близкой к оптической оси.

14. Устройство по п. 10, в котором составная линза представляет собой по меньшей мере одну из: бифокальной линзы, прогрессивной линзы, линзы Френеля и/или их комбинаций.

15. Устройство по п. 10, в котором дифракционный оптический элемент представляет собой дифракционную микроструктуру, выполненную с возможностью обеспечения амплитудно-фазовой модуляции проходящего или отраженного излучения.

16. Устройство по п. 10, в котором голографический элемент выполнен и размещен таким образом, чтобы вносить вклад в устранение хроматических аберраций.

17. Устройство по п. 10, в котором поляризационный элемент представляет собой поляризатор, и/или фазовую пластинку, и/или поляризационный фильтр.

18. Устройство по п. 17, в котором поляризационный элемент, представляющий собой поляризатор и/или фазовую пластинку, выполнен с возможностью обеспечения многократного прохождения излучения через оптические элементы оптического блока.

19. Устройство по п. 10, в котором поляризационный элемент представляет собой поляризационный фильтр, выполненный с возможностью устранения бликов.

20. Устройство по п. 10, в котором амплитудно-фазовая маска выполнена и размещена в оптическом блоке таким образом, чтобы обеспечивать фазовую задержку или амплитудную модуляцию излучения для обеспечения равномерного коэффициента передачи модуляции по требуемой глубине изображения.

21. Устройство по п. 10, в котором амплитудно-фазовая маска представляет собой одну из: маски с фазовым профилем параболы четвертой степени, кубической фазовой маски, маски с концентрическими кольцевыми отверстиями в экране.

22. Устройство по п. 1, в котором каждый из оптических элементов оптического блока выполнен из оптически прозрачного материала, выбранного из по меньшей мере одного из: оптического стекла, оптического кристалла и полимера.

23. Устройство по п. 1, дополнительно содержащее затвор, расположенный в плоскости апертурной диафрагмы или сопряженной с ней плоскости устройства формирования изображения.

24. Устройство по п. 23, в котором затвор выполнен с возможностью регулирования открытия или закрытия заданного количества зон зрачка.

25. Устройство по п. 1, в котором приемник представляет собой матричный фотодетектор.

26. Устройство по п. 25, в котором матричный фотодетектор выполнен с возможностью регистрации электромагнитного излучения в диапазоне 0,4-0,7 мкм, а размер пиксела датчика составляет от 0,7 до 1,5 мкм.

27. Устройство по п. 25, в котором приемник представляет собой КМОП матричный фотоприемник или ПЗС приемник.

28. Устройство по п. 1, в котором блок обработки изображения выполнен с возможностью обработки промежуточных изображений объекта с восстановлением на выходе результирующих изображений на основании сверточной нейронной сети и/или фильтра Винера, параметры которых предварительно определяются на основании конструктивных параметров оптического блока и приемника.

29. Устройство по п. 1, в котором к параметрам оптического блока относятся по меньше мере одно из: радиусов поверхностей оптических элементов, коэффициентов асферических поверхностей оптических элемeнтов, толщин оптических элементов, показателей преломления материалов оптических элементов, величины дисперсии оптических элементов, расстояний между оптическими элементами в оптическом блоке, длины устройства, представляющей аксиальное расстояние между поверхностью первого оптического элемента со стороны объекта и поверхностью изображения на приемнике.

30. Устройство по п. 1, в котором к параметрам приемника относятся по меньшей мере одно из: спектральной чувствительности, шума, параметров оцифровки.

31. Устройство формирования изображения с обеспечением увеличенной глубины изображаемого пространства, содержащее:

- оптический блок, выполненный с возможностью одновременного формирования промежуточных изображений объекта на различных расстояниях с эффектом размытия по меньшей мере частей изображений объекта, и содержащий совокупность оптических элементов, и имеющий по меньшей мере две зоны зрачка, сформированные таким образом, чтобы обеспечить предварительно заданное распределение оптических сил и аберраций в пределах каждой из по меньшей мере двух зон зрачка, на основании которых формируется функция рассеяния, характеризующаяся кривой с минимизированными боковыми максимумами по сравнению с центральным максимумом в заданном диапазоне расстояний до объекта, при этом каждой из по меньшей мере двух зон зрачка соответствует заданный соответствующий диапазон расстояний до объекта и заданный соответствующий диапазон углов поля зрения, при этом совокупность оптических элементов содержит расположенные вдоль оптической оси со стороны предмета до поверхности изображения: первую линзу, вторую линзу, третью линзу, четвертую линзу, пятую линзу и шестую линзу, при этом

третья линза имеет положительную оптическую силу,

четвертая линза имеет форму мениска,

32. Устройство по п. 31, в котором минимизированные боковые максимумы функции рассеяния, формируемые оптическим блоком, не превышают 10% центрального максимума в заданном диапазоне расстояний до объекта.

33. Устройство по п. 31 или 32, в котором заданный диапазон расстояний до объекта составляет от 400 до 5000 мм.

34. Устройство по п. 32, в котором заданный диапазон углов поля зрения составляет от -40 до +40 градусов.

35. Устройство по одному из пп. 31-34, в котором оптический блок выполнен таким образом, что обеспечивает формирование инвариантной функции рассеяния, не зависящей от расстояния до объекта в заданном диапазоне.

36. Устройство по одному из пп. 31-34, в котором оптический блок выполнен таким образом, что обеспечивает формирование инвариантной функции рассеяния, не зависящей от угла поля зрения.

37. Устройство по одному из пп. 31-34, в котором оптический блок выполнен таким образом, что обеспечивает формирование инвариантной функции рассеяния, не зависящей от угла поля зрения и расстояния до объекта.

38. Устройство по одному из пп. 31-34, в котором оптический блок выполнен с возможностью формирования равномерной кривой модуляционной передаточной функции (MTF), не зависящей от расстояния до объекта.

39. Устройство по одному из предыдущих пунктов, в котором оптический блок дополнительно выполнен с возможностью одновременного формирования промежуточных изображений объекта на различных расстояниях с эффектом размытия всего изображения объекта.

40. Устройство по п. 31, в котором каждый из оптических элементов оптического блока выполнен из оптически прозрачного материала, выбранного из по меньшей мере одного из: оптического стекла, оптического кристалла и полимера.

41. Устройство по п. 31, дополнительно содержащее затвор, расположенный в плоскости апертурной диафрагмы или сопряженной с ней плоскости устройства формирования изображения.

42. Устройство по п. 41, в котором затвор выполнен с возможностью регулирования открытия или закрытия заданного количества зон зрачка.

43. Устройство, по п. 31, в котором приемник представляет собой матричный фотодетектор.

44. Устройство по п. 43, в котором матричный фотодетектор выполнен с возможностью регистрации электромагнитного излучения в диапазоне 0,4-0,7 мкм, а размер пиксела датчика составляет от 0,7 до 1,5 мкм.

45. Устройство по п. 31, в котором приемник представляет собой КМОП матричный фотоприемник или ПЗС приемник.

46. Устройство по п. 31, в котором блок обработки изображения выполнен с возможностью обработки промежуточных изображений объекта с восстановлением на выходе результирующих изображений на основании сверточной нейронной сети и/или фильтра Винера, параметры которых предварительно определяются на основании параметров оптического блока и приемника.

47. Устройство по п. 31, в котором к параметрам оптического блока относятся по меньше мере одно из: радиусов поверхностей оптических элементов, коэффициентов асферических поверхностей оптических элемeнтов, толщин оптических элементов, показателей преломления материалов оптических элементов, величины дисперсии оптических элементов, расстояний между оптическими элементами в оптическом блоке, длины устройства, представляющей аксиальное расстояние между поверхностью первого оптического элемента со стороны объекта и поверхностью изображения на приемнике.

48. Устройство по п. 31, в котором к параметрам приемника относятся по меньшей мере одно из: спектральной чувствительности, шума, параметров оцифровки.

49. Способ формирования изображения с обеспечением увеличенной глубины изображаемого пространства, содержащий этапы, при которых:

- обеспечивают одновременное формирование промежуточных изображений объекта на различных расстояниях с эффектом размытия по меньшей мере частей изображений объекта посредством оптического блока, имеющего по меньшей мере две зоны зрачка, сформированные таким образом, чтобы обеспечить предварительно заданное распределение оптических сил и аберраций в пределах каждой, из по меньшей мере двух зон зрачка, на основании которых формируют функцию рассеяния, характеризующуюся кривой с минимизированными боковыми максимумами по сравнению с центральным максимумом в заданном диапазоне расстояний до объекта, при этом каждой из по меньшей мере двух зон зрачка соответствует заданный соответствующий диапазон расстояний до объекта и заданный соответствующий диапазон углов поля зрения,

- обеспечивают регистрацию промежуточных изображений, сформированных оптическим блоком, с разных расстояний до объекта и под разными углами поля зрения одновременно, посредством приемника,

- восстанавливают результирующие изображения без эффекта размытия вне зависимости от расстояний до объекта.

50. Способ по п. 49, в котором минимизированные боковые максимумы функции рассеяния, формируемые оптическим блоком, не превышают 10% центрального максимума в заданном диапазоне расстояний до объекта.

51. Способ по п. 49 или 50, в котором заданный диапазон расстояний до объекта составляет от 400 до 5000 мм.

52. Способ по п. 49, в котором заданный диапазон углов поля зрения составляет от -40 до +40 градусов.

53. Способ по одному из пп. 49-52, в котором оптический блок выполнен таким образом, что обеспечивает формирование инвариантной функции рассеяния, не зависящей от расстояния до объекта в заданном диапазоне.

54. Способ по одному из пп. 49-52, в котором оптический блок выполнен таким образом, что обеспечивает формирование инвариантной функции рассеяния, не зависящей от угла поля зрения.

55. Способ по одному из пп. 49-52, в котором оптический блок выполнен с возможностью формирования равномерной модуляционной передаточной функции (MTF), не зависящей от расстояния до объекта.

56. Способ по одному из предыдущих пунктов, в котором оптический блок дополнительно выполнен с возможностью одновременного формирования промежуточных изображений объекта на различных расстояниях с эффектом размытия всего изображения объекта.

57. Способ по п. 49, в котором выполняют обработку промежуточных изображений объекта с восстановлением на выходе результирующих изображений блоком обработки изображения на основании сверточной нейронной сети и/или фильтра Винера, параметры которых предварительно определяются на основании параметров оптического блока и приемника.

58. Способ по п. 57, в котором к параметрам оптического блока относятся по меньше мере одно из: радиусов поверхностей оптических элементов, коэффициентов асферических поверхностей оптических элемeнтов, толщин оптических элементов, показателей преломления материалов оптических элементов, величины дисперсии оптических элементов, расстояний между оптическими элементами в оптическом блоке, длины устройства, представляющей аксиальное расстояние между поверхностью первого оптического элемента со стороны объекта и поверхностью изображения на приемнике.

59. Способ по п. 57, в котором к параметрам приемника относятся по меньшей мере одно из: спектральной чувствительности, шума, параметров оцифровки.

Авторы

ОСИПОВ Алексей Александрович (RU)

КОПЫСОВА Татьяна Игоревна (RU)

ШЛЯПИН Александр Сергеевич (RU)

ПИСКУНОВ Дмитрий Евгеньевич (RU)

ПЕТРОВА Ксения Юрьевна (RU)

Патентообладатели

САМСУНГ ЭЛЕКТРОНИКС КО., ЛТД. (KR)

СПК: G02B13/002 G02B13/0055 G02B27/0075

Публикация: 2022-11-08

Дата подачи заявки: 2021-12-15

РОССТИП

Поиск по товарам

Добавить свой товар

Сообщества

Товары

Участники

Патенты

Запросов

Поставщикам

О сервисе

Блогерам

Помощь