Захват и отображение изображений в реальном времени - RU2570354C2

Чертежи

Показать все 11 чертежа(ей)

Описание

Область техники, к которой относится изобретение

Изобретение относится к устройству формирования изображений и способу захвата и отображения изображений в реальном времени. Изобретение также относится к шлему, крепежу на голову, винтовочному прицелу или карманному устройству, содержащему предложенное устройство формирования изображений.

Системы непосредственного наблюдения представляют собой устройства формирования изображений, в которых изображения захватываются узлом формирования изображения и затем в реальном времени предоставляются пользователю с помощью узла отображения. В таких системах непосредственного наблюдения может иметь место разность по времени между захватом изображения и отображением изображения. Эту разность по времени обычно именуют задержкой. Примерами систем непосредственного наблюдения являются приборы ночного видения и телескопические приборы наблюдения.

Задержка большей частью является нежелательной, особенно в случае, когда система непосредственного наблюдения предназначается для мобильного использования. Причина этого заключается в том, что при использовании системы непосредственного наблюдения пользователь может перемещаться. Задержка может быть причиной восприятия пользователем перемещения, наблюдаемого с помощью узла отображения, отличающегося от восприятия перемещения другими органами чувств пользователя, например вестибулярным аппаратом пользователя. Если задержка, и следовательно, несоответствие между воспринимаемым и иным образом ощущаемым перемещением, является очень большой, пользователь может испытывать тошноту или укачивание.

Многие системы непосредственного наблюдения выполнены преимущественно на оптической или оптоэлектронной основе. Например, прибор ночного видения может содержать оптику и усилитель яркости изображения в качестве узла формирования изображения и люминесцентный экран в качестве узла отображения. Во время работы фотоны от сцены с низким уровнем освещения преобразуются в фотоэлектроны, умножаются усилителем яркости изображения и в заключение ускоряются к люминесцентному экрану для их обратного преобразования в видимый свет. Задержка такой системы непосредственного наблюдения, определяемая по послесвечению люминесцентного экрана, обычно составляет несколько миллисекунд, и она является достаточно малой для исключения испытываемого пользователем укачивания во время мобильного использования.

Уровень техники

Может иметься необходимость в системе непосредственного наблюдения, в которой на промежуточной стадии изображение доступно в цифровом виде, то есть представлено в области цифровых сигналов. Это может позволить использовать в системе непосредственного наблюдения цифровую обработку сигналов для повышения качества изображения, для наложения релевантной информации на изображение и т.д. В такой системе непосредственного наблюдения можно использовать полупроводниковый датчик для захвата изображения, процессор сигналов для обработки изображения и электронное устройство отображения для отображения изображения.

Краткое изложение изобретения

Общая задержка такой системы непосредственного наблюдения на основе области цифровых сигналов может быть относительно высокой. Недостаток заключается в том, что пользователь может испытывать укачивание во время мобильного использования такой системы непосредственного наблюдения.

Задача изобретения заключается в создании устройства формирования изображений и способа захвата и отображения изображений в реальном времени со сниженной задержкой, с доступностью изображения в цифровой форме на промежуточной стадии для обеспечения возможности обработки сигналов.

Согласно изобретению эта задача решается созданием устройства формирования изображений, предназначенного для захвата и отображения изображений в реальном времени, при этом устройство формирования изображений содержит i) датчик изображения, содержащий чувствительную к излучению матрицу для захвата изображения, ii) схему считывания, подключенную к чувствительной к излучению матрице для считывания изображения, iii) процессор сигналов для обработки изображения, для получения обработанного изображения и iv) устройство отображения для отображения обработанного изображения, при этом чувствительная к излучению матрица скомпонована строками пикселей датчика и устройство отображения скомпоновано строками пикселей устройства отображения, и в котором схема считывания представляет собой схему скользящего затвора для последовательного считывания строк пикселей датчика, для последовательного обеспечения поднаборов пикселей, процессор сигналов сконфигурирован для, при наличии одного из поднаборов пикселей, обработки поднабора пикселей для обеспечения обработанного поднабора пикселей, а устройство отображения сконфигурировано для, при наличии обработанного поднабора пикселей, отображения обработанного поднабора пикселей на соответствующем ему поднаборе пикселей устройства отображения, для отображения обработанного изображения последовательно на строках пикселей устройства отображения.

В дополнительном аспекте изобретения предложен шлем, крепеж на голову, винтовочный прицел или карманное устройство, содержащее предложенное устройство формирования изображений.

Согласно дополнительному аспекту изобретения предложен способ захвата и отображения изображений в реальном времени устройством формирования изображений, при этом устройство формирования изображений содержит i) датчик изображения, содержащий чувствительную к излучению матрицу для захвата изображения, ii) схему считывания, подключенную к чувствительной к излучению матрице для считывания изображения, iii) процессор сигналов для обработки изображения, для получения обработанного изображения и iv) устройство отображения для отображения обработанного изображения, при этом чувствительная к излучению матрица скомпонована строками пикселей датчика и устройство отображения скомпоновано строками пикселей устройства отображения, и при этом способ содержит последовательное считывание строк пикселей датчика для последовательного обеспечения поднаборов пикселей, при наличии одного из поднаборов пикселей обработку поднабора пикселей процессором сигналов для обеспечения обработанного поднабора пикселей, и при наличии обработанного поднабора пикселей отображение обработанного поднабора пикселей с помощью устройства отображения на соответствующем ему поднаборе пикселей устройства отображения, для отображения обработанного изображения последовательно на строках пикселей устройства отображения.

Согласно дополнительному аспекту изобретения предложена компьютерная программа, которая сохранена на считываемом компьютером носителе, при этом компьютерная программа содержит инструкции, для побуждения процессорной системы к выполнению предложенного способа.

Признаки согласно изобретению образуют устройство формирования изображений, предназначенное для захвата и отображения изображений в реальном времени, то есть систему непосредственного наблюдения, и способ работы устройства формирования изображений. В данном случае реальное время для пользователя означает использование устройства формирования изображений для наблюдения изображений сцены, которые отражают текущую сцену как можно ближе по времени. Устройство формирования изображений содержит датчик изображения, например полупроводниковый датчик, такой как датчик с комплементарной структурой металл-оксид-полупроводник (КМОП). Датчик изображения используется для преобразования излучения, исходящего или отражаемого от сцены, в цифровое представление сцены, то есть в изображение. Для этого датчик изображения содержит чувствительную к излучению матрицу, которая скомпонована строками пикселей датчика. Устройство формирования изображений дополнительно содержит схему считывания, то есть схему, которая считывает изображение с чувствительной к излучению матрицы путем адресации и последующего считывания изображения со строк пикселей датчика. Устройство формирования изображений дополнительно содержит процессор сигналов, который сконфигурирован для обработки изображения, получаемого с датчика изображения, с использованием цифровой обработки сигналов. В результате получается обработанное изображение, которое затем отображается на устройстве отображения. Устройство отображения скомпоновано строками пикселей устройства отображения. Как таковые строки пикселей устройства отображения используются для отображения изображения, которое захватывается соответствующими строками пикселей датчика чувствительной к излучению матрицы.

Устройство формирования изображений сконфигурировано для снижения задержки между захватом изображения и отображением обработанного изображения. Для этого схема считывания представляет собой схему скользящего затвора. Кроме того, скользящий затвор известен как устройство линейного (строчного) сканирования и относится к способу считывания чувствительной к излучению матрицы, в котором строки пикселей датчика считываются последовательно, то есть одна строка после каждой другой или поднабор строк после каждого другого. Вследствие этого строки или поднаборы строк, которые считываются, соответствуют различным точкам во времени. В результате считывания строк пикселей датчика схема скользящего затвора последовательно образует поднаборы пикселей для процессора сигналов. В свою очередь, процессор сигналов после приема поднабора пикселей обрабатывает поднабор пикселей и затем выдает результат обработки, то есть обработанный поднабор пикселей, на устройство отображения. В таком случае каждый обработанный поднабор пикселей отображается устройством отображения, на соответствующем ему поднаборе пикселей устройства отображения. Таким образом, строки пикселей датчика последовательно считываются с обеспечением последовательности поднаборов пикселей, при этом поднабор пикселей обрабатывается после приема процессором сигналов и отображается после приема устройством отображения.

Должно быть понятно, что изобретение относится к считыванию, обработке и отображению строк пикселей. Причина заключается в том, что в датчиках и устройствах отображения считывание или запись обычно осуществляется на основе строк. Однако должно быть понятно, что настоящее изобретение равным образом применимо к считыванию, обработке и отображению столбцов пикселей, например, схема считывания может быть приспособлена для последовательного считывания столбцов пикселей датчика.

Изобретение частично основано на осознании того, что в традиционных системах непосредственного наблюдения так называемый режим моментального снимка используется для считывания изображения с чувствительной к излучению матрицы. В этом случае все изображение сначала считывается и сохраняется в буферной памяти кадров и только когда все изображение сохранено, изображение обрабатывается и вслед за этим отображается во всей его полноте. Недостаток заключается в том, что задержка, привносимая при сохранении изображения в буфере кадра до или после обработки, может заставлять пользователя испытывать укачивание во время мобильного использования системы непосредственного наблюдения.

Эффект вышеупомянутых мер заключается в том, что устройство формирования изображений сконфигурировано для отображения поднабора пикселей на поднаборе пикселей устройства отображения как можно быстрее после считывания соответствующего поднабора пикселей датчика. Таким образом, устройство формирования изображений сконфигурировано для непосредственного обеспечения каждого участка изображения, который считывается, то есть каждого поднабора пикселей, к процессору сигналов и вслед за этим каждого обработанного участка к устройству отображения. В результате общая задержка устройства формирования изображений снижается. Преимущество заключается в том, что задержка устройства формирования изображений снижается в достаточной степени для исключения укачивания, испытываемого пользователем во время мобильного использования устройства формирования изображений.

Как вариант, устройство формирования изображений содержит дополнительный датчик изображения и дополнительную схему считывания, при этом дополнительный датчик изображения содержит дополнительную чувствительную к излучению матрицу для захвата дополнительного изображения, дополнительная схема считывания подключена к дополнительной чувствительной к излучению матрицы для считывания дополнительного изображения, дополнительная чувствительная к излучению матрица скомпонована строками пикселей дополнительного датчика, дополнительная схема считывания представляет собой дополнительную схему скользящего затвора для последовательного считывания строк пикселей дополнительного датчика, для последовательного обеспечения дополнительных поднаборов пикселей, и при этом устройство формирования изображений сконфигурировано для синхронного отображения изображения и дополнительного изображения на устройстве отображения с помощью схемы скользящего затвора и дополнительной схемы скользящего затвора, сконфигурированных для синхронного обеспечения поднабора пикселей и одного из дополнительных поднаборов пикселей путем по существу синхронного считывания соответствующих участков изображения и дополнительного изображения, и процессора сигналов, сконфигурированного для, при наличии поднабора пикселей и дополнительного поднабора пикселей, объединения поднабора пикселей с дополнительным поднабором пикселей для получения обработанного поднабора пикселей.

Устройство формирования изображений сконфигурировано для синхронного отображения изображения и дополнительного изображения на устройстве отображения. Для захвата дополнительного изображения устройство формирования изображений содержит дополнительный датчик изображения. Чтобы синхронно представлять соответствующие участки обоих изображений процессору сигналов для обработки и последующего отображения, схема скользящего затвора и дополнительная схема скользящего затвора сконфигурированы для по существу синхронного считывания соответствующих участков изображения и дополнительного изображения. В результате поднабор пикселей и дополнительный поднабор пикселей обеспечиваются синхронно.

Эффект вышеотмеченных мер заключается в том, что устройство формирования изображений сконфигурировано для захвата и отображения одновременно двух изображений и в то же самое время также для снижения задержки между указанным захватом и отображением. Преимущество заключается в том, что в устройстве формирования изображений требуется меньше буферной памяти, поскольку меньше или отсутствует необходимость в компенсации несоответствия согласования во времени участков изображения и участков дополнительного изображения, становящихся доступными для последующей обработки и отображения. Следовательно, стоимость и/или сложность устройства формирования изображений снижается.

Как вариант, датчик изображения представляет собой датчик изображения в видимом свете для восприятия видимого света и дополнительный датчик изображения представляет собой тепловой датчик изображения для восприятия инфракрасного излучения, для обеспечения возможности синхронного отображения изображения в видимом свете и теплового изображения на устройстве отображения. Преимущество заключается в том, что в устройстве формирования изображений одновременно захватываются и отображаются видимый свет и тепловое излучение сцены и в то же время снижается задержка.

Как вариант, процессор сигналов сконфигурирован для объединения поднабора пикселей с дополнительным поднабором пикселей слиянием поднабора пикселей с дополнительным поднабором пикселей для получения в качестве обработанного изображения слияния изображения, изображения с дополнительным изображением. Слияние изображений представляет собой интуитивный способ объединения двух изображений и, в частности, двух связанных изображений одной и той же сцены. Преимущество заключается в том, что тепловое излучение сцены может быть визуализировано в виде цветов, наложенных поверх видимого света сцены, для представления пользователю интуитивного способа отображения видимого света и теплового излучения сцены.

Как вариант, чувствительная к излучению матрица имеет первое пространственное разрешение, дополнительная чувствительная к излучению матрица имеет второе пространственное разрешение, при этом второе пространственное разрешение ниже, чем первое пространственное разрешение, и дополнительная схема скользящего затвора сконфигурирована для считывания дополнительного изображения со второй скоростью считывания, которая ниже, чем первая скорость считывания схемы скользящего затвора, для обеспечения возможности упомянутого синхронного обеспечения поднабора пикселей и дополнительного поднабора пикселей.

Таким образом, в дополнительной схеме скользящего затвора используется меньшая скорость считывания для гарантирования синхронного обеспечения соответствующих участков изображения и дополнительного изображения процессору сигналов. Адаптация скорости считывания представляет собой эффективный способ компенсации указанного различия между пространственными разрешениями, поскольку, например, при одной и той же скорости считывания обычно требуются часто повторяющиеся промежуточные приостановки считывания для гарантирования упомянутой выше синхронности. Преимущество заключается в том, что следствием меньшей скорости считывания является меньшее энергопотребление дополнительной схемы скользящего затвора и следовательно, устройства формирования изображений.

Как вариант, схема скользящего затвора сконфигурирована для считывания изображения с первой скоростью считывания в пределах периода кадра изображения, а дополнительная схема скользящего затвора сконфигурирована для считывания дополнительного изображения со второй скоростью считывания в пределах периода кадра изображения. Тем самым скорости считывания оказываются адаптированными к считыванию изображения и дополнительного изображения в пределах одного и того же периода кадра изображения. Вследствие этого отношение первой скорости считывания ко второй скорости считывания равно отношению первого пространственного разрешения ко второму пространственному разрешению. Преимущество заключается в том, что для гарантирования упомянутой выше синхронности нет необходимости в промежуточной приостановке считывания.

Как вариант, схема скользящего затвора синхронизирована с первой частотой следования пикселей для получения первой скорости считывания и дополнительная схема скользящего затвора синхронизирована с второй частотой следования пикселей для получения второй скорости считывания. Тем самым частота следования пикселей каждой схемы скользящего затвора оказывается адаптированной к требуемой скорости считывания. Преимущество заключается в том, что следствием более низкой частоты следования пикселей дополнительной схемы скользящего затвора является меньшее энергопотребление.

Как вариант, устройство формирования изображения содержит блок масштабирования для пространственного масштабирования дополнительного поднабора пикселей, для получения в качестве дополнительного изображения масштабированного изображения, имеющего первое пространственное разрешение. Блоком масштабирования предоставляется эффективный способ регулирования пространственного разрешения дополнительного изображения относительно пространственного разрешения изображения. Преимущество заключается в том, что может отсутствовать необходимость в компенсации отличия пространственного разрешения для дополнительной схемы скользящего затвора путем обеспечения дополнительного поднабора пикселей в буфер и повторного считывания процессором сигналов этого же дополнительного поднабора пикселей из буфера. Преимущество заключается в том, что дополнительное изображение отображается с лучшим качеством изображения и, в частности, с более высокой пространственной четкостью по краям. Преимущество заключается в том, что дополнительное изображение может быть наложено на изображение, при этом перекрывающиеся участки обоих изображений относятся к одному и тому же участку сцены.

Как вариант, блок масштабирования сконфигурирован для выполнения пространственного масштабирования с использованием по меньшей мере одного способа из группы способов: повторения пикселей, линейной интерполяции первого порядка, линейной интерполяции высокого порядка и нелинейной интерполяции. Упомянутые выше способы интерполяции особенно хорошо подходят для пространственного масштабирования.

Как вариант, процессор сигналов содержит конвейер обработки изображения для получения конвейерной обработки поднаборов пикселей. Выполнение обработки изображения конвейерным способом, известным из области техники, относящейся к конструктивным решениям и архитектуре процессоров, приводит к более высокой производительности обработки. Преимущество заключается в том, что в течение каждого периода синхронизирующих импульсов процессор сигналов может принимать новые поднаборы пикселей или индивидуальные пиксели из нового поднабора пикселей. Преимущество заключается в том, что меньшая буферизация необходима для удовлетворения требованиям процессора сигналов, неспособного принимать новые пиксели вследствие занятости обработкой предшествующих пикселей.

Как вариант, схема скользящего затвора сконфигурирована для считывания изображения с первой скоростью считывания, и при этом устройство формирования изображений сконфигурировано для задания первой скорости считывания в зависимости от количества излучения, падающего на чувствительную к излучению матрицу. Благодаря заданию первой скорости считывания в зависимости от количества излучения, падающего на чувствительную к излучению матрицу, может быть установлен компромисс между необходимым временем экспонирования чувствительной к излучению матрицы и различием при захвате верхнего участка изображения и нижнего участка, следствием которого являются так называемые эффекты перекоса. Преимущество заключается в том, что первая скорость считывания может быть повышена, если излучение в достаточном количестве падает на чувствительную к излучению матрицу, благодаря чему ослабляются указанные эффекты перекоса.

Как вариант, устройство формирования изображений содержит усилитель изображения для подачи усиленного видимого света к датчику изображения. Благодаря использованию усилителя изображения датчик изображения способен захватывать изображение в условиях плохого освещения с повышенным отношением сигнала к шуму. Кроме того, устройство формирования изображений, содержащее усилитель изображения, обычно известно как прибор ночного видения или прибор ночного видения при низком уровне освещенности.

Краткое описание чертежей

Эти и другие аспекты изобретения станут очевидными и понятными при обращении к вариантам осуществлений, описанным ниже. На чертежах:

фиг.1 - временная диаграмма системы непосредственного наблюдения;

фиг.2 - структурная схема устройства формирования изображений, содержащего датчик изображения;

фиг.3 - виды датчика изображения и устройства отображения;

фиг.4 - временная диаграмма работы устройства формирования изображений;

фиг.5 - вариант представления временной диаграммы из фиг.4;

фиг.6 - структурная схема устройства формирования изображений, содержащего дополнительный датчик изображения;

фиг.7 - виды датчика изображения и дополнительного датчика изображения;

фиг.8 - временная диаграмма работы устройства формирования изображений;

фиг.9 - структурная схема устройства формирования изображений, содержащего блок масштабирования;

фиг.10 - диаграмма работы схемы считывания;

фиг.11 - иллюстрация способа захвата и отображения изображений в реальном времени; и

фиг.12 - иллюстрация компьютерной программы, сохраняемой на считываемом компьютером носителе.

Подробное описание осуществлений

На фиг.1 показана временная диаграмма работы системы непосредственного наблюдения, содержащей буферную память кадров. В данном случае по горизонтальной оси показано время, тогда как вертикальная ось использована для визуального разграничения моментов считывания изображения, обработки изображения и отображения изображения. В этом случае SS₁ обозначает период времени для считывания изображения с датчика изображения. Считывание SS₁ содержит сохранение считываемого изображения в буферной памяти кадров. В такой системе непосредственного наблюдения обработка выполняется только после полного сохранения изображения в буферной памяти кадров. Поэтому после завершения считывания SS₁ в системе непосредственного наблюдения начинается обработка РР₁ изображения. Обычно участки изображения считываются из буферной памяти кадров, обрабатываются и затем записываются обратно в буферную память кадров или в дополнительную буферную память кадров. В заключение после завершения обработки РР₁ в системе непосредственного наблюдения начинается отображение DD₁ изображения. Следовательно, период времени между началом ТТ₁ считывания SS₁ изображения и началом ТТ₂ отображения DD₁ изображения показывает минимальное запаздывание или задержку LL, которую пользователь ощущает между изменением в сцене и отображаемым изображением, отражающим указанное изменение.

Для повышения производительности системы непосредственного наблюдения считывание, обработку и отображение можно конвейеризировать. Это означает, что, пока происходит обработка РР₁ изображения, может производиться считывание SS₂ следующего изображения. Точно так же, пока происходит отображение DD₁ изображения, может производиться обработка РР₂ следующего изображения. Заметим, что такая конвейеризация повышает производительность системы непосредственного наблюдения, то есть позволяет считывать, обрабатывать и отображать в системе большее количество изображений за определенный период времени. Однако указанная конвейеризация не влияет на задержку LL системы непосредственного наблюдения.

На фиг.2 показано устройство 100 формирования изображений, предназначенное для захвата и отображения изображений в реальном времени. Устройство 100 формирования изображений содержит датчик 110 изображения, а датчик 110 изображения содержит чувствительную к излучению матрицу 120 для захвата изображения 142. Устройство 100 формирования изображений также содержит схему 140 считывания, подключенную к чувствительной к излучению матрице 120 для считывания изображения 142, и процессор 160 сигналов для обработки изображения 142, для получения обработанного изображения 162. Для этого схема 140 считывания показана подключенной к процессору 160 сигналов. Устройство 100 формирования изображений также содержит устройство 180 отображения для в конечном счете отображения обработанного изображения 162 на устройстве 180 отображения.

На фиг.3 показан датчик 110 изображения, содержащий чувствительную к излучению матрицу 120. Также показано, что чувствительная к излучению матрица 120 скомпонована строками пикселей 122 датчика. Заметим, что, хотя это явным образом не показано на фиг.3, чувствительная к излучению матрица 120 также скомпонована столбцами пикселей датчика вследствие того, что она является матрицей. Кроме того, на фиг.3 показано устройство 180 отображения в виде матрицы пикселей устройства отображения, которая скомпонована строками пикселей устройства 182 отображения. Заметим, что, хотя это явным образом не показано на фиг.3, устройство 180 отображения также составлено столбцами пикселей устройства отображения вследствие того, что он является матрицей.

Во время работы устройства 100 формирования изображений схема 140 считывания последовательно считывает строки пикселей 122 датчика для последовательного обеспечения поднабора пикселей 124. Это считывание отображено на временных диаграммах, показанных на фиг.4 и 5. В данном случае S₁ обозначает период времени для считывания изображения 142 с датчика 110 изображения. На фиг.4 период времени показан таким же образом, как на фиг.1, для обеспечения возможности сравнения с упомянутой выше системой непосредственного наблюдения. На фиг.5 по горизонтальной оси показано время, тогда как по вертикальной оси показаны номера строк, при этом через R_n обозначена верхняя строка чувствительной к излучению матрицы 120 и через R₀ обозначена нижняя строка. Таким образом, на фиг.5 показано считывание схемой 140 считывания строки R_n в начале периода S₁ времени и строки R₀ в конце его. Следовательно, во время считывания S₁ все строки от R_n до R₀ считываются последовательно.

Описанное выше считывание S₁ чувствительной к излучению матрицы 120 достигается с помощью схемы 140 считывания, представляющей собой схему скользящего затвора. Схема 140 скользящего затвора отличается от схемы, конфигурируемой для считывания с чувствительной к излучению матрицы 120 с использованием затвора моментальных снимков. Основной принцип работы схемы скользящего затвора заключается в том, что чувствительная к излучению матрица 120 адресуется построчно, то есть на построчной основе, для i) инициализации экспонирования строки и ii) считывания содержимого ее после указанного экспонирования. Это обычно достигается при использовании двух указателей, каждый из которых адресует соответствующие строки в чувствительной к излучению матрице 120. Один указатель обеспечивает сброс адресуемой в данный момент строки для инициализации экспонирования строки, тогда как другой указатель адресует строку, которая должна быть считана. Разность местоположений двух указателей представляет собой эффективное время экспонирования, то есть, если указатель «сброса» отстает от указателя «считывания» только на одну строку, время экспонирования максимально возрастает.

В отличие от этого схемой, в которой используется затвор моментальных снимков, вся чувствительная к излучению матрица обычно одновременно экспонируется перед считыванием всего изображения с чувствительной к излучению матрицы в буферную память кадров. В течение времени, необходимого для считывания всего изображения, чувствительная к излучению матрица не экспонируется вовсе. Недостаток заключается в том, что время экспонирования, обеспечиваемое указанной схемой, меньше, чем время экспонирования, обеспечиваемое схемой скользящего затвора. Следствием меньшего времени экспонирования обычно является изображение, которое имеет плохое отношение сигнала к шуму, то есть является зашумленным. В публикации “EBAPS: Next Generation, Low Power, Digital Night Vision”, Aebi et al., Intevac Corporation, OPTRO 2005 symposium, Paris, France, описано использование схемы скользящего затвора для максимизации времени экспонирования датчика камеры.

Интервал между указателями схемы 140 скользящего затвора можно увеличить с помощью внутреннего конечного автомата в самом датчике 110 изображения, то есть схема 140 скользящего затвора может быть частью датчика 110 изображения. Внешнюю логику, например вентильную матрицу, программируемую пользователем (FPGA), расположенную вне датчика 110 изображения, можно использовать для синхронизации конечного автомата и для программирования расстояния между двумя указателями, по которому определяется время экспонирования.

При последовательном считывании строк пикселей 122 датчика схемой 140 скользящего затвора последовательно образуется поднабор пикселей 124. Поднабор пикселей 124 может содержать пиксели всей строки или из поднабора строк. Поднабор пикселей может также содержать поднабор пикселей из единственной строки, например единственный пиксел или многочисленные соседние пиксели. Схема 140 скользящего затвора образует поднабор пикселей 124 для процессора 160 сигналов, который при наличии поднабора пикселей 124 обрабатывает поднабор пикселей для обеспечения обработанного поднабора пикселей. Путем обработки последовательно получаемых поднаборов пикселей процессор 160 сигналов эффективно обрабатывает изображение 142 и обеспечивает обработанное изображение 162. Эта обработка отображена на временных диаграммах, показанных на фиг.4 и 5. В данном случае Р₁ обозначает период времени для обработки изображения 142. На фиг.5 показано действие процессора 160 сигналов, обрабатывающего строку R_n в начале периода Р₁ времени и строку R₀ в конце его. Следовательно, во время обработки Р₁ все строки от R_n до R₀ обрабатываются последовательно.

Как показано на фиг.4 и 5, временное запаздывание между считыванием S₁ и обработкой Р₁ зависит среди прочего от размера поднабора пикселей 124. Например, если поднабор пикселей 124 содержит пиксели из строки пикселей 122 датчика, обработка Р₁ запаздывает относительно считывания S₁ по меньшей мере на период времени, необходимый для считывания и обеспечения указанного поднабора пикселей 124 на процессор 160 сигналов. Однако должно быть понятно, что указанное временное запаздывание значительно меньше, чем временное запаздывание, соответствующее полному считыванию изображения 142, вследствие последовательного обеспечения поднабора пикселей 124.

При наличии обработанного поднабора пикселей устройство 180 отображения отображает обработанный поднабор пикселей, на соответствующем ему поднаборе пикселей устройства 184 отображения. Благодаря отображению последовательно получаемых обработанных поднаборов пикселей на устройстве 180 отображения эффективно отображается обработанное изображение 162. Это отображение отражено на временных диаграммах, показанных на фиг.4 и 5. В данном случае D₁ обозначает период времени для отображения обработанного изображения 162. На фиг.5 показано устройство 180 отображения, отображающее строку R_n в начале периода D₁ времени и строку R₀ в конце его. Должно быть понятно, что для временного запаздывания между отображением D₁ и обработкой Р₁ имеют силу такие же соображения, как для временного запаздывания между считыванием S₁ и обработкой Р₁. Поэтому устройство формирования изображений, показанное на фиг.2, привносит задержку L, которая соответствует временному запаздыванию между считыванием S₁ и отображением D₁. Кроме того, должно быть понятно, что считывание S₂ следующего изображения может начинаться по окончании считывания S₁ изображения. Аналогичным образом, обработка Р₂ может начинаться по окончании обработки Р₁, а отображение D₂ может начинаться по окончании отображения D₁.

На фиг.6 показано устройство 200 формирования изображений. Наряду с датчиком 110 изображения и схемой 140 считывания устройство формирования изображений также содержит дополнительный датчик 210 изображения и дополнительную схему 240 считывания. Дополнительный датчик 210 изображения содержит дополнительную чувствительную к излучению матрицу 220 для захвата дополнительного изображения 242. Для считывания дополнительного изображения 242 дополнительная схема 240 считывания подключена к дополнительной чувствительной к излучению матрице 220.

На фиг.7 показан дополнительный датчик 210 изображения, содержащий дополнительную чувствительную к излучению матрицу 220 наряду с упомянутыми выше датчиком 110 изображения и чувствительной к излучению матрицы 120. Также показано, что дополнительная чувствительная к излучению матрица 220 скомпонована строками пикселей 222 дополнительного датчика. Заметим, что, хотя это явно не показано на фиг.7, дополнительная чувствительная к излучению матрица 220 также скомпонована столбцами пикселей датчика вследствие того, что она является матрицей. Из фиг.7 также видно, что чувствительная к излучению матрица 120 имеет первое пространственное разрешение, дополнительная чувствительная к излучению матрица 220 имеет второе пространственное разрешение, при этом второе пространственное разрешение ниже, чем первое пространственное разрешение. Вследствие этого чувствительная к излучению матрица 120 образована n+1 строками, то есть от строки R₀ до строки R_n, тогда как чувствительная к излучению матрица 220 образована m+1 строками, то есть от строки R₀ до строки R_m, где m меньше, чем n. Эта конфигурация предполагается в остальной части описания устройства формирования изображений из фиг.6. Однако заметим, что второе пространственное разрешение также может быть равно первому пространственному разрешению или может быть больше него. Кроме того, заметим, что пространственное разрешение может относиться к разрешению изображения по горизонтали или вертикали, например изображения, имеющего 1280 пикселей или 1024 строк, или к общему разрешению, например изображения из 1,3 мегапикселей.

Снова обратимся к фиг.6, где схема считывания 140 сконфигурирована как дополнительная схема скользящего затвора для последовательного считывания строк пикселей 222 дополнительного датчика. Во время работы устройства 200 формирования изображений схема 140 скользящего затвора и дополнительная схема 240 скользящего затвора синхронно обеспечивают поднабор пикселей 124 и дополнительный поднабор пикселей 224 путем по существу синхронного считывания соответствующих участков изображения 142 и дополнительного изображения 242. В данном случае к соответствующим участкам относятся участки изображения, которые имеют связанные содержания изображения. Например, когда датчик 110 изображения представляет собой датчик изображения в видимом свете для восприятия видимого света 112 и дополнительный датчик 210 изображения представляет собой тепловой датчик изображения для восприятия инфракрасного излучения 212, изображение 142 может быть изображением сцены в видимом свете, а дополнительное изображение 242 может быть тепловым изображением той же самой сцены. Следовательно, к соответствующим участкам могут относиться, например, верхняя строка R_n изображения 142, соответствующая верхней строке R_m дополнительного изображения 142, нижняя строка R₀ изображения 142, соответствующая аналогичной нижней строке R₀ дополнительного изображения 242, и т.д. При наличии поднабора пикселей 124 и дополнительного поднабора пикселей 224 это позволяет процессору 260 сигналов объединять оба поднабора пикселей, чтобы получать обработанный поднабор пикселей для, например, получения обработанного изображения 262, в котором тепловое изображение наложено поверх изображения в видимом свете. Заметим, что, когда датчик 110 изображения захватывает вид слева, а дополнительный датчик 210 изображения захватывает вид справа, к соответствующим участкам могут также относиться участки, которые имеют одинаковое вертикальное положение в том и другом изображении.

Для компенсации второго пространственного разрешения, более низкого по сравнению с первым пространственным разрешением, дополнительная схема 240 скользящего затвора сконфигурирована для считывания дополнительного изображения 242 со второй скоростью считывания, которая ниже, чем первая скорость считывания схемой 140 скользящего затвора. Это показано на фиг.8, на которой отображена временная диаграмма, аналогичная показанной на фиг.5, но дополнительно показан период времени считывания I₁ дополнительного изображения 242. Должно быть понятно, что при числе строк R_m дополнительного изображения 242, меньшем, чем число строк R_n изображения 142, вторая скорость считывания должна быть ниже, чтобы считывание I₁ дополнительного изображения 242 происходило в пределах такого же временного интервала, как и считывание S₁ изображения 142. Это выражается в меньшем наклоне считывания I₁ относительно горизонтальной оси по сравнению с наклоном считывания S₁.

На фиг.8 показано, что первая скорость считывания выбрана для считывания S₁ изображения 142 в пределах периода T_i кадра изображения и вторая скорость считывания выбрана для считывания I₁ дополнительного изображения 242 в пределах такого же периода T_i кадра изображения. Период T_i кадра изображения непосредственно связан с частотой кадров изображения и составляет, например, 1/60 с=0,0167 мс при частоте кадров изображения 60 Гц. Для максимизации экспонирования чувствительной к излучению матрицы 120 первая скорость считывания выбрана из условия считывания S₁ изображения 142 в течение по существу указанного периода T_i кадра изображения. Кроме того, вторая скорость считывания выбрана из условия считывания I₁ дополнительного изображения 242 в пределах по существу того же самого периода T_i кадра изображения. Должно быть понятно, что результирующее соотношение между первой скоростью считывания и второй скоростью считывания по существу вытекает из упомянутой выше конфигурации устройства 200 формирования изображений, обеспечивающей синхронное считывание соответствующих участков изображения 142 и дополнительного изображения 142.

Кроме того, в примере показанном на фиг.8, первая скорость считывания и вторая скорость считывания выбраны для обеспечения считывания S₁ изображения 142 и считывания I₁ дополнительного изображения 242, которые охватывают весь период T_i кадра изображения. Это может следовать из предпочтительности упомянутой выше максимизации времени экспонирования чувствительной к излучению матрицы 120 и/или дополнительной чувствительной к излучению матрицы 220. Однако считывание S₁ и считывание I₁ также можно производить быстрее, например, заканчивать до конца периода T_i кадра изображения. При этом уменьшается временной интервал между считыванием S₁ верхней и нижней части изображения 142 и поэтому ослабляются или исключаются так называемые артефакты перекоса в изображении 142. Известно, что эти артефакты возникают, когда указанный временной интервал является относительно большим. Кроме того, устройство 200 формирования изображений можно конфигурировать для задания первой скорости считывания в зависимости от количества излучения 112, попадающего на чувствительную к излучению матрицу 120. Соответственно в устройстве 200 формирования изображений может динамически находиться компромисс между необходимым временем экспонирования и упомянутыми выше эффектами перекоса.

Схему 140 скользящего затвора можно синхронизировать с первой частотой следования пикселей для получения первой скорости считывания, а дополнительную схему 240 скользящего затвора можно синхронизировать с второй частотой следования пикселей для получения второй скорости считывания. Поскольку вторая скорость считывания ниже, чем первая скорость считывания, вторая частота следования пикселей также ниже, чем первая частота следования пикселей. Например, когда второе пространственное разрешение дополнительного изображения 242 по горизонтали и вертикали составляет одну четвертую часть первого пространственного разрешения изображения 142, например 320 на 256 пикселей по сравнению с 1280 на 1024 пикселей, первую схему 140 считывания можно синхронизировать с системной тактовой частотой, например 44 МГц, тогда как вторую схему 240 считывания можно синхронизовать одной шестнадцатой частью этой системной тактовой частоты, то есть частотой следования пикселей 2,75 МГц. Поскольку результатом более низкой тактовой частоты является меньшее энергопотребление, можно снизить энергопотребление системы 200 формирования изображений. Как вариант вторую схему 240 считывания также можно синхронизировать с частотой 44 МГц, но можно конфигурировать ее так, чтобы в среднем получать один пиксел через каждую одну шестнадцатую часть периода синхронизирующих импульсов.

Поскольку второе пространственное разрешение ниже, чем первое пространственное разрешение, может возникать необходимость масштабирования дополнительного изображения 242 до первого пространственного разрешения или до пространственного разрешения устройства 180 отображения. Заметим, что необходимость в этом может возникать не во всех случаях, а например в случае, когда дополнительное изображение 242 вводится в изображение 142 как картинка в картинку. На фиг.9 показано устройство 300 формирования изображений, содержащее блок 250 масштабирования для получения в качестве дополнительного изображения 242 масштабированного изображения 252, имеющего первое пространственное разрешение. В данном случае дополнительная схема 240 скользящего затвора показана подключенной к блоку 250 масштабирования для обеспечения дополнительного изображения 242 блоку 250 масштабирования, а блок 250 масштабирования показан подключенным к процессору 260 сигналов для обеспечения масштабированного изображения 252 процессору 260 сигналов. Блок 250 масштабирования может содержать линейное буферное запоминающее устройство для получения возможности выполнения пространственного масштабирования в вертикальном направлении. Пространственное масштабирование может содержать выполнение способа линейной интерполяции нулевого порядка, то есть так называемого повторения пикселей или интерполяции ближайших соседей, известной из области техники, относящейся к обработке изображений. Кроме того, пространственное масштабирование может содержать такие способы, как линейная интерполяция первого порядка, например способы билинейной интерполяции, линейной интерполяции высокого порядка и нелинейной интерполяции. Такие способы обычно привносят меньше интерполяционных артефактов.

Заметим, что устройство 300 формирования изображения необязательно должно содержать блок 250 масштабирования в явном виде. Вместо него можно использовать буфер, который эффективно действует как блок масштабирования. Например, дополнительная схема 240 скользящего затвора может содержать так называемый буфер обратного магазинного типа, известный из области техники, относящейся к конструктивным решениям и архитектуре процессоров. В таком случае дополнительная схема 240 скользящего затвора может считывать строку R_m с дополнительной чувствительной к излучению матрицы 220 так, как это схематически показано на фиг.10. Считывание может выполняться с использованием частоты следования пикселей 2,75 МГц. Далее считанная строка R_m может быть буферизирована в буфер обратного магазинного типа и считана с более высокой частотой следования пикселей, например с частотой следования пикселей 44 МГц, для повторного получения строки R_m при такой же скорости считывания, с которой строка R_n считывается схемой 140 скользящего затвора. Заметим, что при таком использовании буфера обратного магазинного типа эффективно выполняется интерполяция ближайших соседей, хотя его обычно не считают блоком масштабирования. Кроме того, должно быть понятно, что такую функциональную возможность можно реализовать в самом процессоре 260 сигналов, то есть процессор 260 может содержать буфер обратного магазинного типа для выполнения указанной буферизации.

На фиг.11 показан способ 300 захвата и отображения в реальном времени изображений в устройстве формирования изображений, при этом устройство формирования изображений содержит i) датчик изображения, содержащий чувствительную к излучению матрицу для захвата изображения, ii) схему считывания, подключенную к чувствительной к излучению матрице для считывания изображения, iii) процессор сигналов для обработки изображения, для получения обработанного изображения и iv) устройство отображения для отображения обработанного изображения, при этом чувствительная к излучению матрица скомпонована строками пикселей датчика, а устройство отображения скомпоновано строками пикселей устройства отображения, и этот способ содержит последовательное считывание 340 строк пикселей датчика схемой считывания для последовательного обеспечения поднабора пикселей, при наличии поднабора пикселей обработку 360 поднабора пикселей процессором сигналов для обеспечения обработанного поднабора пикселей и при наличии обработанного поднабора пикселей отображение 380 обработанного поднабора пикселей устройством отображения на соответствующем ему поднаборе пикселей устройства отображения, для отображения обработанного изображения последовательно на строках пикселей устройства отображения.

На фиг.12 показан считываемый компьютером носитель 400, содержащий компьютерную программу 420, при этом компьютерная программа 420 содержит инструкции, побуждающие процессорную систему выполнять способ 300, показанный на фиг.11. Компьютерная программа 420 может содержаться на считываемом компьютером носителе 400 в виде физических меток или сохраняться благодаря намагничиванию считываемого компьютером носителя 400. Однако также возможна любая другая подходящая реализация. Кроме того, должно быть понятно, что, хотя считываемый компьютером носитель 400 показан на фиг.12 в виде оптического диска, считываемый компьютером носитель 400 может быть любым подходящим считываемым компьютером носителем, таким как постоянное запоминающее устройство или память с произвольным доступом, например твердотельная память, флэш-память и т.д.

Должно быть понятно, что в настоящем изобретении можно использовать датчики изображения различных видов и поэтому оно не ограничено, например, датчиками изображения в видимом свете или тепловыми датчиками. Кроме того, объединение изображения 142 с дополнительным изображением 242 может содержать слияние изображения 142 с дополнительным изображением 242 путем, например, наложением определенных элементов дополнительного изображения 242 поверх изображения 142. Однако объединение может также содержать создание обработанного изображения 262, которое содержит компоновку бок о бок, картинка в картинке или аналогичную пространственную компоновку изображения 142 и дополнительного изображения 242.

После упомянутого выше объединения или слияния изображения 142 и дополнительного изображения 242 в процессоре 160 сигналов может использоваться обработка сигналов различного вида. Например, процессор 160 сигналов может выполнять обработку изображения различных видов, известных из области техники, относящейся к обработке изображений, такую как коррекция неравномерности, выравнивание гистограммы, снижение шума, повышение резкости, отображение цветов и т.д. Кроме того, для повышения производительности процессора 160 сигналов обработка сигналов может содержать конвейеризацию обработки изображений для получения конвейеризированной обработки поднабора пикселей 124.

Устройство 180 отображения может быть устройством отображения на основе органических светоизлучающих микродиодов или жидких кристаллов. Датчик 110 изображения может быть датчиком с комплементарной структурой металл-оксид-полупроводник. Процессор 160 сигналов может быть реализован в виде вентильной матрицы, программируемой пользователем. Датчик 110 изображения может быть сконфигурирован для обеспечения информации синхронизации, например так называемых строчных и кадровых сигналов SYNC (синхронизации). Они могут использоваться в устройстве 100 формирования изображений для синхронизации считывания, обработки и отображения изображения 142. Кроме того, информация синхронизации может использоваться для синхронизации считывания дополнительного изображения 242 при использовании дополнительной схемы 240 считывания.

Должно быть понятно, что в приведенном выше описании варианты осуществлений изобретения для наглядности были рассмотрены с обращением к различным функциональным блокам. Однако должно быть понятно, что любой подходящее распределение функциональных возможностей между различными функциональными блоками или процессорами можно использовать без отступления от изобретения. Например, показанные функции, выполняемые отдельными процессорами или контроллерами, могут выполняться одним и тем же процессором или контроллером. Поэтому обращения к конкретным функциональным блоком следует рассматривать только как обращения к подходящим средствам для получения описанных функциональных возможностей, а не как указание на точную логическую или физическую структуру или организацию.

Изобретение может быть реализовано в любой подходящей форме, включая аппаратное обеспечение, программное обеспечение, микропрограммные средства или любое сочетание из них. При желании изобретение может быть реализовано, по меньшей мере частично, как компьютерное программное обеспечение, выполняемое одним или несколькими процессорами данных и/или цифровыми процессорами сигналов. Элементы и компоненты вариантов осуществлений изобретения могут быть физически, функционально и логически реализованы любым подходящим способом. На самом деле функциональные возможности могут быть реализованы в единственном блоке, во множестве блоков или в части других функциональных блоков. По существу изобретение может быть реализовано в единственном блоке или реализация может быть физически и функционально распределена между различными блоками и процессорами.

Хотя настоящее изобретение было описано применительно к некоторым вариантам осуществлений, оно не предполагается ограниченным конкретной формой, отраженной в этой заявке. Точнее, объем настоящего изобретения ограничен только прилагаемой формулой изобретения. В дополнение к этому, хотя признак мог быть описан применительно к конкретным вариантам осуществлений, специалист в данной области техники должен осознавать, что различные признаки описанных вариантов осуществлений могут сочетаться в соответствии с изобретением. В формуле изобретения термин «содержащий» не исключает наличия других элементов или этапов.

Кроме того, множество средств, элементов или этапов способа, даже отдельно перечисленных, можно реализовать, например, в единственном блоке или процессоре. Кроме того, хотя индивидуальные признаки могут быть включены в различные пункты формулы изобретения, их можно успешно сочетать, а включение их в различные пункты формулы изобретения не означает, что сочетание признаков практически невозможно и/или нецелесообразно. Кроме того, включение признака в формулу изобретения одной категории не означает ограничения этой категории, а показывает, что признак в равной мере при необходимости может использоваться в формуле изобретения другой категории. Кроме того, порядок следования признаков в формуле изобретения не означает, что признаки должны использоваться в каком-либо конкретном порядке, и в частности, порядок следования отдельных этапов в формуле изобретения на способ не означает, чтобы этапы должны выполняться в этом порядке. Точнее, этапы могут выполняться в любом подходящем порядке. В дополнение к этому одиночные предметы не исключают множества. Поэтому обращения к неопределенным артиклям, словам «первый», «второй» и т.д. не исключают множества. Позиции в формуле изобретения приведены только для пояснения и никоим образом не должны толковаться как ограничивающие объем формулы изобретения.

Реферат

Изобретение относится к устройствам захвата и просмотра изображений. Техническим результатом является создание устройства формирования и отображения изображений в реальном времени со сниженной задержкой, с доступностью изображения в цифровой форме на промежуточной стадии для обеспечения возможности обработки сигналов. Результат достигается тем, что устройство формирования изображений содержит i) датчик изображения, содержащий чувствительную к излучению матрицу для захвата изображения, ii) схему считывания, подключенную к чувствительной к излучению матрице для считывания изображения, iii) процессор сигналов для обработки изображения, для получения обработанного изображения и iv) устройство отображения для отображения обработанного изображения, при этом чувствительная к излучению матрица скомпонована строками пикселей датчика и устройство отображения скомпоновано строками пикселей устройства отображения, и в котором схема считывания представляет собой схему скользящего затвора для последовательного считывания строк пикселей датчика, для последовательного обеспечения поднаборов пикселей, процессор сигналов сконфигурирован для, при наличии одного из поднаборов пикселей, обработки поднабора пикселей для обеспечения обработанного поднабора пикселей, а устройство отображения сконфигурировано для, при наличии обработанного поднабора пикселей, отображения обработанного поднабора пикселей на соответствующем ему поднаборе пикселей устройства отображения, для отображения обработанного изображения последовательно на строках пикселей устройства отображения. 4 н. и 11 з.п. ф-лы, 12 ил.

Формула