Визуальное устройство отображения и способ формирования трехмерного изображения - RU2168192C2
Код документа: RU2168192C2
Чертежи
Описание
Настоящее изобретение имеет отношение к разработке технологий воспроизведения трехмерного изображения, в частности, таких технологий, в которых не требуется применение специального шлема или очков.
Серьезной технологической проблемой второй половины двадцатого столетия является создание полного трехмерного изображения. Еще в 1908 г. Габриэль Липман изобрел способ создания истинного трехмерного изображения сцены, с использованием фотопластинки, экспонированной при помощи линзоподобного листа типа "мушиный глаз", состоящего из множества небольших фиксированных линз. Эта технология стала известной под названием "интегральной фотографии", причем воспроизведение проявленного изображения производится путем пропускания через подобный линзоподобный лист, состоящий из множества небольших фиксированных линз. Однако открытие Липмана и его дальнейшее развитие (например, в патенте США N 3878329) не позволили создать технологию, которая подходила бы для простого воспроизведения изображений и которая могла бы быть адаптирована для воспроизведения киноизображений или изображений, полученных электронным способом, которые являются основным форматом изображений во второй половине этого столетия.
С течением времени произошло развитие многокомпонентного подхода к трехмерной проекции, которое включает в себя множество технических усовершенствований с различными вариантами построения оребренных линзообразных листов или решетчатых листов оптических элементов для получения стереоизображений от единственного специально обработанного изображения (например, в патенте США N 4957311 и в патенте США N 4729017 приведены наиболее свежие решения). Большинство предложенных решений страдает общими недостатками, которые включают в себя строгое ограничение физического положения наблюдателя по отношению к просмотровому экрану, пониженное качество изображения в результате расщепления полученной интенсивности изображения между двумя раздельными изображениями и, для многих решений, параллакс, который может наблюдаться только в одном направлении.
Другие известные технологии получения действительного трехмерного изображения включают в себя сканирование физического объема, например, либо в результате механического сканирования пучка лазера по поверхности вращающегося винтового экрана или диффузного парообразного облака, путем последовательной активизации множества внутренних люминофорных экранов электронно-лучевой трубки, либо путем физического отклонения сгибаемого изогнутого зеркала, для получения версии с переменным фокусом обычного устройства формирования изображения. Оказалось, что все эти технологии являются громоздкими, трудоемкими в производстве и неудобными для просмотра изображения, причем они не доведены до стадии массового рыночного производства для широкого потребителя.
В течение того же промежутка времени возник ряд технологий, связанных с различными носимыми пользователем приспособлениями, в том числе с очками, в которых применяются двухцветные фильтры или фильтры с поперечной поляризацией для разделения согласованно воспроизводимых сдвоенных изображений, а также с воспроизводящим виртуальную реальность шлемом, причем все эти устройства связаны с получением стереоданных, а именно, с получением перцепции глубины изображения за счет применения раздельных изображений для левого глаза и правого глаза. Некоторые из указанных технических решений обеспечивают получение стереоизображений поразительного качества, хотя это достигается обычно за счет удобства и комфорта наблюдателя, усталости глаз и уменьшения яркости изображения, причем определенная часть населения не обладает способностью различать (или комфортно различать) такие стереоизображения. В результате проведенных в последнее время офтальмологических и неврологических исследований пришли к заключению о том, что продолжительное использование систем стереоизображения (с носимыми пользователем элементами или других систем) оказывает вредное влияние и создает эффекты потенциально длительного воздействия.
В патенте Японии 62077794 раскрыто двухмерное воспроизводящее устройство, изображение в котором образовано дискретными пикселями (элементами изображения). Это воспроизводящее устройство включает в себя решетку оптических элементов, которые стоят перед соответствующими пикселями и совмещены с ними, а также средство индивидуального изменения эффективного фокусного расстояния для каждого оптического элемента, предназначенное для изменения видимого визуального расстояния от наблюдателя, который располагается напротив воспроизводящего устройства, в той точке, где появляется каждый индивидуальный пиксель при создании трехмерного изображения.
Более конкретно, оптическими элементами в этой японской публикации являются линзы, изготовленные из нематических жидких кристаллов, причем фокусное расстояние линз может изменяться за счет приложения электрического поля, которое меняет расположение кристаллов. В этой системе требуется применение транзисторов и электронных соединений, подключенных к каждой микролинзе, причем между стеклянными пластинами должна быть применена специальная упаковка. Кроме того, достигается очень малое изменение эффективного фокусного расстояния, поэтому требуется использование дополнительных оптических компонентов, таких как лупы большого размера, что делает систему недопустимо громоздкой и снижает имеющийся угол обзора бокового изображения.
Задачей настоящего изобретения является создание улучшенного устройства формирования трехмерного изображения, в котором преодолены недостатки упомянутой японской публикации.
Это достигнуто за счет того, что каждый оптический элемент имеет фокусное расстояние, которое постепенно меняется вдоль поверхности, ориентированной главным образом параллельно изображению, причем предлагаемое устройство снабжено средством точного смещения внутри пикселя местоположения, в котором свет излучается в соответствии с желательной глубиной, причем имеется соответствующее перемещение входного местоположения света вдоль входной поверхности оптического элемента, в результате чего динамически изменяется эффективное фокусное расстояние, а видимое (кажущееся) визуальное расстояние от наблюдателя изменяется в соответствии с перемещением входного местоположения света.
В соответствии с предпочтительным вариантом настоящего изобретения, оптические элементы образованы одной или несколькими линзами, однако они могут быть образованы вместо этого зеркалами или комбинацией преломляющих и отражающих поверхностей.
В наиболее простой форме пиксели и перекрывающие (наложенные) оптические элементы являются прямоугольными и фокусное расстояние каждого оптического элемента постепенно изменяется по длине оптического элемента. В этом случае входная точка света перемещается линейно по длине. Однако за рамки настоящего изобретения не выходят другие формы оптических элементов и типы перемещений. Например, оптические элементы могут быть круглыми, а их фокусное расстояние изменяется радиально относительно центральной оптической оси. В таком случае свет входит в виде кольцевых полос, которые перемещаются радиально.
Несмотря на то, что показанные в данном описании изменения оптических характеристик в пределах оптического элемента, размеры которого соответствуют размеру элемента изображения (далее именуемого как "пиксельный оптический элемент"), вызваны изменениями в форме поверхностей физического элемента, в лаборатории заявителя проведены успешные эксперименты, которые показали, что изменения оптических характеристик могут быть получены за счет применения оптических материалов с градиентом коэффициента преломления, в которых коэффициент преломления постепенно изменяется поперек оптического элемента.
Соотношение между фокусным расстоянием и перемещением может быть линейным или нелинейным.
Множество устройств может быть использовано для создания пиксельного ввода света в решетку пиксельной оптики. В соответствии с первым вариантом настоящего изобретения, это входное световое устройство представляет собой электронно-лучевую трубку, помещенную позади оптической решетки, таким образом, что световая линия может сканироваться горизонтально позади каждого ряда пиксельной оптики и присутствовать в точно смещенном вертикально местоположении относительно линии сканирования, при ее прохождении позади каждого оптического элемента. В соответствии с различными вариантами настоящего изобретения, входное световое устройство может представлять собой устройство воспроизведения с плоской панелью, например, с использованием технологии жидких кристаллов, электролюминесценции или плазмы. В устройствах с использованием электролюминесценции применяется решетка СИД (светоизлучающих диодов). Во всех этих вариантах движущееся изображение получают последовательным сканированием полного изображения, во многом аналогично тому, как это делается в обычных устройствах формирования двухмерного изображения. В этом случае движущиеся изображения могут быть представлены с частотой кадров, которая ограничена только возможностью сканированного светового луча при осуществлении точной вертикальной манипуляции для каждого пикселя. В качестве примера, не имеющего ограничительного характера, можно указать, что описанные здесь варианты осуществления настоящего изобретения успешно работали в лаборатории заявителя при частоте кадров до 111 кадров в секунду.
В соответствии с другим предпочтительным вариантом настоящего изобретения, освещение всего изображения на пиксельном уровне может быть получено от специально приготовленного киноизображения (кинокадра) или от неподвижной фотопленки, имеющей прозрачный участок, причем каждый кинокадр освещается как обычно сзади, но просматривается при помощи решетки такого же типа, как и упомянутая решетка пиксельных оптических элементов. В этом варианте каждый переданный световой пиксель внутри каждого кадра помещается определенным образом вдоль линейной входной поверхности оптических элементов, так что его вертикальная входная точка вырабатывает световую точку, которая расположена на определенном расстоянии от наблюдателя и в которой желательно получение этого определенного пикселя, также как и в описанном ранее варианте с электронным освещением. Такие обычные известные системы предусматривают проецирование трехмерного изображения в свободное пространство за счет отражения от вогнутого зеркала или аналогичного создающего изображение оптического элемента. Эта технология является значительно более прогрессивной в сравнении с проекцией обычного плоского двухмерного изображения, причем проецируемое трехмерное изображение располагается в свободном пространстве и имеет реальную наблюдаемую глубину. До настоящего времени заявитель с успехом использовал вогнутые зеркала со сферической, параболической или гиперболической формой математической кривой, однако возможно применение и других вогнутых форм.
Во всех указанных вариантах трехмерное изображение можно увидеть непосредственно или же использовать как реальный источник изображения для любых обычных известных систем проекции изображения.
Указанные ранее и другие задачи и характеристики изобретения будут более ясны из последующего детального описания, приведенного со ссылкой на сопроводительные чертежи. На чертежах аналогичные элементы имеют одинаковые позиционные обозначения.
На фиг. 1 (а) показан пример варианта построения пиксельного оптического устройства, в виде сзади сбоку.
На фиг. 1 (b) показан другой пример варианта построения пиксельного оптического устройства такого же типа, в котором использованы три оптических элемента.
На фиг. 2 показано, каким образом при изменении точки ввода коллимированного светового пучка с задней стороны (с вводного конца) пиксельного оптического устройства изменяется расстояние в пространстве от наблюдателя, в котором появляется эта световая точка.
На фиг. 3 (а) показано, каким образом это освещение пиксельного оптического устройства с перемещаемым входом может быть получено в предпочтительном варианте с использованием электронно-лучевой трубки.
На фиг. 3 (b) показан другой вид переменного входного освещения, а также совмещение пиксельных оптических элементов с пикселями на люминофорном слое электронно-лучевой трубки.
На фиг. 3 (с) показано соотношение между размером и коэффициентом формы коллимированного входного светового пучка и размером и коэффициентом формы пиксельных оптических элементов.
На фиг. 4 (а) показано, каким образом решетка пиксельных оптических элементов установлена у фронтальной поверхности источника освещения, такого как электронно-лучевой трубка, в компьютерном мониторе, телевизоре или в другом главным образом плоском экранном устройстве отображения.
На фиг. 4 (b) показан второй предпочтительный вид пикселей трубки формирования изображения, который может быть использован в соответствии с настоящим изобретением.
На фиг. 5 показано, каким образом сигнал глубины изображения может быть добавлен к линиям горизонтально сканированного растра при получении изображения на телевизоре или в компьютерном мониторе.
На фиг. 6 показано, каким образом может быть произведено изменение конкретной точки светового входа в пиксельную оптику с использованием кинопленки или другого работающего на просвет материала в качестве источника освещения.
На фиг. 7 показано, каким образом может быть использована решетка пиксельных оптических элементов для наблюдения непрерывной киноленты, при воспроизведении последовательных кадров трехмерного фильма.
На фиг. 8 показано, каким образом компонент глубины изображения записываемой сцены может быть получен с использованием одной основной съемочной камеры и одной вспомогательной съемочной камеры.
На фиг. 9 (а) иллюстрируется процесс ретроактивного получения сигнала глубины для обычного двухмерного изображения, в результате чего это изображение может быть использовано для отображения трехмерного изображения на соответствующем устройстве отображения.
На фиг. 9 (b) показаны взаимосвязи и работа устройств обработки изображения, которые могут быть использованы для добавления сигнала глубины в видеоизображение в соответствии с показанным на фиг. 9 (а) процессом.
На фиг. 10 показано применение технологии отображения глубины на пиксельном уровне, полученной в ходе развития техники трехмерного отображения печатных изображений.
На фиг. 11 показано распределение энергии обычного видеосигнала NTSC, с указанием несущих яркости и цветности.
На фиг. 12 показано распределение энергии этого же видеосигнала NTSC, с введением в спектр закодированного сигнала глубины.
На фиг. 13 (а) иллюстрируется функциональное назначение электронных блоков внутри обычного телевизионного приемника, которые обычно управляют вертикальным отклонением сканирующего электронного пучка в электронно-лучевой трубке.
На фиг. 13 (b) показаны эти же электронные блоки, с добавлением блоков, которые необходимы для декодирования компонента глубины от трехмерного кодированного видеосигнала и подходят для создания эффекта трехмерного изображения при вертикальном отклонении сканирующего электронного пучка.
На фиг. 14 показан предпочтительный вариант построения телевизионных электронных схем, которые осуществляют функции извлечения сигнала глубины и отображения, выделенные на фиг. 13 (b).
На фиг. 15 показана альтернативная пиксельная оптическая структура, в которой положение входного света меняется скорее радиально, чем линейно.
Фиг. 16 является аналогичной фиг. 2, однако на ней показаны альтернативные средства изменения визуального расстояния от наблюдателя световой точки, излучаемой индивидуальным пикселем.
На фиг. 17 показано, каким образом может быть практически осуществлено показанное на фиг. 16 устройство.
На фиг. 1 показана с большим увеличением одна из возможных форм построения оптического элемента 2, который используется для изменения расстояния от наблюдателя той точки, в которой может появиться коллимированная точка входа света в это устройство. Для сведения можно указать, что размер такого оптического элемента может существенно изменяться, однако он должен совпадать с размером отображаемого пикселя, поэтому для телевизионного монитора он обычно имеет порядок 1 мм в ширину и 3 мм в высоту. Для компьютерного монитора, который предназначен для более близкого наблюдения, может быть использован размер оптического элемента 0,5 мм на 1,5 мм. Для больших коммерческих устройств визуального отображения, которые предназначены для наблюдения на большом расстоянии, может быть использован размер оптического элемента 5 мм на 15 мм.
Для изготовления пиксельных оптических элементов может быть использовано кварцевое стекло (коэффициент преломления 1,498043) или одна из двух пластмасс, а именно, полиметил метакрилат (коэффициент преломления 1,498) или метил метакрилат (коэффициент преломления 1,558). Эти данные приведены в качестве примера, не имеющего ограничительного характера, причем этот пример не обязательно является предпочтительным для изготовления пиксельных оптических элементов.
Изображенный на фиг. 1 (а) пиксельный оптический элемент показан в виде наклонно сзади; в то время как его фронтальная поверхность 1 постоянно выпуклая сверху донизу, форма задней поверхности постепенно изменяется от выпуклой вверху до вогнутой внизу. С успехом может использоваться как линейное, так и нелинейное изменение оптических параметров. Коллимированный луч света проецируется через оптическое устройство в направлении оптической оси 3, причем преломляющие оптические поверхности устройства, через которые проходит этот коллимированный луч света, будут меняться при перемещении сверху вниз точки входа луча.
Несмотря на то, что показанный на фиг. 1 (а) вариант построения устройства обладает одной фиксированной поверхностью и одной переменной поверхностью, возможны вариации построения этого устройства, при которых обе поверхности являются переменными или когда имеется несколько преломляющих поверхностей. На фиг. 1 (b) показан пример второго варианта построения устройства, в котором пиксельное оптическое устройство представляет собой составное оптическое устройство, образованное тремя оптическими элементами. Испытания, проведенные заявителем в лаборатории, показали, что пиксельные оптические сборки могут обеспечивать лучшее качество изображения и больший угол обзора по сравнению с единичным оптическим элементом, причем в наиболее удачных вариантах устройств используется трехэлементная оптика. Однако и единичные оптические элементы могут работать в соответствии с настоящим изобретением, поэтому в дальнейшем изложении для простоты предполагается использование единичных оптических элементов.
На фиг. 2, показанной в сжатом виде для упрощения, можно видеть глаза наблюдателя 4, который находится на определенном расстоянии перед лицевой поверхностью пиксельного оптического элемента 2. Коллимированый луч света может быть введен с задней стороны пиксельного оптического элемента 2 в различных точках, три из которых показаны как световые лучи 5, 6 и 7. Так как фокусное расстояние устройства 2 изменяется в зависимости от расположения точки ввода светового луча, то на фиг. 2 показано, как результирующая световая точка будет представлена наблюдателю в различных видимых (кажущихся, мнимых) точках в пространстве 5а, 6а или 7а, которые соответствуют конкретным указанным и пронумерованным входным лучам. Несмотря на то, что точки 5а, 6а и 7а в действительности вертикально смещены друг от друга, это вертикальное смещение не обнаруживается наблюдателем, который видит только кажущееся перемещение по глубине.
На фиг. 3 (а) показано, каким образом в соответствии с предпочтительным вариантом настоящего изобретения каждый индивидуальный пиксельный оптический элемент может быть установлен у поверхности электронно-лучевой трубки, которая используется как источник освещения. Показанный на этом чертеже оптический элемент 2 прижат к фронтальному стеклу электронно-лучевой трубки, позади которого имеется обычный слой люминофоров 9, который начинает светиться при столкновении с проецированным и коллимированным пучком электронов, который показаны как пучки 5b, 6b и 7b, приходящие в различные точки. Для каждого из показанных трех положений электронных пучков, а также для любого другого положения, находящегося в пространственных пределах пиксельного оптического устройства, ввод света производится в единственной точке на задней поверхности пиксельного оптического устройства. Вертикальное положение электронного пучка может быть изменено при помощи обычных отклоняющих электромагнитных катушек, которые применяются с обычными электронно-лучевыми трубками; однако проведенные в лаборатории эксперименты показали, что при более высокой частоте кадров, например, более 100 Гц, могут потребоваться специальные отклоняющие катушки, которые обеспечивают более высокие скорости отклонения. Картина расположения люминофоров электронно-лучевой трубки должна соответствовать построению пиксельный оптики, как по длине, так и в пространстве, что означает, что оптика должна иметь возможность освещения от расположенных за ней люминофоров по всей ее проектной линейной входной поверхности. На фиг. 3 (b) показан вид сзади наклонно пиксельной оптики 2. На этом чертеже показаны 9 смежных пикселей люминофора 35, которые имеют 3 различных цвета, как и в обычной электронно-лучевой трубке, и главным образом прямоугольную форму. Следует иметь в виду, что размер и коэффициент формы (то есть отношение длины к ширине) каждого пикселя люминофора главным образом соответствует входному концу пиксельной оптики, стоящей перед ним. Как можно видеть при рассмотрении затемненного пикселя люминофора, сканирующий этот пиксель электронный пучок, который показан на чертеже тремя электронными пучками 5b, 6b и 7b, может быть сфокусирован в любой точке вдоль длины этого пикселя люминофора. В результате получают точное смещение точки, из которой излучается свет, внутри этого пикселя.
На фиг. 3 (с) иллюстрируется важность размера и коэффициента формы светового луча, входящего в пиксельное оптическое устройство 2, которое на чертеже показано в виде сзади. Визуальное отображение глубины при помощи телевизионной трубки во многом схоже с требованием получения высокой разрешающей способности при отображении цветности (цветового компонента) или светимости (черно-белого компонента) видеоизображения. Для отображения наиболее мелких деталей видеоизображения требуется компонент светимости (яркости) с относительно высоким разрешением, поверх которого отображается компонент цветности с более низким разрешением. Можно иметь более низкую разрешающую способность для цветности, так как глаз имеет худшую перцепцию цвета, чем перцепцию деталей изображения. Лабораторные исследования заявителя показали, что глаз также обладает низкой перцепцией глубины телевизионного изображения.
Отображение видимой глубины получают за счет физического перемещения светового луча, который вводится в пиксельное оптическое устройство, причем очевидно, что чем больше диапазон перемещения этого входного светового луча, тем больше влияние на видимую глубину.
Показанное на фиг. 3 (с) пиксельное оптическое устройство 2 ориентировочно имеет в три раза большую высоту, чем ширину. Коллимированый входной луч света 66а, показанный в поперечном сечении, имеет форму круга с диаметром, приблизительно равным ширине оптического устройства 2. Коллимированый входной луч света 66b также круглый, но его диаметр ориентировочно составляет одну пятую длины оптического устройства 2. С одной стороны, это позволяет лучу 66b иметь больший диапазон перемещения относительно луча 66а, что будет создавать больший диапазон видимой глубины в результирующем изображении, однако, с другой стороны, это достигается за счет уменьшения зоны поперечного сечения освещающего луча, которая составляет ориентировочно 36% от луча 66а. Для того чтобы сохранить кажущуюся яркость в результирующем изображении, интенсивность луча 66b должна ориентировочно в 2,7 раза превышать интенсивность луча 66а, что полностью достижимо.
Луч 66с имеет ширину, равную ширине пиксельного оптического устройства 2, однако он имеет овальную форму, высота которой равна высоте луча 66b, что составляет только одну пятую высоты оптического устройства 2. Это результирующее овальное поперечное сечение освещающего луча 66с является менее ярким, чем круглый луч 66а, но имеет яркость в 2 раза больше, чем у круглого луча 66b малого диаметра. Такая овальная форма поперечного сечения луча является высоко функциональной и уступает только прямоугольной форме поперечного сечения луча 66d. Эта форма поперечного сечения луча использована в последних и наиболее предпочтительных вариантах настоящего изобретения.
На фиг. 4 (а) показано, каким образом создается решетка рядов пиксельных оптических элементов, двенадцать из которых показаны в качестве примера, и каким образом они устанавливаются напротив фронтальной поверхности источника освещения, который в соответствии с предпочтительным вариантом настоящего изобретения представляет собой электронно-лучевую трубку 10. При сканировании управляемого электронного пучка вдоль рядов пиксельных оптических элементов его вертикальное смещение изменяется индивидуально для каждого пикселя, что дает горизонтальную линию сканирования, которая для примера показана на чертеже как линия 15 в овале слева, а также показана пунктиром позади решетки пикселей. Можно видеть, что горизонтальная линия сканирования, которая в обычной электронно-лучевой трубке является прямой, точно смещается от средней линии сканирования для каждого индивидуального пикселя, создавая в результате изображение, которое изменяет свое расстояние от наблюдателя при перемещении светового луча по поверхности индивидуального пикселя и имеет достаточную разрешающую способность в перцепции глубины.
Эксперименты показали, что небольшой зазор между индивидуальными пиксельными оптическими элементами уменьшает до минимума перекрестное влияние соседних оптических элементов, что в результате повышает четкость изображения, причем это изолирование оптических элементов может быть дополнительно усилено вводом черного непрозрачного материала в эти промежуточные пространства. Оказалось, что размер промежуточных зазоров порядка 0,25 мм достаточен, однако и более малые зазоры 0,10 мм прекрасно работают в качестве оптических изоляторов, особенно при введении в них указанного непрозрачного материала.
Каждый индивидуальный пиксельный оптический элемент решетки пиксельной оптики вручную прикреплен к поверхности соответствующей электронно-лучевой трубки с использованием нейтрального оптического цемента. Само собой разумеется, что этот процесс является трудоемким, причем он сопряжен с ошибками, связанными с ограничениями точности установки элементов вручную. Однако оптические решетки с успехом могут быть изготовлены путем создания металлического "оригинала" с полной оптической решеткой в негативе, с последующим формованием (тиснением) используемых оптических решеток из термопластичных материалов для получения "отпрессованной" копии оригинала; эта копия целиком может быть закреплена цементом на поверхности электронно-лучевой трубки. Получение копий с множеством мелких поверхностных деталей получило развитие в последние годы при изготовлении лазерных дисков или компакт-дисков, которые дешевы и изготавливаются с высокой степенью точности из недорогих пластмасс. Можно ожидать, что предпочтительной технологией массового производства решеток пиксельных оптических элементов будет процесс формования с использованием пластмасс. В лабораторных условиях заявитель успешно изготовил решетки пиксельных оптических элементов при помощи технологии литья под давлением. Три слоя различных пиксельных оптических элементов, каждый из которых имеет отличные оптические свойства, совмещались для получения решетки трехэлементной микрооптики. В соответствии с некоторыми предпочтительными вариантами настоящего изобретения, эти слои цементировались для поддержания совмещения, однако в других вариантах слои были зафиксированы на их краях и совместно не цементировались.
При установке пиксельных оптических устройств на поверхность электронно-лучевой трубки или другого создающего свет устройства точное совмещение оптического устройства с лежащими под ним пикселями имеет первостепенную важность. Вертикальная несоосность приводит к постоянному смещению отображенной глубины в результирующем изображении, в то время как горизонтальная несоосность создает ограничения бокового диапазона наблюдения трехмерного изображения. Оптическая связь между создающими свет пикселями и входной поверхностью пиксельного оптического устройства усиливается за счет уменьшения до возможного минимума физического расстояния между освещающим люминофором и входной поверхностью пиксельного оптического устройства. В случае электронно-лучевой трубки это означает, что фронтальная стеклянная поверхность трубки, к которой прилегает оптическое устройство, должна иметь минимальную толщину, при обеспечении конструктивной прочности трубки. В больших электронно-лучевых мониторах эта фронтальная стеклянная поверхность имеет толщину до 8 мм, однако заявителем было с успехом продемонстрировано использование такого оптического устройства со специально сконструированной электронно-лучевой трубкой, которая имела толщину фронтальной поверхности 2 мм. Наиболее успешным решением является такая конструкция электронно-лучевой трубки, в которой пиксельные оптические элементы встроены во фронтальную поверхность трубки.
На фиг. 3(b) и 4(а) показана главным образом прямоугольная картина расположения пикселей трубки 35 и пиксельных линейных оптических элементов 2, при этом ряды элементов прямые и состоят из пикселей, которые совмещены как сверху, так и снизу. Такое расположение пикселей и оптических элементов позволяет получить трехмерное изображение высокого качества, однако не следует думать, что такое расположение является единственно возможным в рамках настоящего изобретения.
На фиг. 4(b) показано второе предпочтительное расположение пикселей 35, при котором горизонтальные группы из трех пикселей вертикально смещены от пикселей групп слева и справа, что дает "мозаичную" картину групп из трех пикселей. При построении такой конфигурации в лаборатории группы из трех пикселей содержали один красный пиксель 35 r, один зеленый пиксель 35g и один синий пиксель 35b. Как и в обычной двухмерной телевизионной трубке, цветные изображения получали за счет относительного освещения групп или "триад" пикселей, имеющих указанные цвета. Внутри каждой триады возможен различный порядок следования трех цветов, однако показанный на фиг. 4 (b) порядок был использован в имеющемся в лаборатории варианте устройства.
На фиг. 5 показано получение сигнала глубины для горизонтальных линий сканирования в растровом изображении, таком как обычная телевизионная картинка. В обычном телевизоре или в компьютерном мониторе с электронно-лучевой трубкой, показанном справа вверху на фиг. 5, каждое индивидуальное изображение в последовательности кадров получают при помощи электронного луча, который сканирует горизонтально линия за линией экран; на фиг. 5 показаны четыре таких линии сканирования 17. Это в высшей степени регулярное сканирование управляется в электронном блоке телевизора или компьютерного монитора при помощи сканирующего линейного генератора 16 горизонтальной развертки, причем неравномерные изменения компонентов светимости или цветности сигнала создают изменения при перемещении горизонтальных линий сканирования сверху вниз по экрану.
В соответствии с настоящим изобретением предусматриваются точные смещения от прямой горизонтальной линии сканирования, создающие эффект глубины. Такие смещения физически осуществляются при помощи генератора сигнала глубины 18, выходной сигнал которого подается на смеситель 19 и добавляется к сигналу прямых горизонтальных линий для точного изменения вертикального положения каждой горизонтальной линии сканирования, в результате чего получают линии, подобные линиям 20. Представленный функционально на фиг. 5 генератор сигнала глубины в телевизионном приемнике может быть выполнен в виде декодера видеосигнала, аналогичного декодеру, который обычно используется для извлечения информации, касающейся яркости, цветности и синхроинформации из полученного видеосигнала. Этот видеодекодер совершенно аналогично может быть использован для извлечения информации глубины, которая замешана в видеосигнал. В компьютере генератор компонента глубины представляет собой управляемую программой видеокарту, такую как видеокарта VGA. В настоящее время такая видеокарта используется для получения яркости, цветности и синхроинформации для компьютерного монитора, но она может также выдавать на этот монитор управляемую программой информацию глубины.
На фиг. 6 показано, каким образом прозрачная точка пленки 14 может быть использована для обеспечения управляемого ввода освещения в пиксельное оптическое устройство 2 в соответствии с другим предпочтительным вариантом настоящего изобретения. В этом примере участок пленки, который расположен позади указанного оптического элемента, является непрозрачным за исключением одной прозрачной точки, которая позволяет ввести свет в оптическое устройство в желательной точке. Полоска пленки освещается как обычно сзади, но через нее в оптический элемент 2 входит только световой луч 5с, который проходит через прозрачную точку в пленке. Можно видеть, что эта ситуация аналогична показанной на фиг. 3, где управляемый электронный пучок в электронно-лучевой трубке использован для выбора местоположения луча освещения. Прозрачные места в пленке могут иметь произвольный размер до предельного используемого размера 8 на 10 дюймов.
На фиг. 7 показано, каким образом решетка 11 пиксельных оптических элементов 2, двенадцать из которых показаны в данном примере, может быть использована для получения изображения со специально приготовленной кинопленки 13. Оптическая решетка 11 установлена в держателе 12. Изображение на кинопленке 13 освещается как обычно сзади, а полученное изображение фокусируется при помощи обычной проекционной линзовой системы, которая на чертеже изображена в виде пунктирного круга 22, на решетку 11, которая соосна с кинопленкой 13 и проекционным объективом 22 на оптической оси 23. Полученное трехмерное изображение может наблюдаться непосредственно или может быть использовано как генератор изображения для трехмерного проектора реального изображения известного типа. Кроме того, полученные трехмерные изображения могут рассматриваться как неподвижные изображения или как последовательность истинных трехмерных киноизображений, при той же частоте кадров, что и в обычном кино. В данном варианте построения индивидуальные пиксели на кинопленке 13 могут иметь существенно меньший размер по сравнению с теми, которые используются для получения телевизионного изображения, так как результирующие пиксели при проекции увеличиваются, причем преимущество по разрешающей способности фотопленки по сравнению с телевизионным изображением позволяет легко обеспечить такое уменьшение размера пикселя.
На фиг. 8 показана сцена, в которой использованы две камеры для определения глубины каждого объекта в сцене, а именно, расстояния находящегося на сцене любого объекта до основной съемочной камеры. На сцене расположены показанные в виде сверху такие объекты, как сплошные прямоугольник 24, квадрат 25 и эллипс 26, каждый из которых находится на различном расстоянии от основной съемочной камеры 27 и, следовательно, имеет различную глубину в снимаемой сцене. Основная съемочная камера 27 используется для съемки основных деталей сцены с лучшего в художественном плане направления. Вспомогательная камера 28 расположена на определенном расстоянии от основной камеры и направлена на сцену сбоку, что позволяет получить другой вид той же самой сцены согласованно с основной съемочной камерой. Хорошо известная техника геометрической триангуляции может быть использована для определения истинного расстояния основной съемочной камеры от каждого объекта на сцене.
Преимущественно эти вычисления и получение результирующего сигнала глубины осуществляют на последующей стадии производства, то есть вычисления, связанные с выработкой сигнала глубины, производят "off-line" (не в реальном масштабе времени), то есть не в момент съемки, и обычно в другом месте, удаленном от места съемки, со скоростью получения сигнала глубины, которая может быть не связана со скоростью реальной съемки. Вторым предпочтительным вариантом выработки сигнала глубины является осуществление требуемых вычислений "в реальном масштабе времени", то есть главным образом при осуществлении процесса съемки. Преимуществом выработки сигнала глубины в реальном масштабе времени является получение "живого" трехмерного изображения. Однако требования к процессу вычисления при выработке сигнала глубины в реальном масштабе времени намного выше, чем в процессе "off-line", когда время обработки может быть увеличено, что позволяет использовать менее быстродействующие и более дешевые средства вычисления. Проведенные в лаборатории эксперименты показали, что проведение требуемых вычислений в реальном масштабе времени является предпочтительным по причинам стоимости и компактности электронных устройств, если использовать цифровые сигнальные процессоры, например, цифровые процессоры для обработки изображения, которые представляют собой специализированные, осуществляющие узкие функции, но высокоскоростные процессоры.
Так как вспомогательная камера 28 используется только для съемки объектов с угла, который отличается от угла съемки основной съемочной камеры, то обычно эта вспомогательная камера 28 может быть камерой более низкого качества, чем основная съемочная камера, а поэтому и более дешевой. Это особенно важно для случая киносъемки, когда основная съемочная камера является дорогой и использует дорогую пленку; в этом случае вспомогательная камера 28 может быть дешевой камерой и может представлять собой как кинокамеру, так и видеокамеру. В связи с указанным, в отличие от обычной стереотехнологии съемки фильмов, когда используются две основных съемочных камеры, в которых применяется дорогая 35 мм или 70 мм пленка, технология в соответствии с настоящим изобретением требует применения только одной высококачественной дорогой камеры, так как требуется только одна основная съемочная камера.
Несмотря на то, что этот сравнительный анализ двух изображений одной и той же сцены, полученных с различных углов, оказался очень успешным, возможно также получать сигнал глубины для сцены при помощи установленных фронтально пассивных или активных датчиков, которые не обязательно должны быть датчиками формирования изображения. В лабораторных условиях заявитель получил полную картину глубины в сцене на поэлементной основе, что именовалось в лаборатории как "карта глубины", при использовании решетки имеющихся в продаже ультразвуковых датчиков, которые фиксировали отраженный ультразвуковой сигнал от объектов на сцене, при облучении сцены ультразвуковым излучением. Кроме того, с успехом был использован сканирующий инфракрасный датчик для последовательного получения отраженного от объектов инфракрасного излучения, при облучении сцены инфракрасным излучением. Наконец, в лаборатории были проведены успешные эксперименты по использованию микроволнового излучения в качестве источника освещения (облучения) и по применению микроволновых датчиков для приема отраженного излучения; эта техника особенно полезна при приеме трехмерного изображения с использованием радиолокационных систем.
На фиг. 9 (а) показаны основные операции в процессе получения сигнала глубины с использованием обычного двухмерного изображения, в результате чего можно осуществить процесс модернизации двухмерной проекции в трехмерную, как для кино-, так и для видеосъемки.
На фиг. 9 (а) показаны те же самые серии трех объектов 24, 25 и 26, которые показаны на фиг. 8 в виде сверху; теперь эти объекты показаны на мониторе в виде спереди. На двухмерном мониторе 29, само собой разумеется, наблюдатель не видит различий по глубине изображения.
В соответствии с предлагаемым процессом добавления компонента глубины к двухмерному изображению, прежде всего производится перевод сцены в цифровую форму при помощи компьютерной рабочей станции, в которой используется видеоплата дискретизации. Затем используется программное обеспечение для опознания объектов, с использованием хорошо известной техники обнаружения границ (краев) или другой техники, в результате чего определяют положение каждого интересующего нас индивидуального объекта на сцене, так что может производиться индивидуальная обработка объекта для получения информации его глубины. Программное обеспечение используется для адекватного автоматического опознания объектов и их разделения, а человек-оператор производит редактирование и классификацию объектов с использованием мыши, светового пера, тактильного экрана или иглы, а также любого другого указывающего устройства, для выбора представляющих интерес объектов. После того, как сцена разделена на индивидуальные объекты, человек-оператор произвольно задает для программы относительное расстояние от камеры, то есть видимую (кажущуюся) глубину по очереди для каждого объекта на сцене. Этот процесс является совершенно произвольным и совершенно очевидно, что принятие неправильного решения оператором будет приводить к искажению полученных трехмерных сцен.
На следующей стадии процесса при помощи программного обеспечения производится сканирование по очереди каждого пикселя сцены и присвоение компонента глубины этому пикселю. Результат показан компонентом глубины линии сканирования 31 на мониторе 30, соответствующим сигналу глубины, который мог бы быть получен в линии пикселей посредине показанной на мониторе сцене 29, пересекающей каждый объект на экране. Вид сверху расположения этих объектов, который приведен на фиг. 8, будет коррелировать с относительной глубиной, которая видна в компоненте глубины линии сканирования 31 на фиг. 9 (а).
Взаимосвязи и работа различных блоков оборудования, которое может быть использовано для добавления глубины в видеоизображение в соответствии с упомянутым выше процессом, показаны на фиг. 9 (b). На этом чертеже показана компьютерная рабочая станция обработки изображения 70 со встроенным видеодискретизатором 71, которая управляет входным видеомагнитофоном (VTR) 72, выходным видеомагнитофоном 73 и коммутатором видеоматрицы 74 (линии управления на фиг. 9 (b) показаны пунктиром, а прохождение сигнала непрерывными линиями). При управлении от рабочей станции на видеодискретизатор 71 поступает видеокадр от входного видеомагнитофона 72 через видеоматрицу 74. Затем кадр переводится в цифровую форму (дискретизируется) и к результирующей оцифрованной сцене применяется процесс, описанный со ссылкой на фиг. 9 (а). После того, как произведено вычисление сигнала глубины для этого кадра, этот же самый кадр вводится в видеогенератор NTSC 75 вместе с вычисленным компонентом глубины, который добавляется в видеокадр в нужном месте видеоспектра при помощи генератора NTSC. Затем результирующий видеокадр с введенным компонентом глубины записывается на выходном видеомагнитофоне 73, и процесс повторяется для следующего кадра.
При развитии указанного процесса в лаборатории возникло множество важных замечаний. Первое из них состоит в том, что так как компонент глубины просто добавляется при помощи генератора NTSC без изменения других аспектов сигнала, то исходная порция сигнала изображения может быть записана на выходном видеомагнитофоне 73 без начального перевода в цифровую форму. Это позволило бы исключить визуальное ухудшение, связанное с дискретизацией изображения и повторным его преобразованием в аналоговую форму; в таком случае ухудшение изображения могло бы происходить только в процессе видеокопирования, причем это ухудшение может быть сведено к минимуму за счет использования видеомагнитофона широковещательного формата "компонент видео", такого как устройства М-II или Бетакам. Само собой разумеется, как это хорошо известно в области формирования изображений, что при использовании полностью цифровых устройств регистрации, основанных на использовании компьютера или ленточных, ухудшение (деградация изображения) в процессе видеокопирования полностью исключено.
Второе замечание состоит в том, что указанный процесс во многом является покадровым процессом, поэтому для добавления глубины требуется видеомагнитофон или другое устройство регистрации с точной установкой кадров. Человек-редактор по запросу должен иметь возможность доступа к каждому кадру, причем каждый обработанный кадр должен быть записан в нужном месте на выходной ленте, при этом для использования в данном процессе подходят только такие устройства, которые позволяют осуществить доступ к индивидуальному кадру (например, в соответствии с временным кодом SMPTE).
Третье замечание состоит в том, что весь процесс может быть поставлен под управление компьютером, причем более удобным является управление от одного централизованного компьютера, а не от нескольких управляющих компьютеров. Так как имеются контролируемые от компьютера широковещательные видеомагнитофоны или другие устройства регистрации, как аналоговые, так и цифровые, то определенные аспекты процесса добавления глубины могут быть полуавтоматизированы за счет использования связей компьютер-видеомагнитофон при осуществлении таких длительных операций, как перемотка и предварительная намотка ленты.
Четвертое замечание состоит в том, что программа может быть снабжена некоторыми аспектами того, что обычно именуется "искусственным интеллектом" или "машинным интеллектом", для улучшения качества добавления компонента глубины на уровне микрохарактеристик. Например, в лабораторных условиях заявитель применил и усовершенствует в настоящее время технологию, которая создает большую реальность при создании глубины человеческого лица с использованием топологии человеческого лица, то есть того факта, что нос выступает больше, чем щеки, которые имеют наклон назад к ушам, и т.п., причем каждая черта лица имеет свою собственную характеристику глубины. Это во многом позволяет избежать требования вмешательства Редактора при обработке многих обычных объектов, которые содержатся в кино- и видеоизображении (человеческое лицо является только одним из примеров таких объектов).
Пятое замечание состоит в том, что управляющая программа может быть построена таким образом, чтобы работать в полуавтоматическом
режиме. Под этим имеют в виду, что до тех пор, пока сцена остается относительно постоянной, управляющая рабочая станция может автоматически обрабатывать последовательные кадры изображения без
дополнительного вмешательства Редактора, в результате чего процесс упрощается и ускоряется. Само собой разумеется, что вмешательство Редактора вновь потребуется при вводе в сцену нового объекта или
при необычном изменении перспективы сцены. В
лабораторных условиях заявитель применил и усовершенствовал в настоящее время технологию, основанную на использовании искусственного интеллекта,
которая позволяет автоматически производить вычисления изменений глубины индивидуальных объектов сцены, базируясь на изменениях перспективы и относительного размера объектов, для аспектов, которые
известны из программы.
Шестое замечание состоит в том, что при работе с пленкой для неподвижных или киноизображений в качестве средства ввода и вывода изображения, входной видеомагнитофон (VTR) 72, выходной видеомагнитофон 73 и коммутатор видеоматрицы 74 могут быть заменены соответственно имеющим высокое разрешение сканером пленки, коммутатором цифровых данных и пленочным принтером высокого разрешения. Остальные операции процесса останутся в основном такими же, как и для описанной выше ситуации видеообработки. В этом случае можно избежать введения сигнала глубины при помощи генератора NTSC за счет применения обработки пленки, показанной на фиг. 8.
Седьмое замечание состоит в том, что, при работе в полностью цифровой среде регистрации изображения, устройство запоминания изображения с использованием компьютера, входной видеомагнитофон (VTR) 72, выходной видеомагнитофон 73 и коммутатор видеоматрицы 74 могут быть полностью и эффективно заменены компьютерным устройством массового хранения. Таким устройством массового хранения обычно является магнитный диск, например, как в используемой в лаборатории заявителя редакторской компьютерной рабочей станции, однако это может быть и другое устройство массового хранения. В этом случае работы в полностью цифровой среде можно избежать введения сигнала глубины при помощи генератора NTSC за счет добавления к обычному компьютерному формату хранения обычного изображения пиксельных элементов карты глубины.
На фиг. 10 иллюстрируется применение техники отображения пиксельного уровня, полученной в ходе описанной работы, для трехмерного отображения печатных изображений. Сцена 32 представляет собой обычную двухмерную фотографию или печатный рисунок. Матрица 33 пиксельных микролинз (показанных здесь с увеличением для большей ясности) накладывается поверх двухмерного изображения таким образом, что каждая микролинза имеет собственное фокусное расстояние, поэтому данный пиксель представлен для глаза наблюдателя с различной кажущейся глубиной. В поперечном сечении 34, приведенном с большим увеличением, можно видеть, что каждая микролинза имеет индивидуальную форму и, следовательно, определенные оптические характеристики, что позволяет обеспечить соответствующую перцепцию глубины для наблюдателя для данного пикселя изображения. Несмотря на то, что в лабораторных условиях в настоящее время использовались микролинзы диаметром 1 мм, эксперименты показали, что решетки с микролинзами, имеющими диаметр, составляющий несколько долей миллиметра, вполне реализуемы, что позволяет получать трехмерные печатные изображения отличного разрешения.
В случае массового производства предполагается, что описанная здесь техника получения сигнала глубины будет использоваться для получения печатного оригинала, с которого могут быть получены решетки имеющих высокий объем дешевых микролинз для данного изображения, причем и в данном случае они могут быть получены формовкой (тиснением) из термопластичных пластмасс аналогично формовке (тиснению) несущих данные поверхностей компакт-дисков или отражательных голограмм, которые обычно наносят на кредитные карточки. Такие технологии обещают получение больших дешевых трехмерных изображений для их введения в газеты, журналы и другую печатную продукцию. Несмотря на то, что на фигуре показана матрица 33, состоящая из линз прямоугольной формы, выяснилось, что микролинзы и другой формы, например круглой, также могут хорошо работать.
Важно отметить, что несущая светимости (яркости) изображения в обычном NTSC видеосигнале занимает значительно более широкую полосу частот, чем поднесущие цветности или глубины. Компонент яркости в NTSC видеосигнале имеет относительно высокую разрешающую способность и часто характеризуется как рисунок, выполненный "тонко заточенным карандашом". С другой стороны, сигнал цветности должен переносить существенно меньшую информацию для получения приемлемого цветового содержания телевизионной картинки, поэтому он часто характеризуется как рисунок, выполненный "широкой кистью", создающей цветное "пятно" вокруг тщательно исполненной черно-белой картинки. Сигнал глубины в соответствии с настоящим изобретением во многом схож с сигналом цветности, так как он содержит достаточно ограниченную информацию.
Одной из важных проблем обработки видеосигнала является введение в видеосигнал информации, которая отсутствовала в оригинале, таким образом, чтобы не нарушить нормальную работу инсталлированной базы телевизионных приемников. На фиг. 11 показано распределение энергии в обычном NTSC видеосигнале с несущей яркости (светимости) 36 и несущей цветности 37. Вся информация в видеоспектре переносится энергией в разделенных частотных интервалах, которые на чертеже показаны отдельными вертикальными линиями; остальная часть спектра является пустой или не используемой. Как это можно видеть на фиг. 11, в архитектуру цветного NTSC видеосигнала может быть успешно введен существенный объем дополнительной информации (например, касающейся цвета) путем использования той же самой концепции концентрации энергии сигнала в определенных частотных точках, с последующим размещением этих точек между установленными частотными точками несущей сигнала яркости, так что два сигнала не перекрывают друг друга и не взаимодействуют между собой (не создают взаимных помех).
Аналогичным образом в соответствии с настоящим изобретением может быть осуществлено введение в видеосигнал дополнительной информации в виде требуемого сигнала глубины, с использованием того же самого процесса размещения информации в свободных частотных промежутках, как и для сигнала цветности. На фиг. 12 показаны вновь те же самые, что и на фиг. 11, несущая яркости (светимости) 36 и поднесущая цветности 37, с добавлением поднесущей глубины 38. Для сведения можно указать, что поднесущая цветности занимает полосу частот около 1,5 МГц, с центральной частотой 3,579 МГц, в то время как поднесущая глубины занимает полосу частот только около 0,4 МГц, с центральной частотой 2,379 МГц. Таким образом, поднесущие цветности и глубины, которые перемежаются по частоте с несущей яркости, имеют достаточное разделение и не взаимодействуют друг с другом (не создают взаимных помех). Несмотря на то, что установленные частоты поднесущих и занимаемые ими полосы частот обеспечивают достаточно хорошую работу, возможно использование и других параметров. Например, в экспериментах, проведенных в лаборатории, заявитель успешно продемонстрировал возможность существенного снижения установленной полосы 0,4 МГц для поднесущей глубины за счет применения хорошо известной техники сжатия спектра сигнала глубины ранее его введения в видеосигнал NTSC; сжатие сопровождается декомпрессией на стороне воспроизведения ранее использования сигнала для управления отображением глубины в устройстве формирования изображения. В лаборатории заявителем также были проверены аналогичные подходы для введения сигнала глубины в видеоформаты PAL и SECAM, хотя их специфика построения и требуемые частоты другие в связи с отличной (другой) природой этих форматов. В полностью цифровой среде, такой как устройство хранения изображения на базе компьютера, существует большое разнообразие форматов хранения изображения, поэтому способ добавления бит информации, предназначенных для хранения карты глубины, может изменяться от одного формата к другому.
На фиг. 13 (а) показана структурная схема электронных блоков обычного телевизионного приемника, которые обычно управляют вертикальным смещением сканирующего электронного луча электронно-лучевой трубки, обозначенных с использованием терминологии, которая применяется в телевизионной промышленности. Хотя некоторые из деталей построения могут меняться в зависимости от фирмы - производителя и от модели, основные характеристики сохраняются.
На фиг. 13 (а) показано типовое построение телевизионного приемника, задачей которого является создание развертки сканирующего электронного пучка, синхронизированной с поступающим видеосигналом. Сигнал получают при помощи тьюнера 49 с последующим усилением в промежуточном видеоусилителе 50; затем результирующий сигнал направляется на видеодетектор 51, где выделяют видеосигнал. Сигнал с выхода видеодетектора 51 усиливается в оконечном усилителе детектора 52, а затем дополнительно усиливается в первом видеоусилителе 53 и проходит через линию задержки 54.
Обычный видеосигнал имеет три основных компоненты: светимость (или яркость, то есть "черно-белая" часть сигнала), цветность и синхроинформация, которая обеспечивает, что все соответствует правильному хореографическому плану. Синхроинформация в усиленном сигнале отделяется от другой информации в разделителе синхронизации 55, после чего информация вертикальной синхронизации выделяется в инверторе вертикальной синхронизации 56 и поступает на генератор вертикальной развертки 64. С выхода генератора вертикальной развертки 64 сигнал подается на электромагнитную отклоняющую катушку отклоняющей системы 65 электронно-лучевой трубки. Именно отклоняющая система вызывает прохождение сканирующего электронного луча по экрану электронно-лучевой трубки по гладкой и прямой траекториям.
Как указывалось ранее, в трехмерной телевизионной трубке введены изменения этой прямой траектории электронного пучка, которые при помощи пиксельной оптики создают эффект трехмерного изображения. На фиг. 13(b) показана структурная схема дополнительных электронных блоков, которые должны быть добавлены к обычному телевизору для извлечения компонента глубины из соответствующим образом закодированного видеосигнала и переноса этого компонента глубины сигнала в изменяющуюся часть траектории сканирующего электронного луча. На фиг. 13(b) вне обведенного пунктиром прямоугольника показана структурная схема обычного телевизионного приемника, аналогичная фиг. 13(а); внутри обведенного пунктиром прямоугольника показаны дополнительные блоки, которые требуются для извлечения компонента глубины и создания трехмерного эффекта.
Как это упоминалось при рассмотрении фиг. 12, сигнал глубины вводится в видеосигнал NTSC главным образом идентично введению сигнала цветности, но только на другой частоте. Так как процесс введения (кодирования) такой же, то сигнал, содержащий компонент глубины, может быть усилен до уровня, достаточного для его извлечения, при использовании того же самого усилителя, который используется в обычном телевизионном приемнике для усиления сигнала цветности перед его извлечением; на фиг. 13(b) он обозначен как первый промежуточный усилитель цветности 57.
Указанный усиленный компонент глубины сигнала извлекается из видеосигнала в соответствии со способом, идентичным способу извлечения кодированного компонента цветности этого же видеосигнала. В соответствии с этим способом телевизионным приемником вырабатывается опорный сигнал или сигнал сравнения, на той частоте, на которой должен располагаться компонент глубины. Этот сигнал сравнивается с сигналом, который в действительности имеется на этой частоте, и любое отличие от опорного сигнала интерпретируется как сигнал глубины. Указанный опорный сигнал вырабатывается импульсным формирователем строба глубины 59 и формируется до необходимого уровня при помощи импульсного ограничителя строба глубины 58. Полностью сформированный опорный сигнал синхронизируется с входящим закодированным сигналом глубины при помощи того же самого разделителя синхронизации 55, который был использован для синхронизации горизонтальной развертки электронного луча в обычном телевизионном приемнике.
Результирующий сигнал сравнения закодированного сигнала глубины от первого промежуточного усилителя цветности 57 и опорного сигнала от импульсного ограничителя строба глубины 58 усиливается усилителем синхронизации стробированного сигнала глубины 63. Затем полученный усиленный сигнал, который содержит как компоненту цветности, так и компоненту глубины в окрестности частоты 2,379 МГц, то есть частоты кодирования сигнала глубины, извлекается при помощи экстрактора 62. После этого экстрагированный сигнал глубины усиливается до полезного уровня при помощи выходного усилителя 61 X'TAL.
После извлечения компоненты глубины из составного видеосигнала можно теперь произвести изменение гладкой горизонтальной развертки электронного луча поперек телевизионного экрана (вертикально), чтобы позволить отобразить глубину в результирующем изображении. Для изменения этой горизонтальной развертки экстрагированный и усиленный сигнал глубины добавляется при помощи сумматора (смесителя) глубины 60 к стандартному сигналу вертикальной синхронизации, который вырабатывается обычным образом в стандартном телевизионном приемнике, как это описано ранее со ссылкой на фиг. 13 (а). Модифицированный сигнал вертикальной синхронизации с выхода сумматора глубины 60 используется теперь для вертикальной развертки электронного луча в генераторе вертикальной развертки 64, который, как и в обычном телевизоре, управляет отклоняющей системой 65, которая создает перемещение сканирующего электронного луча. Конечным результатом является сканирующий электронный луч, который точно отклоняется вверх или вниз от его обычной центральной линии для получения трехмерного эффекта в видеоизображении, за счет точного изменения точки входа света в пиксельную оптику, что описано ранее.
На фиг. 14 приведена принципиальная электрическая схема в соответствии с предпочтительным вариантом настоящего изобретения, которая может быть использована для осуществления дополнительных функций, показанных в обведенном пунктиром прямоугольнике фиг. 13 (b).
На фиг. 15 показано альтернативное средство для изменения положения входа света в пиксельную оптическую структуру другой формы. В этом варианте устройства пиксельная оптическая структура 39 осуществляет соответствующую функцию оптической передачи, причем фокусное расстояние возрастает радиально наружу от оси оптического элемента 39 и является симметричным относительно оси 43. Свет, коллимированный в цилиндрическую форму, вводится в оптическую структуру, причем радиус коллимированного светового цилиндра может изменяться от нуля до эффективного рабочего радиуса оптической структуры. Показаны три возможных цилиндра коллимации 40, 41 и 42, которые создают в виде спереди соответствующие входные кольцевые световые кольца 40а, 41а и 42а, каждое из которых будет создавать в соответствии со специфической функцией передачи устройства пиксель света на различном кажущемся расстоянии от наблюдателя.
На фиг. 16 показано, в сжатом виде для ясности представления, другое альтернативное средство для изменения визуального расстояния от наблюдателя света, излучаемого индивидуальным пикселем. Глаза наблюдателя 4 находятся на определенном расстоянии перед пиксельной оптикой. Коллимированный пучок света может падать на наклонно расположенное зеркало 76 в различных точках, три из которых показаны в виде световых лучей 5, 6 и 7. Зеркало 76 отражает падающий световой луч на наклонную секцию вогнутого зеркала 77, которое, в соответствии с характеристиками формирования вогнутого зеркала, отображает световой луч на различном визуальном расстоянии 5а, 6а и 7а от наблюдателя, соответствующем определенному указанному ранее и пронумерованному размещению входных лучей. Вогнутое зеркало может иметь кривизну поверхности, которая состоит из различных конических секций; в лабораторных условиях успешно использовались параболическое, гиперболическое и сферическое зеркала. В соответствии с данным вариантом экспериментальные результаты подсказывают, что в качестве первой поверхности могут быть использованы как плоские, так и изогнутые зеркала.
На фиг. 17 показано, каким образом в соответствии с предпочтительным вариантом настоящего изобретения, показанным на фиг. 16, пиксельная комбинация плоского зеркала 76 и изогнутого зеркала 77 может быть установлена на поверхности электронно-лучевой трубки, которая используется в качестве источника освещения. Показано, что образована комбинация изогнутого зеркала 77 от одного пикселя и планарного зеркала от смежного (стоящего непосредственно над ним) пикселя, с образованием комбинированного элемента 78, который покоится на стеклянной фронтальной поверхности 8 электронно-лучевой трубки, причем позади этой поверхности 8 располагаются обычные слои люминофора 9, которые высвечиваются и создают свет при соударении проецируемого и коллимированного пучка электронов, показанного в виде пучков 5b, 6b и 7b. Для каждого из показанных трех положений электронных пучков, а также для любого другого положения, находящегося в пространственных пределах пиксельного оптического устройства, ввод света производится в единственной точке системы, которая будет видна наблюдателю в соответствующей единственной точке. В вариантах осуществления настоящего изобретения с применением преломляющих элементов могут использоваться и другие источники света, отличающиеся от электронно-лучевой трубки.
Реферат
Изобретение относится к оптике. В соответствии с изобретением получают трехмерное изображение из двухмерного изображения путем изменения кажущегося расстояния изображения от наблюдателя на поэлементной основе (пиксель за пикселем). Это осуществляют установкой решетки пиксельных оптических элементов соосно с пикселями изображения. В преимущественном формате каждый из оптических элементов является главным образом продолговатым и имеет фокусное расстояние, которое изменяется по его длине, в результате чего точка вдоль его длины, в которой свет входит в оптический элемент, определяет кажущееся визуальное расстояние объединенного с ним пикселя от наблюдателя. В случае применения электронной лучевой трубки управление положением входа света осуществляется за счет точного вертикального смещения электронного луча при его горизонтальном сканировании. Технический результат - создание негромоздкой системы и устройства. 2 с. и 28 з.п.ф-лы, 23 ил.
