Устройства и способы усовершенствованного кодирования изображений - RU2609760C2

Чертежи

Показать все 8 чертежа(ей)

Описание

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к устройствам и способам и конечным продуктам, таким как продукты для хранения данных, для усовершенствованного кодирования изображений, в частности, позволяющим дисплеям лучше обрабатывать закодированные изображения.

УРОВЕНЬ ТЕХНИКИ

В последнее время появились новые разработки в области кодирования изображений/видео (зафиксированных сцен или компьютерной графики), а именно, желательна улучшенная фиксация всего диапазона яркости и цветов, имеющих место в природе, что называется кодированием HDR (с расширенным динамическим диапазоном). Поскольку и камеры, и дисплеи имеют все более расширяющиеся естественные диапазоны, требуется улучшенный стандарт для передачи информации изображений между ними. С другой стороны, все еще существует большое количество устройств с более узким диапазоном (например, обычные дисплеи, принтеры и т.д.), которые также присутствуют в некоторых цепях систем формирования изображений. Обычно устройство с узким динамическим диапазоном (LDR), такое как фотоаппарат низкого качества, кодирует в 8-битные слова данных (пиксели) средний диапазон представляющих интерес значений (например, цвета хорошо освещенных лиц) за счет цветов вне данного диапазона [следует отметить, что в случаях, в которых это не затрудняет понимание, мы можем использовать термин «цвет» даже если в кодирующем цвет триплете его яркость является наиболее важным фактором для настоящего описания].

В случае, когда человек смотрит на изображение, существует ряд факторов, влияющих на качество. Во-первых, это светлота самого светлого белого цвета, который может быть воспроизведен. Во-вторых, это самый темный черный цвет, который все еще может быть воспроизведен, и, возможно, воспроизведен в разумных пределах, например, с низким шумом или другими помехами. Белый и черный цвета определяют динамический диапазон устройства. Но для реального изображения это не единственные параметры, влияющие на его вид. Также существуют параметры, в рамках которых должны в идеальном случае находиться промежуточные оттенки серого. Первым параметром является контрастность, которая является мерой, относящейся к освещенности различных объектов на изображении. Если имеется по меньшей мере несколько объектов с различными возможными оттенками серого между хорошим белым и хорошим черным, то говорят, что изображение в целом обладает хорошей контрастностью. Но также важной может быть локальная контрастность, например, между одним из объектов и его окружением. Даже очень локальные изменения яркости, такие как резкость, влияют на воспринимаемую контрастность. При просмотре, например, реальной сцены наблюдатели видят, что она имеет действительно впечатляющую контрастность (например, в сравнении с 6-битным проецируемым изображением). Но, во-вторых, также будет иметь влияние, особенно на естественность (или художественное восприятие), положение объектов/областей на оси черное-белое. Например, предполагается, что (хорошо освещенные) лица имеют определенный процент отражения света по сравнению с белым. Лицо, являющееся слишком белым, может показаться необычно светящимся, или наблюдатель может неверно интерпретировать изображение в том смысле, что он посчитает лицо освещенным некоторым дополнительным светом. В-третьих, может быть важной точность выделенных цветов, не так сильно в сложных структурах, как, например, в градиентах лиц. Считается, что многие наблюдатели предпочитают связанные со светлотой улучшения качества (включая соответствующую насыщенность цвета) по сравнению с другими аспектами, и данная заявка будет в основном сфокусирована на связанных с яркостью аспектах.

Назначение дисплея состоит в отображении качественном воспроизведении для наблюдателя. В идеальном случае воспроизведение будет представлять собой точное (фотореалистичное) представление, но поскольку пока это вопрос отдаленного будущего, могут быть использованы другие критерии качества, такие как, например, распознаваемость изображения, приблизительная естественность (отсутствие артефактов) или визуальный эффект/визуальное воздействие и т.д.

Популярный HDR-дисплей, появившийся в настоящее время, представляет собой LCD с фоновой LED-подсветкой с двумерной структурой, допускающей двумерное регулирование освещения. На динамический диапазон таких дисплеев влияет несколько факторов.

Во-первых, LCD становятся все более яркими из-за улучшенной фоновой подсветки. Несколько лет назад обычной была яркость 200 нит, теперь обычной является 500 нит, в ближайшие годы обычной будет яркость в 1000 нит, и позже - даже 2000 нит или выше. Однако это накладывает на телевизор или монитор строгие технические ограничения, такие как стоимость и энергопотребление.

Во-вторых, в отношении черного цвета LCD имеют проблемы с рассеянием света (особенно при определенных условиях, таких как большой угол наблюдения), что означает, что LCD может иметь внутреннюю контрастность (ячейка LCD открыта/закрыта), составляющую 100:1, хотя исследования улучшают LCD. Решением этой проблемы является изменения объема света, проходящего сзади через лампу LCD. Дисплеи с 2D-регулированием освещения теоретически могут указанным образом достичь очень высокой контрастности, поскольку если свет позади ячейки LCD имеет нулевую яркость, то, помимо рассеяния, нулевая яркость будет исходить из этой области дисплея. Сообщалось о динамических диапазонах выше 10000:1 или даже 100000:1. Однако на практике основным фактором, ограничивающим воспроизведение черного на дисплее, является свет из окружающей среды, отраженный на переднее стекло дисплея. Он может сузить динамический диапазон до более реалистичного значения 100:1, или даже до менее чем 20:1 для светлой окружающей среды. Однако также и в темной среде наблюдения свет может рассеиваться по произвольным причинам, например, вследствие взаимных отражений на переднем стекле от более светлой области к более темной.

Наконец, естественно, важным является глаз человека, и, в основном, состояние его аккомодации, но также и сложный анализ изображения, происходящий в мозгу. Глаз аккомодируется по комбинации освещения помещения, с одной стороны, и по светлоте дисплея, с другой стороны (фактически, по показанным изображениям). Эти два фактора могут быть относительно согласованы, например, для телевизора с яркостью 500 нит при просмотре в обычной комнате, но могут сильно отличаться при других сценариях воспроизведения. Это повлияет не только на черные детали, но и на внешний вид светлых областей. Например, на комфортность просмотра повлияют конкретные настройки дисплея, то есть усталость глаз или даже психологические эффекты, такие как негативное отношение к показываемому изображению. Сетчатка является очень сложной, но может быть в простой форме представлена следующим образом. В ее колбочках проходит биохимический процесс, который всегда нацелен на то, чтобы сделать чувствительность глаза (посредством количества светочувствительных молекул) оптимальной для любой заданной сцены. Это работает потому, что каким бы ни было освещение (которое может изменяться от света полной луны - 0,1 люкс - до сплошной облачности или слабо освещенной комнаты - 100 люкс, и до прямого яркого солнечного света - 100000 люкс, то есть имеет множитель различия, составляющий более миллиона)), отражение от объекта обычно находится в диапазоне 1-100%, и человеческое зрение должно оптимально различать локальным образом темную пантеру в темных кустах. Глаз должен решать проблему большего динамического диапазона, принимая во внимания такие эффекты освещения, как тени или искусственное освещение, что обычно составляет 10000:1. Другие клетки сетчатки, такие как ганглионарные клетки, отвечают за рациональное использование комбинации всех этих первичных сигналов, и выполняют, например, изменение уровня локальной реакции в зависимости от яркости окружающей среды и т.д.

Наконец, очень важным фактором преобразования посредством анализа такого предварительно обработанного поля «сырого» изображения является зрительная зона коры. Она будет, например, переопределять цвет желтой области, если она определит, что данная область является не отдельным объектом, а частью другого желтого объекта, или будет изменять цветы травы, увиденной за стеклянным окном, как только она определит окрашенное отражение, перекрывающееся с данной локальной областью. Она формирует то, что мы можем назвать конечным «видом» цвета, и, теоретически, именно в этом факторе заинтересованы производители дисплеев и создатели информационного наполнения. Таким образом, существует потребность в любой технологии, которая лучше согласуется с тем, что нужно человеческому зрению (в частности, принимая во внимания другие технические ограничения).

Хотя в настоящее время не существует общепринятого стандарта для кодирования HDR-изображений (в особенности, видео), при первых попытках кодирования изображения (обычно захваченных путем расширения границ систем киноаппаратов, например, путем использования многократной экспозиции и в надежде, что объектив не будет сильно этому препятствовать) кодирование выполнялось путем выделения слов с большим количеством битов (например, 16 бит, позволяющий осуществить линейное кодирование 65000:1 и больше для нелинейного кодирования) для каждого пикселя (например, формат exr). Затем отображение переменного объема света (для которого глаз частично, но в основном аккомодируется), отражающегося от объектов сцены в систему воспроизведения изображений, содержащую модуль ламп LCD и фоновую подсветку, может быть выполнено, например, посредством методик оценки освещенности, таких как изложены в EP 1891621B [Hekstra, stacked display device]. Упрощенный алгоритм получения выходной яркости = яркость фоновой подсветки x передачу LCD состоит во взятии квадратного корня из 16-битного входа HDR, посредством чего выделяется мультипликативное 8-битное фоновое изображение, которое может быть субдискретизировано для LED (в соответствии с методиками пропорционального кодирования). Также существуют другие способы простого кодирования значения яркости появляющейся сцены классическим образом, например, EP2009921 [Liu Shan, Mitsubishi Electric], где используется двухслойный подход для кодирования значений пикселей.

Однако авторами изобретения было обнаружено, что при разработке нового кодирования, в дополнение к простому кодированию пикселей изображения сцены (и его использования в качестве основного, единственного кодирования для всей цепочки) желательным является применение некоторого дополнительного кодирования, поскольку это сильно улучшит понимание и, следовательно, пригодность изображенных действий.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

В идеальном случае цепочка кодирования видео является простой цепочкой, и имеются только незначительные ошибки по сравнению с идеальным представлением, которыми, следовательно, можно пренебречь. Именно таким образом в прошлом выполнялось кодирование телевизионного сигнала (например, NTSC, и стандарты, основанные на этих принципах, такие как MPEG2). Определяется стандартный/эталонный дисплей (с фосфорным EBU, гамма-коэффициентом 2,2, определенными условиями наблюдения), и это позволяет по меньшей мере устойчиво определить некоторое кодирование цветов сцены для фиксируемой сцены. Затем камера будет спроектирована на основании данного дисплея (зависимые от дисплея выходные закодированные сигналы, например, YCrCb). Квалификация оператора камеры, послесъемочный монтаж и т.д. настраивают данные с тем, чтобы они были ближе к конечному пространству цветов дисплея (обычно путем просмотра конечного результата на эталонном мониторе). Однако данная ситуация была нормальной на начальных этапах воспроизведения изображений, когда существовал только один тип дисплеев, и наличие любой работающей системы уже считалось успехом. Однако в настоящее время телевидение демонстрируется на дисплеях устройств с такими различными технологиями, как мобильные телефоны в условиях солнечного освещения или домашние кинопроекторы, и, кроме того, телевизионные продюсеры предоставляют даже большую функциональность обработки изображений на своих дисплеях. Следовательно, можно поставить интересный вопрос о том, кто будет контролировать большую часть конечного вида цветов: создатель информационного наполнения (Голливуд может захотеть принимать по меньшей мере некоторое участие в определении того, каким образом телевидение будет изменять цвета/светлоту в их фильмах), производитель дисплеев (обычно через автоматическое улучшение изображений или другую зависящую от дисплея обработку) или конечный пользователь (через элементы управления, предлагаемые дисплеем). При создании нового телевизионного стандарта такие факторы могут учитываться для определения того, что может быть (по меньшей мере при необходимости) предусмотрено в таком стандарте.

Например, поскольку в будущем не будет идеального соответствия между тем, что создатель информационного наполнения будет хотеть показать, и тем, что может показать какой-либо конкретный дисплей (и окружающая среда дисплея) (например, создатель информационного наполнения может хотеть получить темную сцену, но на воспроизводящей стороне она может быть более светлой), то можно предложить улучшенные варианты управления поведением дисплеев (например, можно позволить дисплею выполнять более интеллектуальное улучшение изображения, или изменить общие технические настройки его функционирования, такие как управляющие значения для различных компонентов дисплея).

Это может быть удобным для наблюдателя (например, для обеспечения определенного объема воспроизведения (цвета/яркости) изображения или эффекта, принимая во внимание аппаратное обеспечение дисплея, но также и предпочтения пользователя, например, на основании его возраста, характера, настроения и т.д.), но по меньшей мере дополнительная информация в кодировании видео (помимо обычных цветов пикселей) может также быть использована для манипуляций с физическими ограничениями дисплея, такими как потребление энергии, тепловые проблемы, потеря качества с течением времени и т.д. Достаточно интересно, что кодирование некоторых дополнительных данных дает такие преимущества, что оно может обеспечить повышенное значение во всей цепочке. Создатель информационного наполнения (или обработчик после создания, что может содержать дополнительный сервис, основанный на действиях человека, или даже автоматический анализ видео, например, для перекодирования) может, например, использовать дополнительно закодированные данные для создания улучшенного описания своего фильма, и своих реальных намерений, которые он вложил в этот фильм, что позволит обеспечить лучшее отображение со стороны дисплея. Производитель дисплеев может лучше контролировать поведение своих дисплеев в процессе эксплуатации (при условии сильно меняющегося входного изображения). Конечный пользователь/наблюдатель может, при желании, лучше настроить видео в соответствии со своими предпочтениями, и увидеть его так, как ему больше нравится (например, в случае, если он считает, что некоторая программа имеет раздражающее мерцание, он может отключить такое мерцание).

Некоторые такие проблемы и соображения, требующиеся для усовершенствования кодирования видео, использовались в качестве входных данных при продумывании различных вариантов осуществления настоящего изобретения.

В целях преодоления по меньшей мере некоторых из этих проблем мы предлагаем способ кодирования в дополнение к видеоданным (VID) дополнительных данных (DD), содержащих по меньшей мере один момент времени изменения (TMA_1), показывающий изменение с течением времени характеристической яркости (CHRLUM) видеоданных, при этом характеристическая яркость является суммой набора яркостей пикселей в изображении видеоданных, причем способ содержит этапы, на которых:

формируют на основании видеоданных (VID) описательные данные (DED) изменения характеристической яркости видео, при этом описательные данные содержат по меньшей мере один момент времени изменения (TMA_1), и

кодируют и выводят описательные данные (DED) в качестве дополнительных данных (DD).

В таком случае эти моменты времени изменения затем дают очень важную дополнительную информацию о видео, и могут быть использованы для более эффективной обработки и/или воспроизведения видео в принимающем устройстве, таком как телевизор, и в частности для улучшенной настройки для каждого конкретного телевизора, текущих предпочтений пользователя (потенциально зависящих от каждого подсегмента конкретного видео) и т.д. Обычная философия кодирования видео всегда заключалась в том, что этот набор изображений может быть удовлетворительно закодирован посредством кодирования отдельных изображений с использованием методик кодирования пиксельных изображений. Однако при просмотре в более грубом масштабе также имеется важная информация во временной структуре более грубого масштаба. В принципе можно ожидать, что данная информация может быть получена при наличии этих изображений. Однако в данной информации могут содержаться факторы, которые не так легко выделить, например, с помощью устройства автоматического анализа видео на принимающей стороне. Например, компонент анализа может не иметь достаточных ресурсов, а именно: он может не иметь достаточно сложных алгоритмов анализа или может не иметь доступа к достаточному количеству будущих изображений относительно конкретного момента времени, такого как момент времени отображения. Также создатель информационного наполнения может хотеть передать что-то определенное о некотором временном развитии сигнала изображения, в частности, яркости его пикселей. Например, создатель мог бы создать последовательность закодированных изображений, содержащих взрыв, которые могли бы иметь значения пикселей, зависящие от физических ограничений кодирующей системы (например, ему могло бы потребоваться компромиссное решение для выделения для взрыва наилучших имеющихся 8-битных значений LDR). Дополнительно к этому он может хотеть передать некоторую дополнительную информацию, например, о том, что предполагается «очень мощный взрыв», тогда как второй взрыв, происходящий позже, предполагается «менее мощным взрывом», хотя значения его пикселей могут не сильно отличаться вследствие ограничений кодирования (что представляет большую сложность для устройства анализа в определении этой разницы. На стороне создателей информационного наполнения обычно все еще присутствует человек-исполнитель, поэтому, в дополнение к определению оптимального кодирования пиксельных изображений, он может совместно кодировать дополнительные данные (например, изменить некоторым образом значения пикселей изображения, но описать это с помощью сопряженных данных в дополнительных данных).

Представляющие интерес дополнительные данные, лучше моделирующие временную природу видео в соответствии с представленными вариантами осуществления, могут быть получены на основании концепции характеристической яркости (CHRLUM). Она представляет собой сумму яркостей, присутствующих в целом по меньшей мере на одном изображении, и часто на последующих изображениях (таким образом, потенциально проводится усреднение по нескольким изображениям). Например, движение камеры из затененной области в, по существу, освещенную солнцем область, проявится таким образом, что средняя яркость (всех пикселей) затененного изображения будет отличаться от средней яркости изображения из освещенной солнцем области. В частности, характеристическая яркость сильно изменяется, если изменения настолько большие, что они приводят к изменению значительного объема видеодиапазона LDR, или если характеристическая яркость определена таким образом, что она характеризует уровни или изменения диапазона HDR, то есть, например, взрыв содержит несколько пикселей с очень высокой яркостью по сравнению со средним или ожидаемым или желаемым уровнем яркости (или наоборот для темной окружающей среды). Можно обобщить данную концепцию грубых уровней характеристической яркости путем рассмотрения только некоторых локальных изменений яркости на грубом уровне (хотя наблюдение, например, только области, содержащей яркий свет на изображении, делает характеристическую яркость более локальной, чем усреднение по всей картинке, если характеристика выполняется по основным областям/действиям яркости текущего снимка, то это по существу все еще является характеристикой грубого уровня). Например, если последовательный набор изображений содержит локализованное пламя взрыва, то можно получить характеристическую яркость путем усреднения только по пикселям пламени (и без использования, например, пикселей окружающего здания). Это может быть выполнено путем усреднения по первому изображению, содержащему пламя, или путем взятия характеристического интеграла пикселей пламени на нескольких выбранных изображениях, содержащих пламя, однако, можно выделить момент изменения в первый момент времени, когда появляется пламя. Описательные данные (DED), полученные из анализа изображения(-ий) могут быть, в соответствии с вариантами осуществления настоящего изобретения, использованы различным образом в соответствии с пониманием квалифицированного специалиста (например, может, в качестве начальной точки или в качестве конечной дополнительной информации, кодироваться эллипсоидная модель светлоты шара пламени взрыва), однако, они всегда будут содержать по меньшей мере один момент времени изменения (TMA_1), в который, как считается блоком анализа и/или оператором-человеком, происходит изменение грубой характеристической яркости в видео (это может быть точное первое изображение со взрывом, или приблизительное, например, где-то в начале взрыва). Описательные данные в итоге кодируются в дополнение к обычным видеоданным классического кодирования (которые могут иметь меньшее информационное наполнение, если некоторые HDR кодируются в дополнительных данных) в форме дополнительных данных DD, которые могут представлять собой просто копию описательных данных DED, или могут содержать поднабор и/или преобразование этих данных, но они требуются в качестве дополнительного этапа цепочки обработки изображений в соответствии с предварительно описанными требованиями.

Другие представляющие интерес модификации вариантов осуществления наших способов, устройств, сигналов, применений конфигураций или сигналов, и т.д., могут, не являясь ограничивающими, представлять собой, например:

Способ кодирования дополнительных данных (DD) в соответствии с более общим описанием, приведенным выше, при этом способ содержит этап кодирования в дополнительных данных (DD) по меньшей мере одного указателя (ALCORR, (TYPE)) разрешенных стратегий вторичной обработки по меньшей мере для яркости пикселей видеоданных, посредством устройства (112, 110), использующего видеоданные в качестве дополнительных данных, такого как дисплей телевизора.

Указанное теперь позволяет процессору воспроизведения или дисплею выполнять несколько конкретных обработок изображения в моменты времени, близкие к моментам времени изменений, а не «вслепую», как в обычном случае. Это может быть свободная («дисплей делает то, что вы хотите») или более или менее точная стратегия того, что дисплей должен сделать, но, предпочтительно, все можно настроить таким образом, чтобы принять во внимание специфику дисплея или окружающей среды, при этом допуская некоторый контроль для создающей стороны, то есть дисплей должен будет, по меньшей мере в определенной степени, следовать закодированному указателю (должна ли, может ли или не может и т.д. выполняться обработка и какая именно). Например, в случае LCD-дисплея с фоновой подсветкой может рассматриваться возможность (небольшого) изменения управления подсветкой по сравнению с тем, что считалось бы точным воспроизведением (то есть выходной яркостью пикселей, выдаваемой с оптимальной процентной LCD-передачей, и, посредством этого, яркостью фоновой подсветки, для получения точных желаемых значений пикселей, в соответствии с описанным, например, в 16-битном HDR-представлении изображений). Указанное может привести к некоторому изменению в воспроизведении изображения (другим выходным цветам/яркости), хотя это может быть желательным. Также дисплеи, имеющие один элемент дисплея на пиксель, такие как, например, OLED, могут использовать ту же алгоритмическую теорию путем использования «фоновой псевдоподсветки», то есть осуществления модуляции их суммарного управляющего сигнала путем определения некоторого основного компонента, и, обычно, следующим за этим его мультипликативным изменением.

Вторичная обработка обычно содержит функциональное преобразование, например, отображение предыдущих цветов/яркостей пикселей по меньшей мере для некоторых областей набора последовательных изображений на новое множество цветов/яркостей пикселей. Изменение в характеристической яркости также может в различных вариантах осуществления вторичной обработки (например, для снижения мерцания) быть переопределено как изменение в стратегиях или параметрах преобразования, в частности, содержащее момент желаемого изменения трансформации (следует отметить, что, в принципе, момент времени изменения TMA_1, в который, как считается, произошло изменение в характеристической яркости, может отличаться от момента времени TP_1, в который началась желаемая вторичная обработка [например, затемнение сегмента фоновой подсветки], но часто их можно считать совпадающими, например, если по определению функции или алгоритма вторичной обработки необходимо, чтобы она не влияла на первые несколько изображений, например, чтобы определяющая ее мультипликативная функция имела несколько 1 в начале). Указатели стратегий обработки могут быть различными, от указателей очень высокого уровня до очень строгих. Например, может быть указано, разрешается ли или нет какая-либо обработка для текущего снимка (если его воспроизведение является критичным, поскольку ему была присвоена критическая важность). Или может быть указано, разрешен ли конкретный тип обработки (например, только понижение яркости), или разрешен только тип обработки для попытки оптимального воспроизведения отображения (например, темной сцены) при заданных факторах на стороне дисплея, или, например, разрешена ли специфичная для дисплея обработка, такая как энергосбережение, которая может снизить качество воспроизведения изображений. Или может быть даже предписана специальная функция для применения в области момента времени изменения. Следует отметить, что вторичная обработка не обязательно должна быть фиксированной, но она может настраиваться, например, в зависимости от желаемых настроек наблюдателя, но при этом она все же может быть построена на основании по меньшей мере одного момента времени изменения (например, с параметрическими функциями вторичной обработки).

Также целесообразным является способ кодирования дополнительных данных (DD), содержащий этап, на котором кодируют конкретный код вторичной обработки (MULT) из набора заранее установленных согласованных кодов.

Также целесообразным является способ кодирования дополнительных данных (DD), содержащий этап, на котором кодируют в дополнительных данных (DD) стратегию отклонений, такую как, например, закодированный временной профиль (PROF) или математический алгоритм для расчета стратегии отклонений, для вторичной обработки в течение временного интервала DTI яркости пикселей видеоданных (VID), по сравнению с исходными яркостями (Lin*), при этом вторичная обработка может быть основана на психовизуальной модели или на физических характеристиках дисплея и/или среды наблюдения и т.д.

То есть в данном случае указатель стал больше похож на конкретное предписание. Можно, например, начинать с исходных яркостей Lin*, таких, как были закодированы в видеосигнале VID, и применять к ним мультипликативный профиль, который мягко/незначительно снижает яркости с течением времени для данного снимка. Профиль может быть аддитивным, мультипликативным, просто указанием, например, на средний грубый уровень того, как должен выглядеть конечный (выходной) профиль яркости с течением времени (и телевизор может выполнять некоторую обработку для приблизительного его получения) и т.д.

Также целесообразным является способ кодирования дополнительных данных (DD), в котором вторичная обработка имеет тип, содержащий определение изображения освещения для фоновой подсветки (ILIM), и этап кодирования содержит этап, на котором кодируют данные, влияющие на определение изображения освещения для фоновой подсветки (ILIM) в течение интервала около момента времени изменения (TMA_1), таких как временная функция, составленная из элементарных вкладов базовых функций по меньшей мере для пространственной области положений двумерной матрицы (MAP). Также можно предложить или контролировать конкретные воспроизведения путем более непосредственного управления фоновой подсветкой пространственно-временным образом. Например, можно легко охарактеризовать некоторый HDR-эффект (или его часть), такой как взрыв, путем его составления из набора функций, таких как некоторые локальные колебания, функции снижения энергопотребления, разложения Гаусса и т.д., которые определяются по меньшей мере частично на основании момента времени (например, для окна дискретизации для функции, положение моды распределения Гаусса определяется в сравнении TMA_1, или начальной точкой убывающей функции и т.д.).

Также целесообразным является способ кодирования дополнительных данных (DD), содержащий этап, на котором кодируют в дополнительных данных (DD) информацию о будущих характеристических яркостях относительно момента времени изменения (TMA_1) и/или информацию об ожидаемых яркостях изображения освещения для фоновой подсветки (ILIM) эталонного дисплея.

Наличие как можно более точной информации о будущем видео, особенно о сумме яркостей пикселей будущего изображения, может позволить дисплею или процессору воспроизведения, или любому устройству, использующему закодированные дополнительные данные, принимать разумные решения относительно текущей обработки, например, максимизации визуального воздействия, чувствительного к мощности управления фоновой подсветкой с учетом будущего энергопотребления, и т.д. Для некоторых приложений, таких как управление электропитанием, данная характеристика будущих характеристических яркостей может иметь очень грубый уровень, поскольку нужно только приблизительно знать, сколько потребуется света (то есть например, может быть закодирована средняя характеристическая яркость за следующие 10 секунд и дополнительно/в качестве альтернативы - за две минуты; временная иерархия таких характеристик действительно позволяет принимающей стороне выполнять более разумные предсказания, например, относительно мощности, которая будет использоваться в текущий момент), однако для точной реализации психовизуального воздействия может потребоваться более подробная информация о временных модуляциях. Для дисплея с фоновой подсветкой или дисплея без фоновой подсветки, можно эквивалентно закодировать изменения характеристик суммарно для кодируемой картинки (такой как VID), или для ее (виртуального) компонента, такого как вклад фоновой подсветки, и, следовательно, принимающая сторона может получить любой требуемый вариант, например, путем использования заранее установленного или совместно закодированного алгоритма разделения множества компонент.

Также целесообразным является способ кодирования дополнительных данных (DD), содержащий этап, на котором кодирубт в дополнительных данных (DD) указатель важности (IMPLEV) по меньшей мере для одного момента времени изменения (TMA_1). Это позволяет проводить очень гибкую вторичную обработку отклонений, такую как, например, иерархическая обработка (например, снижение) воспроизведения в нескольких взаимосвязанных временных интервалах (например, нескольких взаимосвязанных эффектах высокой светлоты). В случае, когда со стороны дисплея имеются сложности в воспроизведении всех эффектов, то воспроизведение может, на основании важности, выполняться только для наиболее важных эффектов, или может быть спроектирована вторичная обработка, принимая во внимание иерархию важностей и т.д.

Также целесообразным является устройство (524) кодирования видео, выполненное с возможностью кодирования в дополнение к видеоданным (VID) дополнительных данных (DD), содержащих по меньшей мере один момент времени изменения (TMA_1), указывающий изменение с течением времени характеристической яркости (CHRLUM) видеоданных, при этом характеристическая яркость является суммой набора яркостей пикселей на изображении видеоданных, на основании описательных данных (DED) относительно изменения характеристической яркости видео.

Также целесообразными являются устройства кодирования видео (524), выполненные с возможностью кодирования в дополнение к видеоданным (VID) дополнительных данных (DD) в соответствии с любыми описанными выше или ниже принципами, в частности, с наличием специально реализованных кодировщиков, средств форматирования и т.д. для различных спецификаций того, что принимающая сторона может выполнять в качестве вторичной обработки изображений в конкретные моменты времени.

Также целесообразным является способ декодирования дополнительных данных (DD) видеоданных (VID), при этом дополнительные данные (DD) содержат по меньшей мере один момент времени изменения (TMA_1), показывающий изменение с течением времени характеристической яркости (CHRLUM) видеоданных, при этом характеристическая яркость является суммой набора яркостей пикселей на изображении видеоданных, и при этом способ дополнительно содержит этап, на котором выводят по меньшей мере один момент времени изменения (TMA_1).

Обычно в способе декодирования анализируется входящий сигнал и обнаруживаются конкретные пакеты, поля данных и т.д., распознаваться закодированные данные, возможно выполняется извлечение, преобразование, приведение типа данных в целесообразный для устройства формат и т.д. Например, могут выводиться моменты времени, в которые может, или предполагается, что может, произойти некоторое конкретное действие. Устройство, соединенное с декодером, использующим такие дополнительные данные, может предписывать дальнейшие пути доставки (или даже извлечения только конкретных данных) в зависимости того, каким образом оно использует эти данные. Например, если устройству необходимо только знать моменты времени изменения характеристической яркости, то может быть достаточным наличие только этих моментов, но устройство обработки изображений может запросить у блока декодирования выполнение способа декодирования, который также конвертирует закодированные индексы для предварительно согласованных преобразований в более удобный в управлении формат, например, функции в течение конечного временного сегмента для мультипликативного затемнения. То есть все дополнительные данные будут посредством вариантов осуществления способа декодирования выведены в согласованных форматах, установленных и заданных или согласованных в процессе работы с устройством приема, при этом такие данные могут представлять собой моменты времени, указания вторичной обработки, дополнительные данные, задающие временную природу сигнала, такие как зависящие от изображения измерения, ориентированные на дисплей или отображение фильма указания и т.д.

Также целесообразным является способ декодирования дополнительных данных (DD) видеоданных (VID), который дополнительно содержит этап, на котором декодируют и выводят по меньшей мере один любой элемент закодированных данных в соответствии с описанным в настоящем документе.

Также целесообразным является сигнал данных (NDAT), ассоциированный с видеоданными (VID), содержащий по меньшей мере один момент времени изменения (TMA_1), указывающий на изменение с течением времени характеристической яркости (CHRLUM) видеоданных, при этом характеристическая яркость является суммой набора яркостей пикселей в изображении видеоданных.

Также целесообразным является устройство (600) декодирования видео, выполненное с возможностью декодирования связанных с видеоданными (VID) дополнительных данных (DD), содержащих по меньшей мере один момент времени изменения (TMA_1), указывающий на изменение с течением времени характеристической яркости (CHRLUM) видеоданных, при этом характеристическая яркость является суммой набора яркостей пикселей в изображении видеоданных, и вывода через выход (650) по меньшей мере одного момента времени изменения (TMA_1).

Также целесообразным является устройство (600) декодирования видео, выполненное с возможностью декодирования по меньшей мере одного элемента закодированных данных, определенных где-либо в данном тексте, и дополнительно выполненное с возможностью взаимодействия со вторым устройством (100), способным воспроизводить видео (VID) для этого по меньшей мере одного элемента закодированных данных с тем, чтобы повлиять на воспроизведение посредством этого по меньшей мере одного элемента закодированных данных.

Обычно различные варианты осуществления устройства декодирования будут иметь различные подблоки, такие как выделенные (части) ИС или выделенное аппаратно-программное обеспечение или программное обеспечение по меньшей мере временно запущенное на ИС для, например, просмотра конкретной части дополнительных данных, содержащей, например, код вторичной обработки, выделения этого кода вторичной обработки и отправки его без обработки на выход ИС, или его отправки на подблок преобразования с целью его преобразования в цифровое (или аналоговое) значение или набор данных, который является более целесообразным для подсоединенного устройства. Квалифицированном специалисту будет понятно, что одни и те же данные могут быть отправлены различными способами в ряд моментов времени через различные выходы.

Также целесообразной является система (110+100), содержащая устройство (600) декодирования видео и дисплей (100), причем дисплей выполнен с возможностью изменения своего воспроизведения на основании по меньшей мере одного момента времени изменения (TMA_1).

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты способа и устройства по изобретению будут очевидны и прояснены со ссылкой на реализации и варианты осуществления, описанные ниже в настоящем документе, и со ссылкой на прилагаемые чертежи, которые служат просто в качестве неограничивающих конкретных иллюстраций, являющихся примерами более общей концепции, и на которых пунктир используется для указания того, что компонент является факультативным, при этом не обозначенные компоненты не обязательно являются существенными. Пунктир также может быть использован для указания того, что элементы, которые описывались как существенные, скрыты внутри объекта, или для нематериальных вещей, таких как, например, выбор объектов/областей (и того, каким образом они могут быть показаны на дисплее).

На чертежах:

Фиг. 1 схематически иллюстрирует типовую конфигурацию приема видео, способную использовать дополнительные данные DD в соответствии по меньшей мере с некоторыми вариантами осуществления, описанными в настоящем тексте;

Фиг. 2 схематически иллюстрирует представление того, каким образом изменяются яркости изображений видео, с тем чтобы объяснить некоторые примеры того, каким образом работают по меньшей мере некоторые варианты осуществления настоящего изобретения;

Фиг. 3 схематически иллюстрирует обработки, которые могут выполняться над видео, с тем чтобы получить более удовлетворительное воспроизведение на дисплее;

Фиг. 4 схематически иллюстрирует некоторую дополнительную обработку для конкретного примера воспроизведения темной сцены;

Фиг. 5 схематически иллюстрирует среду создания для создания дополнительных данных DD;

Фиг. 6 схематически иллюстрирует устройство декодирования для декодирования дополнительных данных DD;

Фиг. 7 схематически иллюстрирует математические принципы использования дополнительных данных DD;

Фиг. 8 схематически иллюстрирует применение настоящего кодирования дополнительных данных в сценарии/системе оптимизации питания; и

Фиг. 9 схематически иллюстрирует пример кодирования дополнительных данных в отношении видеоданных.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Фиг. 1 описывает возможную домашнюю систему просмотра видео, содержащую LED-телевизор 100 (или обычный дисплей с HDR, или даже LDR-дисплей, особенно если он лучше настраивается для воспроизведения, чем просто для уникального воспроизведения VID) с LCD-панелью 101, фоновая подсветка которой осуществляется множеством (белых или цветных) LED 102, которые могут отображать HDR-изображения или LDR-изображения (стандартный, узкий динамический диапазон) [в этом случае может иметь место некоторый объем обработки видео по меньшей мере для отображения на управляющие значения LCD и LED] в соответствии с принципами, описанными выше и в технике. Следует отметить, что специалисту будет понятно, что принципы настоящего изобретения также могут быть применены к некоторым другим дисплеям, например, проектору с сегментируемым освещением и дисплеям DMD, OLED и т.д.

В типовом варианте осуществления (который мы будем использовать в качестве примера для описания наших технических принципов) телевизор/дисплей получает свои телевизионные сигналы или сигналы изображений через соединение (например, проводное/HDMI или беспроводное) 113, запускает в памяти проигрыватель, например BD-проигрыватель 110 (но, конечно, в качестве альтернативы сигналы могут приходить, например, от сервера через Интернет и т.д.). Данный BD-проигрыватель 110 получает закодированное видео с диска bluray 115, после чего дополнительная дорожка 116 кодируется с дополнительными данными DD в соответствии с произвольными вариантами осуществления изобретения, описанными ниже (конечно, такие данные могут также быть закодированы в соответствии с множеством других принципов, например, при кодировании видео, например, в полях до групп или блоков, однако, отдельное множество элементов данных позволяет также обеспечивать кодирование по другому каналу, например, через Интернет).

На фиг. 2 показан временной профиль видеофильма (который может представлять собой любую временную последовательность связанных изображений, например, голливудский фильм или съемку камерой наблюдения) вдоль оси времени t с характеристической яркостью YC для каждого изображения (в момент времени t). Данная характеристическая яркость выведена из яркостей всех пикселей, присутствующих на этом изображении, например, она может представлять собой взвешенное среднее (поскольку камеры обычно также используют взвешенные изображения для определения своих настроек, что приводит к распределению яркости пикселей, закодированных в изображении, поэтому это будет частично отражено в их записи снимаемой сцены), но может быть использован и более сложный анализ гистограмм. Например, яркости, измеренные в верхних процентилях, могут вносить по меньшей мере частичный вклад в YC, с тем чтобы можно было можно было определить светлое тоновое изображение среды вне помещения, насыщение датчика, большие очень яркие локальные области (также пространственные свойства могут приниматься во внимание в алгоритме для получения YC, например, соотношения светлых и темных областей, или даже гистограммы темных областей внутри светлых областей, например, для анализа съемки человека против света (частично) перед окном и т.д. Что касается временного определения характеристической яркости, можно определять ее для каждого изображения или вычислять любую математическую накопительную формулу по произвольному количеству последовательных картинок (например, как на фигуре 2, задается одна и та же характеристическая яркость для всех изображений снимка; между снимком или границами изменения характеристической яркости). Следует отметить, что человек, характеризующий/комментирующий изменения в характеристической яркости, может использовать различные указания, и он также может размечать границы между временными областями, которые, как предполагается, имеют различные характеристические яркости (по меньшей мере на обработанном (например, HDR или псевдо-HDR) выходном изображении для дисплея), но для которых данные различия сложно вычислить с использованием автоматического алгоритма (например, можно задавать множество альтернативных целей воспроизведения, например, для различных дисплеев).

Данная характеристическая яркость может быть использована для определения того, когда появляется разница в характеристиках фиксации сцены, которая, например, должна быть переведена в другое воспроизведение на дисплее, в частности в другое управление LED фоновой подсветки. В примере со съемкой против света квалифицированному специалисту может быть понятно, что обработка дисплеем (основанное только на программном обеспечении изменение входного изображения или основанная на аппаратном обеспечении обработка, такая как оптимальное управление фоновой подсветкой) может быть такой, что она улучшает данную картинку (принимая во внимание неявным образом (случай средней величины) или явным образом все относящиеся к дисплею и пользователю аспекты, дисплей может, например, воспроизводить различные яркости объекта-персоны на изображении с улучшенной видимостью), или, особенно это относится к новым HDR-дисплеям, воспроизведение может ухудшиться в плане визуального качества.

Первая часть видеофильма, сцена диалога SCN_CONVRS, описывает такую ситуацию. Она состоит из перемежения первых снимков SHT_WND первого человека, сидящего в более светлой части комнаты, и вторых снимков SHT_WLL второго человека, сидящего в более темной части комнаты (или, для целей настоящего объяснения, аналогичный сценарий и сходная техническая обработка может иметь место при чередовании последовательности снимков внутри и вне помещения). Учет как состояния искусственного освещения сцены, так и (установленных человеком или автоматически) настроек экспозиции камеры, может частично снизить различие (делая и те, и другие кадры хорошо/средне экспонированными), но при этом может сохраниться определенное различие (например, оператор-постановщик может хотеть получить определенный вид путем противопоставления указанных двух типов снимков). Однако при отображении яркости всех пикселей, лежащих в основе данных характеристических яркостей, на HDR-дисплей (например, интервал, вовлеченный только в отображение LDR-сигнала {0,255} на HDR-сигнал {0, 1024} и на HDR-диапазон {0, 2000 нит} выходных яркостей (области/пикселя) дисплея вместо LDR-диапазона дисплея {0, 500}), может быть не только нарушен конкретный вид, но даже области светлого окна могут повредить глазам наблюдателя, или по меньшей мере могут быть неприятными некоторым наблюдателям. Данная ситуация схематически проиллюстрирована на фиг. 2 посредством математически выводимой характеристики узкого динамического диапазона PS_R_LDR в пределах пространства управления для (конкретного) HDR-дисплея R_HDR. Таким диапазоном может быть LDR-диапазон {0, 255}, но обычно он будет соответствовать диапазону, в котором были бы представлены нормальные яркости сцены (такие как отражения хорошо экспонированных внутренних или внешних объектов), и еще не представлены оптимизированные HDR-эффекты, такие как взрывы, огни и т.д. От такого диапазона может требоваться, чтобы он не был сильно расширен в HDR, а был достаточно узким, LDR-подобным. До воспроизведения на HDR-дисплее изображение, описанное в характеризующем узком динамическом диапазоне PS_R_LDR, обычно будет иметь обработку, заключающуюся в отображении эффектов на диапазон HDR-эффектов R_UPEFF (см. фиг. 3) и более низкий диапазон R_L_HDR для обычных объектов. Следует отметить, что это всего лишь один возможный схематический пример для иллюстрации настоящего изобретения и его вариантов осуществления. Входное изображение также может быть уже HDR-закодированным изображением, например, {0, 1024} или {0, 65536} с помощью любого отображения тонов или другого значения освещенности, или может быть изображением, закодированным в среднем диапазоне, которое все еще может нуждаться в обработке в соответствии с настоящим изобретением. Фактически, квалифицированный специалист должен рассматривать данную схематическую иллюстрацию как если бы описываемая технология применялась только к средней (или медианной) освещенности для картинки. В реальности может быть применена любая сложная операция над какими-либо пикселями, представленными во входной картинке (особенно для анализа картинки относительно места изменения характеристической яркости, но также для ее (повторного) воспроизведения), но, для простоты объяснения, мы будем описывать только сдвиги (например, мультипликативное масштабирование) яркостей, и будем описывать это как масштабирование фоновой подсветки (то есть управляющие значения LCD также могут измениться в соответствии с изменениями в управлении LED, но мы в настоящий момент будем игнорировать данную возможность в описании).

Алгоритм человеческого или автоматического анализа идентифицировал моменты времени в видеофильме, в которые изменяется характеристическая яркость (и, следовательно, в которые фоновая подсветка должна или может изменяться), такие как момент времени основного изменения TMA_1, в который начинает изменяться характеристическая яркость сцены SCN_CONVRS, и моменты времени небольших изменений TMI_1 и TMI_12 (и т.д.), в которые сцена переключается между более светлыми и более темными снимками SHT_WND и SHT_WLL (следует отметить, что более простые автоматические алгоритмы могут быть ограничены определением только моментов времени основных изменений). Большинство простых вариантов осуществления настоящего изобретения будет кодировать только такие моменты времени, и возможно, что какая-либо HDR-обработка вообще не будет выполняться (например, через логический ALCORR, который запрещает обработку на стороне HDR-дисплея или сводит ее к самому базовому сценарию, если он равен 0, но разрешает, например, стратегию интеллектуального улучшения, если он равен 1). Это позволяет дисплею (или устройству вторичной обработки, такому как проигрыватель bluray, ресивер цифрового телевидения, компьютер, и т.д.) применять интеллектуальную обработку вместо применения вслепую единственного алгоритма, каким бы ни было информационное наполнение видеофильма, художественные цели его создателей или его будущее информационное наполнение.

Некоторые желательные обработки изображений, а также несколько возможных вариантов осуществления кодирования данных, схематически проиллюстрированы на фиг. 3.

С психовизуальной точки зрения мы имеем различные требования для «статической» (неподвижной) сцены SCN_CONVRS и второй сцены SCN_WLK, в которой один человек сначала идет по темному коридору и затем (около момент времени изменения TMA_2) выходит на яркий солнечный свет. Художники могут хотеть, чтобы при воспроизведении был создан некоторый конкретный конечный вид, но не имеют достаточного контроля при кодировании только самих пикселей изображений. В частности, захваченные камерой значения после установки экспозиции камеры могут фактически быть аналогичными для сценариев с различными целями воспроизведения, как в двух приведенных выше примерах, особенно для обычного видео. В этом примере окно, входящее в поле зрения и выходящее из него, скорее раздражает, чем обеспечивает желаемый эффект, однако, в зависимости от возможностей дисплея, можно захотеть сделать нечто захватывающее из прохождения человека между помещением и местами вне помещения. Но если комбинация оператора камеры и классификатора кодирует сцену скорее эффективно, чем выдающимся образом, то все еще можно столкнуться с проблемой достаточно сходных значений цвета/яркости пикселей в обоих сценариях. При добавлении вопроса о том, каким образом дисплей предполагает решать эту проблему («вслепую»), представляется необходимым иметь дополнительный механизм кодирования информации и предпочтительно контроля воспроизведения. В SCN_CNVRS, несмотря на то, что художники могут хотеть показать различие в освещении до определенной степени (что может включать в себя разное управление фоновой подсветкой, а также различные гистограммы пикселей для изображения на LCD, и, в качестве входного кодирования, отличающийся суммарный HDR-сигнал, или различные указания для настройки фоновой подсветки в дополнение к стандартному кодированию изображения), они будут делать это в предположении, что глаз в основном приспособился к ситуации для обоих типов перемежающихся снимков. То есть тот факт, что при нахождении вне помещения в течение определенного времени или при взгляде на человека перед окном в течение определенного времени характеристики чувствительности сетчатки наблюдателя были настроены соответствующим образом, должен быть отражен в кодировании изображения, подлежащего воспроизведению, но, что является наиболее важным, в самом воспроизводимом изображении. В частности, характеристическая яркость для выведенного изображения на дисплее (и обычно такая яркость, на которую глаз будет отвечать с использованием своих биохимических механизмов, например, попытки стабилизации и кодирования различий после неудачного стационарного состояния, например, средняя яркость), должна быть такой, чтобы она не была раздражающе мерцающей, визуально утомляющей и т.д. Это не было большой проблемой для обычных дисплеев с ограниченными диапазонами, но это представляет проблему для появляющихся ярких дисплеев (даже с LDR-содержанием), и будет объектом пристального внимания для будущих HDR-дисплеев. Следовательно, может быть желательным, чтобы дисплей сохранял различие в характеристической яркости ограниченным для таких сценариев, как SCN_CONVRS, например, не усиливал (сигналы и, следовательно, их различие) чрезмерно (то есть использовал небольшой поддиапазон суммарного HDR-диапазона R_HDR для всех пикселей видео или большей их части на всех изображениях этой сцены), или даже снижал их различие (то есть в качестве выходной яркости дисплея, по сравнению с тем, что выдал бы узкий динамический диапазон PS_R_LDR, например, PS_R_LDR, эмулирующий на HDR-дисплее то, каким образом LDR-дисплей с яркостью 500 нит воспроизводил бы временную часть видеофильма, путем отображения в пределах этого диапазона [пример настроенного по времени варианта осуществления преобразования цветовой гаммы]). Например, устройство воспроизведения или вычисления сигнала может сократить этот локальный диапазон, или яркость, распределенную по некоторой части пикселей видео, попадающих в этот диапазон (например, пикселей, вносящих наибольший вклад в суммарную характеристическую яркость), например, оно может понижать яркости по меньшей мере некоторых таких пикселей (например, в ограниченном виде внешнего мира). Дополнительно, оно может повышать яркость более темных частей окружающей среды по меньшей мере области, в которой располагается второй человек. Квалифицированному специалисту будет понятно, каким образом модификация яркости для пикселей будет изменять характеристическую яркость, и наоборот, что может быть выполнено посредством нескольких простых или статистических методов.

Напротив, для SCN_WLK художник хочет воспроизвести динамическое изменение светлоты. Человек, входящий в коридор, сначала страдает от вызванной нечувствительностью сетчатки слепоты (поскольку окружающая среда темнее, чем состояние его адаптации), и после адаптации, при выходе наружу он ослепляется ярким светом снаружи (слепота вследствие чрезмерного экспонирования). Возможно, художник уже смоделировал указанное до некоторой степени (или даже это было выполнено автоматической экспозицией камеры, но для целей настоящего обсуждения предположим, что по меньшей мере для качественных видеофильмов и не для телевидения в прямом эфире, художник будет иметь контроль над этим), даже для сигнала LDR {0, 255}, например, путем получения светлого тонового изображения (множество светлых, возможно, даже переэкспонированных областей с низкой контрастностью, то есть гистограмма, которая в основном расположена в верхней половине {0, 255}). Однако такое изображение/видео может выглядеть лучше (воспроизведение высокой светлоты дает другое изображение в зависимости от точности кодирования определенных областей, например, по причине зависимости от впервые замеченных человеком различий JND в локальной яркости) или по меньшей мере убедительнее, когда (дополнительно, или даже по существу вместо) имеется реальное изменение светлоты. Это обычно может быть реализовано, например, путем усиления фоновой подсветки (без изменения сигнала LCD, например, входной сигнал {0, 255} используется в качестве оценки отражения от объекта, или с его изменением, например, сопоставлением с изменением фоновой подсветки в процессе оптимальной повторной обработки [которая может отличаться для различных дисплеев с различными возможностями]). Аналогично, выдача черного сигнала может эмулировать невозможность воспроизведения (можно видеть только самые большие различия до адаптации, поэтому это можно эмулировать путем кодирования меньшего количества значений), но реальное визуальное воздействие будет иметь место, когда фоновая подсветка также затемняется, или, как правило, когда HDR-дисплей использует свою оптимальную стратегию воспроизведения для таких темных снимков.

Таким образом, для SCN_CONVRS является желательным, чтобы дисплей «ничего не делал» (или по меньшей мере не применял серьезного усиления, или даже растягивания, неизбежно связанного с отображением по умолчанию на большие по размеру диапазоны выходной яркости), тогда как для SCN_WLK желательно максимальное использование возможностей (HDR) дисплея, путем применения (воспроизведения дисплеем!) визуального эффекта (для простоты описываемого в настоящем документе, по существу, как изменение управления фоновой подсветкой). Аналогично, для третьей сцены SCN_EXPL со взрывами желательно применить другой эффект, и воспроизведение предпочтительно также должно быть различным для различных типов заснятых взрывов (см. ниже).

Желаемые ограниченные различия между значениями пикселей соответствующих изображений типа SHT_WND и SHT_WLL могут быть заданы множеством способов, и если операция обработки изображения для ее достижения имеет тип сдвига яркости (мультипликативного или аддитивного), то обычно она может быть задана аналогично в представлении характеристической яркости (то есть на практике будут просто реализовываться текущие наработки в классических операциях обработки изображений, работающих на множествах пикселей).

Например, художник (или алгоритм автоматической аннотации (далее мы будем предполагать, что все кодирования по вариантам осуществления настоящего изобретения определяются человеком, но большинство из них также может быть определено автоматически путем применения анализа изображений) может задавать диапазон R_CORR, в котором могут находиться характеристические яркости (возможно дополненный дополнительными спецификациями гистограмм объектов изображения, таких как размах яркостей, или диапазон, в который могут попадать более высокие и/или более низкие яркости и т.д.), при этом диапазон может быть определен в отношении диапазона эталонного дисплея, например, конкретный узкий динамический диапазон PS_R_LDR, или эталонный расширенный динамический диапазон и т.д. Дисплеи, имеющие реальный динамический диапазон дисплея, могут затем выполнять свою обработку с целью получения вида выходных яркостей, как можно лучше согласованного со спецификацией диапазона, например, дисплей с более широким динамическим диапазоном может выделить поддиапазон для эмуляции эталонного узкого динамического диапазона, или, в общем случае, произвольный дисплей может применять обработку, которая приводит к минимальному отклонению выхода от желаемого вида/диапазона. Сходство характеристических яркостей (и лежащих в основе гистограмм пикселей) также может быть задано другими способами, например, в виде допустимого или предпочтительного диапазона изменений (вверх и/или вниз), который может быть использован для мультипликативной обработки. «Допустимый» относится к тому, что художник не разрешает отклонения, большие определенного значения, и обработка дисплея должна по меньшей мере приближаться к максимальному согласованию с указанными значениями, или полностью им соответствовать, тогда как «предпочтительный» задает предпочтение художника, и дисплей может только принимать во внимание такие указания при выполнении своей обработки [например, вычислении новых управляющих значений для текущей среды наблюдения, предпочтений наблюдателя и т.д.], то есть он будет по меньшей мере пытаться получить аналогичный вид, но может и отклоняться от него.

В примере SCN_WLK для дисплея может быть желательным применение профиля, определяемого, по меньшей мере частично, закодированным моментом времени. Например, известно, что человеческий глаз адаптируется со временем приблизительно в соответствии с экспоненциальной кривой, поэтому такие измерения, как JND, также будут следовать этой кривой. Дисплей может усилить фоновую подсветку, например, по восходящей экспоненциальной функции EXPU, или другой функции, которая сначала увеличивает освещенность, но затем опять ослабляет до более низкой характеристической яркости, что, с одной стороны, моделирует адаптацию зрителя к комфортной светлоте дисплея, но, с другой стороны, прилагает управление в некоторую часть центральной области суммарного диапазона R_HDR, при этом все еще оставляя достаточное пространство в ограниченном диапазоне дисплея для воспроизведения других сред, например, взрывов. Это работает, поскольку с психовизуальной точки зрения эффект воздействует наиболее сильно в момент его первого появления, а затем глаз зрителя частично компенсирует его, поэтому в любом случае нет необходимости в дополнительных расходах питания на фоновую подсветку, поскольку она мало влияет на зрительное восприятие.

Аналогично, в случае темного коридора, может быть применена нисходящая экспоненциальная EXPD.

В настоящее время, поскольку в основном качество изображения (и даже HDR) было сфокусировано на дополнительной светлоте, то воспроизведение темных сцен получало меньшее внимание, чем необходимо. На фиг. 4 представлен возможный пример того, каким образом с применением настоящего изобретения может быть улучшено воспроизведение таких сцен на дисплеях (эти сцены в основном попадают в невидимую часть, не говоря о том, чтобы был достигнут желаемый эффект воспроизведения). Например, темное пальто на человеке в немного более светлой, но все еще темной среде на изображении будет верно отображено не только если текущие условия наблюдения (управление дисплеем и среда наблюдения) являются подходящими, но также если зритель адаптировался должным образом. Кроме того, последовательные изображения, воспроизведенные в прошлом, могут подготовить к такому состоянию адаптации путем снижения яркостей пикселей на этих предшествующих изображениях, предпочтительно, постепенно, с тем чтобы оно не было слишком заметным или по меньшей мере не слишком неприятным (для зрителя или художника). Дисплей мог бы делать это автоматически, если бы имел информацию об уровне характеристической яркости CHRLUM, которого он должен достигнуть в будущем для темной сцены SCN_DRK, или точные или предпочтительные/приблизительные уменьшения могут быть заданы в видеосигнале или наряду с ним (например, художником). Можно кодировать конкретные моменты времени TMSK_1, TMSK_2, в которые или в течение которых такое уменьшение предпочтительно происходит, с тем чтобы сделать его менее ощутимым, например, на границах снимка, или для пикселей, окружающих лицо, когда ожидается, что зритель будет смотреть на лицо и т.д. Также высокий диапазон R_EFF1 для светлых объектов, таких как взрывы (в ночи) может постепенно снижаться (с тем чтобы, с одной стороны, зритель больше не адаптировался к ним слишком сильно, но, с другой стороны, чтобы они не слишком сильно отличались от других яркостей, например, не приводили к неблагоприятному или даже ослепляющему зрительному восприятию). Алгоритм анализа временного информационного наполнения (выполняемый самим принимающим дисплеем, или анализ изображения для более точного кодирования в дополнительных данных того, каким образом принимающий дисплей должен выполнять воспроизведение) может также принимать во внимание визуальный баланс светлоты определенных временных интервалов, который кодирует такие аспекты, как: какие имеются светлые объекты (например, взрывы), насколько они большие, сколько они продолжаются, сколько их подряд, как они контрастируют с более темным подпериодами и т.д. Короткие небольшие светлые освещения могут, например, все еще выделяться в более высоком диапазоне R_EFF2, тогда как светлые области, которые имеют большее влияние на визуальную адаптацию, будут воспроизводиться в снижающемся высоком диапазоне R_EFF1. Также может измениться взаимосвязь между характеристической яркостью CHRLUM и лежащими в ее основе значениями пикселей изображения в пределах диапазона SP_LUM. Например, из входного кодирования можно вывести оценку приблизительных отражений от объектов, дающую выходное изображение, и на основании этого изображения (или любой производной от входного изображения) применить наклонное преобразование, которое делает светлые объекты немного темнее и, возможно, также и более темные объекты. Фактически, в качестве простого приближения, можно рассматривать характеристическую яркость, как описано выше в настоящем документе, как l-значение определения диапазона яркостей (допустим, среднее), но в других вариантах осуществления могут дополнительно или в качестве альтернативы кодироваться другие меры, характеризующие яркости на изображении (или в его подмножестве), например, диапазон (обработка от низкого диапазона к большему усиленному высокому диапазону может, например, затем быть задана на основании соответствующих границ этих двух диапазонов). Мы будем в общем случае концептуально называть все эти возможные кодирования сумм характеристической яркостью, но для упрощения объяснения мы ограничим наше объяснение характеристиками на основе l-значения. Данная система особенно хорошо работает совместно с лампами 150 с контролируемым окружающим освещением, такими как лампы «с живыми цветами» Philips. Данные лампы могут быть оснащены (например, через беспроводное соединение) с управляющим контроллером 151, который может управляться произвольным блоком установки (например, может управляться дисплеем) в зависимости от дополнительно закодированных данных в соответствии с изобретением. Например, в первый момент времени TMSK_1 он может быть выключен или затемнен до 50%, или, более рационально, он может быть затемнен в соответствии с характеристической яркостью CHRLUM. Как правило, освещение может быть установлено оптимальным образом в зависимости от временных характеристик яркости видео.

Возвратимся к фиг. 3; профиль может быть выведен дисплеем самостоятельно или, предпочтительно, он кодируется стороной производства информационного наполнения. Сигнал может содержать несколько заданных кодов под кодом профиля PROF (который принимающая сторона, ее декодирующая ИС и ее ИС обработки может понимать и работать с ним), например, мультипликативный MULT, что означает, что в течение всего снимка (или, фактически, временного периода между двумя кодами моментов времени) может быть применено только мультипликативное масштабирование (самого HDR-сигнала или выделенной части, соответствующей фоновой подсветке, или комбинации указанного). Профиль модификации может быть дополнительно параметризован, например, с параметром P1, соответствующим величине снижения (например, 80%) и параметром P2, соответствующим величине повышения (например, 120%). Различные параметры все еще позволяют различным дисплеям выбирать тот или другой вариант. Для SCN_WLK тип профиля - экспоненциальный EXP, который кодировщик информационного наполнения может дополнить такими параметрами, как начальная амплитуда A и время затухания TD. Как правило, устройство принимающей стороны также может само определять временной интервал DTI, в течение которого требуется отклонение от первого значения (такого как характеристическая яркость представления входного видео, или в соответствии с первым рассчитанным посредством алгоритмов множеством изображений управления фоновой подсветкой для этого входного видео), например, путем принятия во внимание информации о будущем этого видео (см. ниже). Такая экспонента также может быть использована для снижения яркости взрыва, который продолжается в течение длительного периода времени, например, поскольку он художественно «заморожен» и представлен в растянутом времени. Хотя оригинальный сигнал может кодировать этот взрыв во всех деталях, включая его захваченную яркость (поскольку это описывает то, каким образом камера со своими настройками экспонирования записала его), включение экспоненты позволяет снизить яркость взрыва постепенно, не влияя негативно на качество воспроизведения, однако позволяя, например, снизить энергопотребление (временной управляемый информационным наполнением эквивалент того, что в другом случае было бы сделано статически).

Также с использованием нескольких таких базовых профилей (например, экспонент или линейных отрезков), поставщик информационного наполнения или выполняющий повторное кодирование (ранее закодированного материала) может создавать сложные временные профили. Они могут быть использованы, например, для применения HDR-эффектов к существующему материалу. Например, существующий видеофильм может содержать сцену сверхновой звезды с пульсирующими во внешнем направлении горячими газовыми кольцами, которые, однако, были закодированы достаточно просто в {0, 255}. Вместо применения полного предсказания с использованием компьютерной графики (или повторного воспроизведения) для получения HDR-кодирования {0, 65K} этой сцены, можно, в соответствии с настоящим изобретением, применить временные профили (обычно, но не исключительно, для управления фоновой подсветкой), начинающиеся в определенный момент времени, например, TMA_3, после которого требуется HDR-эффект. Путем допущения кодирования с таким (практически) случайным временным профилем и дополнительно изменяющимся в пространстве, можно, например, задать пространственно-временной многосинусоидальный профиль пульсирования во внешнем направлении на компоненте изображения, предназначенном для фоновой LED-подсветки, практически синхронизированный с теми положениями, в которых светящиеся облака газа находились на оригинальной (или необработанной) картинке {0, 255}, с целью управления LCD. В дополнение к этому могут кодироваться пространственные характеристики SPATPROF временных профилей, например, мультипликативная форма, такая как мультипликативная константа, определенная на круге с центром (x,y) и радиусом r1. Но, что более интересно, также могут быть совместно закодированы кодирования временных карт MAP, которые могут быть 2-мерными или 3-мерными. Это можно выполнить, например, путем выбора опорного разрешения для изображения фоновой подсветки (например, 50 x 50, что может содержать различные значения соотношения сторон, от расположенного в портретной ориентации 2:3 устройства считывания данных до телевизора с 21:9), что можно преобразовать для реальной фоновой подсветки дисплея. Данная карта может содержать, например, двоичные числа для областей (1 = сильно загруженная в следующий временной интервал, 0 = менее загруженная), или локального накопленного управления (которое может быть использовано для предсказания не соответствующего настройкам локального нагрева, износа и т.д.). В этом случае кодируется 2-мерный массив чисел, например, {10, 10, 10, 40, 55, 45, ...}, представляющий собой объединенные яркости опорных LED до следующего закодированного момента времени, или до следующего фиксированного согласованного 10-минутного интервала, и т.д. Трехмерная MAP может содержать намного больше интересных локальных пространственно-временных данных (параметры или реальная локальная пространственно-временная функция), которые могут быть использованы, например, для кодирования эффектов. В первом случае карта содержит только данные измерений, которые могут быть использованы как интересные информативные данные для оптимизации дисплея в отношении, например, вторичной обработки управления его нагревом, тогда как в последнем случае она может направлять или даже требовать управления, например, LED, посредством повторного построения карты фоновой подсветки. Следует отметить, что любая стратегия временной модуляции фоновой подсветки также может быть преобразована в единичное управление HDR (например, для дисплея OLED) и наоборот, поэтому любой вариант осуществления кодирования также может быть применен для (управляемой) вторичной обработки в (пространстве цветов) HDR для управления дисплеем.

Ряд типов HDR-воспроизведения TYPE (изменение освещения сцены ILLUMCHNG, изменение локальной среды съемки ENVCHNG, такие эффекты, как взрывы EXPL и т.д.) также может быть согласован стандартным образом для взаимодействия между производством информационного наполнения и воспроизведением на дисплее, и видео может содержать сценарий, который, если дисплею необходимо или желательно, например, уменьшить фоновую подсветку для экономии электроэнергии (например, в эко-режиме меньшего интереса зрителя), игнорирует эффекты прохождения из темной среды в светлую, но не игнорирует взрывы (или другие или все изменения среды до того, как они начнут искажать взрывы). Или ограничения могут быть наложены на воспроизведение типов освещения сцены и т.д. Дополнительные параметры могут способствовать обработке блоком на стороне дисплея, например, локальная статистика LOCSTATS может показывать, что самая большая проблема слишком высокой яркости пикселей заключается в ограниченной области (окне) кодов яркости пикселей, превышающей 250, что наибольший объем деформации цвета может быть применен для исходных закодированных значений пикселей выше 200, и т.д.

Другой полезный вариант осуществления позволяет определять иерархию временных воспроизведений (например, таких как взрывы). В дополнение к этому может кодироваться уровень важности IMPLEV. Посмотрев на три последовательных взрыва в SCN_EXPL, мы можем увидеть две вещи. Во-первых, множество взрывов после другого взрыва может не иметь достаточно большого влияния на зрителя (и данное влияние будет сильно зависеть от дисплея и среды просмотра, например, в мобильной программе просмотра в светлой окружающей среде было бы лучше, если бы имелось два светлых расположенных на достаточном удалении [может быть, даже с увеличением продолжительности] взрыва, с более глубокой модуляцией темного между ними, чем три практически идентичных связанных взрыва, добавляющих друг к другу только различие в восприятии, чем можно в полной мере насладиться только на высококачественных дисплеях и при лучших условиях просмотра). Во-вторых, может происходить чрезмерное потребление энергии и даже перегрев, когда дисплей работает на пределе при наличии такого большого числа взрывов друг за другом, то есть информационное наполнение видео может не соответствовать физическим ограничениям дисплея.

Взрывы имеют возрастание характеристической яркости (например, средней яркости светящейся области, или яркости выборочной характеристики светящейся области). В исходном диапазоне кодирования входного изображения (или любой его производной) уже может быть недостаточно места для их кодирования. Обычно захваченные яркости вблизи границы диапазона кодирования кодируются прогрессивно нелинейно (мягкое ограничение уровня сигнала). Такая функция может кодироваться совместно или оцениваться на стороне декодирования (или перекодирования), даже если оценка очень приблизительная. В любом случае, конечные яркости для вывода на дисплей могут еще больше отличаться друг от друга, если имеется большой диапазон для эффектов (R_UPEFF). Однако ввиду снижения чувствительности и влияния на человека-зрителя может быть целесообразным дополнительное усиление взрывов, и большое количество последовательных взрывов может больше не помещаться в доступный диапазон R_UPEFF. Полезной концепцией является «хорошо заметное различие» (WND). Оно может быть определено, например, как количество JND, и формировать основу шкалы влияния для кодирования художником. В обработках, которые будут применяться, могут использоваться закодированные влияния, например, в качестве нормативов для количества WND между последовательными взрывами. Это можно сделать через кодирование профиля PROF, или, более явным образом, посредством кодирования разрешенной обработки ALWDPROC, например, тональной компрессии в наиболее светлой половине изображения.

Но, кроме того, уровень важности допускает отбрасывание или серьезное обесцвечивание определенных временных воспроизведений. Поскольку первый и третий взрывы имеют IMPLEV =1, второй имеет IMPLEV=2. Это означает, что он может быть отброшен (или деформирован) для освобождения места в диапазоне яркости с целью обеспечения более оптимального зрительного восприятия для исходного и конечного взрыва. Также, если по другим причинам требуются изменения в воспроизведении, такие как (локальное) затемнение фоновой подсветки, дисплей может начинать с временных интервалов самого высокого уровня важности, например, IMPLEV=3, затем IMPLEV=2, и т.д. С тем чтобы не сократить полностью или не деформировать визуальное влияние второго взрыва, то, что теряется при управлении фоновой подсветкой, может быть частично скомпенсировано путем задания крайне ярких значений пикселей изображения для LCD. Это может выполняться дисплеем автоматически путем приблизительной компенсации LCD-изображения, или может быть явным образом закодировано в конкретных обработках тональной компрессии ALWDPROC. Также визуальное влияние может моделироваться путем локального изменения хроматических параметров изображения LCD или фоновой подсветки, посредством цветовой спецификации COL, которая может содержать, например, различие оттенков для основного объекта или области (в данном случае, взрыва) HM, различие насыщения для основного объекта или области SM, и различие оттенков и насыщения для окружающей области, например, остальной части изображения(-й).

Для основанной на физических ограничениях обработки изображений представляют интерес такие относящиеся к будущей характеристической яркости параметры NXTLD, как время до следующей чрезмерной характеристической яркости DT (например, с прогнозируемым эталонным управлением фоновой подсветкой дисплея выше 80%), продолжительность чрезмерной характеристической яркости DUR, средняя яркость или мощность, затраченная за временной интервал в будущем PAV, и т.д. Такая информация, например, время до интервала измененной характеристической яркости, может быть использована для определения дисплеем временных профилей посредством формульного моделирования, например, человеческого зрения или энергетического поведения дисплея. Например, можно рассчитать профиль затемнения фоновой подсветки на основании полученной первой спецификации загрузки фоновой подсветки, допустим, в ближайшие 30 секунд или 5 минут, и отмасштабировать экспоненциальную функцию на основании, например, количества значений или классов в конечной спецификации.

На фиг. 5 схематически показан типовой вариант осуществления системы для корректора 599 цветов для послесъемочной обработки видеофильмов (или она может функционировать для полуавтоматической аннотации существующего видео), выполненной с возможностью кодирования различных данных аннотации по настоящему изобретению (для краткости не будут описаны все возможности, но специалист может определить их по аналогии, начиная с описанных примеров). Следует отметить, что в принципе также автоматические устройства могут воплощать настоящие варианты осуществления, например, устройство вторичной обработки на дому для оптимизации полученного видеофильма для конкретного дисплея в течение ночи, однако мы приведем в качестве примера концепции человеческого оценивания. Корректор цветов имеет устройство 500 коррекции, которое содержит средства пользовательского ввода 501 для задания различных выборок, параметров и т.д., обычно с помощью кнопок фиксированного назначения, таких как «следующие 10 секунд видео», «показать/скрыть текущую иерархию второстепенных моментов времени», «добавить отметку момента времени», алфавитно-цифровую клавиатуру, вращающиеся кнопки для определения оттенка или расширения временного выбора последовательных ключевых видеоизображений и т.д. Также он имеет несколько дисплеев, эталонный HDR-дисплей 511 и дисплей 512 для временного анализа видеофильма. Например, показан ряд ключевых кадров с предварительно рассчитанным профилем характеристической яркости, и корректор цветов может на основании этого профиля вставлять свои моменты времени, открывать двойным кликом по ним страницу для кодирования дополнительных данных, вводить их тип ILLUMCHNG, и дополнительные данные, такие как статистические параметры, которые могут быть легко получены посредством вспомогательных приложений, запущенных на дополнительных дисплеях, таких как цветовая плоскость. Все автоматические предварительные расчеты выполняются посредством блока 520 анализа изображений, который определяет различные параметры, описанные выше, например, профиль характеристической яркости, при необходимости, исходные моменты времени для изменений в профиле характеристической яркости, исходные кодификации других кодирований, таких как предпочтительные профили, которые должны быть применены на стороне воспроизведения. Корректор цветов может легко принимать или отвергать предложения, и во втором случае выдвигать свои собственные, подаваемые человеком версии. Блок 522 применения применяет все текущие применимые кодирования, и может отправлять их через подблок 5221 просмотра на различные дисплеи (например, выбор оптимальных ключевых изображений в области определенных моментов времени TMA_1, TMI_1, ... для просмотра на дисплее 512, и конечное отображение для просмотра на эталонном HDR-дисплее 511. Одна из кнопок средств пользовательского ввода зарезервирована для быстрого переключения между различными эталонными дисплеями, типичными для дисплеев, находящихся дома у потребителей, например, 500-нитный дисплей, моделируемый дисплеем 511, 1000-нитный дисплей, моделируемый на 511, и т.д. Данное моделирование может содержать несколько (например, самых неблагоприятных) сценариев обработки изображений, которые может потенциально применять конкретный дисплей, таких как эко-режим или повышение резкости. Корректор цветов может затем быстро увидеть результат всех своих решений, осуществлял ли он кодирование в общих чертах единственного указания, которое позволяет дисплею применять все еще сильно меняющийся объем обработки, которая приводит к сильно различающимся конечным воспроизведениям, или же он более четко кодировал множество спецификаций для различных сценариев воспроизведения (например, обычный LDR-дисплей, дисплей среднего диапазона, ... / темное - светлое окружение...), с которыми дисплей должен согласовываться как можно точнее путем выбора наиболее подходящей спецификации. Наконец, кодировщик 524 кодирует все данные в соответствии с произвольным предписанным форматом (например, совместно закодированное видео + сигнал данных NDAT), и отправляет их через выход 530 на соединение 531, например, на запоминающее устройство, из которого они могут быть позднее записаны, например, на BD или DVD, или конечное кодирование (видео + дополнительные данные) затем отправляется отдельно или вместе, например, поставщиком телевизионных услуг через спутник, и т.д. Кодировщик может кодировать моменты времени в предварительно заданных форматах (см. пример ниже), и может дополнительно содержать средство 5241 форматирования указателя стратегии вторичной обработки для кодирования того, что может быть выполнено в области моментов времени на принимающей стороне, в предварительно заданных форматах. Например, кодировщик может в ряде полей (например, 10 зарезервированных полях) записать порядковый номер типа обработки, которая может быть выполнена (например, поле 1= «1» означает линейное снижение текущей планируемой выходной яркости с коэффициентом уклона в поле 2= «x»).

На принимающей стороне блок 600 обработки/декодирования видео (как показано на фиг. 6) может быть встроен, например, в устройство обработки видео, содержащее блок чтения дисков (в примере на фиг. 1 данный блок обработки видео представляет собой ИС 112 в BD-проигрывателе 110, но он также может быть встроен в телевизор, компьютер в домашней сети, соединенный с дисплеем, и т.д.). ИС 112 и/или BD-проигрыватель может формировать в качестве выхода сигнал, подходящий для управления дисплеем, например, кодирование выходного изображения IMOUT, содержащее компонент изображения управления фоновой подсветкой ILIM, и изображение управления LCD LCDIM. Блок обработки видео принимает закодированное видео через вход 640 (например, от устройства считывания BD, подключенного по кабелю ресивера цифрового телевидения и т.д.), и содержит декодер 624, который может декодировать видео (обычно обратно совместимым образом, то есть например, закодированное в соответствии с MPEG-стандартом, таким как AVC), а также дополнительные данные в соответствии с вариантами осуществления настоящего изобретения, такие как моменты времени TMA_1 ... изменений характеристической яркости, и дополнительно задающие кодирование таких временных интервалов и видео в них (тип, статистика видео, применяемые профили отображения и т.д.). Блок 600 декодирования видео обычно также принимает и декодирует информацию, относящуюся к вторичной обработке яркости/цвета в области моментов времени TMA, или задаваемых этими моментами времени или относительно них (например, TMA может определять операцию для гораздо более позднего момента времени). Блок 600 обработки видео может быть выполнен таким образом, что он содержит анализатор 620 видео для выполнения своего собственного анализа декодированного видео VID, для применения своей собственной обработки видео (например, дисплей может предпочесть применение своего собственного конкретного усиления эффекта, даже проигнорировав спецификации профиля по настоящему изобретению, но эта информация может быть по меньшей мере полезной для того, чтобы узнать представляющие интерес моменты времени TMA_1; также может быть применена обработка видео, возможно, менее относящаяся к настоящему изобретению, такая как улучшение структуры травы). Итоговая обработка видео, частично основанная на собственном анализе анализатора 620 видео, и частично на декодированных дополнительных данных DD по любому варианту осуществления настоящего изобретения, выполняется процессором 630 видео, и полученное в результате кодирование видео (обычно, для примера на фиг. 1, изображение управления LCD и LED) отправляется через выход 650 на дисплей. Мы также схематически показали пунктирной линией подсоединенный дисплей 6000 (естественно, способный к декодированию блок 600 обработки видео может быть подсоединен к другому устройству, например, транскодеру или запоминающему устройству и т.д.). В случае подсоединения «интеллектуального» дисплея, блок 600 обработки видео обычно все же будет выдавать большой объем исходной информации DD (даже если он уже создал свой собственный оптимальный видеосигнал), например, спецификацию SPECFUT того, каким образом характеристические яркости будут изменяться по меньшей мере в течение одного или нескольких будущих временных отрезков. Дисплей может использовать эти данные для получения своего собственного конечного сигнала для воспроизведения на своей панели 6001 отображения, например, он может содержать оптимизатор 6002 зрительного восприятия, выполненный с возможностью определения оптимального управления видео в соответствии с предпочтениями дисплея.

Дополнительные данные DD могут быть закодированы в сигнале различными способами. Например, в основном заголовке в начале видео может содержаться большая часть поля, например, список моментов времени TMA_1 ... со спецификой, такой как разрешена ли и какая разрешена обработка телевидению, например, поле, начинающееся с ключевого слова COL, и 4 параметра за ним (от HM до SS). Или DD может содержать композицию линейных сегментов, характеризующую профиль характеристической яркости или другой профиль для будущих изображений, 3D LUT с пространственными положениями и, в качестве третьего измерения, данные точек кривой или разреженный список параметров, и т.д. Но также, например, заголовок изображения или GOP или группы блоков может содержать (обычно, меньше) данных, которые появятся в ближайшем будущем, таких как время до следующего изменения характеристической яркости и тип изменения. Следовательно, данные DD могут быть закодированы внутри того, что можно видеть как видеосигнал VID (например, с использованием в них заданных открытых всеобъемлющих зарезервированных структур данных, таких как SEI), или вне его (например, на отдельном запоминающем устройстве или через отдельный путь передачи сигнала), но как связанные с ним. Данное кодирование может быть использовано, например, в сервисе, в котором идентификатор видео VID (например, название + остальные спецификации, или водяной знак) отправляется поставщику услуг, который затем отправляет дополнительные данные DD или предоставляет доступ к ним. Для других видео, таких как, например, снятое пользователем видео, весь видеосигнал VID может отправляться поставщику, но для этого сценария (где отсутствуют общеизвестные видеоданные, как в случае видеофильма), DD предпочтительно могут храниться (возможно, вне VID, но) в тесной связи VID, например, на том же съемном запоминающем устройстве, если не на одном жестком диске, то в одном и том же сетевом запоминающем устройстве, и т.д. Это будет особенно верно, если одно из собственных устройств потребителя (например, ресивер цифрового телевидения, ноутбук) выполняет анализ видео и предоставляет дополнительные данные DD.

Фиг. 7 подробнее иллюстрирует типовой вариант осуществления того, что происходит математически, когда устройство использует дополнительные данные для получения желаемого воспроизведения видео, а также взаимосвязи между характеристической яркостью и лежащей в ее основе яркости пикселей видеоизображений, и, в частности, их гистограммой. Мы предполагаем для простоты, что входное изображение (гистограмма которого показана внизу графика, в которой яркость пикселей Lin повышается влево от 0 до 255) является закодированным LDR, и имеет единственную светлую область с частичной гистограммой BRLGHT. Данное входное изображение может быть охарактеризовано характеристической яркостью (которая, как говорилось ранее, может быть произвольной формулой пространственных координат/значений для распределения значений пространственных координат и/или яркости (цвета) пикселей входного изображения, которая суммирует то, насколько светлым (физически или сенсорно) является изображение) CHRLUM_i, которая в данном случае показывает, что изображение не очень светлое, поскольку оно находится снизу на оси Lin (возможно, потому, что имеется множество темных пикселей, и светлые области не являются преобладающими, ни по количеству, ни по яркости). Следовательно, данная единичная характеристическая яркость задает изображение, которое является в основном темным, хотя может иметься светлая область (в общем случае может быть использована более сложная характеристика, содержащая дополнительные значения характеристической яркости, описывающие сложность текущего изображения или снимка). Представление данного исходного изображения в пространстве цветов HDR предполагается для управления дисплеем с выходной яркостью Lout (через разложение фоновой подсветки/передачи или без него, то есть Lout, возможно, представляет собой, например, полностью закодированное изображение {0, 65K}, или, альтернативно, гистограмму изображения управления фоновой подсветкой), при этом оно соответствует начальной (исходной, стартовой) характеристической яркости CHRLUM_ini (например, вычисленной по той же формуле, что и для входного изображения на изображении {0, 65K}, получающегося в результате простого отображения, такого как простое растяжение, или с более нелинейной функцией отображения более темных яркостей приблизительно в диапазон стандартного 500-нитного представления [то есть для линейного управления - или скомпенсированного при любом значении гамма - это для 2000-нитного дисплея соответствовало бы некоторой области нижней четверти управляющих значений], и более светлые объекты отображаются на более высокие значения яркости HDR-диапазона). Первоначальное выделение в HDR-диапазоне было смоделировано как Lin* (пример показан для пикселей, не нуждающихся в отклонении/усилении яркости). Однако мы хотим дать дополнительное, например, психовизуальное усиление по меньшей мере для самых светлых яркостей/областей, смещая частичную гистограмму BRLGHT вверх по оси Lout, что соответствует более высокой характеристической яркости CHRLUM_o. Следует отметить, что хотя мы описываем все концептуально связанное с характеристической яркостью для определения изобретения, оно фактически может быть реализовано несколькими различными способами. Обычно обработка изображений будет соответствовать таким операциям, как (локальные) тональные компрессии, (TMO_B), которые обычно изменяются с течением времени (что по меньшей мере частично определяется некоторыми данными, извлеченными из DD), что хорошо видно на второй вертикальной гистограмме для более позднего момента времени (t2), для которого частичная подгистограмма BRLGHT несколько сместилась вниз, что соответствует более низкой характеристической яркости CHRLUM_o(t2) [мы предполагали для простоты, что гистограмма входного изображения в t2 была той же самой, иначе это также отразилось бы на выходной гистограмме, поскольку она обычно представляет собой только меняющуюся как функция от времени стратегию тональной компрессии и дополнительные данные в соответствии с предписанным вариантами осуществления настоящего изобретения]. Как говорилось выше, одни и те же концепции обработки по данному изобретению также могут быть охарактеризованы дополнительно или аналогично путем изучения, например, локальных участков частичных гистограмм SP_I и SP_O, и т.д. (то есть там, где можно было бы вычислить характеристическую яркость, альтернативное представление, измеряющее то же самое, будет эквивалентным). Любой вариант осуществления может быть реализован в единичных упорядоченных операциях, поэтому вторичная обработка должна интерпретироваться как обработка в общем смысле. Следует отметить, что моменты времени TMA_1 и т.д. также могут быть закодированы в видео более плотно (и/или более равномерно), в этом случае некоторым из них будет дан код отсутствия изменения, или по меньшей мере код ALCORR «не разрешено», или аналогичный, поскольку они не представляют собой ничего особенного (но это может быть полезным для получения более подробного описания некоторых связанных с характеристической яркостью или аналогичных свойств, что полезно для управления обработкой во временной близости, например, с энергетической точки зрения, такой как управление фоновой подсветкой). Родственной концепцией является кодирование изменений за некоторое время до того, как они действительно появятся.

Следует понимать, что с использованием описанного в настоящем описании можно реализовать множество воспроизведений оптических эффектов, например, просвечиваний и т.д. Также следует понимать, что настоящее изобретение может быть использовано в связи с единичным кодированием видео VID (например, расширение LDR-кодирования), но также совместно с другими родственными кодированиями (например, вариант LDR и HDR), и затем, например, может быть использовано, чтобы связать их. Например, моменты времени могут указывать особенно интересные временные сегменты сходства или различия, и профили обработки изображения могут быть такими, чтобы связать или сделать их более или менее аналогичными, или вывести новые воспроизведения для них обоих и т.д. по меньшей мере некоторые части дополнительных данных могут быть определены, по меньшей мере частично, на видеоданных, или отдельно от них (хотя обычно будет иметь место некоторая корреляция, человек может предписать некоторую конкретную формулировку). Кроме того, отклонение дополнительных данных, таких как моменты времени и т.д., предпочтительно выполняется начиная с произвольного HDR-сигнала (например, оценки HDR), но также может выполняться - например, как грубая оценка - на основании полученных кодирований видео.

Дополнив настоящее изобретение несколькими вариантами осуществления, мы возвращаемся к фиг. 1, чтобы описать другие возможности конфигурации по приему видео, и обычно, на стороне дисплея. Несколько других устройств может содержать по меньшей мере часть компонентов изобретения и вносить вклад в изобретение, например, устройство 120 приема видео с запоминающим устройством может быть подсоединено через соединение (беспроводное или кабельное) 121. Данное устройство 120 приема видео может применять свой собственный анализ и аннотацию в соответствии с изобретением, например, в автономном режиме в течение ночи для видеопрограммы, скачанной, например, через соединение 122 с Интернетом 130, и предназначенной для последующего просмотра, с целью создания разумной стратегии управления для фоновой подсветки подсоединенного дисплея. Следует отметить, что через Интернет можно получить доступ к компьютерам 131, которые содержат данные аннотации по настоящему изобретению (например, от автономного поставщика услуг), и устройство 120 приема видео даже может соединяться через Интернет с трансляциями с камер LDR или HDR 132.

Фиг. 8 описывает типовую конфигурацию с устройством первой стороны (первая сторона обычно все еще находится в том же месте, что и остальные устройства конфигурации, например, доме потребителя, но, возможно, функционирует в другое время), и устройством второй стороны (например, телевизором). В данном примере мы реализуем устройство первой стороны как устройство 800 обработки изображений с функцией электропитания, например, оно может представлять собой ресивер цифрового телевидения с запоминающим устройством, который может предварительно обрабатывать видеофильм (естественно, это может уже происходить на телевидении, или на стороне обработке где-то в другой части мира и т.д.).

Как описано, например, в US7284874B [Jeong, LED backlight including cooling], дисплеи могут сильно нагреваться, и, особенно если демонстрируется множество светлых изображений, фоновая подсветка может сильно нагреться, в частности, если вентилятор должен работать за пределами своих спецификаций, может стать слишком горячей. Однако можно смоделировать то, каким образом тепло от области фоновой подсветки переносится вследствие конвекции.

Устройство 800 обработки изображений содержит анализатор 801 видео, который выполнен с возможностью анализа видео в отношении тепловых характеристик. То есть обычно он имеет информацию о тепловой модели и влиянии конкретного видео, такого как взрывы или светлые виды сцен вне помещения, на тепловые характеристики, например, предварительно загруженной характеристики дисплея (например, тепловая модель фоновой подсветки подсоединенного телевизора). Мы описываем несколько более простой блок анализа, который только отправляет «общие» временные характеристики, которые принимающая сторона может затем использовать в своем собственном тепловом моделировании, и, альтернативно, блок анализа, который уже в основном определил оптимальную стратегию управления дисплеем для принимающего дисплея. Видеосигнал 820 может содержать два взрыва. Общая временная характеристика может описывать по меньшей мере один такой взрыв - или, в общем случае, будущий профиль яркости - с конкретной функцией моделирования 821. Например, может быть вычислено линейное аддитивное взвешивание характеристических яркостей ряда изображений в будущем (или локальных областей и т.д.). В общем случае такое взвешивание может зависеть (для эталонного дисплея) от продолжительности перегрузки, поскольку предполагается, что для более длинных периодов имеется большая вероятность перегрева. То есть вес продолжающихся дольше взрывов может быть выше (амплитуда вносится заведомо). Весовые коэффициенты могут быть получены, например, от телевизора/второй стороны. В любом случае, телевизор может использовать такую тепловую временную характеристику TEMPREL видео для более надежного определения своих собственных настроек. Например, телевизор, не имеющий в качестве преимущества представленных здесь дополнительных данных, будет выполнять модуляцию своей фоновой подсветки на основании показанного точками профиля 870. Он будет просто выполнять усиление, но должен произвести затемнение наполовину вследствие перегрева. Не имея информации о том, что будет иметь место второе усиление, он будет по тепловым причинам вынужден еще больше ослабить светлоту (делая второй взрыв менее светлым, чем первый, вместо того, чтобы сделать его более светлым). С дополнительными данными дисплей может использовать более интеллектуальную стратегию управления, показанную пунктирным профилем 871 характеристической яркости. То есть он может произвести затемнение менее раздражающим способом в темной части взрыва, и, возможно, немного в первом взрыве, и зарезервировать усиление для второго.

Альтернативно, анализатор 801 видео может моделировать с использованием фактических тепловых моделей то, каким будет эффект реальных (приблизительных) модификаций 822, и предписать их в качестве моделей модификации по меньшей мере для предварительного управления дисплеем. В любом сценарии оптимизатор 850 относящегося к электропитанию управлению дисплеем будет определять итоговое управление дисплеем на основании дополнительных данных DD, которые он получает. Альтернативные варианты осуществления могут задавать дополнительные данные DD, например, изменяющийся со временем сигнал предупреждения, или имеющийся тепловой бюджет, который задает, насколько критично (вероятно), что дисплей будет перегреваться и т.д.

На фиг. 9 представлен типовой вариант осуществления кодирования представленных дополнительных данных в соответствии со структурой SEI для MPEG4-AVC. Мы описываем пример AVC в качестве примера трансляции «создающей информационное наполнение» стороны для стороны воспроизведения информационного наполнения, такой как телевизор потребителя, и пример кодирования CEA 861-D между, например, двумя потребительскими устройствами, такими как BD-проигрыватель и телевизор, и управления возможностями или информирования о возможностях между ними.

MPEG определяет специальный контейнер метаданных специально для дополнительной сигнальной информации, относящейся к закодированному видео. Данный контейнер метаданных называется сообщением дополнительной расширенной информации, сокращенно, сообщением SEI. Сообщение SEI переносится в отдельных блоках данных вместе с видеоданными в потоке (блок SEI NAL 901).

Поток h2.64 построен из блоков NAL (сетевой уровень абстракции). В h2.64 определено несколько различных типов блока NAL, например, блок NAL, который содержит закодированные данные изображения, и блок NAL, который содержит сообщения SEI. Несколько таких блоков NAL совместно формируют блок доступа. В блоке доступа доступны все данные, которые требуются для начала декодирования и представления одного или более кадров видео.

Моменты времени, например, чрезмерно ярких сцен, могут быть описаны с помощью значений PTS (программируемые моменты времени). Значения DTS могут показывать, когда, при наличии достаточного времени, сообщение SEI должно быть закодировано и отослано на подблоки с их использованием.

Синтаксис типового сообщения SEI для переноса спецификатора усиления светлоты HDR 902 может выглядеть следующим образом.

В данном сообщении коды имеют следующее значение:

Маркерный(-е)_бит(-ы): биты для указания начала сообщения SEI

Частота_кадров: частота кадров ассоциированного видео для вычисления значений PTS для системных часов

Начало_PTS: значение PTS первого кадра IDR, который содержит крайне светлые сцены

Конец_PTS: значение PTS последнего кадра IDR, который содержит крайне светлые сцены

HDR_DTS: метка времени, которая указывает, когда должны декодироваться сообщения SEI.

Горизонтальное_положение_области: горизонтальное положение области кадров, которая является крайне светлой.

Вертикальное_положение_области: вертикальное положение области кадров, которая является крайне светлой

Ширина_области: ширина области

Высота_области: высота

Усиление_HDR: код, определяющий, насколько светлыми являются текущие кадры, например, относительно эталонного уровня, который дисплеи могут обрабатывать без перегрева.

В следующем примере приведено сообщение, встроенное в передачу сигналов через интерфейс видео между устройством доставки информационного наполнения видео и дисплеем. Принятыми в настоящее время типовыми стандартами для этого являются HDMI и Displayport. Передача сигналов в обоих стандартах основана на стандарте CEA 861-D. Это задает содержание определяемого поставщиком информационного кадра, которые состоит из нескольких байт, которые могут передаваться в течение периодов гашения обратного хода развертки передачи видео.

Типовой определяемый поставщиком HDMI блок данных HDR может выглядеть следующим образом.

Алгоритмические компоненты, изложенные в данном тексте, могут (полностью или частично) быть реализованы на практике как аппаратное обеспечение (например, как части специализированной ИС) или как программное обеспечение, выполняемое на специальном процессоре цифровых сигналов, или процессоре общего назначения и т.д. Они могут быть полуавтоматическими в том смысле, что может/мог иметь место по меньшей мере некоторый пользовательский ввод (например, на производстве, или ввод потребителем).

Специалисту в данной области техники должно быть понятно на основании нашего описания, какие компоненты могут иметь улучшения при необходимости и какие могут быть реализованы в комбинации с другими компонентами, а также какие (факультативные) этапы способов соответствуют соответствующим средствам устройств, и наоборот. Тот факт, что некоторые компоненты охарактеризованы в изобретении как находящиеся в определенной взаимосвязи (например, на одной фигуре в определенной конфигурации) не означает, что другие конфигурации невозможны в качестве вариантов осуществления того же самого изобретения, излагаемого для патентования в настоящем описании. Также тот факт, что из практических соображений был описан только ограниченный спектр примеров, не означает, что другие варианты не могут попасть в широкий объем формулы изобретения. Фактически, компоненты изобретения могут быть осуществлены в различных вариантах в произвольной последовательности применения, например, все варианты кодировщика могут быть аналогичны или могут соответствовать соответствующим декодерам, и наоборот, и могут кодироваться как конкретные данные сигнала в сигнале для передачи, или дальнейшего использования, такого как координирование, в любой технологии передачи между кодировщиком и декодером и т.д. Термин «устройство» в данной заявке используется в своем самом широком значении, а именно как группа средств, позволяющих реализовать конкретную цель, и может, например, являться (небольшой частью) ИС, или выделенным оборудованием (таким как оборудование дисплея), или может являться частью сетевой системы и т.д. Также предполагается, что термин «конфигурация» будет использоваться в самом широком значении, и он может содержать также в том числе единичное устройство, часть устройства, набор (частей) взаимодействующих устройств и т.д.

Обозначение «компьютерный программный продукт» следует понимать как охватывающее физическую реализацию набора команд, дающих возможность процессору общего назначения или процессору специального назначения, после ряда этапов загрузки (которые могут содержать промежуточные этапы преобразования, такие как трансляцию в промежуточный язык и конечный язык процессора) для ввода команд в процессор, выполнять произвольные характеристические функции по изобретению. В частности, компьютерный программный продукт может быть реализован в форме данных на носителе, таком как, например, диск или лента, данные, присутствующие в памяти, данные, проходящие через сетевое соединение - проводное или беспроводное - или программный код на бумаге. Помимо программного кода, характеристические данные, требующиеся для программы, также могут быть воплощены в форме компьютерного программного продукта. Такие данные могут быть (частично) доставлены любым способом.

Некоторые этапы, требующиеся для функционирования способа, могут уже присутствовать в функциональности процессора или произвольного варианта осуществления устройства по изобретению вместо описанного компьютерного программного продукта или любого блока, устройства или способа, описанных в настоящем описании (со спецификой вариантов осуществления изобретения), такие как этапы ввода и вывода данных, хорошо известные обычно включаемые этапы обработки, такие как стандартное управление дисплеем, и т.д. Мы также испрашиваем защиту для получаемых в результате продуктов и аналогичных продуктов, таких как, например, конкретные новые сигналы, вовлеченные в произвольный этап способов или в любую подчасть устройств, а также любые новые применения таких сигналов и любых соответствующих способов.

Следует отметить, что упомянутые выше варианты осуществления иллюстрируют, а не ограничивают изобретение. Там, где квалифицированному специалисту будет легко представить отображение представленных примеров на другие области формулы изобретения, мы для краткости не упоминали подробно все эти возможности. Помимо комбинаций элементов изобретения, представленных в формуле изобретения, также возможны и другие комбинации элементов. Любая комбинация элементов может быть реализована в форме единственного специализированного элемента.

Не предполагается, что какая либо ссылочная позиция между скобками в пункте формулы изобретения, или какой-либо конкретный символ на чертежах, ограничивают этот пункт. Термин «содержащий» не исключает наличия элементов или аспектов, не представленных в пункте формулы изобретения. Единственное число в описании элемента не исключает присутствия множества таких элементов.

Реферат

Изобретение относится к вычислительной технике. Технический результат заключается в повышении эффективности обработки и/или воспроизведения видео в принимающем устройстве. Способ кодирования видеоданных с расширенным динамическим диапазоном и дополнительных данных, содержащих по меньшей мере один момент времени изменения, указывающий на изменение с течением времени характеристической яркости видеоданных, при этом характеристическая яркость является суммой набора яркостей пикселей в изображении видеоданных, причем способ содержит этапы, на которых формируют на основании видеоданных описательные данные изменения характеристической яркости видео, при этом описательные данные содержат по меньшей мере один момент времени изменения, кодируют и выводят видеоданные; кодируют в дополнительных данных по меньшей мере один указатель разрешенных стратегий вторичной обработки по меньшей мере для яркостей пикселей видеоданных посредством устройства, использующего видеоданные и дополнительные данные, для получения яркостей расширенного динамического диапазона; кодируют и выводят дополнительные данные, содержащие описательные данные. 4 н. и 15 з.п. ф-лы, 9 ил.

Формула