Устройство и способ для преобразования динамического диапазона изображений - RU2640750C2

Чертежи

Показать все 13 чертежа(ей)

Описание

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к преобразованиям динамического диапазона для изображений и, в частности, но не исключительно, к обработке изображений для генерации изображений высокого динамического диапазона из изображений низкого динамического диапазона или для генерации изображений низкого динамического диапазона из изображений высокого динамического диапазона.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

Цифровое кодирование сигналов различных источников становится все более важным в последние десятилетия, так как цифровое представление сигнала и коммуникация все более заменяют аналоговое представление и коммуникацию. Постоянные исследования и разработки продолжается в направлении улучшения качества, которое может быть получено из кодированных изображений и видеопоследовательностей, в то же время сохраняя скорость передачи данных до приемлемых уровней.

Важным фактором для воспринимаемого качества изображения является динамический диапазон, который может быть воспроизведен, когда отображается изображение. Обычно динамический диапазон воспроизводимых изображений имеет тенденцию к существенному уменьшению по отношению к нормальному зрению. Действительно, уровни яркости, возникающие в реальном мире, охватывают динамический диапазон такого размера, как 14 порядков величины, варьируясь от безлунной ночи до прямого наблюдения солнца. Динамический диапазон мгновенной светимости и соответствующий отклик зрительной системы человека может находиться между 10,000:1 и 100,000:1 в солнечные дни или в ночное время (яркие отражения против темных теневых областей). Традиционно динамический диапазон дисплеев был ограничен 2-3 порядками величины, а также датчики имели ограниченный диапазон, например, <10,000:1 в зависимости от приемлемости шума. Следовательно, традиционно можно хранить и передавать изображения в 8-битных гамма-кодированных форматах без введения перцепционно заметных артефактов на традиционных устройствах визуализации. Однако, в попытке записать более точные и живые изображения, были разработаны новые датчики изображений высокого динамического диапазона (HDR), которые способны записывать динамические диапазоны более 6 порядков величины. Кроме того, большинство спецэффектов, расширение компьютерной графики и другая работа на завершающем этапе создания уже регулярно выполняются на более высоких битовых глубинах и с более высокими динамическими диапазонами.

Кроме того, контраст и пиковая светимость известных систем отображения продолжает увеличиваться. В последнее время были представлены новые дисплеи с пиковой светимостью до 3000 кандел/м² и отношениями контраста 5-6 порядков величины («родной» дисплей, среда просмотра будет также влиять на визуализируемое в конечном счете отношение контраста, которое может для дневного просмотра телепрограмм даже падать ниже 50:1). Ожидается, что в будущем дисплеи смогут обеспечить даже более высокие динамические диапазоны и, в частности, более высокие пиковые светимости и отношения контраста. Когда традиционно кодированные 8-битовые сигналы отображаются на таких дисплеях, могут появиться раздражающие артефакты квантования и отсечки. Более того, традиционные форматы видео предлагают недостаточный запас и точность, чтобы передавать обогащенную информацию, содержащуюся в новых HDR изображениях.

В результате, существует растущая потребность в новых подходах, которые позволяют потребителю в полной мере воспользоваться возможностями современных (и будущих) сенсоров и систем отображения. Предпочтительно, представления такой дополнительной информации являются обратно совместимыми, так что унаследованное оборудование по-прежнему может принимать обычные видеопотоки, а новые устройства с возможностями HDR могут в полной мере воспользоваться дополнительной информацией, передаваемой в новом формате. Таким образом, желательным является то, что кодированные видеоданные не только представляют HDR изображения, но также позволяют кодировать соответствующие традиционные изображения низкого динамического диапазона (LDR), которые могут отображаться на обычном оборудовании.

Для того, чтобы успешно внедрить HDR системы и наиболее полно использовать возможности HDR, важно, чтобы принятый подход обеспечивал как обратную совместимость, так и обеспечивал возможность оптимизации или по меньшей мере адаптации к HDR дисплеям. Однако этому внутренне присущ конфликт между оптимизацией для HDR и оптимизацией для традиционного LDR.

Например, типично контент изображения, такие как видеоклипы, будут обрабатываться в студии (градация цветов и отображение тонов) для оптимального проявления на определенном дисплее. Традиционно, такая оптимизация выполнялась для LDR дисплеев. Например, в процессе производства для стандартного LDR дисплея, эксперты по грации цвета будут уравновешивать многие аспекты качества изображения для создания нужного "вида" для основной сюжетной линии. Это может включать балансировку региональных и локальных контрастов, иногда даже сознательно отсечение пикселей. Например, на дисплее с относительно низкой пиковой яркостью, вспышки или яркие блики часто сильно обрезаются, чтобы передать впечатление высокой яркости для зрителя (то же самое происходит для темных теневых деталей на дисплеях с плохими уровнями черного). Эта операция, как правило, выполняется в предположении номинального LDR дисплея, и традиционно дисплеи отклоняются сравнительно мало от таких номинальных LDR дисплеев так как, по существу все потребительские дисплеи являются LDR дисплеями.

Однако если фильм был адаптирован для HDR целевого дисплея, результат был бы совсем другим. Действительно, эксперты по цвету выполняли бы оптимизацию, которая приводила бы к совершенно иному отображению кода. Например, можно не только высвечивать и затенять детали, лучше сохраняемые на HDR дисплеях, но они также могут быть оптимизированы, чтобы иметь различное распределение по тонам средне-серого. Таким образом, оптимальное HDR изображение не достигается простым масштабированием LDR изображения на величину, соответствующую разнице в светимостях точки белого (максимально достижимая яркость).

В идеале, отдельные цветовые градуировки и отображения тонов будет выполняться для каждого возможного динамического диапазона дисплея. Например, одна видеопоследовательность будет для максимальной светимости точки белого 500 кд/м², одна для 1000 кд/м², одна для 1500 кд/м² и т.д. до максимально возможной яркости. Данный дисплей может затем просто выбрать видеопоследовательность, соответствующую его яркости. Тем не менее, такой подход непрактичным, так как требует большого количества видеопоследовательностей, которые должны генерироваться, тем самым увеличивая ресурсы, необходимые для создания этих различных видеопоследовательностей. Кроме того, требуемые функциональные возможности хранения и распределения должны быть существенно увеличены. Кроме того, данный подход ограничит возможный максимальный уровень яркости дисплея до дискретных уровней, тем самым обеспечивая субоптимальную производительность для дисплеев с максимальными уровнями яркости дисплея между уровнями, для которых предоставляются видеопоследовательности. Кроме того, такой подход не позволит использовать будущие дисплеи, разработанные с более высокими максимальными уровнями яркости, чем для видеопоследовательности с наивысшим уровнем яркости.

Соответственно, ожидается, что лишь ограниченное число видеопоследовательностей будет создаваться на стороне предоставления контента, и ожидается, что автоматическое преобразование динамического диапазона будет применяться в более поздних точках в распределительной цепочке к таким видеопоследовательностям, чтобы генерировать видеопоследовательности, подходящие для конкретного дисплея, на котором видеопоследовательность визуализируется. Однако в таких подходах результирующее качество изображения сильно зависит от автоматического преобразования динамического диапазона.

Таким образом, улучшенный подход для поддержки различных динамических диапазонов для изображений и, предпочтительно, для поддержки изображений различных динамических диапазонов был бы полезным.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Соответственно, изобретение стремится предпочтительно уменьшить, облегчить или устранить один или более из указанных выше недостатков поодиночке или в любой комбинации.

В соответствии с одним аспектом данного изобретения предложено устройство обработки изображения, содержащее: приемник для приема сигнала изображения, причем сигнал изображения содержит по меньшей мере первое кодированное изображение и первое опорное значение целевого дисплея, причем первое опорное значение целевого дисплея указывает динамический диапазон первого целевого дисплея, для которого кодировано первое кодированное изображение; процессор динамического диапазона, выполненный с возможностью генерирования выходного изображения путем применения преобразования динамического диапазона к первому кодированному изображению в ответ на первое опорное значение целевого дисплея, и выход для вывода выходного сигнала изображения, содержащего выходное изображение.

Изобретение может позволить системе поддерживать изображения и/или дисплеи различного динамического диапазона. В частности, такой подход может обеспечить возможность улучшенных преобразований динамического диапазона, которые могут адаптироваться к конкретным характеристикам визуализации изображения. Во многих сценариях может быть достигнуто улучшенное преобразование динамического диапазона из LDR в HDR изображения или из HDR в LDR.

В некоторых вариантах осуществления, преобразование динамического диапазона увеличивает динамический диапазон выходного видеосигнала относительно первого кодированного изображения. В некоторых вариантах осуществления, преобразование динамического диапазона уменьшает динамический диапазон выходного видеосигнала относительно первого кодированного изображения.

Динамический диапазон соответствует диапазону визуализации светимости, т.е. диапазону от минимального светового выхода до максимального светового выхода для визуализируемого изображения. Таким образом, динамический диапазон не просто является отношением между максимальным значением и минимальным значением или мерой квантования (например, числом битов), но соответствует фактическому диапазону светимости для визуализации изображения. Таким образом, динамический диапазон может быть диапазоном значений светимости, например, измеряемым в канделах на квадратный метр (кд/м²), что также обозначается как нит. Динамический диапазон, таким образом, является диапазоном светимости от светового выхода (яркости), соответствующего минимальному значению светимости (часто считается абсолютно черным, т.е. без светового выхода) до светового выхода (яркости), соответствующего наивысшему значению светимости. Динамический диапазон может конкретно характеризоваться значением наивысшего светового выхода, также известным как точка белого, светимость точки белого, светимость белого или максимальная светимость. Для LDR изображений и LDR дисплеев точка белого типично равна 500 нит или менее.

Выходной сигнал изображения может быть подан, в частности, на дисплей, имеющий конкретный динамический диапазон, и, таким образом, преобразование динамического диапазона может преобразовывать кодированное изображение из динамического диапазона, указанного опорным значением целевого дисплея, в динамический диапазон дисплея, на котором визуализируется изображение.

Изображение может быть изображением последовательности движущегося изображения, таким как, например, кадр или изображение видеопоследовательности. В качестве другого примера, изображение может быть постоянным фоном или, например, наложенным изображением, таким как графика и т.д.

Первое кодированное изображение может конкретно быть LDR изображением, и выходное изображение может быть HDR изображением. Первый кодированное изображение может конкретно быть HDR изображением, и выходное изображение может быть LDR изображением.

В соответствии с опциональным признаком изобретения, первое опорное значение дисплея содержит светимость точки белого первого целевого дисплея.

Это может обеспечить предпочтительную операцию во многих вариантах осуществления. В частности, это может позволить низкую сложность и/или низкую служебную нагрузку, предоставляя достаточную информацию, чтобы обеспечивать возможность выполнения улучшенного преобразования динамического диапазона.

В соответствии с опциональным признаком изобретения, первое опорное значение целевого дисплея содержит индикацию электрооптической передаточной функции для первого целевого дисплея.

Это может обеспечить предпочтительную операцию во многих вариантах осуществления. В частности, это может позволить низкую сложность и/или низкую служебную нагрузку, обеспечивая достаточную информацию, чтобы обеспечивать возможность выполнения улучшенного преобразования динамического диапазона. Данный подход может, в частности, позволять преобразованию динамического диапазона также адаптироваться к конкретным характеристикам для, например, светимостей среднего диапазона. Например, это может позволить преобразованию динамического диапазона учитывать различия в гамме целевого дисплея и дисплея конечного пользователя.

В соответствии с опциональным признаком изобретения, первое опорное значение целевого дисплея содержит индикацию отображения тона, представляющую отображение тона, используемое для генерирования первого кодированного изображения для первого целевого дисплея.

Это может обеспечить возможность улучшенного преобразования динамического диапазона, которое должно выполняться во многих сценариях, и может, в частности, позволить преобразованию динамического диапазона компенсировать конкретные характеристики отображения тона, выполняемого на стороне создания контента.

В некоторых сценариях, устройство обработки изображения, таким образом, может учитывать как характеристики дисплея, для которого кодированное изображение было оптимизировано, так и характеристики конкретного отображения тона. Это может, например, позволить принимать во внимание субъективные и, например, художественные решения по отображению тона при преобразовании изображения из одного динамического диапазона в другой.

В соответствии с опциональным признаком изобретения, сигнал изображения дополнительно содержит поле данных, содержащее данные управления преобразованием динамического диапазона, и процессор динамического диапазона дополнительно выполнен с возможностью выполнять преобразование динамического диапазона в ответ на данные управления преобразованием динамического диапазона.

Это может обеспечить улучшенную производительность и/или функциональность во многих системах. В частности, это может позволить локализованную и целевую адаптацию к дисплеям конкретного динамического диапазона, все еще позволяя стороне провайдера контента, чтобы сохранить некоторый контроль над результирующими изображениями.

Данные управления преобразованием динамического диапазона могут включать в себя данные, специфицирующие характеристики преобразования динамического диапазона, которое должно и/или может быть применено, и/или они могут специфицировать рекомендуемые характеристики преобразования динамического диапазона.

В соответствии с опциональным признаком изобретения, данные управления преобразованием динамического диапазона включают в себя параметры различных преобразований динамического диапазона для различных максимальных уровней светимости дисплеев.

Это может обеспечить улучшенное управление и/или адаптацию во многих вариантах осуществления. В частности, это может позволить устройству 103 обработки изображений выбирать и применять соответствующие управляющие данные для конкретного динамического диапазона, для которого генерируется выходное изображение.

В соответствии с опциональным признаком изобретения, данные управления преобразованием динамического диапазона содержат различные параметры отображения тона для различных максимальных уровней светимости дисплея, а процессор динамического диапазона выполнен с возможностью определения параметров отображения тона для преобразования динамического диапазона в ответ на различные параметры отображения тона и максимальную светимость для сигнала выходного изображения.

Это может обеспечить улучшенное управление и/или адаптацию во многих вариантах осуществления. В частности, это может позволить устройству 103 обработки изображения выбирать и применять соответствующие данные управления для конкретного динамического диапазона, для которого сгенерировано выходное изображение. Параметры отображения тона могут специально обеспечивать параметры, которые должны, могут или являются рекомендованными для преобразования динамического диапазона.

В соответствии с опциональным признаком изобретения, данные управления преобразованием динамического диапазона содержат данные, определяющие набор параметров преобразования, которые должны применяться к преобразованию динамического диапазона.

Это может позволить стороне провайдера контента сохранять контроль над изображениями, визуализируемыми на дисплеях, поддерживаемых устройством обработки изображения. Это может обеспечивать однородность между различными ситуациями визуализации. Данный подход может, например, позволить провайдеру контента гарантировать, что художественное впечатление от изображения останется относительно неизменным при визуализации на разных дисплеях.

В соответствии с опциональным признаком изобретения данные управления преобразованием динамического диапазона содержат данные, определяющие границы для параметров преобразования, которые должны применяться преобразованием динамического диапазона.

Это может обеспечить улучшенные операции и улучшенный пользовательский опыт во многих вариантах осуществления. В частности, это может во многих сценариях достичь улучшенный компромисс между желанием провайдера контента сохранять контроль над визуализацией его контента, позволяя конечному пользователю настраивать его на свои предпочтения.

В соответствии с опциональным признаком изобретения, данные управления преобразованием динамического диапазона включают в себя данные управления различными преобразованиями для различных категорий изображений.

Это может обеспечить улучшенные преобразованные изображения во многих сценариях. В частности, это может позволить оптимизировать преобразование динамического диапазона для индивидуальных характеристики различных изображений. Например, различные преобразования динамического диапазона могут быть применены к изображениям, соответствующим основному изображению, изображениям, соответствующим графикам, изображениям, соответствующим фону, и т.д.

В соответствии с опциональным признаком изобретения, максимальная светимость динамического диапазона первого целевого дисплея составляет не менее 1000 нит.

Изображение, подлежащее преобразованию, может быть HDR изображением. Преобразование динамического диапазона может преобразовать такое HDR изображение в другое HDR изображение (ассоциированное с дисплеем, имеющим динамический диапазон не менее 1000 нит), имеющее отличающийся динамический диапазон. Таким образом, улучшение качества изображения может быть достигнуто путем преобразования одного HDR изображения для одного динамического диапазона в другое HDR изображения для другого динамического диапазона (который может иметь более высокую или более низкую светимость точки белого).

В соответствии с опциональным признаком изобретения, сигнал изображения содержит второе кодированное изображение и второе опорное значение целевого дисплея, причем второе опорное значение целевого дисплея указывает динамический диапазон второго целевого дисплея, для которого кодировано второе кодированное изображение, причем динамический диапазон второго целевого дисплея является другим, отличным от динамического диапазона первого целевого дисплея, и процессор динамического диапазона выполнен с возможностью применять преобразование динамического диапазона для второго кодированного изображения в ответ на второе опорное значение целевого дисплея.

Это может позволить улучшить выходное качество во многих сценариях. В частности, различные преобразования могут быть применены для первого кодированного изображения и для второго кодированного изображения в зависимости от различий соответствующих целевых дисплеев (и обычно в зависимости от того, как каждый из них связан с желательным динамическим диапазоном выходного изображения).

В соответствии с опциональным признаком изобретения, процессор динамического диапазона изображения выполнен с возможностью генерирования выходного изображения путем комбинирования первого кодированного изображения и второго кодированного изображения.

Это может обеспечить улучшенное качество изображения во многих вариантах осуществления и сценариях. В некоторых сценариях, комбинация может быть комбинацией выбора, где комбинация реализуется просто выбором одного из изображений.

В соответствии с опциональным признаком изобретения, устройство обработки изображения дополнительно включает в себя: приемник для приема сигнала данных от дисплея, причем сигнал данных содержит поле данных, которое содержит индикацию динамического диапазона дисплея для дисплея, причем индикация динамического диапазона дисплея содержит по меньшей мере одну спецификацию светимости; и процессор динамического диапазона выполнен с возможностью применять преобразование динамического диапазона для первого кодированного изображения в ответ на индикацию динамического диапазона дисплея.

Это может позволить улучшение визуализации изображения во многих вариантах осуществления.

В соответствии с опциональным признаком изобретения процессор динамического диапазона выполнен с возможностью выбирать между генерацией выходного изображения как первого кодированного изображения и генерацией выходного изображения как преобразованного изображения первого кодированного изображения в ответ на первое опорное значение целевого дисплея.

Это может позволить улучшение визуализации изображения во многих вариантах осуществления и/или может уменьшить вычислительную нагрузку. Например, если дисплей конечного пользователя имеет динамический диапазон, который очень близок к тому, для которого было сформировано кодированное изображение, улучшенное качество выводимого изображения, как правило, будет достигнуто, если принятое изображение используется непосредственно. Однако, если динамические диапазоны достаточно различны, улучшение качества достигается за счет обработки изображения, чтобы адаптировать его к отличающемуся динамическому диапазону. В некоторых вариантах осуществления преобразование динамического диапазона может быть просто адаптировано для переключения между нулевой операцией (с использованием первого кодированного изображения непосредственно) и применением заранее определенного фиксированного преобразования динамического диапазона, если опорное значение целевого дисплея достаточно отличается от дисплея конечного пользователя.

В соответствии с опциональным признаком изобретения преобразование динамического диапазона включает в себя преобразование гаммы.

Это может позволить генерацию улучшенного выходного изображения во многих вариантах осуществления и сценариях. В частности, это может позволить восприятие улучшенной визуализации цвета и может, например, компенсировать изменения в восприятии цвета, связанные с изменениями яркости областей изображения. В некоторых вариантах осуществления преобразование динамического диапазона может состоять в преобразовании гаммы.

В соответствии с опциональным признаком изобретения устройство обработки изображения дополнительно содержит передатчик данных управления для передачи данных управления динамическим диапазоном к источнику сигнала изображения.

Это может позволить источнику адаптировать сигнал изображения в ответ на данные управления динамическим диапазоном. Данные управления динамическим диапазоном могут конкретно включать индикацию предпочтительного динамического диапазона для изображения и/или индикацию динамического диапазона (например, светимости точки белого и, опционально, EOTF или функцию гаммы) для дисплея конечного пользователя.

Согласно одному аспекту изобретения, предоставляется устройство источника сигнала изображения, содержащее: приемник для приема кодированного изображения; генератор для генерирования сигнала изображения, содержащего кодированное изображение и опорное значение целевого дисплея, указывающее динамический диапазон целевого дисплея, для которого кодировано кодированное изображение; передатчик для передачи сигнала изображения.

Согласно одному аспекту изобретения, предложен способ обработки изображения, содержащий:

прием сигнала изображения, причем сигнал изображения содержит по меньшей мере первое кодированное изображение и первое опорное значение целевого дисплея, первое опорное значение целевого дисплея указывает динамический диапазон первого целевого дисплея, для которого кодировано первое кодированное изображение;

генерацию выходного изображения путем применения преобразования динамического диапазона к первому кодированному изображению в ответ на первое опорное значение целевого дисплея; и

вывод сигнала выходного изображения, включающего в себя выходное изображение.

В соответствии с аспектом настоящего изобретения, предложен способ передачи сигнала изображения, причем способ содержит: прием кодированного изображения, генерацию сигнала изображения, содержащего кодированное изображение и опорное значение целевого дисплея, указывающего динамический диапазон целевого дисплея, для которого кодировано кодированное изображение, и передачу сигнала изображения.

В соответствии с одним аспектом изобретения, предложен сигнал изображения, содержащий по меньшей мере первое кодированное изображение и первое опорное значение целевого дисплея, причем первое опорное значение целевого дисплея указывает динамический диапазон первого целевого дисплея, для которого кодировано первое кодированное изображение.

Эти и другие аспекты, признаки и преимущества настоящего изобретения будут очевидны и объяснены со ссылкой на вариант(ы) осуществления, описанные ниже.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Варианты осуществления настоящего изобретения будут описаны, только в качестве примера, со ссылкой на чертежи, на которых представлено следующее:

Фиг. 1 - иллюстрация примеров элементов системы визуализации изображения в соответствии с некоторыми вариантами осуществления изобретения;

Фиг. 2 - иллюстрация примера элементов устройства обработки изображения;

Фиг. 3 - пример отображения для устройства обработки изображения;

фиг. 4 - пример электрооптической передаточной функции (EOTF) для дисплея;

Фиг. 5 - пример модели для плоскостей презентации в режиме HDMV-2D стандарта Blu-Ray^TM;

Фиг. 6 - пример динамического диапазона обработки для HDR и LDR изображений;

Фиг. 7 - пример отображения для устройства обработки изображения;

Фиг. 8-10 - примеры изображений с различными преобразованиями динамических диапазонов при представлении на том же дисплее;

Фиг. 11 - пример соотношения между значениями светимости и возможными отображениями для устройства обработки изображения;

Фиг. 12 - пример отображения для устройства обработки изображения;

Фиг. 13 - пример отображения для устройства обработки изображения;

Фиг. 14 - структура потока графических данных в соответствии со стандартом Blu-Ray^TM;

Фиг. 15 - пример обработки динамического диапазона изображения и ассоциированное наложенное изображение графики;

Фиг. 16 - пример обработки для динамического диапазона для изображения и графики;

Фиг. 17 - иллюстрация примера элементов устройства обработки изображения;

Фиг. 18 - пример отображения для устройства обработки изображения;

Фиг. 19 - иллюстрация примера элементов устройства обработки изображения;

Фиг. 20 - пример отображения для устройства обработки изображения;

Фиг. 21 - иллюстрация примера элементов дисплея в соответствии с некоторыми вариантами осуществления изобретения;

Фиг. 22 - иллюстрация примера элементов устройства обработки изображения; и

Фиг. 23 - схематичная иллюстрация генерации 8-битового изображения, кодирующего HDR изображение посредством устройства кодирования.

ПОДРОБНОЕ ОПИСАНИЕ НЕКОТОРЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

ФИГ. 1 иллюстрирует пример канала аудиовизуального распространения. В данном примере устройство 101 провайдера контента генерирует сигнал аудиовизуального контента для элемента аудиовизуального контента, такого как, например, фильм, телевизионная программа и т.д. Устройство 101 провайдера контента может специально кодировать аудиовизуальный контент в соответствии с подходящим форматом кодирования и представления цвета. В частности, устройство 101 провайдера контента может кодировать изображения видеопоследовательности элемента аудиовизуального контента в соответствии с подходящим представлением таким как, например, YCrCb. Устройство 101 провайдера контента может рассматриваться как представляющее компанию по производству и распределению, которая создает и осуществляет вещание контента.

Сигнал аудиовизуального контента затем распространяется на устройство 103 обработки изображения через канал 105 распространения. Устройство 103 обработки изображения может быть, например, телеприставкой, находящейся у конкретного потребителя элемента контента, например, персональным видеомагнитофоном, Blu-Ray^TM плеером, сетевым (например, Интернет) потоковым устройством, приемником спутникового или наземного телевидения и т.д.

Аудиовизуальный контент кодируется и распространяется из устройства 101 провайдера контента через среду, которая может, например, состоять из среды пакетированной передачи или коммуникационной среды. Затем он поступает в устройство источника в виде устройства 103 обработки изображения, которое включает в себя функциональные возможности для декодирования и воспроизведения контента.

Следует иметь в виду, что канал 105 распространения может быть любым каналом распространения и через любую среду или с использованием любого подходящего стандарта связи. Кроме того, канал распространения не обязательно должен быть в режиме реального времени, но может включать в себя постоянное или временное хранилище. Например, канал распространения может включать в себя Интернет, спутниковое, кабельное или наземное вещание, мобильную или стационарную сети связи и т.д., или хранилище на физически распределенных средах, таких как DVD или Blu-Ray Disc^TM или карта памяти и т.д.

Устройство 103 обработки изображения связано с дисплеем 107 через коммуникационный канал 109. Устройство 103 обработки изображения генерирует сигнал отображения, представляющий элемент аудиовизуального контента. Таким образом, устройство-источник выполняет потоковую передачу декодированного контента в устройство-приемник, которым может быть телевизор или другое устройство, которое преобразует цифровые сигналы в физическое представление.

Устройство 103 обработки изображения может выполнять, например, алгоритмы повышения качества изображения или обработки сигнала на данных и может специально декодировать и повторно кодировать (обработанный) аудиовизуальный сигнал. Повторное кодирование может конкретно выполняться в другой формат кодирования или представления, иной, чем для принятого сигнала.

Система по фиг. 1 в некоторых вариантах осуществления выполнена с возможностью предоставления видеоинформации высокого динамического диапазона (HDR) на дисплей 107, а в других вариантах осуществления или сценариях выполнена с возможностью предоставления изображения низкого динамического диапазона (LDR) на дисплей 107. Кроме того, в целях обеспечения, например, улучшения обратной совместимости, в некоторых случаях она может иметь возможность обеспечивать одновременно как LDR, так и HDR изображение в зависимости от дисплея, на котором оно отображается. В частности, система имеет возможность передавать/распространять сигналы изображения, относящиеся как к LDR, так и HDR изображениям.

Обычные дисплеи типично используют LDR представление. Как правило, такие LDR представления обеспечиваются трехкомпонентным 8-битовым представлением, относящимся к специфицированным трех основным цветам. Например, представление RGB цветов может быть обеспечено тремя 8-битовыми выборками, относящимися к красному, зеленому и синему основным цветам, соответственно. Другое представление использует один компонент яркости и два компонента цветности, такие как YCrCb). Эти LDR представления соответствуют заданному диапазону яркости или светимости.

HDR в особенности обеспечивает возможность представления значительно более ярких изображений (или областей изображения) соответствующим образом на HDR дисплеях. Действительно, HDR изображение, отображаемое на HDR дисплее, может обеспечить существенно более яркий белый цвет, чем может быть обеспечено соответствующим LDR изображением, представляемым на LDR дисплее. Действительно, HDR дисплей может обеспечить обычно по меньшей мере в четыре раза более яркий белый цвет, чем LDR дисплей. Яркость может специально измеряться относительно самого темного черного, который может быть представлен или может быть измерен по отношению к данному уровню серого или черного.

LDR изображение может конкретно соответствовать определенным параметрам отображения, таким как фиксированное битовое разрешение, относящееся к конкретному набору основных цветов и/или конкретной точке белого. Например, 8 бит могут быть предусмотрены для данного набора RGB основных цветов и, например, точки белого 500 кд/м². HDR изображение представляет собой изображение, которое включает в себя данные, которые должны быть визуализированы выше этих ограничений. В частности, яркость может быть более чем в четыре раза ярче, чем точка белого (например, 2000 кд/м²), или более.

Высокие пиксельные значения динамического диапазона имеют диапазон контраста светимости (наиболее яркая светимость в наборе пикселей, деленная на самую темную светимость), который (много) больше, чем диапазон, который может быть точно отображен на дисплеях, стандартизированных в NTSC и MPEG-2 (с их типичными основными цветами RGB и D65 белым с максимальным уровнем возбуждения [255, 255, 255], опорная яркость, например, 500 нит или ниже). Обычно для такого опорного дисплея 8 битов достаточны для отображения всех значений серого между примерно 500 нит и примерно 0,5 нит (т.е. с диапазоном контраста 1000: 1 или ниже) с визуально малыми ступеньками, в то время как HDR изображения кодируются с более высоким битовым словом, например, 10 бит (которое также захватывается камерой с большей глубиной темного пятна и ЦАП, например, на 14 бит). В частности, HDR изображения, как правило, содержат много пиксельных значений (ярких объектов изображения) выше белого сцены. В частности, некоторые пиксели ярче, чем двукратное значение белого сцены. Это белое сцены в типовом случае может быть приравнено к белому NTSC/MPEG-2 опорного дисплея.

Число битов, используемых для Х HDR изображения, обычно может быть больше или равно числу битов Y, используемых для LDR изображений (X обычно может быть, например, 10 или 12, или 14 битов (на цветовой канал, если используются некоторые из каналов), и Y может быть, например, 8 или 10 битов). Преобразование/отображение может потребоваться, чтобы подогнать пиксели в меньший диапазон, например, при масштабировании со сжатием. Как правило, может использоваться нелинейное преобразование, например, логарифмическое кодирование может кодировать (как сигналы яркости) намного больший диапазон светимости в Х-битовом слове, чем линейное кодирование, за счет того, что разностные ступеньки светимости от одного значения к другому тогда не эквидистантны, но и не требуется, чтобы они были таковыми для зрительной системы человека.

Следует отметить, что разница между LDR и HDR изображениями состоит не только в том, что большее количество битов используется для HDR изображений, чем для LDR изображений. Скорее, HDR изображения охватывают больший диапазон светимости, чем LDR изображения, и, как правило, имеют более высокое максимальное значение светимости, т.е. более высокую точку белого. В самом деле, в то время как LDR изображения имеют точку максимальной светимости (белого), соответствующую не более 500 нит, HDR изображения имеют точку максимальной светимости (белого), соответствующую более чем 500 нит и часто не менее 1000 нит, 2000 нит или даже 4000 нит или выше. Таким образом, HDR изображение не просто использует больше битов соответственно более высокой гранулярности (степени детализации) или улучшенному квантованию, а соответствует большему фактическому диапазону светимости. Таким образом, наиболее яркое возможное пиксельное значение в принципе соответствует светимости/световому выходу, который выше для HDR изображения, чем для LDR изображения. Действительно, HDR и LDR изображения могут использовать то же самое число битов, но при этом значения HDR изображения относятся к большему динамическому диапазону светимости/более яркой максимальной светимости, чем значения LDR изображения (и, таким образом, HDR изображения представляются с более грубым квантованием по шкале светимости).

В идеале, контент, обеспечиваемый устройством 101 провайдера контента, будет захвачен и кодирован с опорой на диапазон светимости, который согласован с диапазоном светимости дисплея 107. Однако в практических системах контент может визуализироваться на разных дисплеях с многими различными характеристиками и/или может кодироваться в соответствии со стандартами, которые основаны на диапазонах светимости, которые отличаются от диапазона светимости конкретного дисплея 107. Кроме того, контент может изначально не захватываться устройством или методом, который точно соответствует диапазону светимости дисплея.

Соответственно, поддержка HDR в системе контента обычно требует некоторого преобразования или конверсии между различными диапазонами светимости. Например, если LDR изображение принято и должно быть представлено на HDR дисплее, то необходимо выполнить конверсию из LDR в HDR. Если принято HDR изображение и должно быть представлено на LDR дисплее, то необходимо выполнить конверсию из HDR в LDR. Такие конверсии обычно довольно сложны и не приравниваются только к простому масштабированию диапазонов светимости, так как такое масштабирование привело бы к изображению, которое воспринималось бы как имеющее неестественный вид. Вместо этого обычно используются сложные преобразования, и эти преобразования часто определяются с использованием термина “отображение тонов”.

В принципе, такие преобразования светимости могли бы выполняться в трех разных местах в системе распространения контента.

Одной опцией является выполнение этого в устройстве 101 провайдера контента. Как правило, это может позволить распространить ту же самую операцию преобразования светимости на множество дисплеев, тем самым позволяя использовать одно преобразование для многих пользователей. Это может позволить и оправдать выполнение сложного, ручного и затратного по ресурсам отображения тонов, например, квалифицированными экспертами по отображению тонов. Действительно, это может обеспечить субъективно оптимизированное изображение для заданного диапазона светимости, часто упоминаемое как художественное отображение тонов. Однако такой подход очень требователен к ресурсам и не представляется возможным для применения к многим дисплеям. Кроме того, отдельный поток изображения требуется для каждого поддерживаемого диапазона светимости, приводя в результате к потребности в очень высоком коммуникационном ресурсе, что является непрактичным для многих систем.

Другая опция состоит в выполнении преобразования светимости в устройстве 103 обработки изображения. Однако поскольку обычный пользователь не является специалистам в преобразованиях светимости и поскольку требуемые усилия делают непрактичным выполнение ручной адаптации (особенно для движущихся изображений, например, видеоклипов, фильмов и т.д.), преобразование предпочтительно должно быть автоматическим. Однако такие преобразования обычно не способны обеспечить оптимальные изображения. В частности, оптимальное преобразование может зависеть от конкретного типа контента, предполагаемых характеристик изображения (например, различные преобразования могут быть подходящими для сцены, задуманной как темная и зловещая, и сцены, которая задумана как темная, только чтобы указывать сцену ночного времени). Или различные преобразования могут быть применены к мультфильмам или новостям. Кроме того, создатель контента может испытывать беспокойство относительно возможного влияния таких автоматических преобразований, и для него может быть нежелательным терять контроль над тем, как контент может быть представлен ​в различных сценариях. Кроме того, оптимальное преобразование будет обычно зависеть от точных характеристик дисплея 107, и преобразование на основе предполагаемого номинального или стандартного дисплея обычно приведет к субоптимальным преобразованиям.

Преобразование может также выполняться в дисплее 107.

В системе по фиг. 1 устройство 103 обработки изображения включает в себя функциональные возможности для выполнения преобразования динамического диапазона светимости на изображении (или наборе изображений, например, видеопоследовательности), принятом от устройства 103 обработки контента, чтобы увеличить его динамический диапазон. В частности, устройство 103 обработки изображения принимает изображение от устройства 101 провайдера контента, затем обрабатывает изображение, чтобы сформировать изображение более высокого динамического диапазона. В частности, принятое изображение может быть LDR изображением, которое преобразуется в HDR изображение путем применения преобразования динамического диапазона светимости, чтобы увеличить динамический диапазон. Затем преобразованное изображение может быть выведено на дисплей 107, который представляет собой HDR дисплей, в результате чего первоначально принятое LDR изображение преобразуется в визуализируемое HDR изображение. Преобразование динамического диапазона может отображать значения светимости (по меньшей мере частично) входного изображения, ассоциированного с одним динамическим диапазоном, в значения светимости (по меньшей мере части) выходного изображения, ассоциированного с отличающимся динамическим диапазоном.

В другом сценарии, устройство 103 обработки изображения может принимать изображение от устройства 101 провайдера контента, а затем обрабатывать изображение для генерации изображения более низкого динамического диапазона. В частности, принятое изображение может быть HDR изображением, которое преобразуется в LDR изображение путем применения преобразования динамического диапазона светимости для уменьшения динамического диапазона. Затем преобразованное изображение может выводиться на дисплей 107, являющийся LDR дисплеем, в результате чего первоначально принятое HDR изображение преобразуется в визуализируемое LDR изображение.

В системе по фиг. 1, преобразование динамического диапазона адаптировано в зависимости от информации, принятой из устройства 101 провайдера контента и/или дисплея 107.

Таким образом, в системе преобразование динамического диапазона является не только локально выполняемой операцией в устройстве 103 обработки изображения, но также может зависеть от характеристик, свойств или информации от устройства 101 провайдера контента и/или дисплея 107.

Сначала система по фиг. 1 будет описана со ссылкой на ситуацию, когда преобразование динамического диапазона основано на информации, предоставленной в устройство 103 обработки изображения из устройства 101 провайдера контента.

Фиг. 2 иллюстрирует пример элементов устройства 103 обработки изображения по фиг. 1.

Устройство 103 обработки изображения содержит приемник 201, который принимает сигнал изображения из устройства 101 провайдера контента. Сигнал изображения содержит одно или более кодированных изображений. Во многих сценариях сигнал изображения может быть видеосигналом, содержащим кодированную видеопоследовательность, т.е. последовательность изображений. Следует иметь в виду, что может быть использовано любое подходящее кодирование изображения(й), в том числе, например, JPEG кодирование изображения, MPEG кодирование видео и т.д. Кодированное изображение представлено пиксельными значениями, которые для каждого пикселя изображения представляют собой соответствующий световой выход для пикселя (или для индивидуального субпикселя цветового канала). Пиксельные значения могут быть обеспечены в соответствии с любым подходящим представлением цветов, таким как, например, RGB, YUV и т.д.

Сигнал изображения, кроме того, содержит опорное значение целевого дисплея, которое указывает динамический диапазон целевого дисплея, для которого кодировано первое кодированное изображение. Таким образом, опорное значение целевого дисплея предоставляет опорное значение для кодированного изображения, которое отражает динамический диапазон, для которого формировалось принятое изображение. Опорное значение целевого дисплея может указывать светимости, для которых было спроектировано отображение тонов в устройстве 101 провайдера контента и, в частности, оптимизировано.

Устройство 101 провайдера контента, таким образом, выполнено с возможностью формирования сигнала изображения, который не только включает в себя само кодированное изображение, но также опорное значение целевого дисплея, которое представляет динамический диапазон дисплея, для которого кодированный сигнал был сгенерирован. Устройство 101 провайдера контента может конкретно принимать кодированное изображение от внутреннего или внешнего источника. Например, изображение может быть обеспечено в результате ручной градации тонов, которая оптимизирует кодированное изображение для конкретного дисплея. Кроме того, устройство 101 провайдера контента может получить информацию о конкретном дисплее, который был использован для оптимизации, например, через информацию о дисплее, которая была автоматически передана в устройство 101 провайдера контента от дисплея (например, устройство 101 провайдера контента может также включать в себя функциональные возможности, необходимые для поддержки ручного отображения тонов, и может быть подключено к целевому/опорному дисплею, используемому для этого отображения тонов). В качестве другого примера, кодированное изображение с отображением тонов может быть получено на носителе, на котором также хранятся свойства соответствующего дисплея. В качестве еще одного примера, устройство 101 провайдера контента может получать информацию о характеристике целевого дисплея с помощью ручного пользовательского ввода.

Устройство 101 провайдера контента в ответ на такую информацию может сформировать сигнал изображения, который включает в себя как кодированное(ые) изображение(я), так и опорное значение целевого дисплея, которое указывает динамический диапазон целевого дисплея, который был использован для отображения тонов. Например, значение данных, соответствующее идентификации светимости точки белого и, опционально, электрооптическая передаточная функция, соответствующая таковой целевого дисплея, может быть включена в сигнал изображения устройством 101 провайдера контента.

Устройство 103 обработки изображения дополнительно содержит процессор 203 динамического диапазона, который применяет преобразование динамического диапазона к принятому кодированному изображению для генерирования выходного изображения с высоким динамическим диапазоном, т.е. которое соответствует большему диапазону выходных светимостей, когда изображение визуализируется. В частности, входное кодированное изображение может быть изображением, которое кодировано для LDR дисплея с точкой белого максимальной светимости 500 нит, и оно может быть преобразовано в выходное HDR изображение с точкой белого максимальной светимости, например, 1000 или 2000 нит. Как правило, преобразование динамического диапазона может также увеличить количество битов, используемых для представления каждого значения, но следует иметь в виду, что это не является существенным, и что в некоторых вариантах осуществления может быть использовано то же самое число битов (или даже еще меньше битов) для выходного изображения, чем для входного изображения. В качестве другого примера, входное кодированное изображение может быть изображением, которое кодировано для HDR дисплея с точкой белого максимальной светимости 2000 нит, и оно может быть преобразовано в LDR выходное изображение с точкой белого максимальной светимости, например, 500 нит. Такое преобразование сокращения динамического диапазона может также включать в себя сокращение числа битов, используемых для пиксельных значений.

Преобразование динамического диапазона выполняется в ответ на опорное значение целевого дисплея и, таким образом, может быть адаптировано, чтобы принимать во внимание не только требуемый диапазон выходной светимости, но также и диапазон светимости, для которого было кодировано принятое изображение. Например, система может адаптировать преобразование динамического диапазона таким образом, что преобразование для генерации выходного изображения для 1000 нит будет отличаться в зависимости от того, генерируется ли входное изображение для изображения с 300 нит или 500 нит. Это может привести к существенно улучшенному выходному изображению.

В самом деле, в некоторых вариантах осуществления входное изображение само может быть HDR изображением, таким как, например, изображение с 1000 нит. Оптимальное преобразование такого изображения, соответственно, в изображение с 2000 нит и изображение с 5000 нит, как правило, будет отличаться, и предоставление опорного значения целевого дисплея может позволить устройству 103 обработки изображения оптимизировать преобразование динамического диапазона для конкретной ситуации, тем самым обеспечивая существенно улучшенное изображение для конкретных характеристик дисплея. В самом деле, если дисплей является дисплеем с 500 нит, преобразование динамического диапазона должно выполнить сжатие динамического диапазона, а не его расширение.

Такие подходы могут быть особенно предпочтительными в неоднородных системах распределения контента, как это, например, все чаще воспринимается для будущих телевизионных систем. Действительно (пиковая) яркость HDR LCD/LED телевизоров в настоящее время быстро растет, и в ближайшее время дисплеи с широким разнообразием (пиковой) яркости, как ожидается, будут сосуществовать на рынке. Более яркие картинки на TV экране выглядят приятнее, и более яркий TV продается лучше в магазине. С другой стороны, дисплеи "невысокого качества" в ноутбуках, планшетных компьютерах и смартфонах также становятся очень популярными и также используются для визуализации, например, телевизионного контента.

Поскольку яркость дисплея (и типично электрооптическая передаточная функция, которая определяет, как дисплей преобразует входные пиксельные (цветовые) значения возбуждения в световые значения, которые затем предоставляют конкретное психовизуальное впечатление для зрителя) не известна на стороне генерации контента (и которая, кроме того, как правило, отличается от опорного монитора, для которого предназначался/градуировался контент), становится сложным обеспечить лучшее/оптимальное качество картинки на дисплее. Кроме того, в то время как некоторые вариации в яркости дисплея, возможно, существовали в прошлом, такая вариация было относительно малой, и предположение об известной фиксированной яркости не вносит существенных ухудшений (и часто может быть скомпенсировано вручную пользователем, например, путем настройки яркости и/или контраста дисплея).

Однако, в связи с существенным увеличением разнообразия дисплеев (смартфоны, планшеты, ноутбуки, PC мониторы, CRT дисплеи, традиционные LCD телевизоры и яркие HDR дисплеи), характеристики (особенно яркость и контраст) дисплеев, используемых для визуализации, демонстрируют огромный разброс. Например, контраст и пиковая светимость известных высококачественных систем отображения постоянно растет, и новые опытные образцы дисплеев разрабатываются с пиковой светимостью до 5000 кд/м² и отношениями контраста 5-6 порядков величины. С другой стороны, дисплеи, используемые, например, в смартфонах и планшетах, становятся все более и более популярным, но имеют относительно низкие характеристики.

Как упоминалось ранее, контент, например, видео для фильмов и т.д., обрабатывается на стороне создания контента, чтобы обеспечить желательные визуализированные изображения. Например, когда фильм выпускается для общего распространения (например, на DVD или Blu-Ray^TM), производитель/студия обычно адаптирует и настраивает изображения для оптимального представления на конкретном дисплее. Такой процесс часто называется градацией цвета и отображением тона. Отображение тона можно рассматривать как нелинейное отображение значения сигнала яркости входного пикселя на значение сигнала яркости выходного пикселя. Отображение тона выполняется для того, чтобы согласовать видео с характеристиками дисплея, условиями просмотра и субъективными предпочтениями. В случае локального отображения тона, обработка изменяется в зависимости от положения пикселя в изображении. В случае глобального отображения тона, та же обработка применяется для всех пикселей.

Например, при преобразовании контента, чтобы быть пригодным для общего распространения потребителям, отображение тона часто выполняется для обеспечения желательного выхода на стандартном LRD дисплее. Это может быть выполнено вручную экспертами по градации цветов, которые обеспечивают баланс многих аспектов качества изображения для создания желательного "вида" для основной сюжетной линии. Это может включать балансировку регионального и локального контраста, иногда даже осознанную вырезку пикселей. Таким образом, как правило, отображение тона на данном этапе - это не просто обычное автоматизированное преобразование, но и, как правило, ручное, субъективное и часто художественное преобразование.

Если контент градуировался для целевого HDR дисплея, а не для целевого LDR дисплея, результат отображения тонов, как правило, будет сильно отличаться. Таким образом, если просто визуализировать видеоконтент, кодированный для LDR дисплея, на HDR дисплее, то получаемые изображения будут существенно отличаться от оптимального изображения. Аналогичным образом, если изображение, оптимизированное как HDR изображение, просто отображается на LDR дисплее, то может возникнуть значительное воспринимаемое снижение качества изображения.

Эта проблема в системе по фиг. 1 решается тем, что преобразование динамического диапазона выполняется в устройстве 103 обработки изображения, но основывается на информации, полученной предпочтительно как от устройства 101 провайдера контента, так и от дисплея 107. Таким образом, преобразование динамического диапазона (в частности, алгоритм отображения тона) может быть адаптировано, чтобы учитывать характеристики отображения тонов, которое выполнялось в устройстве 101 провайдера контента и для конкретного диапазона светимостей дисплея 107. В частности, отображение тонов, выполняемое в устройстве 103 обработки изображения, может зависеть от целевого дисплея, для которого выполняется отображение тонов на стороне генерации контента.

Устройство 101 провайдера контента обеспечивает опорное значение целевого дисплея для устройства 103 обработки изображения (либо отдельно, либо в комбинации с кодированным изображением, то есть сигнал изображения может быть выполнен из двух отдельных передач данных). Опорное значение целевого дисплея может конкретно включать в себя или представлять собой светимость точки белого целевого дисплея.

Например, для системы относительно низкой сложности, устройство 101 провайдера контента может просто передать индикацию светимости точки белого целевого дисплея для каждого кодированного изображения (видео), которое было кодировано. Например, могут быть переданы данные, которые указывают количество нит, доступное в целевом дисплее. Преобразование динамического диапазона может затем адаптировать преобразование на основе количества нит. Например, если устройство 103 обработки изображения выполняет преобразование динамического диапазона для генерации выходного изображения для дисплея с 2000 нит, то знание того, является ли входной сигнал изображения отображаемым по тонам на дисплей с 500 нит или на дисплей с 1000 нит, может быть использовано, чтобы оптимизировать преобразование динамического диапазона, выполняемое в устройстве 103 обработки изображения. В обоих сценариях преобразование динамического диапазона может применять нелинейное преобразование, но это нелинейное преобразование может иметь различные характеристики для двух сценариев, т.е. в зависимости от точки белого целевого дисплея, используемого для отображения тонов на стороне предоставления контента.

Например, может быть выполнено следующее отображение между пикселями приятого LDR изображения, отображенного по тонам для целевого дисплея с 500 нит, и пикселями выходного HDR изображения для дисплея конечного пользователя с 2000 нит:

0-200 нит → 0-200 нит

200-300 нит → 200-600 нит

300-400 нит → 600-1000 нит

400-500 нит → 1000-2000 нит

Однако для целевого дисплея с 1000 нит вместо этого может быть выполнено следующее отображение:

0-200 нит → 0-200 нит

200-700 нит → 200-1000 нит

700-1000 нит → 1000-2000 нит

Таким образом, с точки зрения относительных значений (в процентах от полного отображения), два различных отображения могут быть такими, как показано на фиг. 3, где отношение между процентом уровня белого для входного изображения на оси х по отношению к проценту уровня белого для выходного изображения на оси y показано, соответственно, для целевого дисплея 301 с 500 нит и целевого дисплея с 1000 нит. В этом примере два совершенно разных нелинейных отображения тонов применяются для того же самого пользовательского дисплея в зависимости от целевого опорного дисплея, который был использован/предполагался на стороне предоставления контента.

Следует понимать, что те же самые отображения могут использоваться для отображения из оптимизированного для 2000 нит изображения на оптимизированное для 500 или 1000 нит изображение путем перестановки осей (соответствует применению отображения инверсного тому, что описано выше). Следует также иметь в виду, что отображение, например, оптимизированного для 500 нит изображения может быть адаптировано в зависимости от того, является ли входное изображение оптимизированным для 1000, 2000 или 4000 нит изображением.

В некоторых вариантах осуществления опорное значение целевого дисплея может альтернативно или дополнительно содержать индикацию электрооптической передаточной функции для целевого дисплея. Например, может быть включена индикация гаммы для целевого дисплея.

Электрооптическая передаточная функция (EOTF) дисплея описывает отношение между входным (возбуждающим) значением яркости (Υ') и выходной светимостью (Y) для дисплея. Эта функция преобразования зависит от многих характеристик дисплея. Также пользовательские настройки, такие как яркость и контраст, могут иметь большое влияние на эту функцию. Фиг. 4 показывает типичный пример EOTF для 8-битового (256 уровней) входного значения.

Передача EOTF целевого дисплея может обеспечить полезную характеристику целевого или опорного дисплея, используемого для генерации кодированного изображения или видео. Эта характеристика может быть использована в устройстве 103 обработки изображения для адаптации преобразования динамического диапазона к различиям между характеристиками целевого дисплея и дисплея конечного пользователя. Например, преобразование динамического диапазона может включать в себя компенсацию, которая инвертирует отношение между EOTF целевого/опорного дисплея и дисплея конечного пользователя.

Следует иметь в виду, что существует множество способов, чтобы характеризовать EOTF. Одна из возможностей заключается в предоставлении набора значений выборок EOTF. Устройство 103 обработки изображения может затем интерполировать между точками выборки, например, с помощью простой линейной интерполяции. Другая возможность заключается в создании конкретной модели поведения шкалы серого/контраста дисплея, по меньшей мере для части диапазона дисплея. В качестве другого примера, устройство 101 провайдера контента может передать конкретную математическую функцию, характеризующую EOTF. В некоторых сценариях, может быть предварительно определен набор целевых дисплеев с ассоциированными параметрами модели/функции, сохраненными локально в устройстве 103 обработки изображения. В этом случае устройство 101 провайдера контента может передать только идентификационный код целевого дисплея в устройство 103 обработки изображения.

В качестве еще одного примера, базовая математическая функция может быть заранее определена, и индикация целевого дисплея может включать в себя параметры для адаптации предопределенной функции, чтобы описать EOTF конкретного целевого дисплея. Например, EOTF может быть охарактеризована с помощью функции гаммы, используемой для обычных дисплеев, и индикация целевого дисплея может обеспечить конкретную гамму для целевого дисплея.

Во многих системах индикация целевого дисплея может содержать или состоять в максимальной светимости и гамме целевого дисплея. Таким образом, в частности, характеристика EOTF может быть обеспечена двумя значениями, а именно гаммой и точкой белого/максимальной светимостью. Последующие описания будут сфокусированы на таком сценарии.

Описание также будет фокусироваться на вариантах осуществления изобретения, где система распределения соответствует стандарту Blu-Ray^TM. Blu-Ray^TM является семейством форматов распределения аудио/видео/данных на основе технологии оптических дисков. BD-ROM^TM является аббревиатурой формата Blu-Ray Disc Read-only. Этот формат в основном используется для распространения видео высокой четкости (2D и 3D) и высококачественного аудио.

BD-ROM^TM плеер включает в себя два режима работы: HDMV и BD-J. В любой момент времени плеер находится либо в режиме HDMV, либо в режиме BD-J. Blu-Ray^TM плееры профиля 5 характеризуются визуализацией 3D стереоскопического видео/графики, вслед за стандартной визуализацией 2D видео/графики. В качестве примера на фиг. 5 показана модель для плоскостей представления в режиме HDMV-2D.

В качестве конкретного примера системы по фиг. 1, сигнал изображения может быть видеосигналом, кодированным на BDROM^TM, и, таким образом, устройство 103 обработки изображения может быть конкретно Blu-Ray^TMплеером. Кодированное видео может быть первичным или опционально вторичным видеоконтентом на диске. Основное видео типично является фильмом в 2D или, возможно, в 3D стереоскопическом формате.

Для того чтобы достичь оптимального качества изображения в системе BDROM^TM, система по фиг. 1 использует расширение спецификации BDROM^TM, что позволяет передачу параметров целевого дисплея. Эти данные вместе с предполагаемой или фактической информацией о дисплее конечного пользователя затем используются BDROM^TM плеером, чтобы выполнить преобразование динамического диапазона. В частности, BDROM^TM плеер (устройство 103 обработки изображения) может выполнять дополнительное отображение тона видео или другую обработку в зависимости от характеристик целевого дисплея и/или дисплея конечного пользователя.

Одной опцией для передачи информации о параметрах целевого дисплея является встраивание данных, указывающих значения этих параметров, в BDROM^TM данные на диске. Для этого может использоваться структура данных расширения в файле списка воспроизведения (xxxxx.mpls). Эта структура данных расширения будет иметь уникальную новую идентификацию. Несовместимые унаследованные BDROM^TM плееры будут не осведомлены о новой структуре данных и будут просто игнорировать ее. Это будет гарантировать обратную совместимость. Возможная реализация синтаксиса и семантики такого дескриптора целевого дисплея (Target_Display_descriptor) показана ниже.

В этом примере Abs_Max_Luminance является параметром со значением, например, от 0 до 255, который указывает абсолютную максимальную светимость/точку белого целевого дисплея согласно соотношению:

Абсолютная максимальная светимость в кд/м²=

Abs_Max_Luminance[бит0-4]x10^{Abs_Max_Luminance[бит5-7]}

Следует иметь в виду, что могут быть, конечно, использованы и другие количества битов для мантиссы или экспоненты.

Гамма является параметром со значением, например, между 0 и 255, который указывает гамму целевого дисплея в соответствии с:

Гамма EOTF целевого дисплея =гамма/25.

Таким образом, в этом примере опорное значение целевого дисплея предоставляется в устройство 103 обработки изображения посредством BDROM^TM, включая абсолютную максимальную светимость и значение гаммы для целевого дисплея, для которого был генерирован видеосигнал. Устройство 103 обработки изображения затем использует эту информацию при выполнении автоматического преобразования динамического диапазона, чтобы увеличить или уменьшить динамический диапазон входного видеосигнала для дисплея конечного пользователя более высокой/более низкой светимости.

Следует иметь в виду, что возможны многие различные преобразования динамического диапазона и что могут использоваться многие различные способы адаптации таких преобразований динамического диапазона на основе опорных значений целевого дисплея. В дальнейшем приведены различные примеры, но следует понимать, что другие подходы могут быть использованы в других вариантах осуществления.

Во-первых, разница в оптимальном отображении заданного исходного изображения на соответствующее LDR и HDR изображение может быть проиллюстрирована с помощью фиг. 6, которая показывает пример различного отображения тонов, которое может использоваться для LDR дисплея (нижняя часть чертежа) и HDR дисплея (верхняя часть чертежа). Исходное изображение является одинаковым для LDR и HDR. Гистограмма этого изображения показана в левой части фиг. 6. Это показывает, что большинство пикселей имеют значения яркости в нижнем среднем диапазоне. Гистограмма также показывает второй, малый пик при высоких значениях яркости (например, передние фары автомобиля или фонарик).

В этом примере отображение тонов представлено тремя последовательными этапами обработки:

Отсечение: отображение значений яркости в низком и высоком диапазоне на ограниченное число выходных значений яркости.

Растяжение: Адаптация динамического диапазона до желательного динамического диапазона яркости.

Яркость: Адаптация среднего уровня светимости для оптимальной яркости.

В случае LDR, диапазон яркости отображается на диапазон светимости LDR дисплея. Динамический диапазон исходного изображения гораздо больше, и, таким образом, исходное изображение сильно обрезается, чтобы приспособить его для ограниченного динамического диапазона дисплея.

В случае HDR (верхняя часть чертежа) отсечение может быть менее сильным, потому что динамический диапазон дисплея на порядок величины больше, чем для LDR дисплея.

Фиг. 6 показана гистограмма после каждого этапа обработки, а также гистограмма изображения, показанного на LDR и HDR дисплее, соответственно. В частности, правые гистограммы иллюстрируют LDR изображение, отображенное по тонам, показанное на HDR дисплее, и наоборот. В первом случае изображение будет слишком ярким, и значения яркости низкого и высокого диапазона потеряют слишком много деталей. Во втором случае изображение будет слишком темным, и значения яркости среднего диапазона потеряют слишком много деталей и контраст.

Как видно, простое представление (масштабированной по светимости версии) оптимизированного для LDR изображения на HDR дисплее (или наоборот) может существенно снизить качество изображения, и поэтому устройство 103 обработки изображения может выполнять преобразование динамического диапазона для увеличения качества изображения. Кроме того, поскольку оптимизация, выполняемая в студии, сильно зависит от характеристик дисплея, для которого выполняется оптимизация, оптимальное преобразование динамического диапазона, выполняемое с помощью устройства 103 обработки изображения, не только зависит от дисплея конечного пользователя, но также зависит от опорного дисплея. Соответственно, опорное значение целевого дисплея, предоставляемое в устройство 103 обработки изображения, позволяет устройству 103 обработки изображения выполнять желаемое преобразование динамического диапазона не только на основе предполагаемых или известных характеристик дисплея конечного пользователя, но и на основе действительного дисплея, используемого на стороне провайдера контента. В самом деле, можно считать, что предоставление опорного значения целевого дисплея позволяет устройству 103 обработки изображений частично или полностью реверсировать некоторое из отображения тонов, выполняемого на студийной стороне, тем самым позволяя оценивать характеристики исходного изображения. На основе этой оценки, устройство 103 обработки изображения может тогда применить желательное отображение тонов, оптимизированное для конкретных характеристик динамического диапазона HDR дисплея конечного пользователя.

Следует иметь в виду, что устройство 103 обработки изображения, как правило, не стремится выполнять конкретное инверсное отображение тона, чтобы восстановить исходный сигнал с последующим отображением тона, подходящим для конкретного дисплея конечного пользователя. В самом деле, как правило, преобразование динамического диапазона не будет предоставлять достаточную информацию для выполнения такого инверсного отображения тонов, и отображение тонов, осуществляемое провайдером контента, часто может быть частично необратимым. Однако устройство 103 обработки изображения может выполнять преобразование динамического диапазона, которое стремится адаптировать принятое изображение посредством преобразования динамического диапазона, которое обеспечивает результат, который может быть (возможно, очень грубой) аппроксимацией более теоретической операции инверсного отображения тонов, чтобы генерировать исходное изображение с последующим оптимизированным отображением тонов исходного изображения в определенный желательный динамический диапазон. Таким образом, устройство 103 обработки изображения может просто применить, например, простое отображение от значений яркости входа в преобразование динамического диапазона на соответствующие значения яркости на выходе этого преобразования. Однако это отображение не только отражает желательное отображение тонов исходного изображения для данного дисплея конечного пользователя, но и зависит от фактического отображения тона, уже выполненного в устройстве 101 провайдера контента. Следовательно, устройство 103 обработки изображения может использовать преобразование динамического диапазона для адаптации применяемого преобразования, чтобы учитывать и адаптироваться к отображению тонов, которое уже было выполнено.

В качестве примера, устройство 103 обработки изображения может быть выполнено с возможностью предоставления выходного изображения для отображения на HDR изображении с заданной максимальной светимостью (например, 4000 нит). Принятое изображение/видео может отображаться по тонам для LDR дисплея с 500 нит. Это отображение тонов, таким образом, оптимизировало изображение для данной максимальной светимости и гаммы. В качестве конкретного примера, функция гаммы может быть такой, как кривая 701 на фиг. 7, а полученное изображение при представлении на дисплее с 500 нит может быть таким, как на фиг. 8.

Когда это изображение должно быть представлено на HDR дисплее, например, с 4000 нит, часто желательно, чтобы световой выход для темных участков существенно не изменялся, в то время как световой выход для ярких участков должен увеличиваться очень существенно. Таким образом, требуются очень разные отношения между (линейными) значениями светимости и фактическими значениями возбуждения. В частности, существенно улучшенное изображение было бы получено для HDR изображения, если бы использовалась кривая 703 отображения по фиг. 7, то есть, если бы более высокая гамма была применена при отображении тонов на стороне контента. Однако это более высокое отображение на дисплее с 500 нит будет приводить в результате к изображениям, которые кажутся слишком темными, как показано на фиг. 9.

В системе, устройство 103 обработки изображения получает информацию о значении гаммы для целевого дисплея на стороне контента и может, таким образом, получить кривую 701. Кроме того, известна желательная кривая 703, так как она зависит от динамического диапазона дисплея, для которого сгенерировано выходное изображение (которая, например, может быть предоставлена устройству 103 обработки изображения от дисплея 107 или может быть предполагаемой/предопределенной). Таким образом, устройство 103 обработки изображения может применить преобразование к каждому значению светимости пикселя соответственно конверсии от кривой 701 к кривой 703. Таким образом, устройство 103 обработки изображения может продолжить использовать опорное значение целевого отображения, предоставленное от устройства 101 провайдера контента, чтобы применять преобразование динамического диапазона, которое конвертирует сгенерированный выходной сигнал из подходящего для LDR дисплея в подходящий для HDR дисплея.

Следует иметь в виду, что те же соображения могут применяться при выполнении преобразования динамического диапазона, чтобы уменьшить динамический диапазон. Например, если принятый контент должен отображаться на низкокачественном, с низкой светимостью дисплее, таком как дисплей мобильного телефона, предпочтительная гамма для кривой отображения может быть, как указано кривой 705 на фиг. 7, т.е. может быть предпочтительной гамма меньше единицы. При представлении на обычном LDR с 500 нит, соответствующее изображение казалось бы слишком ярким и имеющим слишком малый контраст, как указано на фиг. 10, и реально сценарий был бы еще хуже для HDR дисплея.

Таким образом, если устройство 103 обработки изображения генерирует изображение для такого дисплея низкой яркости, оно может действовать, чтобы выполнять преобразование динамического диапазона, которое уменьшает динамический диапазон путем регулировки значений светимости для различий в гамме между кривой 701 и 705.

В качестве другого примера, если устройство 101 провайдера контента обеспечивает изображение, предназначенное для дисплея низкой яркости/динамического диапазона и, соответственно, изображение, которое кодировано в соответствии с кривой 705, устройство 103 обработки изображения может использовать знание

этой гаммы, представленной преобразованием динамического диапазона, для преобразования принятых значений в значения, подходящие либо для дисплея с 500 нит, путем адаптации с учетом разницы между кривыми 705 и 701, либо для дисплея с 4000 нит путем адаптации с учетом разницы между кривыми 705 и 703.

Таким образом, предоставление преобразования динамического диапазона, указывающего максимальную светимость/светимость точки белого и значение гаммы, предполагаемой для целевого дисплея, позволяет устройству 103 обработки изображения преобразовывать принятое изображение к значению гаммы, подходящему для значения светимости конкретной яркости дисплея, на котором должно быть визуализировано изображение.

В некоторых системах опорное значение целевого дисплея может содержать индикацию отображения тона, представляющую отображение тона, используемое для создания первого кодированного видеопотока для первого целевого дисплея.

В некоторых системах опорное значение целевого дисплея может непосредственно предоставлять информацию о некотором конкретном отображении тонов, которое выполнялось на стороне провайдера контента. Например, опорное значение целевого дисплея может включать в себя информацию, определяющую светимость точки белого и гамму, для которых генерировалось LDR (или HDR) изображение, т.е. дисплей, для которого было выполнено отображение тонов. Однако, кроме того, опорное значение целевого отображения может обеспечивать некоторую конкретную информацию, которая определяет, например, часть информации, потерянной при отображении тонов, которое выполнялось на стороне провайдера контента.

Например, в примере на фиг. 6, LDR изображение, отображенное по тонам, соответствующее обрезанному изображению, может быть принято устройством 103 обработки изображения. Устройство 103 обработки изображения может применить преобразование динамического диапазона, которое отображает его на соответствующий динамический диапазон, и нелинейное отношение на основе информации о гамме целевого дисплея и точке белого. Однако чтобы обеспечить улучшенную адаптацию, сильное отсечение, использованное для LDR изображения, должно предпочтительно переводиться в менее сильное отсечение (или даже в некоторых сценариях в отсутствие отсечения). Соответственно, устройство 101 провайдера контента может предоставить дополнительную информацию, которая идентифицирует конкретное отсечение, которое было выполнено для LDR изображения провайдером контента, тем самым позволяя частично или полностью реверсировать отсечение. Например, преобразование динамического диапазона может определить диапазон, который был отсечен, и устройство 103 обработки изображения может соответственно распределять отсеченные значения в этом диапазоне в соответствии с подходящим алгоритмом (например, идентифицирующим область отсеченных значений (например, вспышки) и генерирующим увеличивающуюся яркость к центру этой области).

Преобразование динамического диапазона может альтернативно или дополнительно предоставить информацию, которая определяет дополнительное отображение тонов, которое было выполнено на стороне провайдера контента. Например, относительно стандартное отображение тонов может быть выполнено для большинства изображений фильма или другой видеопоследовательности. Устройство 103 обработки изображения может, на основе гаммы и светимости точки белого, конвертировать такое отображенное по тонам изображение в изображение желательного (более высокого или более низкого) динамического диапазона, используя преобразование динамического диапазона, которое предполагает стандартное отображение тонов на стороне провайдера контента. Однако для некоторых изображений провайдер контента, возможно, осуществляет специальное и субъективное отображение тонов. Например, сортировщику цветов может быть желательным конкретный художественный эффект или качество некоторых изображений, например, плавный переход тонов или оттенок цвета для темных изображений напряженной ситуации (скажем, в фильме ужасов) или специфический эффект для подобных сну сцен. Это отображение тонов может характеризоваться данными в опорном значении целевого дисплея, тем самым позволяя устройству 103 обработки изображения адаптировать преобразование динамического диапазона для конкретного отображения тонов, которое было применено.

Таким образом, в частности, в некоторых сценариях выполняется дополнительное/модифицированное отображение тонов на стороне провайдера контента для генерации конкретного вида, так что изображение модифицируется по отношению к тому, что можно было бы ожидать при фиксированной адаптации к чисто электрооптическому поведению целевого дисплея. Данные, предоставляемые устройством 101 провайдера контента, могут определять желательный вид по сравнению с опорным дисплеем, и это может использоваться устройством 103 обработки изображения, чтобы фактически генерировать требуемое оптическое поведение с учетом всех факторов (например, в то время как слепое кодирование во входном сигнале могло бы случайно закончиться ниже отраженного окружающего света, так что оно больше не сможет быть скомпенсировано в соответствии с режимом кодирования на стороне провайдера контента).

В качестве примера, если известно, что гамма целевого дисплея является низкой для более темных значений, то для такого (опорного) дисплея можно точно настроить внешний вид, скажем, сцен ужасов. Например, изображение может быть скомпенсировано за счет дополнительного форсирования светимости так, что изображение по-прежнему представляется темным, но по меньшей мере с некоторой еще видимой структурой объекта.

В качестве примера, вместе с гаммой и светимостью точки белого опорной цели, сортировщик цветов на стороне предоставления контента может обеспечить некоторую (дополнительную) информацию о художественном впечатлении определенных областей и/или изображений. Например, при заданной EOTF, провайдер контента может указать, что для определенной области желательно увеличение яркости для лучшей видимости или снижение контрастности, чтобы обеспечить неясное представление и т.д. Таким образом, вместе с EOTF (например, представленной гаммой и светимостью точки белого) опорное значение целевого дисплея может указывать границы локального/частичного диапазона светимости дисплея и обеспечивать данные преобразования динамического диапазона, которые обеспечивают более точную информацию о предпочтительном распределении уровней серого для него.

В некоторых вариантах осуществления процессор (203) динамического диапазона может быть выполнен с возможностью выбора между генерацией выходного изображения как принятого кодированного изображения и генерацией выходного изображения как преобразованного изображения первого кодированного изображения в ответ на опорное значение целевого дисплея.

В частности, если светимость точки белого, указанная опорным значением целевого дисплея, достаточно близка к светимости точки белого дисплея конечного пользователя, то преобразование динамического диапазона может просто состоять в не выполнении какой-либо обработки на принятом кодированном изображении, то есть входное изображение может просто быть использовано в качестве выходного изображения. Однако, если светимость точки белого, указанная опорным значением целевого дисплея, отличается от светимости точки белого дисплея конечного пользователя, то преобразование динамического диапазона может изменить принятое изображение в соответствии с подходящим отображением пикселей принятого изображения на пиксели выходного изображения. В таких случаях отображение может быть адаптировано в зависимости от опорного значения целевого дисплея. В других примерах может быть использовано одно или несколько преопределенных отображений.

Например, устройство 103 обработки изображения может включать предопределенное первое отображение, которое было определено, чтобы обеспечивать подходящее выходное изображение для удвоения уровня светимости точки белого, и предопределенное второе отображение, которое было определено, чтобы обеспечивать подходящее выходное изображение с уменьшенным наполовину уровнем светимости точки белого. В таком примере, устройство 103 обработки изображения может выбрать между первым отображением, вторым отображением и единичным отображением в зависимости от светимости точки белого опорного значения целевого дисплея и точки белого дисплея конечного пользователя. Устройство 103 обработки изображения может специально выбрать отображение, которое наиболее близко соответствует соотношению между светимостью точки белого опорного значения целевого дисплея и светимостью точки белого дисплея конечного пользователя.

Например, если входное изображение принято с опорным значением целевого дисплея, указывающим, что оно было оптимизировано для дисплея с 500 нит, а дисплей конечного пользователя является дисплеем с 1000 нит, то устройство 103 обработки изображения выбирает первое отображение. Если вместо этого опорное значение целевого дисплея показывает, что входное изображение было оптимизировано для дисплея с 1000 нит, устройство 103 обработки изображения будет выбрать единичное отображение (т.е. использовать входное изображение непосредственно). Если опорное значение целевого дисплея показывает, что оно было оптимизировано для дисплея с 2000 нит, то устройство 103 обработки изображения будет выбрать второе отображение.

Если принимаются промежуточные значения для светимости точки белого целевого дисплея, то устройство 103 обработки изображения может выбрать отображение, наиболее близкое к отношению светимости точки белого, или может, например, выполнить интерполяцию между отображениями.

В некоторых вариантах осуществления преобразование динамического диапазона может содержать или состоять в преобразовании гаммы. Таким образом, в некоторых вариантах осуществления процессор 203 динамического диапазона может изменить цветности визуализируемого изображения в зависимости от опорного значения целевого дисплея. Например, если принятое HDR изображение визуализируется на LDR дисплее, то сжатие может привести к более примитивному изображению с меньшим количеством вариаций и градаций в отдельных объектах изображения. Преобразование динамического диапазона может скомпенсировать такие сокращения за счет увеличения вариаций цветности. Например, когда изображение с ярко освещенным яблоком оптимизировано для визуализации на HDR дисплее, визуализация на LDR дисплее с пониженным динамическим диапазоном, как правило, сделает изображение яблока менее выделяющимся и становящимся менее четким и более скучным. Это может быть скомпенсировано посредством преобразования динамического диапазона, делая цвет яблока более насыщенным. В качестве другого примера, вариации текстуры могут стать менее значимыми для восприятия за счет снижения вариаций светимости, и это может быть скомпенсировано увеличением вариаций цветности текстуры.

В некоторых системах видеосигнал может содержать поле данных, которое включает в себя данные управления преобразованием динамического диапазона, и процессор 203 динамического диапазона может адаптировать преобразование динамического диапазона в ответ на эти данные управления. Это может быть использовано владельцем/провайдером контента, чтобы сохранить по меньшей мере некоторый ввод или контроль над визуализацией предоставленного контента.

Данные управления могут, например, определить операцию или параметры преобразования динамического диапазона, которые должны быть применены, могут быть применены, или которые рекомендованы для применения. Данные управления могут, кроме того, быть дифференцированы для различных дисплеев конечных пользователей. Например, отдельные данные управления могут быть предоставлены для множества возможных дисплеев конечных пользователей, например, один набор данных для дисплея с 500 нит, другой набор - для дисплея с 1000 нит, другой набор - для дисплея с 2000 нит дисплей и еще один набор - для дисплея с 4000 нит.

В качестве примера, создатель контента может определить, какое отображение тонов должно выполняться процессором 203 динамического диапазона в зависимости от характеристик дисплея конечного пользователя, как показано на фиг. 11. В этом примере данные управления могут определять отображение для каждой из трех областей, соответствующих заданным значениям максимальной светимости дисплея (ось х) и света окружающей среды, падающего на дисплей (и, следовательно, отражений от дисплея - ось у).

Таким образом, в конкретном примере, отображение 1 используется для дисплеев низкой яркости в средах с низким светом окружающей среды. Отображение 1 может быть просто единичным отображением, т.е. принятое LDR изображение может быть использовано непосредственно. Для HDR дисплея в сравнительно темной окружающей среде (низкие отражения от экрана) может быть использовано отображение 2. Отображение 2 может выполнить отображение, которое расширяет яркие светимости LDR изображения дополнительно, при существенной поддержке интенсивности для более темных сегментов. Для HDR дисплея в относительно яркой внешней среде (значительные отражения от экрана) может быть использовано отображение 3. Отображение 3 может выполнить более агрессивное отображение, которое не только расширяет яркие светимости LDR изображения, но и повышает яркость и увеличивает контраст для темных участков изображения.

В некоторых сценариях данные управления могут указывать границы между отображениями, причем отображения являются предопределенными (например, стандартизированы или известны как на стороне провайдера контента, так и на стороне визуализатора). В некоторых сценариях данные управления могут дополнительно определять элементы различных отображений или могут действительно точно указывать отображения, например, с помощью значения гаммы или путем специфицирования определенной функции преобразования.

В некоторых вариантах осуществления данные управления преобразованием динамического диапазона могут непосредственно и однозначно определять преобразование динамического диапазона, которое должно быть выполнено, чтобы преобразовать принятое изображение в изображение с другим динамическим диапазоном. Например, данные управления могут определять прямое отображение значений входного изображения на значения выходного изображения для диапазона точек белого целевого выходного дисплея. Отображение может быть выполнено как простой параметр, позволяющий реализовывать соответствующее преобразование процессором 203 динамического диапазона, или могут обеспечиваться детальные данные, такие как конкретная таблица преобразования или математическая функция.

В качестве примера низкой сложности, преобразование динамического диапазона может просто применить кусочно-линейную функцию к входным значениям LDR изображения для создания улучшенных HDR значений. В самом деле, во многих сценариях, может быть использовано простое отображение, состоящее из двух линейных отношений, как показано на фиг. 12. Отображение показывает прямое отображение между входными пиксельными значениями и выходными пиксельными значениями (или в некоторых сценариях отображение может отражать (возможно, непрерывное) отображение между светимостями входных пикселей и светимостями выходных пикселей). Следует понимать, что то же самое отображение может быть использовано для отображения из входного HDR изображения на выходное LDR изображения.

В частности, для отображения из LDR на HDR, данный подход обеспечивает преобразование динамического диапазона, которое сохраняет темные участки изображения темными, в то же время позволяя существенно увеличить динамический диапазон, который используется, чтобы обеспечить намного более яркую визуализацию ярких областей, а также в самом деле более эффективное и более живое представление среднего диапазона. Для отображения из HDR в LDR, этот подход обеспечивает преобразование динамического диапазона, которое сохраняет темные участки изображения, но сжимает светлые участки, чтобы отразить снижение диапазона яркости дисплея.

Однако точное преобразование зависит от целевого дисплея, для которого генерировалось изображение, и от дисплея, на котором оно должно быть визуализировано. Например, при визуализации изображения для дисплея с 500 нит на дисплее с 1000 нит требуется относительно умеренное преобразование, и растяжение ярких областей является относительно ограниченным. Однако если то же самое изображение должно отображаться на дисплее с 5000 нит, то намного более экстремальное преобразование требуется для того, чтобы в полной мере использовать имеющуюся яркость без излишнего увеличения яркости темных участков.

Аналогично, отображение может зависеть от целевого дисплея, для которого генерировалось исходное изображение. Например, если входное изображение, оптимизированное для 1000 нит, должно визуализироваться на дисплее с 2000 нит, то требуется относительно умеренное преобразование, и растяжение ярких участков относительно ограничено. Однако если изображение было оптимизировано для дисплея с 500 нит и должно отображаться на дисплее с 2000 нит, то намного более экстремальное преобразование требуется для того, чтобы в полной мере использовать доступную яркость без излишнего увеличения яркости темных участков. Фиг. 13 иллюстрирует, каким образом два различных отображения могут быть использованы для, соответственно, входного изображения с 1000 нит (кривая 1301, максимальное значение 255, соответствующее 1000 нит) и входного изображения с 500 нит (кривая 1303, максимальное значение 255, соответствующее 500 нит) для отображения на LDR входное изображение c 2000 нит (максимальное значение 255, соответствующее 2000 нит).

Преимущество такого простого отношения состоит в том, что желательное отображение тона может быть передано с очень низкой служебной нагрузкой. Действительно, данные управления могут указать излом кривой, т.е. точку перехода между двумя линейными фрагментами. Таким образом, простое двухкомпонентное значение данных может задавать желательное отображение тона, которое должно выполняться устройством 103 обработки изображения для различных дисплеев. Устройство 103 обработки изображения может также определить подходящие значения для других максимальных значений светимости путем интерполяции между предоставленными значениями.

В некоторых реализациях может, например, предусматриваться больше точек, чтобы определить кривую, которая все еще является кусочно-линейной, но с более линейными интервалами. Это может позволить более точное отображение тона и улучшить результирующее качество изображения при введении только относительно небольшой служебной нагрузки.

Во многих реализациях, данные управления могут не задавать конкретное отображение тона, которое должно быть выполнено, а предоставлять данные, определяющие границы, в пределах которых преобразование динамического диапазона/отображение тона может свободно адаптироваться устройством 103 обработки изображения.

Например, вместо задания конкретной точки перехода для кривых на фиг. 12 и 13, данные управления могут определять пределы для точки перехода (при возможно разных пределах, обеспеченных для различных максимальных уровней яркости). Таким образом, устройство 103 обработки изображения может индивидуально определить желательные параметры для преобразования динамического диапазона, так что оно может быть установлено, чтобы обеспечить предпочтительный переход для конкретного дисплея с учетом, например, конкретных предпочтений пользователя. Однако в то же время провайдер контента может гарантировать, что эта свобода ограничена приемлемым диапазоном, тем самым позволяя провайдеру контента сохранять некоторый контроль над тем, как визуализируется контент.

Таким образом, данные управления преобразованием динамического диапазона могут включать в себя данные, которые определяют параметры преобразования, которые должны быть применены преобразованием динамического диапазона, выполняемым процессором 230 динамического диапазона, и/или которые определяют границы для параметров преобразования. Данные управления могут предоставлять такую информацию для диапазона максимальных уровней яркости, тем самым обеспечивая возможность адаптации преобразования динамического диапазона для различных дисплеев конечных пользователей. Кроме того, для максимальных уровней яркости явно не включенных в данные управления, соответствующие значения данных могут быть сгенерированы из доступных значений данных, например, путем интерполяции. Например, если точка излома между двумя линейными фрагментами указывается для дисплея конечного пользователя с 2000 нит и 4000 нит, подходящее значение для дисплея с 3000 нит может быть найдено путем простой интерполяции (например, путем простого усреднения в конкретном примере).

Следует иметь в виду, что многие различные и разнообразные подходы для преобразования динамического диапазона и того, как ограничить, адаптировать и управлять им со стороны провайдера контента посредством дополнительных данных управления, могут быть использованы в различных системах в зависимости от конкретных предпочтений и требований отдельного приложения.

В самом деле, много различных команд или значений параметров может быть предоставлено в данных управления для генерации отображений тонов в соответствии с предпочтениями провайдера контента.

Например, в системах низкой сложности может быть применено простое преобразование динамического диапазона, и устройство 101 провайдера контента может просто обеспечивать уровень белого и уровень черного для целевого дисплея, который затем используется процессором 203 динамического диапазона, чтобы определить отображение тонов для применения. В некоторых системах функция отображения тонов (гамма или иное) может быть предусмотрена в качестве обязательной для отображения по меньшей мере одного диапазона входного изображения. Например, данные управления могут указывать, что более темные и/или средние диапазоны должны визуализироваться в соответствии с заданным отображением, позволяя более яркие диапазоны отображать свободно устройством 103 обработки изображения.

В некоторых случаях данные управления могут просто обеспечить предложение подходящего отображения, которое может применяться, например, в области среднего диапазона. В таком случае, провайдер контента может, таким образом, способствовать устройству 103 обработки изображения в предоставлении предложенных параметров преобразования динамического диапазона, которые были найдены (например, через ручную оптимизацию со стороны провайдера контента), чтобы обеспечить высокое качество изображения при просмотре на данном HDR дисплее. Устройство 103 обработки изображения может преимущественно использовать это, но может свободно изменять отображение, например, для учета индивидуальных предпочтений пользователя.

Во многих сценариях отображение по меньшей мере частично выполняется на основе данных управления, которые будут представлять функциональную зависимость относительно низкой сложности, такую как отображение гаммы, S-кривая, комбинированное отображение, определенное частичными спецификациями для отдельных диапазонов и т.д. Однако в некоторых сценариях, разумеется, могут быть использованы более сложные отображения.

Следует также иметь в виду, что преобразование динамического диапазона может часто включать в себя увеличение или уменьшение числа битов, используемых для представления значений. Например, восьмибитовое изображение может быть преобразовано в 12- или 15-битовое изображение. В таких случаях управляющие данные из устройства 101 провайдера контента могут быть предоставлены независимо от измененного квантования. Например, 8-битовое на 8-битовое отображение совместно кодированных тонов ("форма" для субраспределения серого) может быть определено с помощью устройства 101 провайдера контента, и устройство 103 обработки изображения может масштабировать это отображение на яркость белого для конкретного дисплея, принимая во внимание преобразование на большее количество битов.

В других вариантах осуществления или сценариях преобразование динамического диапазона может включать в себя уменьшение числа битов, используемых для представления значений. Например, 12-битовое изображение может быть преобразовано в 8-битовое изображение. Такие сценарии могут часто возникать, когда снижение динамического диапазона обеспечивается преобразованием динамического диапазона, например, при конвертировании 12-битового HDR изображения, подлежащего визуализации на LDR дисплее 8-битового входного значения.

Как уже упоминалось, данные управления могут предоставлять обязательные или рекомендательные данные управления. В самом деле, принятые данные могут включать в себя одно или более полей, которые указывают, являются ли предоставленные параметры отображения тонов обязательными, разрешенными или предлагаемыми.

Например, предложенная функция отображения тонов может быть предоставлена вместе с указанием того, насколько большое отклонение от нее может быть допустимым. Устройство 103 обработки изображений в стандартной конфигурации может затем автоматически применять предлагаемое отображение. Однако преобразование может быть изменено, например, чтобы отразить личные предпочтения пользователя. Например, пользовательский ввод может изменить настройки устройства 103 обработки изображения, например, так, что темные участки изображения визуализируются ярче, чем рассматривается как идеальное провайдером контента. Например, пользователь может просто нажать кнопку для увеличения яркости, и отображение тонов может быть соответствующим образом изменено (например, нижний линейный сегмент кривых на фиг. 12 и 13 перемещается вверх). Таким образом, пользователь может ввести точную настройку в отображение тонов. Однако данные для указания того, в какой мере точная настройка является приемлемой для провайдера контента, могут быть включены в данные управления, тем самым ограничивая преобразование динамического диапазона для генерации выходных изображений, которые все еще рассматриваются провайдером контента, как сохраняющие целостность предоставляемого изображения. Данные управления могут, например, также указывать эффект пользовательских взаимодействий, таких как, например, определить или ограничить изменение в яркости, которое происходит при каждом нажатии кнопки пользователем.

Преобразование динамического диапазона соответственно обеспечивает преобразование динамического диапазона, которое предназначено для получения изображения, которое подходит для конкретного дисплея 107 конечного пользователя, с учетом характеристик отображения на дисплее, для которого сгенерировано входное изображение. Таким образом, устройство 103 обработки изображения генерирует выходной сигнал, который ассоциирован с заданным максимальным значением светимости/яркости, т.е. который предназначен для визуализации на дисплее с этим значением точки белого/максимальной светимости. В некоторых системах светимость точки белого дисплея может не быть точно известна в устройстве 103 обработки изображения, и, таким образом, выходной сигнал может генерироваться для предполагаемой светимости точки белого (например, вводимой вручную пользователем). В других приложениях (как будет описано позже), дисплей может предоставить информацию о светимости точки белого, и устройство 103 обработки изображения может адаптировать преобразование динамического диапазона на основе этой информации.

Если светимость точки белого, для которой генерируется выходной сигнал, в точности соответствует или достаточно близка к светимости точки белого одного из принятых изображений (по любому подходящему критерию, такому как разность светимостей точки белого ниже порога), то устройство 103 обработки изображения может продолжать использовать это изображение непосредственно в выходном изображении, т.е. преобразование динамического диапазона может быть просто единичным отображением. Кроме того, если выходная светимость точки белого не соответствует непосредственно светимости точки белого принятого изображения, но совпадает со светимостью точки белого дисплея конечного пользователя, для которого были предоставлены явные данные управления преобразованием динамического диапазона, эти данные управления могут быть использованы непосредственно, чтобы адаптировать преобразование динамического диапазона. Если выходная светимость точки белого не соответствует непосредственно светимости точки белого принятого изображения или светимости точки белого, для которой были предоставлены данные управления преобразованием динамического диапазона, параметры отображения тонов, предоставленные данными управления для различных светимостей точки белого, могут быть использованы для адаптации преобразования динамического диапазона в зависимости от выходной светимость точки белого. В частности, процессор 203 динамического диапазона может выполнять интерполяцию между параметрами отображения тонов для других значений светимости точки белого для конкретной выходной светимости точки белого. Во многих вариантах простой линейной интерполяции будет достаточно, но следует понимать, что могут быть использованы многие другие подходы.

Действительно, данные управления могут, например, также предоставить информацию о том, как предоставленные параметры отображения тона для различных светимостей точки белого дисплея должны быть обработаны для получения параметров отображения тона для конкретной выходной светимости точки белого. Например, данные управления могут указывать нелинейную функцию интерполяции, которая должна использоваться для генерации соответствующих параметров отображения тона.

Следует также иметь в виду, что преобразование динамического диапазона не обязательно является постоянным для различных изображений или даже для того же самого изображения.

В самом деле, во многих системах данные управления преобразованием динамического диапазона могут постоянно обновляться, тем самым позволяя адаптировать преобразование динамического диапазона, выполняемое с помощью процессора 203 динамического диапазона, к текущим характеристикам. Это может позволить использовать различные отображения тонов для темных изображений/сцен, иные, чем для ярких изображений/сцен. Это может обеспечить улучшенную производительность. Действительно, переменное во времени преобразование динамического диапазона, управляемое в ответ на динамически обновляемые данные управления преобразованием динамического диапазона, может быть использовано для обеспечения дополнительного контроля провайдеру контента. Например, визуализация темной сцены может быть разной на HDR дисплее в зависимости от того, является ли сцена напряженной сценой, предназначенной для создания ощущения тревоги, или сцена является просто темной, чтобы соответствовать ночному сценарию (в первом случае темная сцена может визуализироваться как темная на HDR дисплее как на LDR дисплее, а во втором случае темная сцена может быть визуализироваться несколько более светлой, используя при этом дополнительной динамический диапазон, чтобы позволить улучшенную визуально воспринимаемую дифференциацию в темных областях).

Аналогичные соображения могут быть применены в изображении. Например, сцена может соответствовать яркому небу над темной неотчетливой землей (например, яркое небо в верхней части изображения и лес в нижней половине изображения). Эти две области могут преимущественно быть отображены по-разному при отображении из LDR на HDR, и данные управления преобразованием динамического диапазона могут указывать разницу в этих отображениях. Таким образом, данные управления преобразованием динамического диапазона могут включать в себя параметры отображения тонов, которые изменяются для различных изображений и/или которые зависят от положения в изображении.

В качестве конкретного примера, по меньшей мере некоторые данные управления могут быть связаны с данной областью изображения, диапазоном светимости и/или диапазоном изображения.

Данные управления преобразованием динамического диапазона могут быть обеспечены в устройстве 103 обработки изображения в соответствии с любым подходящим методом или стандартом связи.

В конкретном примере коммуникации между устройством 101 провайдера контента и устройством 103 обработки изображения используется носитель Blu-Ray^TM. Передача команд управления для преобразования динамического диапазона может быть реализована путем встраивания этих значений параметров в BDROM данные на диске. Для этого может быть использована структура данных расширения в файле списка воспроизведения (xxxxx.mpls). Эта структура данных расширения будет иметь уникальную новую идентификацию. Унаследованные BDROM плееры будут не осведомлены о новой структуре данных и будут просто игнорировать ее. Это будет гарантировать обратную совместимость. Возможная реализация синтаксиса и семантики такого LHDR дескриптора (LDR_Descriptor) показана ниже.

В этом примере LHDR_Descriptor содержит три дескриптора обработки. Эти параметры определяют дополнительную обработку видео в случае, когда категория целевого дисплея отличается от категории дисплея конечного пользователя. В качестве примера, эти параметры могут иметь следующие значения.

Video_Process_descriptor (дескриптор обработки видео):

DR_Rrocess_descriptor (дескриптор обработки динамического диапазона):

Level_Process_descriptor (дескриптор обработки уровня):

Предыдущие примеры фокусировались на ситуациях, когда сигнал, принятый из устройства 101 провайдера контента, содержит только одну версию последовательности изображений/видео и особенно, когда сигнал содержит только последовательность LDR изображения/видео.

Однако в некоторых системах и реализациях, устройство 101 провайдера контента может сформировать сигнал изображений, который содержит более одной версии изображения(й). В таких случаях одно изображение может отображаться по тонам для одного целевого дисплея, а другое изображение может соответствовать тому же исходному изображению, но отображенному по тонам для другого целевого дисплея. В частности, одно изображение может быть LDR изображением, сформированным, например, для дисплея с 500 нит, а другое изображение может быть HDR изображением, сформированным, например, для дисплея с 2000 нит.

В таком примере, сигнал изображения может дополнительно содержать второе опорное значение целевого дисплея, т.е. опорное изображение целевого дисплея может быть предусмотрено для каждого из изображений, таким образом указывая характеристики дисплея, для которых отображение тона на стороне кодера было оптимизировано для индивидуальных изображений. В частности, максимальная яркость и параметр гаммы могут быть предоставлены для каждой последовательности изображений/видео.

В таких системах, устройство 103 обработки изображения может быть выполнено с возможностью применять преобразование динамического диапазона в ответ на второе опорное значение целевого дисплея и, в частности, с учетом первого и второго опорных значений целевого дисплея.

Преобразование динамического диапазона может не только адаптировать конкретное отображение или операцию, которая выполняется на изображении, но может также в зависимости от опорных значений целевого дисплея выбирать, какое изображение использовать в качестве основы для преобразования. В качестве примера низкой сложности, процессор 203 динамического диапазона может выбирать между использованием первого и второго изображений в зависимости от того, насколько близко ассоциированное опорное значение целевого дисплея соответствует светимости точки белого, для которой сгенерирован выходной сигнал. В частности, может быть выбрано изображение, ассоциированное со светимостью точки белого, самой близкой к желательной выходной светимости точки белого. Таким образом, если генерируется выходное LDR изображение, преобразование динамического диапазона может быть выполнено из кодированного LDR изображения. Однако если генерируется HDR изображение с более высокой максимальной яркостью, чем кодированное HDR изображение, то преобразование динамического диапазона может быть выполнено на кодированном HDR изображении.

Если изображение должно генерироваться для максимальной яркости между светимостями точки белого кодированных изображений (например, для дисплея с 1000 нит), преобразование динамического диапазона может быть основано на обоих изображениях. В частности, может выполняться интерполяция между изображениями. Такая интерполяция может быть линейной или нелинейной и может выполняться непосредственно на кодированных изображениях перед преобразованием или может применяться к изображениям после применения преобразования. Взвешивание отдельных изображений может, как правило, зависеть от того, насколько они близки к желательной выходной максимальной яркости.

Например, первое преобразованное изображение может генерироваться путем применения преобразования динамического диапазона к первому кодированному изображению (LDR изображению), а второе преобразованное изображение может генерироваться путем применения преобразования динамического диапазона к второму преобразованному изображению. Первое и второе преобразованные изображения затем объединяются (например, суммируются) для генерации выходного изображения. Веса соответственно первого и второго преобразованных изображений определяются тем, насколько близко опорные значения целевого дисплея, соответственно, первого и второго кодированных изображений соответствует желательной выходной максимальной яркости.

Например, для дисплея с 700 нит первое преобразованное изображение может быть взвешено значительно выше, чем второе преобразованное изображение, а для дисплея с 3000 нит второе преобразованное изображение может быть взвешено значительно выше, чем первое преобразованное изображение. Для дисплея с 2000 нит два преобразованных изображения могут, возможно, быть взвешены в равной степени, и выходные значения могут генерироваться путем усреднения значений для каждого изображения.

В качестве другого примера, преобразование может быть выполнено избирательно на основе первого или второго изображения для различных областей изображения, например, в зависимости от характеристик изображения.

Например, для относительно темных областей преобразование динамического диапазона может быть применено к LDR изображению для генерации пиксельных значений, которые подходят для дисплея с 1000 нит, но все же используют более высокое разрешение, которое может быть доступно для темных участков на LDR изображении, соответствующем HDR изображению (например, если то же самое число битов используется для обоих изображений). Однако для более ярких областей пиксельные значения могут быть сформированы путем применения преобразования динамического диапазона к HDR изображению, используя тем самым то, что это изображение, как правило, будет иметь больше информации в диапазонах высокой яркости (в частности, потери информации из-за отсечения, как правило, значительно меньше для HDR изображения относительно LDR изображения).

Таким образом, когда более чем одно изображение принимается из устройства 101 провайдера контента, устройство 103 обработки изображения может генерировать выходное изображение одного из этих изображений или может объединять их при генерации выходного изображения. Выбор и/или комбинация кодированных изображений основано на опорном значении целевого дисплея, предоставленного для каждого изображения, а также на максимальной яркости, для которой генерируется выходной сигнал.

Следует понимать, что в дополнение к комбинации и/или выбору отдельных кодированных изображений, отдельные преобразования динамического диапазона также могут быть скорректированы и адаптированы в ответ на преобразование динамического диапазона. Например, ранее описанные подходы могут быть применены по отдельности для каждого преобразования динамического диапазона. Аналогичным образом, могут быть приняты данные управления преобразованием динамического диапазона, которые могут быть использованы для адаптации и управления каждым преобразованием динамического диапазона, как описано выше. Кроме того, данные управления преобразованием динамического диапазона могут содержать информацию, которая определяет обязательные, дополнительные или предпочтительные/предложенные параметры для комбинации обработки первого и второго кодированных изображений.

В некоторых системах, данные управления преобразованием динамического диапазона включают в себя разные данные управления преобразованием для различных категорий изображений. В частности, различные типы изображений/контента могут быть обработаны по-разному при выполнении преобразования динамического диапазона.

Например, различные отображения тона могут быть определены или предложены для разных типов видеоконтента. Например, отличающееся преобразование динамического диапазона определяется для мультфильма, фильма ужасов, футбольного матча и т.д. Принимаемый видеосигнал может в таком случае предоставить метаданные, описывающие тип контента (или анализ контента может быть применен локально в устройстве 103 обработки изображений), и можно применять соответствующее преобразование динамического диапазона для конкретного контента.

В качестве другого примера, визуализируемое изображение может быть сформировано в виде комбинации наложенных друг на друга изображений с различными преобразованиями, предоставленными для различных изображений. Например, в Blu-Ray^TMопределен ряд различных плоскостей презентации (как показано на фиг. 5), и различные динамические преобразования диапазона могут быть применены для разных плоскостей презентации.

Характеристики каждой из этих плоскостей презентации оптимизированы провайдером контента для конкретного целевого дисплея. Восприятие просмотра для конечного пользователя может быть оптимизировано путем адаптации характеристик плоскостей презентации для дисплея конечного пользователя. Обычно оптимальная адаптация будет различной для разных плоскостей презентации.

В отношении отображения тонов ситуация в современной BDROM системе выглядит следующим образом:

- Отображение тонов видео (глобальное и/или локальное) выполняется в студии с использованием студийного монитора.

- Отображение тонов графики (как правило, отличающееся от отображения тонов видео) выполняется в студии с использованием студийного монитора.

- Отображение тонов OSD выполняется в BDROM плеере.

- Глобальное и/или локальное отображение тонов выполняется на дисплее на объединенном сигнале видео и графики. Эта обработка не может управляться конечным пользователем.

- Глобальное отображение тонов выполняется на дисплее на объединенном сигнале видео и графики. Эта обработка зависит, помимо прочего, от значений яркости и контраста, установленных конечным пользователем.

Улучшенное качество изображения достигается, когда:

1. Отображение тонов видео оптимизировано для дисплея конечного пользователя.

2. Отображение тонов графики оптимизировано для дисплея конечного пользователя.

3. Система допускает отображение тонов графики, отличное от отображения тонов видео.

4. Система допускает отличающееся отображение тонов графики для различных компонентов графики.

5. Система допускает отображение тонов видео и графики в зависимости от характеристик видео.

Также отметим, что в случае, когда как LDR, так и HDR версия видео присутствуют на диске, дополнительное отображение тонов будет зависеть от двух наборов параметров для целевых дисплеев: один для LDR версии видео и один для HDR версии видео.

В другой расширенной реализации, отображение тонов видео и/или графики изменяется во времени и зависит, например, от контента видео в сцене. Провайдер контента может отправить инструкции отображения тонов на плеер в зависимости от характеристик контента видео и графики. В другой реализации плеер самостоятельно извлекает характеристики видео из сигнала видео и адаптирует отображение тонов видео и графики в зависимости от этих характеристик.

Например, субтитры могут быть затемнены в течение определенного промежутка времени, или определенное изменение гаммы может быть реализовано в течение некоторого периода времени (и оба могут быть скоординированы).

Далее описан пример того, как обеспечить управляющие команды для отображения тонов графики для BDROM.

BDROM поток графики состоит из сегментов, встроенных в PES пакеты, которые встроены в транспортный поток. Фиг. 14 иллюстрирует соответствующую структуру данных.

Синхронизация с основным видео осуществляется на уровне элементарного потока с использованием значений PTS в пакетах PES. Сегмент графики BDROM состоит из дескриптора сегмента и данных сегмента. Дескриптор сегмента содержит тип сегмента и длину.

В следующей таблице приведены некоторые типы сегментов, определенных в стандарте Blu-Ray Disc:

В существующей спецификации значения от 0x83 до 0xFF зарезервированы. Поэтому определен новый тип сегмента, использующий, например значение 0x83, чтобы указать сегмент, который содержит LHDR_Processing_definition segment (сегмент определения LHDR обработки). В общем, LHDR_Processing_definition segment определяет способ, которым декодер графики обрабатывает графику в случае, когда целевой дисплей отличается от дисплея конечного пользователя.

В следующей таблице показан пример возможной структуры LHDR_Processing_definition segment:

В этом примере, LDR_Processing_definition segment содержит два дескриптора обработки: Pop_up_process_descriptor и Subtitle_process_descriptor. Сегмент может также содержать палитры, которые будут использоваться в случае, когда категория целевого дисплея отличается от категории дисплея конечного пользователя. Палитра LHDR содержит такое же количество записей, что и оригинальная палитра, но записи оптимизированы для другой категории дисплея.

Параметр Pop_up_process_descriptor определяет дополнительную обработку всплывающей графики, когда категория целевого дисплея отличается от категории дисплея конечного пользователя.

В качестве примера этот параметр может иметь следующие значения.

- Pop_up_process_descriptor=0x00: нет дополнительной обработки.

- Pop_up_process_descriptor=0x01 до 0x03: установить минимальное значение прозрачности.

- Pop_up_process_descriptor=0x04: процессор графики использует палитры, определенные в LDR_Processing_definition segment.

- Pop_up_process_descriptor=0x05: нет ограничения на дополнительную обработку.

Параметр Subtitle_process_descriptor определяет дополнительную обработку графики субтитров, если категория целевого дисплея отличается от категории дисплея конечного пользователя.

В качестве примера этот параметр может иметь следующие значения.

- Subtitle_process_descriptor=0x00: нет дополнительной обработки.

- Pop_up_process_descriptor=0x01 до 0x03: адаптировать значение яркости.

- Subtitle_process_descriptor =0x04: процессор графики использует палитры, определенные в LDR_Processing_definition segment.

- Subtitle_process_descriptor =0x05: нет ограничения на дополнительную обработку.

Конкретные примеры синтаксиса для Pop_up_process_descriptor и Subtitle_process_descriptor представлены в следующих таблицах:

Конкретные примеры дифференцированного отображения тона в зависимости от характеристик дисплея показаны на фиг. 15 и 16. В этих примерах оригинальный контент имеет HDR видеоконтент и субтитры. Отображение тона для видео такое же, как в примере на фиг. 6.

Графика имеет белые символы субтитров с черной рамкой. Оригинальная гистограмма показывает пик в диапазоне низкой яркости и еще один пик в диапазоне высокой яркости. Эта гистограмма для контента субтитров очень подходит для LDR дисплея, так как она приведет в результате к яркому четкому тексту на дисплее. Однако на HDR дисплее эти символы были бы слишком яркими, вызывающими раздражение, ореол и блики. По этой причине, отображение тона для графики субтитров будет адаптировано, как показано на фиг. 16.

В предыдущих примерах устройство 103 обработки изображения сгенерировало выходное изображение, чтобы соответствовать желательной максимальной яркости, т.е. предназначенное для представления на дисплее с заданным динамическим диапазоном/светимостью точки белого. Выходной сигнал может быть сгенерирован специально, чтобы соответствовать пользовательской настройке, которая указывает желательную максимальную светимость/светимость точки белого, или может просто предполагать данный динамический диапазон для дисплея 107.

В некоторых системах устройство 103 обработки изображения может включать в себя процессор 203 динамического диапазона, который выполнен с возможностью адаптировать свою обработку в зависимости от данных, принятых от дисплея 107, указывающих характеристику светимости дисплея 107.

Пример такого устройства 103 обработки изображения показан на фиг. 17. Устройство 103 обработки изображения соответствует таковому по фиг. 1, но в этом примере устройство 103 обработки изображений также содержит приемник 1701 дисплея, который принимает сигнал данных от дисплея 107. Сигнал данных содержит поле данных, которое содержит индикацию динамического диапазона дисплея для дисплея 107. Индикация динамического диапазона дисплея содержит по меньшей мере одну спецификацию светимости, указывающую свойство светимости дисплея. В частности, спецификация яркости может включать спецификацию максимальной яркости, то есть максимальной светимости/светимости точки белого для дисплея. В частности, индикация динамического диапазона дисплея может определить, является ли дисплей HDR или LDR дисплеем, и может, в частности, указывать максимальный световой выход в нит. Таким образом, индикация динамического диапазона дисплея может определять, является ли дисплей дисплеем с 500 нит, 1000 нит, 2000 нит, 4000 нит и т.д.

Приемник 1701 дисплея устройства 103 обработки изображения соединен с процессором 203 динамического диапазона, на который подается индикация динамического диапазона дисплея. Процессор 203 динамического диапазона может соответственно генерировать выходной сигнал, который непосредственно соответствует конкретному дисплею, а не генерировать выходной сигнал для предполагаемой или установленной вручную светимости точки белого.

Процессор 203 динамического диапазона может соответственно адаптировать преобразование динамического диапазона в ответ на принятую индикацию динамического диапазона дисплея. Например, принятое кодированное изображение может быть LDR изображением, и можно предположить, что это изображение было оптимизировано для дисплея с 500 нит. Если индикация динамического диапазона дисплея указывает, что дисплей действительно является дисплеем с 500 нит, устройство 103 обработки изображения может использовать непосредственно кодированное изображение. Однако если индикация динамического диапазона дисплея указывает, что дисплей является дисплеем с 1000 нит, то может быть применено первое преобразование динамического диапазона. Если индикация динамического диапазона дисплея указывает, что дисплей 107 является дисплеем с 2000 нит, то может применяться отличающееся преобразование, и т.д. Аналогично, если принятое изображение является изображением, оптимизированным для 2000 нит, то устройство 103 обработки изображения может использовать это изображение непосредственно, если индикация динамического диапазона дисплея указывает, что дисплей является дисплеем с 2000 нит. Однако если индикация динамического диапазона дисплея указывает, что дисплей является дисплеем с 1000 нит или 500 нит, то устройство 103 обработки изображения может выполнить соответствующее преобразование динамического диапазона, чтобы уменьшить динамический диапазон.

Например, со ссылкой на фиг. 18, два различных преобразования могут быть определены для, соответственно, дисплея с 1000 нит и для дисплея с 4000 нит, а третье отображение один-к-одному определено для дисплея с 500 нит. На фиг. 18 отображение для дисплея с 500 нит указано кривой 1801, отображение для дисплея с 1000 нит указано кривой 1803, отображение для дисплея с 4000 нит указано кривой 1805. Таким образом, в данном примере принятое кодированное изображение предполагается изображением с 500 нит, и оно автоматически преобразуется в изображение, пригодное для конкретного дисплея. Таким образом, устройство 103 обработки изображения может автоматически адаптировать и генерировать оптимизированное изображение для конкретного дисплея, с которым оно соединено. В частности, устройство 103 обработки изображений может автоматически адаптироваться к тому, является ли дисплей HDR или LDR дисплеем, и может дополнительно адаптироваться к конкретной светимости белого для дисплея.

Следует иметь в виду, что инверсные отображения могут быть использованы при отображении от высокого динамического диапазона на низкий динамический диапазон.

Если дисплей имеет светимость белого, соответствующую одной из трех кривых на фиг. 18, соответствующее отображение может быть применено к кодированному изображению. Если дисплей имеет другое значение светимости, может быть использована комбинация преобразований.

Таким образом, процессор 203 динамического диапазона может выбрать соответствующее преобразование динамического диапазона в зависимости от индикации динамического диапазона дисплея. В качестве примера низкой сложности, процессор 203 динамического диапазона может выбрать между использованием кривых в зависимости от того, насколько близко светимость точки белого согласуется со светимостью точки белого, указанной индикацией динамического диапазона дисплея. В частности, может быть выбрано отображение, которое ассоциировано со светимостью точки белого, ближайшее к желательной светимости точки белого, указанной в индикации динамического диапазона дисплея. Таким образом, если генерируется LDR выходное изображение, то преобразование динамического диапазона может быть выполнено с использованием кривой 1801. Если генерируется HDR изображение относительно низкой светимости точки белого, то используется отображение согласно кривой 1803. Однако если генерируется HDR изображение с высокой светимостью точки белого, то используется кривая 1805.

Если должно генерироваться изображение для светимости белого в промежутке между преобразованиями динамического диапазона для двух настроек HDR (например, для дисплея с 2000 нит), могут быть использованы оба отображения 1803, 1805. В частности, может выполняться интерполяция между преобразованными изображениями для двух отображений. Такая интерполяция может быть линейной или нелинейной. Взвешивание отдельных преобразованных изображений может, как правило, зависеть от того, насколько они близки к желательной выходной максимальной яркости.

Например, первое преобразованное изображение может быть выполнено путем применения первого отображения 1803 к кодированному изображению (LDR изображению), и второе преобразованное изображение может быть выполнено путем применения второго отображения к кодированному изображению. Первое и второе преобразованные изображения затем объединяются (например, суммируются) для генерации выходного изображения. Веса, соответственно, первого и второго преобразованных изображений определяются тем, насколько близко светимость белого, ассоциированная с различными отображениями, соответствует светимости белого для дисплея, указанной в индикации динамического диапазона дисплея.

Например, для дисплея с 1500 нит, первое преобразованное изображение может быть взвешено значительно выше, чем второе преобразованное изображение, а для дисплея с 3500 нит второе преобразованное изображение может быть взвешено значительно выше, чем первое преобразованное изображение.

В некоторых вариантах осуществления процессор (203) динамического диапазона может быть выполнен с возможностью выбора между генерацией выходного изображения как принятого кодированного изображения и генерацией выходного изображения как преобразованного изображения принятого кодированного изображения в ответ на индикацию динамического диапазона дисплея.

В частности, если светимость точки белого, указанная индикацией динамического диапазона дисплея, достаточно близка к светимости точки белого, указанной или предполагаемой для принятого изображения, преобразование динамического диапазона может просто состоять в невыполнении обработки на принятом изображении, то есть входное изображение может быть просто использовано в качестве выходного изображения. Однако если светимость точки белого, указанная индикацией динамического диапазона дисплея, отличается от светимости точки белого, предполагаемой или указанный для принятого изображения, то преобразование динамического диапазона может изменить принятое кодированное изображение в соответствии с подходящим отображением пикселей входного изображения на пиксели выходного изображения. В таких случаях отображение может быть адаптировано в зависимости от принятой индикации светимости точки белого дисплея конечного пользователя. В других примерах может быть использовано одно или несколько предопределенных отображений.

Например, устройство 103 обработки изображения может включать предопределенное первое отображение, которое было определено, чтобы обеспечивать подходящее выходное изображение для удвоения уровня точки белого, и предопределенное второе отображение, который было определено, чтобы обеспечивать подходящее выходное изображение для уменьшенного наполовину уровня точки белого. В таком примере, устройство 103 обработки изображения может выбрать между первым отображением, вторым отображением и единичным отображением в зависимости от светимости точки белого принятого изображения (например, как указано опорным значением целевого дисплея) и светимости точки белого для дисплея конечного пользователя, как указано индикацией динамического диапазона дисплея. Устройство 103 обработки изображения может специально выбрать отображение, которое наиболее близко соответствует отношению между светимостями точки белого входного изображения и дисплея конечного пользователя.

Например, если входное изображение принимается с опорным значением целевого дисплея, указывающим, что оно было оптимизировано для дисплея с 1000 нит, а дисплей конечного пользователя является дисплеем с 2000 нит, то устройство 103 обработки изображения выберет первое отображение. Если вместо этого индикация динамического диапазона дисплея указывает, что дисплей конечного пользователя является дисплеем с 1000 нит, то устройство 103 обработки изображения будет выбирать единичное отображение (т.е. использовать входное изображение непосредственно). Если индикация динамического диапазона указывает, что дисплей конечного пользователя является дисплеем с 500 нит, то устройство 103 обработки изображения будет выбирать второе отображение.

Если приняты промежуточные значения для светимости точки белого для дисплея конечного пользователя, то устройство 103 обработки изображения может выбрать отображение, наиболее близкое к отношению светимостей точки белого, или может, например, выполнить интерполяцию между отображениями.

В примере на фиг. 2, устройство 103 обработки изображения выполнено с возможностью выполнения преобразования динамического диапазона на основе опорного значения целевого дисплея, принятого от устройства 101 провайдера контента, но без специфической информации или знания конкретного дисплея 107 (т.е. оно может просто генерировать выходное изображение, подлежащее оптимизации для данного динамического диапазона/точки белого, но без явного знания, имеет ли это значение подсоединенный дисплей 107). Таким образом, может быть использована предполагаемая или опорная светимость точки белого. В примере на фиг. 17, устройство 103 обработки изображения может выполнять преобразование динамического диапазона на основе индикации динамического диапазона дисплея, принятой от дисплея 107, но без конкретной информации или знания специфического динамического диапазона и светимости точки белого, для которых принятое кодированное изображение было сгенерировано (то есть оно может просто генерировать выходное изображение на основе данного динамического диапазона/светимости точки белого для принятого кодированного изображения, но без явного знания, было ли изображение на самом деле сгенерировано для такого диапазона и светимости). Таким образом, может быть использована предполагаемая или опорная светимость точки белого для кодированного изображения. Однако следует иметь в виду, что во многих реализациях устройство 103 обработки изображения может быть выполнено с возможностью выполнения преобразования динамического диапазона в ответ как на информацию, принятую от стороны провайдера контента, так и от дисплея конечного пользователя. Фиг. 19 показывает пример устройства 103 обработки изображения, которое содержит процессор 203 динамического диапазона, выполненный с возможностью выполнения преобразования динамического диапазона в ответ как на опорное значение целевого дисплея, так и на индикацию динамического диапазона дисплея. Следует также иметь в виду, что комментарии и описания, предусмотренные для независимых подходов согласно фиг. 2 и 17, в равной степени применимы (с соответствующими изменениями) к системе по фиг. 19.

Эти методы могут быть особенно предпочтительными в неоднородных системах распределения контента, таких как, например, те, которые все чаще воспринимаются для будущих телевизионных систем. Действительно, (пиковая) яркость дисплеев в настоящее время быстро растет, и в ближайшее время дисплеи с большим разнообразием (пиковой) яркости, как ожидается, будут сосуществовать на рынке. Поскольку яркость дисплея (и, как правило, электрооптическая передаточная функция, которая определяет, как дисплей преобразует входные значения возбуждения пикселей (цвета) в значения света, что затем производит конкретное психовизуальное впечатление на зрителя) больше не известна на стороне генерации контента (и которая, кроме того, как правило, отличается от опорного монитора, для которого предназначался/градуировался контент), становится сложным обеспечить наилучшее/оптимальное качество изображения на дисплее.

Таким образом, в системе по фиг. 1 дисплей 107 (или приемное устройство) может передавать информацию о своих функциональных возможностях яркости (пиковая яркость, передаточная функция визуализации серого (цвета) или другие свойства визуализации серого в его HDR диапазоне, такие как конкретная электрооптическая передаточная функция и т.д.) обратно в устройство 103 обработки изображения.

В конкретном примере устройство 103 обработки изображения является BDROM плеером, подключенным к дисплею с помощью HDMI интерфейса, и, таким образом, индикация динамического диапазона дисплея может быть передана от дисплея на устройство 103 обработки изображения через HDMI интерфейс. Таким образом, индикация динамического диапазона дисплея может специально передаваться как часть EDID информации, которая может сигнализироваться через HDMI от дисплея 107 в устройство 103 обработки изображения. Однако следует понимать, что данный метод может быть применен ко многим другим устройствам, генерирующим видео/графику, таким как DVB приемники, ATSC приемники, персональные компьютеры, планшеты, смартфоны и игровые консоли и т.д. Следует также иметь в виду, что могут быть использованы многие другие проводные и беспроводные интерфейсы, например, Display Port, USB, Ethernet, Wi-Fi и т.д.

Устройство 103 обработки изображения может выбрать, например, одну из различных версий контента/сигнала в зависимости, например, от яркости дисплея. Например, если сигнал от устройства 101 провайдера контента включает в себя как LDR, так и HDR изображения, устройство 103 обработки изображения может выбрать между ними в зависимости от того, указывает ли индикация динамического диапазона дисплея на дисплей, являющийся LDR дисплеем или HDR дисплеем. В качестве другого примера, устройство 103 обработки изображения может интерполировать/смешивать различные версии яркости контента для получения нового сигнала, который приблизительно оптимален для яркости дисплея. В качестве другого примера, оно может адаптировать отображение кодированного изображения на выходное изображение.

Следует иметь в виду, что в различных реализациях могут быть предусмотрены различные параметры и информация в индикации динамического диапазона дисплея. В частности, следует отметить, что ранее предусмотренные комментарии и описания для опорного значения целевого дисплея могут в равной степени относиться к индикации динамического диапазона дисплея. Таким образом, параметры и информация, переданные от дисплея 107 в устройство 103 обработки изображения, могут быть такими, как те, которые описаны для передачи информации о целевом дисплее из устройства 101 провайдера контента в устройство 103 обработки изображения.

В частности, дисплей может передать максимальную светимость/светимость точки белого для дисплея, и это может быть использовано процессором 203 динамического диапазона, чтобы адаптировать выходной сигнал, как описано выше.

В некоторых вариантах осуществления индикация динамического диапазона дисплея может альтернативно или дополнительно включать в себя светимость точки черного для дисплея 107. Светимость точки черного, как правило, может указывать на светимость, соответствующую значениям возбуждения, соответствующим самому темному пиксельному значению. Внутренняя светимость точки черного для дисплея может для некоторых дисплеев соответствовать практически отсутствию светового выхода. Однако для многих дисплеев самая темная установка, например, LCD элементов будет еще приводить к некоторому световому выходу от дисплея, приводя к тому, что черные области изображения воспринимаются более светлыми и сероватыми вместо глубокого черного. Для таких дисплеев информация светимости точки черного может быть использована процессором 203 динамического диапазона, чтобы выполнить отображение тона, где, например, все уровни черного ниже светимости точки черного дисплея будут преобразованы в самое глубокое темное пиксельное значение (или, например, с использованием более постепенного перехода). В некоторых сценариях светимость точки черного может включать в себя вклад от окружающего света. Например, светимость точки черного может отражать количество света, отражаемого от дисплея.

Кроме того, индикация динамического диапазона дисплея может для многих дисплеев включать в себя больше информации, характеризующей OETF дисплея. В частности, как уже упоминалось ранее, дисплей может включать светимость точки белого и/или светимость точки черного. Во многих системах индикация динамического диапазона дисплея может также включать более подробную информацию о OETF дисплея при промежуточных световых выходах. В частности, индикация динамического диапазона дисплея может включать в себя гамму OETF для дисплея.

Процессор 203 динамического диапазона может затем использовать информацию о данной OETF, чтобы адаптировать конкретное преобразование динамического диапазона, чтобы обеспечить желательную производительность, и, в частности, преобразование в HDR изображение может отражать не только то, что возможен более яркий световой выход, но может также принимать во внимание то, как именно должно формироваться соотношение между значениями возбуждения, чтобы обеспечить желательный световой выход в диапазоне повышенной яркости. Кроме того, преобразование в LDR изображение может отражать не только то, что доступен менее яркий световой выход, но может также принимать во внимание то, как именно должно формироваться соотношение между значениями возбуждения, чтобы обеспечить желательный световой выход в диапазоне пониженной яркости.

Индикация динамического диапазона дисплей может, таким образом, в частности, предоставить информацию, которая информирует процессор 203 динамического диапазона о том, каким образом следует отображать входные значения, соответствующие одному динамическому диапазону, на выходные значения, соответствующие другому и обычно большему динамическому диапазону. Процессор 203 динамического диапазона может принимать это во внимание и может, например, компенсировать любые изменения или нелинейности в визуализации дисплеем 107.

Следует иметь в виду, что возможны многие различные преобразования динамического диапазона и что может быть использовано много различных способов адаптации таких преобразований динамического диапазона на основе индикации динамического диапазона дисплея. Действительно, следует иметь в виду, что большинство комментариев, предоставленных для преобразования динамического диапазона на основе опорного значения целевого дисплея из устройства 101 провайдера контента, являются равным образом применимыми (с соответствующими изменениями) к преобразованию динамического диапазона на основе информации о характеристиках светимости дисплея конечного пользователя.

В качестве примера низкой сложности, преобразование динамического диапазона может просто применить кусочно-линейную функцию к входным значениям LDR изображения для создания улучшенных HDR значений (или к входным значениям HDR изображения для генерации улучшенных LDR значений). Реально, во многих сценариях может быть использовано простое отображение, состоящее из двух линейных отношений, как показано на фиг. 20. Отображение показывает прямое отображение между входными пиксельными значениями и выходными пиксельными значениями (или в некоторых случаях отображение может отражать (возможно, непрерывное) отображение между входными пиксельными яркостями и выходными пиксельными яркостями).

В частности, данный подход обеспечивает преобразование динамического диапазона, которое сохраняет темные участки изображения темными, в то же время позволяет существенно увеличить динамический диапазон, который будет использоваться, чтобы обеспечить гораздо более яркую визуализацию ярких областей, а также реально улучшенное и более оживленное представление среднего диапазона. Однако точное преобразование зависит от дисплея, на котором оно должно визуализироваться. Например, при визуализации изображения для дисплея с 500 нит на дисплее с 1000 нит, требуется относительно умеренное преобразование, и растяжение ярких областей является довольно ограниченным. Однако если то же самое изображение должно отображаться на дисплее с 5000 нит, гораздо более экстремальное преобразование потребуется для того, чтобы в полной мере использовать имеющуюся яркость без слишком большой подсветки темных участков. Фиг. 20 иллюстрирует, как два различных отображения могут быть использованы для, соответственно, дисплея с 1000 нит (кривая 2001, максимальное значение 255 соответствует 1000 нит) и дисплея с 5000 нит (кривая 2003, максимальное значение 255 соответствует 5000 нит) для входного LDR изображения с 500 нит (максимальное значение 255 соответствует 500 нит). Устройство 103 обработки изображения может также определить подходящие значения для других максимальных светимостей путем интерполяции между предусмотренными значениями. В некоторых реализациях, больше точек может быть использовано для определения кривой, которая по-прежнему остается кусочно-линейной, но с большим количеством линейных интервалов.

Следует понимать, что те же самые отображения могут быть использованы при отображении от входного HDR изображения на выходное LDR изображение.

В некоторых вариантах осуществления преобразование динамического диапазона может содержать или состоять в преобразовании гаммы, которое может зависеть от принятой индикации динамического диапазона дисплея. Таким образом, в некоторых вариантах осуществления процессор 203 динамического диапазона может изменить цветности визуализируемого изображения в зависимости от индикации динамического диапазона дисплея. Например, если принятое HDR изображение визуализируется на LDR дисплее, то сжатие может привести к более примитивному изображению с меньшим количеством вариаций и оттенков в отдельных объектах изображения. Преобразование динамического диапазона может компенсировать такие сокращения за счет увеличения вариаций цветности. Например, когда изображение с ярко освещенным яблоком оптимизировано для визуализации на HDR дисплее, то визуализация на LDR дисплее с пониженным динамическим диапазоном, как правило, сделает изображение яблока менее выделяющимся, менее четким и более тусклым. Это может быть скомпенсировано посредством преобразования динамического диапазона путем придания цвету яблока большей насыщенности. В качестве другого примера, вариации текстуры могут стать менее значимыми для восприятия из-за снижения вариаций яркости, и это может быть скомпенсировано увеличением вариаций цветности текстуры.

Индикация динамического диапазона дисплея может в некоторых примерах или сценариях обеспечивать общую информацию для отображения, например, стандартные параметры изготовления, EOTF по умолчанию и т.д. В некоторых примерах и сценариях, индикация динамического диапазона дисплея может также отражать специфическую обработку, выполняемую в дисплее, и может конкретно отражать пользовательские настройки. Таким образом, в таких примерах, индикация динамического диапазона дисплея не только обеспечивает постоянную и неизменную информацию, которая зависит только от дисплея, а обеспечивает изменяющуюся во времени функцию, которая может отражать конкретную операцию дисплея.

Например, дисплей может быть способным работать в различных режимах изображений с разными характеристиками визуализации. Например, в дисплейном режиме "яркий" дисплей может визуализировать изображения с яркими областями ярче, чем обычно, в дисплейном режиме "приглушенный" дисплей может визуализировать изображение с яркими областями темнее, чем обычно, и т.д. Информация о текущем режиме, например, конкретная гамма для этого режима, может сообщаться устройству 103 обработки изображения как часть индикации динамического диапазона дисплея, тем самым позволяя устройству 103 обработки изображений адаптировать преобразование динамического диапазона, чтобы отражать характеристики визуализации. Устройство 103 обработки изображения, например, может переопределить настройки дисплея путем компенсации этого или может оптимизировать преобразование для поддержания конкретной настройки.

Индикация динамического диапазона дисплея может также отражать другие параметры обработки для дисплея. Например, уровни отсечения, настройки питания подсветки, отображения цветовой схемы и т.д. могут быть переданы в устройство 103 обработки изображения, где они могут быть использованы процессором 203 динамического диапазона, чтобы адаптировать преобразование динамического диапазона.

Фиг. 21 иллюстрирует пример элементов дисплея 107, где дисплей обеспечивает индикацию динамического диапазона отображения для устройства 103 обработки изображения.

В данном примере дисплей содержит приемник 2101, который принимает сигнал изображения из устройства 103 обработки изображения. Принятый сигнал изображения подается на возбудитель 2103, который дополнительно связан с панелью 2105 дисплея, которая визуализирует изображение. Панель дисплея может быть, например, LCD или плазменной дисплейной панелью, как должно быть известно специалисту в данной области.

Возбудитель 2103 предназначен для возбуждения дисплейной панели 2105 таким образом, что она визуализирует кодированное изображение. В некоторых вариантах осуществления возбудитель 2103 может выполнять расширенные и, возможно, адаптивные алгоритмы обработки сигнала, в том числе отображение тонов, градацию цвета и т.д. В других вариантах осуществления возбудитель 2103 может быть относительно низкой сложности и может, например, просто выполнять стандартное отображение значений входных сигналов на значения возбуждения для пиксельных элементов дисплейной панели 2105.

В этой системе дисплей 107, кроме того, содержит передатчик 2107, который выполнен с возможностью передачи сигнала данных в устройство 103 обработки изображения. Сигнал данных может, например, для соединения HDMI передаваться по DDC каналу с использованием E-EDID структуры, как будет описано ниже.

Передатчик 2107 генерирует сигнал данных, чтобы включать индикацию динамического диапазона дисплея (107). Таким образом, в частности, передатчик 2107 указывает, например, светимость точки белого и, опционально, EOTF дисплея. Например, может генерироваться и передаваться значение данных, предоставляющее индекс для ряда предопределенных светимостей точки белого или EOTF.

В некоторых вариантах осуществления низкой сложности, например, светимость точки белого может быть фиксированным значением, сохраненным в передатчике 2107, который просто передает это стандартное значение. В более сложных значениях, индикация динамического диапазона дисплея может быть определена для отражения динамически изменяющихся и/или адаптированных значений. Например, возбудитель 2103 может быть выполнен с возможностью работать в различных режимах дисплея, и индикация динамического диапазона дисплея может быть адаптирована соответствующим образом. В качестве другого примера, пользовательская настройка, например, уровня яркости для дисплея может быть отражена индикацией динамического диапазона дисплея, генерируемой и передаваемой передатчиком 2107.

Как упоминалось ранее, индикация динамического диапазона дисплея может содержать меру внешнего света, и процессор динамического диапазона может быть выполнен с возможностью адаптировать преобразование динамического диапазона в ответ на меру внешнего света. Мера внешнего света может быть предоставлена как явные и отдельные данные или может отражаться в других параметрах. Например, мера внешнего света может быть отражена в светимости точки черного, которая может содержать вклад, соответствующий отражениям света от дисплея.

Во многих сценариях дисплей может включать в себя детектор света, расположенный перед дисплеем. Этот детектор света может детектировать общий уровень внешнего света или может конкретно измерять свет, который попадает на дисплей с данного направления и, вероятно, будет отражаться обратно в сторону наблюдателя. На основе этого детектирования света дисплей может, таким образом, генерировать индикацию внешнего света, который отражается, например, уровень внешнего света среды наблюдения в целом или, например, который конкретно отражает оценку отраженного света от экрана. Дисплей 107 может сообщить это значение в устройство 103 обработки изображения либо как индивидуальное значение, либо, например, посредством вычисления эффективного уровня светимости черного, чтобы отразить величину отражений света.

Процессор 203 динамического диапазона может затем адаптировать преобразование динамического диапазона соответствующим образом. Например, когда уровень внешнего света высок, более широкое использование дополнительных уровней яркости дисплеем HDR может применяться более агрессивно, чтобы создать выглядящее более ярко изображение с высоким контрастом. Например, средний световой выход может быть задан относительно высоким, и даже светимости среднего диапазона могут быть сдвинуты в сторону HDR диапазона. Яркие области могут быть визуализированы с использованием полного HDR диапазона, и даже темные области, как правило, визуализировались бы на относительно высоких уровнях света. Однако увеличенный динамический диапазон HDR изображения позволяет такому относительно яркому изображению по-прежнему демонстрировать большие изменения светимости и, таким образом, по-прежнему иметь высокий контраст.

Таким образом, HDR функциональные возможности дисплея используются для генерации изображения так, что обеспечиваются изображения, которые воспринимаются яркими и имеют высокий контраст даже при просмотре, например, при ярком дневном свете. Такое изображение, в типовом случае, было бы нецелесообразным в темной комнате, так как оно было бы избыточным и представляющимся слишком ярким. Таким образом, в темной среде, преобразование динамического диапазона должно было бы выполнять гораздо более консервативное преобразование от LDR к HDR, которое, например, поддерживает тот же самый LDR световой выход для темных и средних значений и только увеличивает яркость для более ярких областей.

Данный метод может позволить устройству 103 обработки изображения автоматически адаптировать преобразование динамического диапазона от LDR к HDR (или, например, преобразование динамического диапазона от HDR к HDR) для согласования с определенной средой просмотра для дисплея. Это, кроме того, возможно, не требуя от устройства 103 обработки изображения выполнять какие-либо измерения или действительно располагаться в пределах или вблизи этой среды.

Индикация внешнего света обычно может быть опциональной и, таким образом, устройство 103 обработки изображения может использовать ее, если она доступна, а в противном случае просто выполнять преобразование динамического диапазона по умолчанию для конкретных характеристик (например, OETF дисплея).

Опциональная информация расширения, обеспечиваемая дисплеем, относительно его среды просмотра (особенно, внешнего света), таким образом, используется устройством 103 обработки изображения для выполнения более сложных, оптимизирующих изображение/видеопреобразований для предоставления оптимального изображения/видео на дисплей, где оптимизация может включать в себя характеристики не только дисплея, но и среды просмотра.

Таким образом, дальнейшие оптимизации могут быть выполнены, когда дисплеем предоставляется информация о внешней среде просмотра. Дисплей, как правило, будет периодически измерять внешний свет и посылать информацию (например, яркость и цвет в виде трех параметров: XYZ) о нем в устройство 103 обработки изображения. Эта информация, как правило, может не предоставляться как часть EDID данных или любой другой тип данных, главным образом используемый для однократной передачи информации. Скорее, она может передаваться, например, в отдельном канале, например, с использованием HDMI-CEC. Это периодическое измерение и обновление может, например, приводить к тому, что если пользователь, например, выключает свет в непосредственной близости от дисплея, устройство 103 обработки изображений может автоматически адаптировать обработку, чтобы предоставлять изображения более подходящими для более темной ситуации просмотра, например, путем применения других отображений цвета/светимости.

Пример набора релевантных параметров, которые могут сообщаться дисплеем конечного пользователя в индикации динамического диапазона дисплея, включает в себя следующее:

- Абсолютная максимальная светимость (светимость точки белого) дисплея конечного пользователя.

- Гамма дисплея конечного пользователя - заводская настройка.

Абсолютная максимальная светимость дисплея конечного пользователя может, например, определяться для типичных настроек дисплея, заводских настроек по умолчанию или настроек, создающих наивысшую яркость.

Другой пример набора релевантных параметров, которые могут сообщаться дисплеем конечного пользователя в индикации динамического диапазона дисплея, включает в себя следующее:

- Максимальная светимость дисплея конечного пользователя для текущих настроек яркости, контраста и т.д.

- Гамма дисплея конечного пользователя - текущие настройки.

Первый набор параметров не зависит от времени, тогда как второй набор изменяется во времени, так как он зависит от пользовательских настроек. Применение того или иного набора имеет последствия для поведения системы и пользовательского восприятия, и следует иметь в виду, что конкретный набор параметров, используемых в конкретной системе, зависит от предпочтений и требований системы. Действительно, параметры могут быть смешаны между двумя наборами, и, например, заводские настройки могут быть предоставлены при включении, при этом зависимые от пользовательских настроек параметры сообщаются затем периодически.

Необходимо также отметить, что конкретные наборы параметров могут характеризовать EOTF для дисплея, которая является либо EOTF по умолчанию, либо EOTF, зависимой от конкретных текущих пользовательских настроек. Таким образом, параметры могут предоставлять информацию об отображении между значениями возбуждения и выходом светимости дисплея, что позволяет устройству 103 обработки изображения генерировать значения возбуждения, которые приведут к желательному выходному изображению. Следует иметь в виду, что в других реализациях другие параметры могут быть использованы, чтобы характеризовать часть или все отображение между значениями возбуждения и световым выходом для дисплея.

Следует иметь в виду, что многие различные подходы могут быть использованы для передачи индикации динамического диапазона дисплея от дисплея в устройство 103 обработки изображения.

Например, для параметров дисплея, которые не зависят от пользовательских настроек и не изменяются во времени, передача для HDMI соединения может эффективно переноситься в DDC канал с использованием E-EDID структуры.

В подходе низкой сложности может быть определен набор категорий для дисплеев конечных пользователей, причем каждая категория определяет пределы релевантных параметров. При таком подходе необходимо передавать только идентификационный код категории для дисплея конечного пользователя.

Ниже описан конкретный пример передачи данных индикации динамического диапазона дисплея в формате E-EDID.

В конкретном примере первые 128 байт E-EDID должны содержать EDID 1.3 структуру (базовый EDID блок).

Для параметров индикации динамического диапазона дисплея может быть определен новый Блок Дескриптора Дисплея в E-EDID структуре данных. Так как современные устройства не осведомлены о таком новом Блоке Дескриптора Дисплея, они просто будут игнорировать его, тем самым обеспечивая обратную совместимость. Возможный формат этого дескриптора "поведения светимости" приведен в таблице, представленной ниже.

Пиковая _Светимость является параметром со значением от 0 до 255, который указывает максимальную светимость дисплея в соответствии с:

Пиковая светимость дисплея (кд/м²)=50 × Пиковая_Светимость,

тем самым охватывая диапазон от 0 до 255*50=12750 кд/м²

или 255*100

Кривая переноса может быть кривой гаммы (как в ITU601, ITU709 и т.д.), но с учетом гораздо более высокой гаммы (до 10). Или другой параметр (логарифмический) кривой переноса может в некоторых сценариях быть более подходящим. Например, вместо функции гаммы:

х^ν

может использоваться степенная функция

α^βх-Δ

где параметры α, β и Δ могут быть установлены для обеспечения желательной характеристики.

Дополнительная информация, таким образом, может быть использована устройством 103 обработки изображения, чтобы принимать более эффективные решения для определения других уровней серого видео и графики (или компонента мульти-изображения), как, например, глобальной обработки, такой как основанные на гамме модификации. Имея больше информации, например, о том, как дисплей будет переотображать с учетом гаммы все значения серого, процессор 203 динамического диапазона может принимать гораздо более взвешенные решения для окончательного вида видео и вторичных изображений (и как они могут перекрываться по светимости, в зависимости также, например, от геометрических свойств, например, насколько большими являются подобласти и т.д.).

В предыдущих примерах, дисплей 107 обеспечивает индикацию динамического диапазона дисплея, которая информирует устройство 103 обработки изображения, как дисплей будет отображать входной сигнал дисплея. В частности, индикация динамического диапазона дисплея может указать отображение между значениями возбуждения и светового выхода, которое применяется дисплеем. Таким образом, в этих примерах индикация динамического диапазона дисплея информирует устройство 103 обработки изображения о доступном динамическом диапазоне и как оно представляется, и устройство 103 обработки изображения может свободно адаптировать преобразование динамического диапазона, как считает нужным.

Однако в некоторых системах дисплей может также быть в состоянии осуществлять некоторое управление над преобразованием динамического диапазона, выполняемым устройством 103 обработки изображения. В частности, индикация динамического диапазона дисплея может содержать данные управления преобразованием динамического диапазона, а процессор 203 динамического диапазона может быть выполнен с возможностью выполнения преобразования динамического диапазона в ответ на эти данные управления преобразованием динамического диапазона.

Данные управления могут, например, определять операцию или параметр преобразования динамического диапазона, которые должны быть применены, могут быть применены, или которые рекомендуется применять. Данные управления могут, кроме того, быть дифференцированы для различных характеристик изображения, подлежащего кодированию. Например, отдельные данные управления могут быть предоставлены для множества возможных исходных изображений, например, один набор для LDR дисплея с 500 нит, а другой - для кодированного изображения с 1000 нит и т.д.

Например, дисплей может задавать, какое отображение тонов должно выполняться процессором 203 динамического диапазона в зависимости от динамического диапазона принятого изображения. Например, для дисплея с 2000 нит данные управления могут задавать одно отображение, которое должно использоваться при отображении из LDR изображения с 500 нит, и другое отображение, которое должно использоваться при отображении изображения с 1000 нит, и т.д.

В некоторых сценариях данные управления могут задавать границы между отображениями, причем отображения предопределены в каждом интервале (например, стандартизированы или известны как на стороне провайдера контента, так и на стороне визуализатора). В некоторых сценариях данные управления могут дополнительно определять элементы различных отображений или реально могут точно задавать отображения, например, с использованием значения гаммы или задавая конкретную функцию преобразования.

В некоторых вариантах осуществления данные управления преобразованием динамического диапазона могут непосредственно и однозначно задавать преобразование динамического диапазона, которое должно выполняться, чтобы преобразовать принятое изображение в изображение с динамическим диапазоном, соответствующим динамическому диапазону дисплея. Например, данные управления могут задавать прямое отображение значений входного изображения в значения выходного изображения для диапазона точек белого принятого изображения. Отображение может быть предоставлено как простой параметр, позволяющий реализовать соответствующее преобразование с помощью процессора 203 динамического диапазона, или могут быть обеспечены подробные данные, такие как конкретная таблица преобразования или математическая функция.

В качестве примера низкой сложности, преобразование динамического диапазона может просто применить кусочно-линейную функцию к входным значениям в LDR изображении для создания улучшенных HDR значений (или к входным значениям HDR изображения для генерации улучшенных LDR значений). В самом деле, во многих случаях может быть использовано простое отображение, состоящее из двух линейных отношений, как показано на фиг. 20.

В частности, как описано выше, такой подход может обеспечить преобразование динамического диапазона, которое сохраняет темные области изображения темными, в то же время позволяет существенно увеличить динамический диапазон, который будет использоваться, чтобы обеспечить намного более яркую визуализацию ярких областей, а также действительно улучшенный и выглядящий более живым средний диапазон. Однако точное преобразование зависит от динамического диапазона принятого изображения, а также от динамического диапазона конечного целевого дисплея. В некоторых системах дисплей может задать отображение тонов, подлежащее выполнению устройством 103 обработки изображения, просто путем передачи координат излома функции (то есть пересечения между линейными элементами отображения).

Преимущество такого простого соотношения заключается в том, что желательное отображение тонов может быть передано с очень низкой служебной нагрузкой. В самом деле, простое двухкомпонентное значение данных может задать желательное отображение тонов, которое должно выполняться устройством 103 обработки изображения для различных дисплеев. Различные координаты точки "излома" могут быть переданы для различных входных изображений, и устройство 103 обработки изображения может определить подходящие значения для других входных изображений путем интерполяции между предоставленными значениями.

Следует иметь в виду, что большинство замечаний относительно предоставления данных управления преобразованием динамического диапазона от устройства 101 провайдера контента равным образом применимы (с соответствующими изменениями) к данным управления преобразованием динамического диапазона, принятым от дисплея 107.

Таким образом, в некоторых сценариях дисплей 107 может находиться под контролем преобразования динамического диапазона, выполняемого устройством 103 обработки изображения. Преимущество такого подхода в том, что он может, например, позволить пользователю управлять желательным визуализируемым изображением путем управления дисплеем и без каких-либо требований для обеспечения пользовательских вводов или настроек в устройство 103 обработки изображения. Это может быть особенно полезно в ситуациях, когда множество устройств обработки изображений используются с тем же дисплеем, и, в частности это может способствовать обеспечению однородности между изображениями от различных устройств обработки изображений.

Во многих реализациях, данные управления с дисплея 107 могут не задавать конкретное отображение тона, которое должно быть выполнено, а предоставлять данные, определяющие границы, в пределах которых преобразование динамического диапазона/отображение тона может свободно адаптироваться устройством 103 обработки изображений.

Например, вместо того, чтобы задавать конкретную точку перехода для кривой на фиг. 20, данные управления могут определять пределы для точки перехода (возможно, с различными пределами, предусмотренными для различных максимальных уровней яркости). Таким образом, устройство 103 обработки изображения может индивидуально определять желательные параметры для преобразования динамического диапазона таким образом, что оно может быть установлено, чтобы обеспечить предпочтительный переход для конкретного дисплея с учетом, например, конкретных предпочтений пользователя. Однако в то же время дисплей может ограничить эту свободу до приемлемого уровня.

Таким образом, данные управления преобразованием динамического диапазона могут включать в себя данные, которые определяет параметры преобразования, которые должны быть применены к преобразованию динамического диапазона, выполняемому процессором 203 динамического диапазона, и/или которые определяют пределы для параметров преобразования. Данные управления могут предоставлять такую информацию по целому ряду динамических преобразований входного изображения, тем самым обеспечивая возможность адаптации преобразования динамического диапазона к различным принятым изображениям. Кроме того, для входных изображений с динамическими диапазонами, явно не включенными в данные управления, соответствующие значения данных могут быть получены из доступных значений данных, например, путем интерполяции. Например, если точка излома между двумя линейными участками указана для входного изображения с 500 нит и 2000 нит, подходящее значение для входного изображения с 1000 нит может быть найдено путем простой интерполяции (например, путем простого усреднения в конкретном примере).

Следует иметь в виду, что многие различные и разнообразные подходы как к преобразованию динамического диапазона, так и к тому, как ограничить, адаптировать и управлять им со стороны дисплея посредством дополнительных данных управления, могут быть использованы в различных системах в зависимости от конкретных требований и предпочтений конкретного приложения.

В некоторых сценариях данные управления могут просто предоставлять предложение подходящего отображения, которое может применяться, например, в области среднего диапазона. В таком случае изготовитель дисплея может соответственно способствовать устройству 103 обработки изображения в обеспечении параметров предложенного преобразования динамического диапазона, которые были найдены (например, посредством ручной оптимизации изготовителем дисплея), чтобы обеспечить высокое качество изображения при просмотре на конкретном дисплее. Устройство 103 обработки изображения может преимущественно использовать это, но может свободно изменять отображение, например, для учета индивидуальных предпочтений пользователя.

Во многих сценариях отображение, которое по меньшей мере частично выполняется на основе данных управления, будет представлять собой функциональную зависимость относительно низкой сложности, такую как отображение гаммы, S-кривую, комбинированное отображение, определенное частичными спецификациями для отдельных диапазонов, и т.д. Однако в некоторых сценариях могут быть, конечно, использованы более сложные отображения.

Как уже упоминалось, данные управления могут обеспечивать обязательные или рекомендованные данные управления. В самом деле, принятые данные могут включать в себя одно или несколько полей, которые указывают, являются ли предоставленные параметры отображения тона обязательными, разрешенными или предложенными.

В некоторых системах дисплей может быть способен работать в соответствии с различными динамическими диапазонами. Например, очень яркий HDR дисплей со светимостью точки белого, например, 5000 нит может также быть в состоянии работать в одном режиме отображения со светимостью точки белого 4000 нит, в другом - с 3000 нит, еще одном - с 2000 нит, другом - с 1000 нит и, наконец, может работать в режиме LDR, имеющем светимость белого всего 500 нит.

В таком сценарии сигнал данных от дисплея может указывать на множество динамических диапазонов светимости. Таким образом, каждый из различных динамических диапазонов светимости может соответствовать режиму динамического диапазона для дисплея. В такой конфигурации процессор 203 динамического диапазона может выбрать один из динамических диапазонов светимости и продолжать выполнение преобразования динамического диапазона в ответ на выбранный динамический диапазон дисплея. Например, процессор 203 динамического диапазона может выбрать динамический диапазон 2000 нит, а затем перейти к выполнению преобразования динамического диапазона, чтобы оптимизировать формируемое изображение для этой светимости точки белого.

Выбор подходящего динамического диапазона светимости для дисплея может зависеть от различных аспектов. В некоторых системах устройство 103 обработки изображения может быть выполнено с возможностью выбора подходящего динамического диапазона дисплея в зависимости от типа изображения. Например, каждый диапазон может быть ассоциирован с данным типом изображения, и устройство 103 обработки изображения может выбрать тип изображения, который наиболее близко соответствует принятому изображению, и затем продолжать использовать динамический диапазон, связанный с данным типом изображения.

Например, количество типов изображений может быть определено соответственно различным типам контента. Например, один тип изображения может быть ассоциирован с мультфильмами, другой - с футбольным матчем, другой - с информационной программы, другой - с фильмом и т.д. Устройство 103 обработки изображения может затем определить подходящий тип для принятого изображения (например, на основе явных метаданных или анализа контента) и перейти к применению соответствующего динамического диапазона. Это может, например, привести в результате к тому, что мультфильмы представляется очень живо, с высоким контрастом и высокой яркостью, в то же время обеспечивая то, что, например, мрачные фильмы не будут визуализироваться неестественным образом.

Система может, таким образом, адаптироваться к конкретным визуализируемым сигналам. Например, потребительское видео низкого качества, ярко освещенный футбольный матч, хорошо освещенная программа новостей (например, сцены с пониженным контрастом) и т.д. могут отображаться по-разному, и, в частности, динамический диапазон визуализируемого изображения может быть адаптирован к тому, что конкретно подходит для конкретного изображения.

Ранее было отмечено, что дисплей может предоставить данные управления в устройство 103 обработки изображения. Однако в некоторых системах альтернативно или дополнительно может быть устройство 103 обработки изображений, которое предоставляет данные управления в дисплей 107.

Таким образом, как показано на фиг. 22, устройство 103 обработки изображения может включать в себя контроллер 2201, который способен передавать сигнал данных управления отображением на дисплей 107.

Дисплейный сигнал управления может конкретно инструктировать дисплей работать в конкретном режиме динамического диапазона, который был выбран с помощью устройства 103 обработки изображения для конкретного изображения. Таким образом, в результате, плохо освещенное любительское изображение будет визуализироваться с низким динамическим диапазоном, тем самым избегая введения неприемлемых ошибок за счет преобразования в высокий динамический диапазон, который реально отсутствует в исходном изображении. В то же время, система может автоматически адаптировать таким образом, что высококачественные изображения могут быть эффективно преобразованы в изображения с высоким динамическим диапазоном и быть визуализированы как таковые. В качестве конкретного примера, для любительской видеопоследовательности, устройство 103 обработки изображения и дисплей могут автоматически адаптироваться, чтобы представлять видео с динамическим диапазоном 1000 нит. Однако для профессионально снятого изображения высокого качества, устройство 103 обработки изображения и дисплей 107 могут автоматически адаптироваться, чтобы представлять видео с использованием полного динамического диапазона 5000 нит, который обеспечивается дисплеем 107.

Дисплейный сигнал управления может генерироваться таким образом, чтобы включать такие команды, как "использовать динамический диапазон 1000 нит", "использовать LDR диапазон", "использовать максимальный динамический диапазон" и т.д.

Данные управления дисплеем могут быть использованы, чтобы обеспечить ряд команд в прямом направлении (от устройства 103 обработки изображений к дисплею). Например, данные управления могут включать в себя инструкции обработки изображения для дисплея и, в частности, могут включать в себя индикации отображения тонов для дисплея.

Например, данные управления могут задавать настройку яркости, настройку отсечения или настройку контраста, которые должны быть применены дисплеем 107. Инструкция обработки изображения, таким образом, может определить обязательную, произвольную или предложенную операцию, которая должна выполняться дисплеем 107 на принятом сигнале отображения. Таким образом, эти данные управления могут позволить устройству 103 обработки изображения управлять некоторой обработкой, выполняемой дисплеем 107.

Данные управления могут, например, задавать, что конкретная фильтрация должна применяться или не должна применяться. В качестве другого примера, данные управления могут задавать, как следует проводить операции подсветки. Например, дисплей может быть в состоянии работать в режиме пониженного энергопотребления, который использует агрессивное локальное затемнение подсветки или может быть в состоянии работать в режиме высокой мощности, где локальное затемнение используется только в том случае, когда это может улучшить визуализацию темных областей. Данные управления могут быть использованы для переключения дисплея между этими режимами работы.

Данные управления могут в некоторых примерах задавать конкретное отображение тонов, которое должно выполняться дисплеем, или могут задавать, что функции отображения тонов должны быть отключены (тем самым позволяя устройству 103 обработки изображения полностью контролировать общее отображение тона).

Следует иметь в виду, что в некоторых вариантах осуществления система может использовать данные управления в обоих направлениях, то есть как в прямом направлении от устройства 103 обработки изображения к дисплею 107, так и в обратном направлении от дисплея 107 к устройству 103 обработки изображения. В таких случаях может возникнуть необходимость ввести условия для работы и правила, которые разрешают потенциальные конфликты. Например, может быть предусмотрено, что устройство 103 обработки изображения является ведущим устройством, которое управляет дисплеем 107 и отменяет режим дисплея 107 в случае конфликтов. В качестве другого примера, данные управления могут быть ограничены конкретными параметрами в двух направлениях, так что конфликты не возникают.

В качестве другого примера, отношения ведущего и ведомого могут устанавливаться пользователем. Например, устройство 103 обработки изображений и дисплей 107 могут быть оба выполнены с возможностью обеспечения данных управления для другого объекта, и могут оба быть способны работать в качестве ведущего устройства. Пользователь может в таких системах назначить одно из устройств в качестве ведущего устройства, а другое становится ведомым устройством. Пользователь может специально выбрать это на основе его предпочтения управлять системой со стороны устройства 103 обработки изображения или со стороны дисплея 107.

Система, описанная выше, может, таким образом, обеспечивать коммуникацию между провайдером контента и устройством обработки изображения и/или коммуникацию между устройством обработки изображения и дисплеем. Эти подходы могут быть применены во многих системах, которые имеют коммуникационный канал между провайдером контента и устройством обработки изображения и/или между устройством обработки изображения и дисплеем. Примеры включают BDROM, ATSC и DVB или Интернет и т.д.

Система может использовать коммуникационный канал между устройством обработки изображения и дисплеем, такой как HDMI или коммуникационный интерфейс Display port (порт дисплея). Эта коммуникация может осуществляться в двух направлениях. Например, если интеллектуальный дисплей выполняет все оптимальное отображение видео и графики, устройство обработки изображения может, например, считывать параметры управления, переформатировать и передавать их в аналогичной HDMI структуре.

Данный подход может быть применен особенно в системе BDROM. Как таковой, данный подход может расширить спецификации BDROM для обеспечения передачи параметров целевого дисплея и управляющих команд. Использование таких данных, в сочетании с параметрами дисплея конечного пользователя, может позволить BDROM плееру, например:

- выполнять дополнительное отображение тонов видео и/или графики или другую обработку в плеере в зависимости от характеристик целевого дисплея и дисплея конечного пользователя,

- выполнять дополнительное отображение тонов видео и/или графики или другую обработку, управляемую командами в потоке данных, предоставленном провайдером контента.

В некоторых вариантах осуществления устройство 103 обработки изображения может также включать в себя передатчик для передачи данных управления динамическим диапазоном в устройство 101 провайдера контента. Таким образом, устройство 103 обработки изображения может быть в состоянии контролировать или по меньшей мере влиять на обработку или операцию, выполняемую в устройстве 101 провайдера контента.

В качестве конкретного примера, данные управления могут включать в себя индикацию предпочтительного динамического диапазона изображения и могут конкретно включать индикацию динамического диапазона (например, светимость точки белого и, опционально, EOTF или функцию гаммы) для дисплея конечного пользователя.

В некоторых вариантах осуществления устройство 101 провайдера контента может быть выполнено с возможностью принимать индикацию предпочтительного динамического диапазона во внимание при выполнении отображения тонов. Однако в других вариантах осуществления устройство 101 провайдера контента может обеспечить ряд заранее определенных отображений тонов, например, с использованием ручного отображения тонов экспертом по отображению тонов. Например, изображение с отображением тонов может быть сгенерировано для дисплея с 500 нит, для дисплея с 1000 нит и для дисплея с 2000 нит.

В таком сценарии устройство 101 провайдера контента может быть выполнено с возможностью выбора, какое изображение передавать в устройство 103 обработки изображения, на основе принятых данных управления. В частности, изображение, которое является ближайшим к динамическому диапазону, указанному данными управления, может быть выбрано и передано в устройство 103 обработки изображения.

Такой подход может быть особенно подходящим для потокового приложения, где потоковый сигнал может динамически обновляться, для согласования, насколько это возможно, с динамическим диапазоном дисплея конечного пользователя.

Данный подход может уменьшить степень преобразования динамического диапазона, которое должно быть применено в устройстве 103 обработки изображения, и может, в частности, для сценариев, когда устройство 101 провайдера контента может обеспечивать изображение, отображаемое по тонам в тот же динамический диапазон, что и у дисплея конечного пользователя, позволить выполнение преобразования динамического диапазона как простой нулевой операции (т.е. позволить непосредственно использовать принятое изображение в устройстве 103 обработки изображения).

Существуют различные сценарии приложения, в которых настоящие варианты осуществления могут быть полезны. Например, кодирование конкретной точки белого, или предусматриваемого белого, или аналогичного значения с пиксельным контентом изображения (например, DCT кодирование локальных текстур объектов) позволяет более интеллектуальное распределение необходимых уровней кода по сравнению с предусматриваемыми выходными светимостями для различных возможных выходных сигналов. Можно, например, кодировать текстуру темной комнаты, как если бы она была хорошо освещена (т.е. до пиксельной яркости 255, вместо максимальный яркости 40 в изображении темной сцены), но задавать, что "белое", то есть 255, должно обрабатываться особым образом, то есть, что оно должно визуализироваться темным. Простой способ сделать это состоит в том, чтобы совместно кодировать, например, визуализируемую выходную светимость на дисплее, для этого кода 255 яркости. То же самое можно сделать, чтобы кодировать преимущественно очень яркие значения, например, как в туманной сцене с яркими источниками света в ней.

Что касается гаммы, она может использоваться, например, чтобы указать, был ли материал кодирован, например, на основе материала градуального целлулоидного негатива или с помощью цифровой камеры с настройкой сильного насыщения, либо любой другой причины для отклонения от одного значения гаммы к другому, как правило, для конечного дисплея, на котором будет происходить визуализация. EOTF может обычно кодировать, например, довольно грубо поведение значения серого, например, компенсацию, например, для дисплея с другой гаммой, или различные среды просмотра, компенсируемые как различные гаммы. Можно, следовательно, передать информацию, такую как "сигнал, кодированный/предназначенной для, например, оптимизированный на опорном дисплее с гаммой =Х", так что другой дисплей с другими характеристиками знает, как обрабатывать это, чтобы получить более оптимальную визуализацию в направлении художественных замыслов. Отображения тонов могут быть более общими в том, что они также могут передавать, например, какие типичные замыслы визуализации были применены к изображению (например, художники сделали облака более зловеще темными, что должно при любой окончательной математике визуализации отображения все еще показываться, по меньшей мере приближенно, в выходном отображаемом изображении). Либо дисплей может только визуализировать часть диапазона яркости, кодированного в поданном на него изображении, в соответствии с метаданными управления.

Поясним еще один пример с помощью фиг. 23, а именно, принцип кодирования любой HDR сцены (приблизительно) в LDR изображении ("HDR_кодированное_как_LDR"), которое могло бы быть, например, стандартом 10-битового изображения, но поясним интересный вариант кодирования в классическом 8-битовом изображении, т.е. изображении, которое совместимо, например, со стандартом MPEG2 или AVC и поэтому могло бы быть использовано непосредственно в классической технологии визуализации. Хотя может быть желательным большое количество битов для HDR сигнала, например, 12, 16 или 22, 8 битов для канала яркости уже переносит большое количество информации (много возможных цветов, особенно для аппроксимации сложных текстур) для любого пикового белого при визуализации. Кроме того, многие HDR сигналы могут допускать значительную степень аппроксимации, поскольку, например, солнце не требуется кодировать точно с яркостью, которую оно реально имеет, поскольку оно будет аппроксимироваться при визуализации на дисплее в любом случае. Для LDR диапазонов светимости, даже меньшее количество битов часто приемлемо достаточно, так как, например, 6 битов дают приемлемое приближение/качество изображения (как известно из печати).

Таким образом, в данном примере, следовательно, кодируем HDR изображение точно в 8-битовой структуре яркости, путем применения соответствующих отображений т.е. математических преобразований на по меньшей мере значениях яркости пикселей, которые обычно являются простыми. Критерием является то, что, с одной стороны (путем совместного кодирования преобразований), можно реконструировать HDR изображение (то есть, например, 8-битовое или 12-битовое интерполяционное приближение, предназначенное для визуализации на дисплее с 0,1-5000 нит) из LDR 8-битового кодированного изображения, путем реверсирования совместно кодированных отображений (без необходимости какой-либо или значительной посткоррекции), т.е. HDR изображение будет выглядеть либо психовизуально (почти) неразличимым, либо по меньшей мере оно будет все еще хорошим HDR изображением (то есть, типично, демонстрировать вид HDR сцены, аппроксимируя то, как HDR было бы визуализировано, если оно было создано непосредственно из оригинала, например, 12-битового HDR изображения IM_HDR, с его HDR диапазоном HDR_Rng визуализируемых светимостей). Но, с другой стороны, нам желательно LDR изображение, то есть, если бы 8-битовый сигнал непосредственно применялся к LDR дисплею, например, с 0,1-400 нит, что все еще позволяет хорошее визуальное представление. Например, можно было бы просто линейно сжать HDR изображение IM_HDR в LDR диапазон LDR_Rng, например, путем отбрасывания младших битов и предполагая, что белое (максимальное значение 255 кода) должно визуализироваться при 400 нит. Однако поскольку такие HDR изображения обычно содержат очень яркие объекты в верхней части их диапазона значений яркости, такое 8-битовое изображение будет выглядеть слишком темным на LDR дисплее, поскольку релевантные более темные части изображения/сцены теперь будут заканчиваться на кодах очень низких значений яркости, т.е. выходных светимостях дисплея. Однако ряд улучшений уже может быть достигнут путем применения оптимальной гаммы до кодирования HDR/12-битового/5000 нит изображения в LDR/8-битовое/400 нит классическое, например, AVC представление. Т.е. эта гамма будет отображать яркие объекты на более яркие части (например, делая их менее контрастными и пастельными, но все еще приемлемыми на LDR дисплее, с еще достаточным количеством информации, чтобы выполнить рациональное реверсивное отображение вновь на HDR), оптимально координированные, в то же время не сжимая более темные части (например, темное дерево) слишком сильно, так что эти темные объекты по-прежнему выглядят достаточно ярко на LDR дисплее (и, таким образом, хорошая HDR темная часть может быть воссоздана для просмотра в темном окружении, или достаточные текстурные данные доступны для более яркого кодирования их на HDR дисплее).

В целом такое отображение может быть общим глобальным преобразованием по значениям яркости (т.е. отображением, которое не принимает во внимание геометрическую локальную специфику, например, где пиксель находится в изображении, или каковы яркости соседних с ним пикселей, или к какому типу объекта сцены он принадлежит, а только принимает в качестве входа значение яркости пикселя). Несколько более сложными отображениями могут быть совместно кодируемые, например, преобразование только для выделенной подобласти или объекта на изображении (локальное отображение, в случае которого обычно совместно кодируется дополнительная информация, например, определяющая границу объекта). Но в целом, хотя можно было бы предусмотреть любое преобразование для работы с раскрытыми здесь вариантами осуществления, например, для уменьшения объема работы типично оператора-сортировщика, определяющего эти оптимальные отображения, они в типовом случае будут малочисленными и простыми (никакое локальное отображение не будет кодироваться, если достаточна в общем глобальная функция такая, как S-кривая или многоточечный сплайн).

Поясним на примере с устройством 510 кодирования изображения стороны создателя контента с оптимизированным оператором кодированием выходного изображения, являющегося в типовом случае 8-битовым LDR изображением Im_1 (как типично охватывается функциями преобразования/отображения или алгоритмическими стратегиями как метаданные МЕТ в некоторой структуре S сигнала изображения, как предписано в AVC или HEVC), в память (например, Blu-ray диск 511, или временную память, для окончательного кодирования на сигнале, подлежащем хранению или передаче). Этот сортировщик может проверить изображение на одном или нескольких дисплеях 530, например, проверяя, выглядят ли как LDR, так и восстанавливаемое HDR изображение надлежащим образом на соответствующих опорных LDR и HDR дисплеях, перед отправкой его инструкций на блок 550 кодирования изображения (который выполняет отображение на 8-битовое значение яркости) и блок 554 форматирования, который финализирует изображение и его цветовые коды в соответствии с используемым в настоящее время стандартом кодирования изображения и совместно кодирует изображение текстуры с метаданными преобразования на выход 512.

В верхней части мы видим, как HDR изображение IM_HDR (которое вводится через вход 511 устройства 510 кодирования изображения) с его HDR диапазоном отображается на LDR изображение с его LDR диапазоном визуализируемых светимостей, если это осуществляется на LDR дисплее.

Хотя был пояснен вариант "HDR_кодированный_как_LDR" с кодированием на стороне создания контента для передачи на сторону использования контента, те же самые варианты осуществления "HDR_кодированного_как_LDR", очевидно, также могут быть использованы при передаче (например, путем транскодирования) между различными устройствами, такими как, например, два домашних устройства в домашней сети. Затем, например, блок автоматического анализа изображения и отображения может применять автоматический анализ изображения и соответствующий способ отображения яркости. Это может быть сделано, например, устройством приема или хранения контента при получении первого представления изображения, такого как, например, в 12-битовое HDR изображение, и отправке его по HDMI или другому сетевому соединению на телевизор. Или 8-битовое LDR изображение может кодироваться согласно или для беспроводного стандарта для потоковой передачи на мобильный дисплей, с возможностями HDR, но меньшего визуального качества в любом случае.

В случае HDR дисплея имеется в виду дисплей с пиковой яркостью, превышающей 750 нит; дисплеи с более низкой пиковой яркостью, и особенно ниже 500 нит, являются LDR дисплеями.

Заданный критерий качества для оценки, является ли LDR визуализация и HDR визуализация восстановленного HDR сигнала из LDR изображения (обычно полученного исключительно путем инвертирования совместно кодированных отображений, но некоторая дальнейшая обработка может быть выполнена, например, устройство принимающей стороны может применить обработку изображения, смягчающую границы квантования), будет либо математическим алгоритмом, либо суждением человека-оператора, что она достаточно хороша, при кодировании окончательных кодировок изображения для распространения. Как применяемые человеком, так и программно-кодированные оценщики качества будут применять такие критерии анализа изображений, как: существует ли достаточный (локальный) контраст в различных областях (т.е. при сохранении достаточной видимости оригинала, например, скана целлулоидного мастер-негатива 12 или 14-битового HDR изображения), в частности, в областях центральных в изображении, имеется ли много артефактов, таких как границы квантования, и насколько велики или широки ступеньки, есть ли достаточные пространственные субмоды гистограммы светимости (сохранены ли кинематографическое представление/замысел оригинала), в частности, имеют ли пространственно разделенные объекты достаточный контраст между областями и т.д. И, в частности, если оригиналы присутствуют, как, например, в сетевой системе подключенных устройств, устройство передачи (например, SetTopBox (приставка)) оценивает, является ли восстанавливаемый HDR сигнал достаточно близким к оригиналу, например, 12-битовому HDR сигналу, присутствующему в данном местоположении (что может быть сделано на основе таких математических критериев, как MSE, или PSNR, или психовизуально взвешенные различия и т.д.).

Такой сигнал имеет преимущество, состоящее в том, что любая система с возможностями HDR знает, что на самом деле имеется HDR изображение, кодированное как LDR изображение, и может оптимально восстановить это HDR изображение до визуализации, при этом обратно совместимые унаследованные LDR системы также могут напрямую использовать LDR изображение для визуализации.

Следует понимать, что в приведенном выше описании для ясности описаны варианты осуществления настоящего изобретения со ссылкой на разные функциональные схем, модули и процессоры. Однако будет очевидно, что любое подходящее распределение функциональности между различными функциональными схемами, модулями или процессорами может быть использовано без отклонения от изобретения. Например, функциональность, показанная как выполняемая отдельными процессорами или контроллерами, может быть выполнена одним и тем же процессором или контроллером. Таким образом, ссылки на конкретные функциональные блоки или схемы должны рассматриваться только как ссылки на подходящие средства для обеспечения описанных функциональных возможностей, а не как указание на строгую логическую или физическую структуру или организацию.

Все относящиеся к способу варианты осуществления и решения соответствуют соответствующему устройству и потенциально дальнейшему продукту, такому как выходные сигналы, варианты осуществления, и наоборот. Изобретение может быть реализовано в любой приемлемой форме, включая аппаратные средства, программное обеспечение, микропрограммное обеспечение или любую их комбинацию. Изобретение может быть опционально реализовано, по меньшей мере частично, как компьютерная программа, выполняемая на одном или нескольких процессорах данных и/или цифровых сигнальных процессорах. Элементы и компоненты варианта осуществления изобретения могут быть физически, функционально и логически реализованы любым подходящим способом. Действительно функциональные возможности могут быть реализованы в одном блоке, в множестве блоков или как часть других функциональных блоков. Таким образом, изобретение может быть реализовано в одном устройстве или может быть физически и функционально распределено между различными блоками, схемами и процессорами.

Хотя настоящее изобретение было описано в связи с некоторыми вариантами осуществления, оно не предназначено, чтобы ограничиваться конкретной формой, изложенной в данном документе. Скорее, объем настоящего изобретения ограничивается только прилагаемой формулой изобретения. Кроме того, хотя функция может представляться описанной в связи с конкретными вариантами осуществления, специалистам в данной области техники будет понятно, что различные признаки описанных вариантов осуществления могут быть объединены в соответствии с изобретением. В формуле изобретения термин “содержащий” не исключает наличия других элементов или этапов.

Кроме того, хотя перечислены в отдельности, однако множество средств, элементов, схем или этапов способа могут быть реализованы, например, одной схемой, блоком или процессором. Кроме того, хотя отдельные признаки могут быть включены в различные пункты формулы изобретения, они могут быть с успехом объединены, и включение в различные пункты формулы изобретения не подразумевает, что комбинация признаков не представляется возможной и/или выгодной. Кроме того, включение признака в одну категорию пунктов формулы изобретения не подразумевает ограничение этой категорией, а скорее указывает, что признак в равной степени применим к другим категориям пунктов формулы изобретения, по мере необходимости. Кроме того, порядок признаков в формуле изобретения не подразумевает определенного порядка, в котором признаки должны быть осуществлены и, в частности, порядок отдельных этапов в пункте на способ не предполагает, что этапы должны выполняться в указанном порядке. Скорее, эти этапы могут быть выполнены в любом подходящем порядке. Кроме того, указание единственного числа не исключают множественность. Таким образом, ссылки на единственное число, "первый", "второй" и т.д. не исключают множества. Ссылочные обозначения в формуле изобретения приведены только в качестве поясняющего примера и не могут быть истолкованы как ограничивающие объем формулы изобретения каким-либо образом.

Реферат

Изобретение относится к преобразованиям динамического диапазона для изображений. Техническим результатом является обеспечение возможности улучшенных преобразований динамического диапазона, которые могут адаптироваться к конкретным характеристикам визуализации изображения. Устройство обработки изображения содержит приемник (201) для приема сигнала изображения, второй приемник (1701) для приема сигнала данных от дисплея (107), процессор (203) динамического диапазона, выполненный с возможностью генерирования выходного изображения путем применения преобразования динамического диапазона к кодированному изображению, и выход (205) для вывода выходного сигнала изображения на дисплей. Сигнал изображения содержит кодированное изображение. Сигнал данных содержит поле данных, которое содержит индикацию динамического диапазона дисплея для дисплея (107), содержащую светимость точки белого, которая способна характеризовать, является ли дисплей дисплеем высокого динамического диапазона. Процессор (203) выполнен с возможностью применения преобразования динамического диапазона к сигналу изображения, являющемуся сигналом изображения высокого динамического диапазона, соответствующему абсолютной максимальной светимости целевого дисплея выше 500 нит. 5 н. и 19 з.п. ф-лы, 23 ил.

Формула