Способы для определения параметра кривой настройки градационной шкалы и способы для выбора уровня освещения света источника дисплея - RU2436172C1

Чертежи

Показать все 106 чертежа(ей)

Описание

Связанные ссылки

Следующие заявки настоящим включены в данный документ посредством ссылки: патентная заявка США № 11/465436, озаглавленная "Способы и системы для выбора уровня освещения света источника дисплея", поданная 17 августа 2006; патентная заявка США № 11/293562, озаглавленная "Способы и системы для определения настройки источника света дисплея", поданная 2 декабря 2005; патентная заявка США № 11/224792, озаглавленная "Способы и системы для специфической для изображения настройки градационной шкалы и управления источником света", поданная 12 сентября 2005; патентная заявка США № 11/154053, озаглавленная "Способы и системы для улучшения характеристик дисплея с повышением высокочастотного контраста", поданная 15 июня 2005; патентная заявка США № 11/154054, озаглавленная "Способы и системы для улучшения характеристик дисплея со специфическим для частоты усилением", поданная 15 июня 2005; патентная заявка США № 11/154052, озаглавленная "Способы и системы для улучшения характеристик дисплея", поданная 15 июня 2005; патентная заявка США № 11/393404, озаглавленная "Метод усиления цвета, использующий обнаружение цвета поверхности", поданная 30 марта 2006; патентная заявка США № 11/460768, озаглавленная "Способы и системы для связанного с искажением управления светом источника", поданная 28 июля 2006; патентная заявка США № 11/202903, озаглавленная "Способы и системы для независимой настройки представления в многопроекционных дисплеях", поданная 8 августа 2005; патентная заявка США № 11/371466, озаглавленная "Способы и системы для улучшения характеристик дисплея с вводом внешней подсветки", поданная 8 марта 2006; патентная заявка США № 11/293066, озаглавленная "Способы и системы для сохранения яркости в зависимости от режима дисплея", поданная 2 декабря 2005; патентная заявка США № 11/460907, озаглавленная "Способы и системы для генерации и применения коррекций градационной шкалы изображения", поданная 28 июля 2006; патентная заявка США № 11/160940, озаглавленная "Способы и системы для сохранения цвета с коррекциями градационной шкалы изображения", поданная 28 июля 2006; патентная заявка США № 11/564203, озаглавленная "Способы и системы для настройки градационной шкалы изображения для компенсации пониженного уровня мощности источника света", поданная 28 ноября 2006; патентная заявка США № 11/680312, озаглавленная "Способы и системы для сохранения яркости с использованием сглаженного по усилению изображения", поданная 28 февраля 2007; патентная заявка США № 11/845651, озаглавленная "Способы и системы для генерации, выбора и применения градационной кривой", поданная 27 августа 2007; и патентная заявка США № 11/605711, озаглавленная "Метод улучшения цвета с использованием обнаружения цвета поверхности", поданная 28 ноября 2006.

Область техники

Варианты осуществления настоящего изобретения включают в себя способы и системы для улучшения изображения. Некоторые варианты осуществления включают в себя методы улучшения цвета, некоторые варианты осуществления включают в себя сохранение яркости, некоторые варианты осуществления включают в себя повышение яркости, и некоторые варианты осуществления включают в себя методы расширения битовой глубиной методы.

Предшествующий уровень техники

Типичное дисплейное устройство отображает изображение, используя фиксированный диапазон уровней светимости. Для многих дисплеев диапазон светимости имеет 256 уровней, которые равномерно разнесены от 0 до 255. Обычно присваиваются кодовые значения изображения, чтобы непосредственно соответствовать этим уровням.

Во многих электронных устройствах с большими дисплеями дисплеи являются основными потребителями мощности. Например, в ноутбуке дисплей, вероятно, будет потреблять больше мощности, чем любой из других компонентов в системе. Многие дисплеи с ограниченной доступной мощностью, такие как находящиеся в устройствах с батарейным питанием, могут использовать различные уровни освещения или яркости, чтобы способствовать управлению потреблением энергии. Система может использовать режим полной мощности, когда она включена в источник энергии, такой как источник энергии переменного тока, и может использовать энергосберегающий режим при работе от батарейного источника питания.

В некоторых устройствах дисплей может автоматически переходить в энергосберегающий режим, в котором освещение дисплея уменьшено, чтобы сохранить мощность. Эти устройства могут иметь множество энергосберегающих режимов, в которых освещение уменьшается пошаговым способом. Вообще, когда освещение дисплея уменьшено, качество изображения также падает. Когда максимальный уровень светимости уменьшен, динамический диапазон дисплея уменьшается, и контраст изображения ухудшается. Поэтому контраст и другие качества изображения снижаются во время типовой операции энергосберегающего режима.

Многие дисплейные устройства, такие как жидкокристаллические дисплеи (LCD) или цифровые микрозеркальные устройства (DMD), используют световые клапаны, которые подсвечиваются сзади, сбоку, спереди так или иначе. В светоклапанном дисплее с задней подсветкой, таком как LCD, задняя подсветка помещена позади жидкокристаллической панели. Задняя подсветка излучает свет через LC панель, которая модулирует свет, чтобы зарегистрировать изображение. Как светимость (яркость), так и цвет могут модулироваться в цветных дисплеях. Отдельные LC пиксели модулируют количество света, который проходит от задней подсветки и через LC панель к глазам пользователя или некоторому другому месту назначения. В некоторых случаях место назначения может быть световым датчиком, таким как прибор с зарядовой связью (CCD).

Некоторые дисплеи могут также использовать излучатели света, чтобы регистрировать изображение. Эти дисплеи, такие как светодиодные (LED) дисплеи и плазменные дисплеи, используют элементы изображения, которые излучают свет, а не отражают свет от другого источника.

Сущность изобретения

Некоторые варианты осуществления настоящего изобретения включают в себя системы и способы для изменения уровня модуляции светимости модулированного световым клапаном пикселя, чтобы скомпенсировать уменьшенную интенсивность освещения источника света или улучшить качество изображения на фиксированном уровне освещения источника света.

Некоторые варианты осуществления настоящего изобретения могут также использоваться с дисплеями, которые используют излучатели света, чтобы регистрировать изображение. Эти дисплеи, такие как светодиодные (LED) дисплеи и плазменные дисплеи, используют элементы изображения, которые излучают свет, а не отражают свет от другого источника. Варианты осуществления настоящего изобретения могут использоваться, чтобы усиливать изображение, формируемое этими устройствами. В этих вариантах осуществления, яркость пикселей может настраиваться, чтобы увеличить динамический диапазон определенных диапазонов частот изображения, диапазоны светимости и другие подразделения изображения.

В некоторых вариантах осуществления настоящего изобретения источник света дисплея может настраиваться на различные уровни в соответствии с характеристиками изображения. Когда эти уровни источника света изменяются, кодовые значения изображения могут настраиваться, чтобы скомпенсировать изменение в яркости или иначе улучшить качество изображение.

Некоторые варианты осуществления настоящего изобретения включают в себя восприятие внешнего света, который может использоваться в качестве ввода при определении уровней источника света и значений пикселя изображения.

Некоторые варианты осуществления настоящего изобретения включают в себя связанное с искажением управление источником и потреблением от батареи питания.

Некоторые варианты осуществления настоящего изобретения включают в себя системы и способы для генерации и применения коррекций градационной шкалы изображения.

Некоторые варианты осуществления настоящего изобретения включают в себя способы и системы для коррекции настройки градационной шкалы изображения с улучшенной точностью цветопередачи.

Некоторые варианты осуществления настоящего изобретения включают в себя способы и системы для выбора уровня освещения света источника дисплея.

Некоторые варианты осуществления настоящего изобретения включают в себя способы и системы для создания кривой тонов панели и целевой кривой тонов. Некоторые из этих вариантов осуществления предусматривают создание множества целевых кривых тонов, причем каждая кривая связана с отличающимся уровнем задней подсветки или освещения источника света. В этих вариантах осуществления может быть выбран уровень задней подсветки, и целевая кривая тонов, связанная с выбранным уровнем освещения задней подсветки, может быть применена к изображению, которое должно отображаться. В некоторых вариантах осуществления цель, связанная с рабочими характеристиками, может влиять на выбор параметров кривой тонов.

Некоторые варианты осуществления настоящего изобретения включают в себя способы и системы для улучшения цвета. Некоторые из этих вариантов осуществления включают в себя обнаружение цвета поверхности, обработку карты цвета поверхности и обработку цвета.

Некоторые варианты осуществления настоящего изобретения включают в себя способы и системы для расширения битовой глубины. Некоторые из этих вариантов осуществления включают в себя применение шаблона пространственного и временного высокочастотного размывания (контуров изображения) к изображению перед сокращением битовой глубины.

Некоторые варианты осуществления настоящего изобретения включают в себя фильтры сигнала уровня освещения света источника, которые реагируют на присутствие перехода сцены в видеопоследовательности.

Некоторые варианты осуществления настоящего изобретения включают в себя генерацию и применение кривой настройки градационной шкалы на основе данных гистограммы светимости.

Предшествующие и другие цели, признаки и преимущества изобретения будут более понятны из рассмотрения следующего детального описания изобретения во взаимосвязи с иллюстрирующими чертежами.

Краткое описание чертежей

Фиг. 1 - диаграмма, показывающая известные из предшествующего уровня техники LCD системы с задней подсветкой;

Фиг. 2A - график, показывающий соотношение между исходными кодовым значениями изображения и усиленными кодовыми значениями изображения;

Фиг. 2B - график, показывающий соотношение между исходными кодовыми значениями изображения и усиленными кодовыми значениями изображения с ограничением;

Фиг. 3 - график, показывающий уровень светимости, связанный с кодовыми значениями для различных схем модификации кодового значения;

Фиг. 4 - график, показывающий соотношение между исходными кодовыми значениями изображения и модифицированными кодовыми значениями изображения согласно различным схемам модификации;

Фиг. 5 - диаграмма, показывающая генерацию примерной модели настройки градационной шкалы;

Фиг. 6 - диаграмма, показывающая примерное применение модели настройки градационной шкалы;

Фиг. 7 - диаграмма, показывающая генерацию примерной модели настройки градационной шкалы и карты усиления;

Фиг. 8 - график, показывающий примерную модель настройки градационной шкалы;

Фиг. 9 - график, показывающий примерную карту усиления;

Фиг. 10 - блок-схема, показывающая примерный процесс, в котором модель настройки градационной шкалы и карта усиления применены к изображению;

Фиг. 11 - блок-схема, показывающая примерный процесс, в котором модель настройки градационной шкалы применена к одному диапазону частот изображения, и карта усиления применена к другому диапазону частот изображения;

Фиг. 12 - график, показывающий изменения модели настройки градационной шкалы как изменения MFP;

Фиг. 13 - блок-схема, показывающая примерный метод отображения градационной шкалы в зависимости от изображения;

Фиг. 14 - диаграмма, показывающая примерные варианты осуществления выбора градационной шкалы в зависимости от изображения;

Фиг. 15 - диаграмма, показывающая примерные варианты осуществления вычисления карты градационной шкалы в зависимости от изображения;

Фиг. 16 - блок-схема, показывающая варианты осуществления, включающие в себя настройку уровня света источника и отображения градационной шкалы в зависимости от изображения;

Фиг. 17 - диаграмма, показывающая примерные варианты осуществления, включающие в себя вычислитель уровня света источника и селектор карты градационной шкалы;

Фиг. 18 - диаграмма, показывающая примерные варианты осуществления, включающие в себя вычислитель уровня света источника и вычислитель карты градационной шкалы;

Фиг. 19 - блок-схема, показывающая варианты осуществления, включающие в себя настройку уровня света источника и зависимое от уровня света источника отображение градационной шкалы;

Фиг. 20 - диаграмма, показывающая варианты осуществления, включающие в себя вычислитель уровня света источника и зависимое от уровня света источника вычисление или выбор градационной шкалы;

Фиг. 21 - диаграмма, показывающая график исходных кодовых значений изображения в зависимости от наклона градационной шкалы;

Фиг. 22 - диаграмма, показывающая варианты осуществления, включающие в себя отдельный анализ канала цветности;

Фиг. 23 - диаграмма, показывающая варианты осуществления, включающие в себя ввод внешнего освещения в модуль обработки изображения;

Фиг. 24 - диаграмма, показывающая варианты осуществления, включающие в себя ввод внешнего освещения в модуль обработки света источника;

Фиг. 25 - диаграмма, показывающая варианты осуществления, включающие в себя ввод внешнего освещения в модуль обработки изображения и ввод характеристики устройства;

Фиг. 26 - диаграмма, показывающая варианты осуществления, включающие в себя альтернативные вводы внешнего освещения в модуль обработки изображения и/или модуль обработки света источника и постпроцессора сигнала света источника;

Фиг. 27 - диаграмма, показывающая варианты осуществления, включающие в себя ввод внешнего освещения в модуль обработки источника света, который передает этот ввод к модулю обработки изображения;

Фиг. 28 - диаграмма, показывающая варианты осуществления, включающие в себя ввод внешнего освещения в модуль обработки изображения, который может передать этот ввод к модулю обработки света источника;

Фиг. 29 - диаграмма, показывающая варианты осуществления, включающие в себя адаптивное к искажению управление мощностью;

Фиг. 30 - диаграмма, показывающая варианты осуществления, включающие в себя постоянное управление мощностью;

Фиг. 31 - диаграмма, показывающая варианты осуществления, включающие в себя адаптивное управление мощностью;

Фиг. 32A - график, показывающий сравнение потребления мощности для моделей постоянной мощности и постоянного искажения;

Фиг. 32B - график, показывающий сравнение искажения для моделей постоянной мощности и постоянного искажения;

Фиг. 33 - диаграмма, показывающая варианты осуществления, включающие в себя адаптивное к искажению управление мощностью;

Фиг. 34 - график, показывающий уровни мощности задней подсветки при различных пределах искажения для примерной видеопоследовательности;

Фиг. 35 - график, показывающий примерные кривые мощности/искажения;

Фиг. 36 - блок-схема, показывающая варианты осуществления, которые управляют потреблением мощности по отношению к критерию искажения;

Фиг. 37 - блок-схема, показывающая варианты осуществления, включающие в себя выбор уровня мощности света источника на основе критерия искажения;

Фиг. 38A и B являются блок-схемой, показывающей варианты осуществления, включающие в себя измерение искажения, которое учитывает эффекты методов сохранения яркости;

Фиг. 39 - кривая мощности/искажения для примерных изображений;

Фиг. 40 - график мощности, показывающий фиксированное искажение;

Фиг. 41 - график искажения, показывающий фиксированное искажение;

Фиг. 42 - примерная кривая настройки градационной шкалы;

Фиг. 43 - вид в увеличенном масштабе темной области кривой настройки градационной шкалы, показанной на Фиг. 42;

Фиг. 44 - другая примерная кривая настройки градационной шкалы;

Фиг. 45 - вид в увеличенном масштабе темной области кривой настройки градационной шкалы, показанной на Фиг. 44;

Фиг. 46 - диаграмма, показывающая настройку кодового значения изображения на основе максимального значения цвета канала;

Фиг. 47 - диаграмма, показывающая настройку кодового значения изображения множества каналов цвета на основе максимального кодового значения канала цвета;

Фиг. 48 - диаграмма, показывающая настройку кодового значения изображения множества каналов цвета на основе характеристики кодового значения одного из каналов цвета;

Фиг. 49 - диаграмма, показывающая варианты осуществления настоящего изобретения, включающие в себя генератор градационной шкалы, который получает максимальное кодовое значение канала цвета в качестве входа;

Фиг. 50 - диаграмма, показывающая варианты осуществления настоящего изобретения, включающие в себя разложение по частоте и кодовые различия канала цвета с настройкой градационной шкалы;

Фиг. 51 - диаграмма, показывающая варианты осуществления настоящего изобретения, включающие в себя разложение по частоте, различие канала цвета и ограничение с сохранением цвета;

Фиг. 52 - диаграмма, показывающая варианты осуществления настоящего изобретения, включающие в себя ограничение с сохранением цвета на основе характеристик кодового значения канала цвета;

Фиг. 53 - диаграмма, показывающая варианты осуществления настоящего изобретения, включающие в себя разделение нижних частот/верхних частот и выбор максимального кодового значения канала цвета;

Фиг. 54 - диаграмма, показывающая различные соотношения между обработанными изображениями и моделями дисплея;

Фиг. 55 - график гистограммы кодовых значений изображения для примерного изображения;

Фиг. 56 - график примерной кривой искажения, соответствующей гистограмме по фиг. 55;

Фиг. 57 - график, показывающий результаты применения примерного критерия оптимизации к короткому DVD клипу, этот график отображает выбранную мощность задней подсветки относительно номера видеокадра;

Фиг. 58 иллюстрирует определение задней подсветки с минимальным искажением MSE для различных отношений контраста фактического дисплея;

Фиг. 59 - график, показывающий примерную кривую тонов панели и целевую кривую тонов;

Фиг. 60 - график, показывающий примерную кривую тонов панели и целевую кривую тонов для конфигурации экономии мощности;

Фиг. 61 - график, показывающий примерную кривую тонов панели и целевую кривую тонов конфигурации более низкого уровня черного;

Фиг. 62 - график, показывающий примерную кривую тонов панели и целевую кривую тонов для конфигурации повышения яркости;

Фиг. 63 - график, показывающий примерную кривую тонов панели и целевую кривую тонов для конфигурации усиления изображения, в которой уровень черного понижен, а яркость увеличена;

Фиг. 64 - график, показывающий ряд примерных целевых кривых тонов для улучшения уровня черного;

Фиг. 65 - график, показывающий ряд примерных целевых кривых тонов для улучшения уровня черного и повышения яркости изображения;

Фиг. 66 - диаграмма, показывающая примерный вариант осуществления, включающий в себя определение целевой кривой тонов и связанный с искажением выбор задней подсветки;

Фиг. 67 - диаграмма, показывающая примерный вариант осуществления, включающий в себя основанные на рабочих показателях и цели выбор параметров, определение целевой кривой тонов и выбор задней подсветки;

Фиг. 68 - диаграмма, показывающая примерный вариант осуществления, включающий в себя основанные на рабочих показателях и цели определение целевой кривой тонов и выбор задней подсветки;

Фиг. 69 - диаграмма, показывающая примерный вариант осуществления, включающий в себя основанные на рабочих показателях и цели и связанные с изображением определение целевой кривой тонов и выбор задней подсветки;

Фиг. 70 - диаграмма, показывающая примерный вариант осуществления, включающий в себя разложение по частоте и обработку градационной шкалы с расширением битовой глубины;

Фиг. 71 - диаграмма, показывающая примерный вариант осуществления, включающий в себя разложение по частоте и усиление цвета;

Фиг. 72 - диаграмма, показывающая примерный вариант осуществления, включающий в себя процессы усиления цвета, выбора задней подсветки и усиления пропускания верхних частот;

Фиг. 73 - диаграмма, показывающая примерный вариант осуществления, включающий в себя усиление цвета, генерацию гистограммы, обработку градационной шкалы и выбор задней подсветки;

Фиг. 74 - диаграмма, показывающая примерный вариант осуществления, включающий в себя обнаружение цвета поверхности и детализацию карты цвета поверхности;

Фиг. 75 - диаграмма, показывающая примерный вариант осуществления, включающий в себя усиление цвета и расширение битовой глубины;

Фиг. 76 - диаграмма, показывающая примерный вариант осуществления, включающий в себя усиление цвета, обработку градационной шкалы и расширение битовой глубины;

Фиг. 77 - диаграмма, показывающая примерный вариант осуществления, включающий в себя усиление цвета;

Фиг. 78 - диаграмма, показывающая примерный вариант осуществления, включающий в себя усиление цвета и расширение битовой глубины;

Фиг. 79 - график, показывающий целевую кривую выхода и множество кривых панели или выхода дисплея;

Фиг. 80 - график, показывающий графики вектора ошибок для целевой кривой и кривых выхода дисплея по Фиг. 79;

Фиг. 81 - график, показывающий взвешенный гистограммой график ошибок;

Фиг. 82 - диаграмма, показывающая, примерный вариант осуществления настоящего изобретения, включающий в себя взвешенный гистограммой, основанный на ошибках выбор уровня освещения источника света;

Фиг. 83 - диаграмма, показывающая альтернативный примерный вариант осуществления настоящего изобретения, включающий в себя взвешенный гистограммой, основанный на ошибках выбор уровня освещения источника света;

Фиг. 84 - диаграмма, показывающая примерную систему, содержащую датчик перехода сцены;

Фиг. 85 - диаграмма, показывающая примерную систему, содержащую датчик перехода сцены и модуль компенсации изображения;

Фиг. 86 - диаграмма, показывающая примерную систему, содержащую датчик перехода сцены и буфер гистограммы;

Фиг. 87 - диаграмма, показывающая примерную систему, содержащую датчик перехода сцены и временной фильтр, реагирующий на датчик перехода сцены;

Фиг. 88 - диаграмма, показывающая примерный способ, в котором выбор фильтра основан на обнаружении перехода сцены;

Фиг. 89 - диаграмма, показывающая примерный способ, в котором кадры сравниваются, чтобы обнаружить переход сцены;

Фиг. 90 - график, показывающий отклик задней подсветки без фильтра;

Фиг. 91 - график, показывающий типичную временную функцию чувствительности контраста;

Фиг. 92 - график, показывающий отклик примерного фильтра;

Фиг. 93 - график, показывающий отфильтрованный и неотфильтрованный отклик задней подсветки;

Фиг. 94 - график, показывающий отклик фильтра по переходу сцены;

Фиг. 95 - график, показывающий неотфильтрованный отклик по переходу сцены вместе с первым отфильтрованным откликом и вторым отфильтрованным откликом;

Фиг. 96 - диаграмма системы, показывающая варианты осуществления, включающие в себя буфер гистограмм, временной фильтр и компенсацию Y-усиления;

Фиг. 97 - график, показывающий различные примерные кривые Y-усиления;

Фиг. 98 - график, показывающий примерные модели дисплея;

Фиг. 99 - график, показывающий примерные кривые вектора ошибок дисплея;

Фиг. 100 - график, показывающий примерные гистограммы изображения;

Фиг. 101 - график, показывающий примерные кривые искажения изображения в зависимости от уровня задней подсветки;

Фиг. 102 - график, показывающий сравнение отличающихся метрик искажения;

Фиг. 103 - диаграмма, показывающая примерную систему, содержащую обнаружение перехода сцены и компенсацию изображения; и

Фиг. 104 - диаграмма, показывающая примерный способ, включающий в себя анализ изображения для определения переходов сцены и вычисление искажения в соответствии с переходом сцены.

Детальное описание примерных вариантов осуществления

Варианты осуществления настоящего изобретения будут лучше всего поняты со ссылками на чертежи, на которых одинаковые элементы обозначены одинаковыми ссылочными позициями. Чертежи, перечисленные выше, явно включены как часть этого детального описания.

Понятно, что компоненты настоящего изобретения, как вообще описано и иллюстрировано на чертежах, могут быть выполнены и спроектированы в большом разнообразии различных конфигураций. Таким образом, следующее более детальное описание вариантов осуществления способов и систем настоящего изобретения не предназначено, чтобы ограничивать объем изобретения, а является просто репрезентативным для предпочтительных в настоящее время вариантов осуществления изобретения.

Элементы вариантов осуществления настоящего изобретения могут быть реализованы в аппаратных средствах, программируемом оборудовании и/или программном обеспечении. В то время как примерные варианты осуществления, представленные здесь, могут описывать только одну из этих форм, понятно, что специалисты в данной области техники смогут осуществить эти элементы в любой из этих форм, оставаясь в пределах объема настоящего изобретения.

Устройства дисплея, использующие светоклапанные модуляторы, такие как LC модуляторы и другие модуляторы, могут быть отражательными, в которых свет излучается на фронтальную поверхность (обращенную к наблюдателю) и отражается назад к наблюдателю после прохождения через слой панели модуляции. Устройства дисплея могут также быть проходными, в которых свет излучается сзади слоя панели модуляции и может проходить через слой модуляции к наблюдателю. Некоторые устройства дисплея могут также работать на пропускание и отражение, то есть быть комбинацией отражательного и проходного, в которой свет может проходить через слой модуляции сзади вперед, в то время как свет из другого источника отражается после входа спереди слоя модуляции. В любом из этих случаев элементы в слое модуляции, такие как отдельные LC элементы, могут управлять воспринимаемой яркостью пикселя.

В дисплеях с задней подсветкой, передней подсветкой и боковой подсветкой источник света может быть набором флуоресцентных трубок, LED решеткой или некоторым другим источником. Если дисплей больше, чем типичный размер приблизительно 18", большая часть потребления энергии для устройства обусловлена источником света. Для определенных применений и на определенных рынках, сокращение потребления энергии является важным. Однако сокращение мощности означает сокращение светового потока источника света и, таким образом, сокращение максимальной яркости дисплея.

Основное уравнение, связывающее кодовые значения уровня серого светоклапанного модулятора с гамма-коррекцией CV, уровень источника света L_source и выходной уровень света L_out.

Уравнение 1

где g - усиление калибровки, dark - уровень темного светового клапана и ambient - окружающий свет, поступающий в дисплей из комнатных условий. Из этого уравнения можно заметить, что снижение источника света задней подсветки на x% также уменьшает светоотдачу на x%.

Снижение уровня источника света может быть скомпенсировано путем изменения значения модуляции светового клапана, в частности его повышения. Фактически, любой уровень света, меньший чем (l-x%), может быть воспроизведен точно, в то время как любой уровень света выше (l-x%) не может быть воспроизведен без дополнительного источника света или увеличения интенсивности источника.

Установка светоотдачи на основе исходного и уменьшенного источников дает коррекцию базового кодового значения, которое может использоваться для коррекции кодовых значений для сокращения на х% (предполагая, что dark и ambient равны 0).

Уравнение 2

Уравнение 3

Фиг.2A иллюстрирует эту настройку. На фиг. 2A и 2B исходные значения дисплея соответствуют точкам вдоль линии 12. Когда задняя подсветка или источник света установлены в энергосберегающий режим и освещение источника света уменьшено, кодовые значения дисплея необходимо усилить, чтобы позволить световым клапанам противодействовать сокращению освещения источника света. Эти усиленные значения совпадают с точками вдоль линии 14. Однако эти результаты настройки в кодовых значениях 18 выше, чем те, которые дисплей способен генерировать (например, 255 для 8-битового дисплея). Следовательно, эти значения должны быть ограничены 20, как проиллюстрировано на фиг. 2B. Изображения, настроенные таким путем, могут страдать от размытости светлых областей, искусственности представления и вообще низкого качества.

При использовании этой простой модели настройки, кодовые значения ниже точки 15 ограничения (входное кодовое значение 230 в этом примерном варианте осуществления) будут отображены на уровне светимости, равном уровню, генерированному с источником света полной мощности, при нахождении в режиме сниженного освещения источника света. Та же самая светимость генерируется с более низкой мощностью, приводя к сбережению мощности. Если набор кодовых значений изображения ограничен диапазоном ниже точки 15 ограничения, режим сбережения мощности может действовать прозрачным образом для пользователя. К сожалению, когда значения превышают точку 15 ограничения, светимость уменьшается и детали теряются. Варианты осуществления настоящего изобретения обеспечивают алгоритм, который может изменить кодовые значения LCD или светового клапана, чтобы обеспечить увеличенную яркость (или отсутствие сокращения яркости в режиме экономии мощности) при уменьшении артефактов ограничения, которые могут возникать на высоком конце диапазона светимости.

Некоторые варианты осуществления настоящего изобретения могут устранить снижения яркости, связанной с сокращением мощности источника света дисплея, путем согласования светимости изображения, отображаемой с низкой мощностью, с той, которая отображается с полной мощностью для существенного диапазона значений. В этих вариантах осуществления сокращение мощности источника света или мощности задней подсветки, которое делит выходную светимость на определенный коэффициент, компенсируется усилением в данных изображения на взаимно обратный коэффициент.

Игнорируя ограничения динамического диапазона, изображения, отображенные при полной мощности и уменьшенной мощности, могут быть идентичными, потому что деление (для уменьшенного освещения источника света) и умножение (для усиленных кодовых значений) по существу компенсируются по существенному диапазону. Пределы динамического диапазона могут вызвать артефакты ограничения всякий раз, когда умножение (для усиления кодового значения) данных изображения превышает максимум дисплея. Артефакты ограничения, вызванные ограничениями динамического диапазона, могут быть устранены или уменьшены путем ослабления усиления на верхнем конце кодовых значений. Это ослабление может начаться в точке максимальной точности (MFP), выше которой светимость больше не согласована с исходной светимостью.

В некоторых вариантах осуществления настоящего изобретения следующие шаги могут быть выполнены для компенсации снижения освещения источника света или виртуального сокращения для усиления изображения:

1. Определяется уровень снижения источника света (задней подсветки) как процент от снижения светимости;

2. Определяется точка максимальной точности (MFP), в которой происходит отход от согласования выхода сниженной мощности с выходом полной мощности;

3. Определяется оператор градационной шкалы компенсации:

a) ниже MFP - повысить градационную шкалу, чтобы скомпенсировать сокращение светимости дисплея;

b) выше MFP - постепенно ослабить градационную шкалу (в некоторых вариантах осуществления, поддерживая непрерывные производные);

4. Применить оператор отображения градационной шкалы к изображению; и

5. Послать в дисплей.

Основное преимущество этих вариантов осуществления состоит в том, что сбережение мощности может быть достигнуто только с малыми изменениями для узкой категории изображений. (Различия только происходят выше MFP и состоят в сокращении пиковой яркости и некоторой потере ярких деталей). Значения изображения ниже MFP могут быть отображены в режиме сбережения мощности с той же самой светимостью, как в режиме полной мощности, делая эти области изображения неразличимыми от режима полной мощности.

Некоторые варианты осуществления настоящего изобретения могут использовать карту градационной шкалы, которая зависит от сокращения мощности и гаммы дисплея и которая независима от данных изображения. Эти варианты осуществления могут обеспечить два преимущества. Во-первых, артефакты мерцания, которые могут возникнуть из-за обработки кадров по-другому, не возникают, и, во-вторых, алгоритм имеет очень низкую сложность выполнения. В некоторых вариантах осуществления могут использоваться автономное проектирование градационной шкалы и оперативное отображение градационной шкалы. Ограничение в светлых областях может контролироваться спецификацией MFP.

Некоторые аспекты вариантов осуществления настоящего изобретения могут быть описаны со ссылкой на фиг.3. Фиг. 3 - график, показывающий кодовые значения изображения, представленные графически в зависимости от светимости для нескольких ситуаций. Первая кривая 32, показанная как пунктирная кривая, представляет исходные кодовые значения для источника света, действующего при 100%-ной мощности. Вторая кривая 30, показанная как штрих-пунктирная кривая, представляет светимость исходных кодовых значений, когда источник света работает при 80% от полной мощности. Третья кривая 36, показанная как штриховая кривая, представляет светимость, когда кодовые значения усилены, чтобы соответствовать светимости, обеспеченной при 100%-ном освещении источника света, в то время как источник света действует при 80% полной мощности. Четвертая кривая 34, показанная как сплошная линия, представляет усиленные данные, но с кривой ослабления, чтобы уменьшить эффекты ограничения на высоком конце данных.

В этом примерном варианте осуществления, показанном на фиг. 3, использовалась MFP 35 при кодовом значении 180. Отметим, что ниже кодового значения 180 усиленная кривая 34 совпадает с выходом светимости 32 при исходном дисплее 100%-ной мощности. Выше 180 усиленная кривая плавно переходит к максимальному выходу, обеспечиваемому на 80%-ном дисплее. Эта плавность уменьшает артефакты ограничения и квантования. В некоторых вариантах осуществления функция градационной шкалы может быть определена кусочным образом, чтобы обеспечивать плавное совпадение в точке перехода, заданной посредством MFP 35. Ниже MFP 35 может использоваться усиленная функция градационной шкалы. Выше MFP 35 кривая плавно подгоняется к конечной точке усиленной кривой градационной шкалы в MFP и подгоняется к конечной точке 37 при максимальном кодовом значении [255]. В некоторых вариантах осуществления наклон кривой может быть согласован с наклоном усиленной кривой/линией градационной шкалы в MFP 35. Это может быть достигнуто путем согласования наклона линии ниже MFP с наклоном кривой выше MFP, путем приравнивания производных функций линии и кривой в MFP и путем согласования значений функций линии и кривой в этой точке. Другое ограничение, накладываемое на функцию кривой, может состоять в том, что она вынуждается проходить через точку максимального значения [255, 255] 37. В некоторых вариантах осуществления наклон кривой может быть установлен в 0 в точке 37 максимального значения. В некоторых вариантах осуществления значение MFP 180 может соответствовать сокращению мощности источника света 20%.

В некоторых вариантах осуществления настоящего изобретения кривая градационной шкалы может быть определена линейным отношением с усилением g ниже точки максимальной точности (MFP). Градационная шкала может быть далее определена выше MFP так, чтобы кривая и ее первая производная были непрерывны в MFP. Эта непрерывность подразумевает следующую форму функции градационной шкалы.

Уравнение 4

Усиление может быть определено гаммой дисплея и отношением сокращения яркости следующим образом.

Уравнение 5

В некоторых вариантах осуществления значение MFP может быть настроено вручную, уравновешивая сохранение деталей выделения с сохранением абсолютной яркости.

MFP может быть определена, налагая ограничение, что наклон должен быть равен нулю в точке максимума. Это подразумевает:

Уравнение 6

В некоторых примерных вариантах осуществления следующие уравнения могут использоваться, чтобы вычислить кодовые значения для простых усиленных данных, усиленных данных с ограничением и скорректированных данных, соответственно, согласно примерному варианту осуществления.

Уравнение 7

Константы A, B, и C могут быть выбраны для обеспечения сглаженной подгонки к MFP так, чтобы кривая прошла через точку [255, 255]. Графики этих функций показаны на фиг. 4.

Фиг. 4 - график исходных кодовых значений в зависимости от настроенных кодовых значений.

Исходные кодовые значения показаны как точки вдоль исходной линии 40 данных, что показывает отношение 1:1 между настроенными и исходными значениями, когда эти значения исходные без настройки. Согласно вариантам осуществления настоящего изобретения, эти значения могут быть усилены или настроены, чтобы представлять более высокие уровни светимости. Простая процедура повышения согласно уравнению "градационная шкала с усилением" выше может привести к значениям вдоль линии 42 усиления. Так как отображение этих значений приведет к ограничению, как показано графически в линии 46 и математически в уравнении "градационная шкала с ограничением" выше, настройка может постепенно спадать от точки 45 максимальной точности вдоль кривой 44 к точке 47 максимального значения. В некоторых вариантах осуществления эти отношения могут быть описаны математически в уравнении "градационная шкала скорректированная" выше.

Используя эти понятия, значения светимости, представленные дисплеем с источником света, работающим при 100%-ной мощности, могут быть представлены дисплеем с источником света, работающим на более низком уровне мощности. Это достигается усилением градационной шкалы, что по существу открывает световые клапаны дополнительно для компенсации потери освещения источника света. Однако простое применение этого усиления по всему диапазону кодовых значений приводит к артефактам ограничения на верхнем конце диапазона. Чтобы предотвратить или уменьшить эти артефакты, функция градационной шкалы может быть плавно ослаблена. Это ослабление может управляться параметром MFP. Большие значения MFP обеспечивают согласование светимости по широкому интервалу, но увеличивают видимые артефакты квантования/ограничения на высоком конце кодовых значений.

Варианты осуществления настоящего изобретения могут работать путем настройки кодовых значений. В простой модели гаммы дисплея масштабирование кодовых значений дает масштабирование значений светимости с различным коэффициентом масштабирования. Чтобы определить, справедливо ли это отношение при более реалистических моделях дисплея, можно рассмотреть модель усиления-тенденции гамма компенсации (GOG-F) модель. Масштабирование мощности задней подсветки соответствует уравнению с линейным уменьшением, где процент p применяется к выходу дисплея, но не к ambient (внешней среде). Было замечено, что уменьшение усиления на коэффициент p эквивалентно сохранению усиления неизмененным и масштабированию данных, кодовых значений и компенсации на коэффициент, определенный гаммой дисплея. Математически, мультипликативный коэффициент может быть введен в функцию мощности при соответствующей модификации. Этот модифицированный коэффициент может масштабировать как кодовые значения, так и компенсацию.

Уравнение 8: Модель GOG-F

Уравнение 9: Линейное уменьшение светимости

Уравнение 10: Уменьшение кодового значения

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг.5. В этих вариантах осуществления настройка градационной шкалы может быть спроектирована и вычислена автономно (офлайн), до обработки изображения, или настройка может быть спроектирована или вычислена оперативно (онлайн), когда изображение обрабатывается. Независимо от времени операции, настройка 56 градационной шкалы может быть спроектирована или вычислена на основе, по меньшей мере, одного из гаммы 50 дисплея, коэффициента 52 эффективности и точки максимальной точности (MFP) 54. Эти факторы могут обрабатываться в процессе проектирования градационной шкалы 56, чтобы формировать модель 58 настройки градационной шкалы. Модель настройки градационной шкалы может принимать форму алгоритма, таблицы преобразования (LUT) или некоторой другой модели, которая может быть применена к данным изображения.

Как только модель 58 настройки создана, она может быть применена к данным изображения. Применение модели настройки может быть описано со ссылкой на фиг. 6. В этих вариантах осуществления изображение является вводом 62, и модель 58 настройки градационной шкалы применяется 64 к изображению, чтобы настроить кодовые значения изображения. Этот процесс приводит к выходному изображению 66, которое можно послать в дисплей. Применение 64 настройки градационной шкалы типично является оперативным процессом, но может выполняться перед отображением изображения, когда условия позволяют.

Некоторые варианты осуществления настоящего изобретения включают в себя системы и способы для усиления изображений, отображаемых на дисплеях, использующих модуляторы светоизлучающих пикселей, такие как LED дисплеи, плазменные дисплеи и другие типы дисплеев. Эти системы и способы могут использоваться для усиления изображений, отображаемых на дисплеях, использующих модуляторы светоклапанных пикселей с источниками света, работающими в режиме полной мощности или иным образом.

Эти варианты осуществления работают подобно ранее описанным вариантам осуществления, однако вместо компенсации уменьшенного освещения источника света, эти варианты осуществления просто увеличивают светимость диапазона пикселей, как будто источник света был уменьшен. Таким способом улучшается полная яркость изображения.

В этих вариантах осуществления исходные кодовые значения усиливаются в существенном диапазоне значений. Эта настройка кодового значения может выполняться, как объяснено выше для других вариантов осуществления, за исключением того, что никакое фактическое уменьшение освещения источника света не происходит. Поэтому яркость изображения увеличивается значительно в широком диапазоне кодовых значений.

Некоторые из этих вариантов осуществления могут быть объяснены также со ссылкой на фиг.3. В этих вариантах осуществления кодовые значения для исходного изображения показаны как точки вдоль кривой 30. Эти значения могут быть усилены или настроены до значений с более высоким уровнем светимости. Эти усиленные значения могут быть представлены как точки вдоль кривой 34, которая продолжается от нулевой точки 33 к точке 35 максимальной точности и затем спадает до значения 37 точки максимального значения.

Некоторые варианты осуществления настоящего изобретения включают в себя процесс нерезкого маскирования. В некоторых из этих вариантов осуществления нерезкая маскировка может использовать пространственно переменную усиления. Это усиление может быть определено посредством значения изображения и наклона модифицированной кривой градационной шкалы. В некоторых вариантах осуществления использование массива усилений позволяет согласовывать контраст изображения, даже когда яркость изображения не может быть дублирована из-за ограничений по мощности дисплея.

Некоторые варианты осуществления настоящего изобретения могут выполнять следующие этапы процесса:

1. Вычислить модель настройки градационной шкалы;

2. Вычислить высокочастотное изображение;

3. Вычислить массив усилений;

4. Взвесить высокочастотное изображение усилением;

5. Суммировать низкочастотное изображение и взвешенное высокочастотное изображение; и

6. Послать на дисплей

Другие варианты осуществления настоящего изобретения могут выполнять следующие этапы процесса:

1. Вычислить модель настройки градационной шкалы;

2. Вычислить низкочастотное изображение;

3. Вычислить высокочастотное изображение как различие между изображением и низкочастотным изображением;

4. Вычислить массив усилений, используя значение изображения и наклон модифицированной кривой градационной шкалы;

5. Взвесить высокочастотное изображение усилением;

6. Суммировать низкочастотное изображение и взвешенное высокочастотное изображение; и

7. Послать на дисплей пониженной мощности.

Используя некоторые варианты осуществления настоящего изобретения, экономия мощности может быть реализована лишь с малыми изменениями для узкой категории изображений. (Различия происходят только выше MFP и состоят в сокращении пиковой яркости и некоторой потере ярких деталей). Значения изображения ниже MFP могут быть отображены в режиме сбережения мощности с той же самой светимостью, что и в режиме полной мощности, делая эти области изображения неразличимыми от способа полной мощности. Другие варианты осуществления настоящего изобретения улучшают эту рабочую характеристику, уменьшая потерю ярких деталей.

Эти варианты осуществления могут содержать пространственно переменную нерезкую маскировку, чтобы сохранить яркие детали. Как в других вариантах осуществлениями, могут использоваться как автономный, так и оперативный компонент. В некоторых вариантах осуществления автономный компонент может быть расширен, вычисляя карту усиления в дополнение к функции градационной шкалы. Карта усиления может определить усиление нерезкого фильтра для применения на основе значения изображения. Значение карты усиления может быть определено с использованием наклона функции градационной шкалы. В некоторых вариантах осуществления значение карты усиления в конкретной точке "P" может быть вычислено как отношение наклона функции градационной шкалы ниже MFP к наклону функции градационной шкалы в точке "P". В некоторых вариантах осуществления функция градационной шкалы линейно ниже MFP, поэтому усиление является единичным ниже MFP.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 7. В этих вариантах осуществления настройка градационной шкалы может быть спроектирована или вычислена автономным образом, до обработки изображения, или настройка может быть спроектирована или вычислена оперативно, когда изображение обрабатывается. Независимо от выбора времени операции настройка градационной шкалы 76 может быть спроектирована или вычислена на основе, по меньшей мере, одного из гаммы 70 дисплея, коэффициента 72 эффективности 72 и точки максимальной точности (MFP) 74. Эти факторы могут быть обработаны в процессе проектирования градационной шкалы 76, чтобы сформировать модель 78 настройки градационной шкалы. Модель настройки градационной шкалы может принимать форму алгоритма, таблицы преобразования (LUT) или некоторой другой модели, которая может быть применена к данным изображения, как описано относительно других вариантов осуществления выше. В этих вариантах осуществления отдельная карта 77 усиления также вычисляется 75. Эта карта 77 усиления может быть применена к определенным подразделам изображения, таким как частотные диапазоны. В некоторых вариантах осуществления карта усиления может быть применена к разделенным по частоте частям изображения. В некоторых вариантах осуществления карта усиления может быть применена к подразделу высокочастотного изображения. Она может также быть применена к определенным частотным диапазонам изображения или другим подразделам изображения.

Примерная модель настройки градационной шкалы может быть описана со ссылкой на фиг. 8. В этих примерных вариантах осуществления выбрана точка перехода функции (FTP) 84 (подобно MFP, используемой в вариантах осуществления компенсации ослабления источника света) и выбрана функция усиления, чтобы обеспечить первое отношение 82 усиления для значений ниже FTP 84. В некоторых вариантах осуществления первое отношение усиления может быть линейным отношением, но другие отношения и функции могут использоваться для преобразования кодовых значений в расширенные кодовые значения. Выше FTP 84 может использоваться второе отношение 86 усиления. Это второе отношение 86 усиления может быть функцией, которая присоединяется к FTP 84 с точкой 88 максимального значения. В некоторых вариантах осуществления второе отношение 86 усиления может соответствовать значению и наклону первого отношения 82 усиления в FTP 84 и проходить через точку 88 максимального значения. Другие отношения, как описано выше относительно других вариантов осуществления, и другие отношения могут также служить в качестве второго отношения 86 усиления.

В некоторых вариантах осуществления карта 77 усиления может быть вычислена относительно модели настройки градационной шкалы, как показано на фиг. 8. Примерная карта 77 усиления может быть описана со ссылкой на фиг. 9. В этих вариантах осуществления функция карты усиления связана с моделью 78 настройки градационной шкалы как функция наклона модели настройки градационной шкалы. В некоторых вариантах осуществления значение функции карты усиления при конкретном кодовом значении определяется отношением наклона модели настройки градационной шкалы при любом кодовом значении ниже FTP к наклону модели настройки градационной шкалы при том конкретном кодовом значении. В некоторых вариантах осуществления эти отношения могут быть выражены математически в уравнении 11.

Уравнение 11

В этих вариантах осуществления функция карты усиления равна единице ниже FTP, где модель настройки градационной шкалы приводит к линейному повышению. Для кодовых значений выше FTP функция карты усиления быстро увеличивается, когда наклон модели настройки градационной шкалы снижается. Это резкое увеличение в функции карты усиления усиливает контраст частей изображения, к которым оно применено.

Примерный фактор настройки градационной шкалы, проиллюстрированный на фиг. 8, и примерная функция карты усиления, проиллюстрированная на фиг. 9, были вычислены с использованием процента дисплея (ослабление света источника), равного 80%, гаммы 2.2 дисплея и точки максимальной точности 180.

В некоторых вариантах осуществления настоящего изобретения операция нерезкого маскирования может быть применена после применения модели настройки градационной шкалы. В этих вариантах осуществления артефакты уменьшаются с помощью метода нерезкого маскирования.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 10. В этих вариантах осуществления вводится исходное изображение 102, и модель 103 настройки градационной шкалы применяется к изображению. Исходное изображение 102 также используется в качестве ввода в процесс 105 отображения усиления, который приводит к карте усиления. Изображение настроенной градационной шкалы затем обрабатывается посредством фильтра 104 нижних частот, приводящего в результате к настроенному низкочастотному изображению. Настроенное низкочастотное изображение затем вычитается 106 из изображения настроенной градационной шкалы, чтобы привести в результате к настроенному высокочастотному изображению. Это настроенное высокочастотное изображение затем умножается 107 на соответствующее значение в карте усиления, чтобы обеспечить настроенное по усилению высокочастотное изображение, которое затем суммируется 108 с настроенным низкочастотным изображением, которое уже было настроено с помощью модели настройки градационной шкалы. Это суммирование приводит к выходному изображению 109 с увеличенной яркостью и улучшенным высокочастотным контрастом.

В некоторых из этих вариантов осуществления для каждого компонента каждого пикселя изображения значение усиления определяется из карты усиления и значения изображения в этом пикселе. Исходное изображение 102 до применения модели настройки градационной шкалы может использоваться, чтобы определить усиление. Каждый компонент каждого пикселя высокочастотного изображения может также быть масштабирован соответствующим значением усиления, прежде чем суммироваться с низкочастотным изображением. В точках, где функция карты усиления равна единице, операция нерезкого маскирования не изменяет значения изображения. В точках, где функция карты усиления превышает единицу, контраст увеличивается.

Некоторые варианты осуществления настоящего изобретения учитывают потерю контраста в кодовых значениях на верхнем конце при увеличении яркости кодового значения путем разложения изображения на множество диапазонов частот. В некоторых вариантах осуществления функция градационной шкалы может быть применена к полосе нижних частот, увеличивая яркость данных изображения, чтобы скомпенсировать снижение светимости света источника при настройке низкой мощности или просто увеличить яркость отображаемого изображения. Параллельно постоянное усиление может быть применено к полосе верхних частот, сохраняя контраст изображения даже в областях, где средняя абсолютная яркость уменьшается вследствие более низкой мощности дисплея. Операция примерного алгоритма определяется следующим образом:

1. Выполнить частотное разложение исходного изображения;

2. Применить сохранение яркости, карту градационной шкалы, к низкочастотному изображению;

3. Применить постоянный множитель к высокочастотному изображению;

4. Суммировать низкочастотное изображение с высокочастотным изображением;

5. Послать результат на дисплей.

Функция градационной шкалы и постоянное усиление могут быть определены автономно путем создания фотометрического согласования между отображением полной мощности исходного изображения и отображением низкой мощности изображения процесса для приложений снижения освещения для света источника. Функция градационной шкалы может также быть определена автономно для приложений повышения яркости.

Для умеренных значений MFP эти варианты осуществления постоянного усиления верхних частот и варианты осуществления нерезкого маскирования почти неразличимы по своим рабочим характеристикам. Эти варианты осуществления постоянного усиления верхних частот имеют три главных преимущества по сравнению с вариантами осуществления нерезкого маскирования: пониженная чувствительность к шумам, способность использовать больших MFP/FTP и использование этапов обработки, используемых в настоящее время в системе дисплея. Нерезкие варианты осуществления нерезкого маскирования используют усиление, которое является инверсией наклона кривой градационной шкалы. Когда наклон этой кривой мал, это усиление испытывает большой шум усиления. Это усиление шума может также установить практическую границу размера MFP/FTP. Второе преимущество - способность расширения на произвольные значения MFP/FTP. Третье преимущество вытекает из исследования размещения алгоритма в системе. Как варианты осуществления постоянного усиления верхних частот, так и варианты осуществления нерезкого маскирования используют частотное разложение. Варианты осуществления постоянного усиления верхних частот выполняют эту операцию первой, в то время как некоторые варианты осуществления нерезкого маскирования применяют функцию градационной шкалы перед частотным разложением. Некоторая обработка в системе, такая как обращенное оконтуривание, будет выполнять частотное разложение перед алгоритмом сохранения яркости. В этих случаях такое частотное разложение может использоваться некоторыми вариантами осуществления постоянного усиления верхних частот, тем самым устраняя этап преобразования, в то время как некоторые варианты осуществления нерезкого маскирования должны инвертировать частотное разложение, применять функцию градационной шкалы и выполнять дополнительное частотное разложение.

Некоторые варианты осуществления настоящего изобретения предотвращают потерю контраста в кодовых значениях верхнего конца путем разделения изображения на основе пространственной частоты до применения функции градационной шкалы. В этих вариантах осуществления функция градационной шкалы с ослаблением может быть применена к низкочастотному компоненту изображения. В приложениях компенсации снижения освещения источника света это обеспечит полное согласование светимости низкочастотных компонентов изображения. В этих вариантах осуществления, высокочастотный (HP) компонент равномерно усилен (постоянное усиление). Разложенные по частоте сигналы могут быть повторно объединены и ограничены, как необходимо. Детали сохраняются, так как высокочастотный компонент не пропускается через ослабление функции градационной шкалы. Плавное ослабление низкочастотной функции градационной шкалы сохраняет пространство для добавления повышенного высокочастотного контраста. Обнаружено, что ограничение, которое может иметь место в этой заключительной комбинации, не приводит к значительному ослаблению деталей.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 11. Эти варианты осуществления включают в себя частотное разделение или разложение 111, отображение 112 низкочастотной градационной шкалы, постоянное усиление высоких частот или повышение 116 и суммирование или рекомбинацию 115 усиленных компонентов изображения.

В этих вариантах осуществления входное изображение 110 разлагается на пространственные частотные диапазоны 111. В примерном варианте осуществления, в котором используются две полосы, это может быть выполнено с использованием фильтра 111 нижних частот (LP). Частотное разделение выполняется путем вычисления LP сигнала c помощью фильтра 111 и вычитания 113 LP сигнала их исходного сигнала, чтобы сформировать сигнал верхних частот (НР) 118. В примерном варианте осуществления пространственный 5x5 прямоугольный фильтр может использоваться для этого разложения, хотя может использоваться и другой фильтр.

LP сигнал может затем обрабатываться применением отображения градационной шкалы, как обсуждено для ранее описанных вариантов осуществления. В примерном варианте осуществления это может быть достигнуто с помощью соответствующей таблицы (LUT) фотометрического согласования. В этих вариантах осуществления может использоваться более высокое значение MFP/FTP по сравнению с ранее описанным вариантом осуществления нерезкого маскирования, так как большинство деталей было уже извлечено при фильтрации 111. Ограничение не должно в общем случае использоваться, так как обычно должно сохраняться некоторое пространство для добавления контраста.

В некоторых вариантах осуществления MFP/FTP могут быть определены автоматически и могут быть установлены так, чтобы наклон кривой градационной шкалы был равен нулю на верхней границе. Ряд функций градационной шкалы, определенных таким способом, проиллюстрирован на фиг. 12. В этих вариантах осуществления максимальное значение MFP/FTP может быть определено таким образом, что функция градационной шкалы имеет нуль наклона при 255. Это наибольшее значение MFP/FTP, которое не вызывает ограничения.

В некоторых вариантах осуществления настоящего изобретения, описанных со ссылкой на фиг. 11, обработка НР сигнала 118 не зависит от выбора MFP/FTP, используемых в обработке низкочастотного сигнала. НР сигнал 118 обрабатывается с постоянным усилением 116, что сохранит контраст, когда мощность/освещение источника света будет уменьшено или когда кодовые значения изображения иным образом будут увеличены, чтобы улучшить яркость. Формула для усиления 116 НР сигнала в терминах полной и пониженной мощности задней подсветки (BL) и гаммы дисплея приведена ниже как уравнение усиления верхних частот. Повышение НР контраста является устойчивым по отношению к шуму, так как усиление обычно является малым (например, усиление равно 1.1 для 80%-ного снижения мощности и гаммы 2.2).

Уравнение 12

В некоторых вариантах осуществления, как только отображение 112 градационной шкалы применено к LP сигналу посредством обработки LUT или иначе и постоянное усиление 116 применено к НР сигналу, эти частотные компоненты могут суммироваться 115 и, в некоторых случаях, ограничиваться. Ограничение может быть необходимым, когда повышенное НР значение, добавляемое к значению LP, превышает 255. Это типично будет важно только для ярких сигналов с высоким контрастом. В некоторых вариантах осуществления гарантируется, что LP сигнал не превысит верхний предел за счет конструирования LUT градационной шкалы. НР сигнал может вызвать ограничение в сумме, но отрицательные величины НР сигнала никогда не будут ограничиваться, поддерживая некоторый контраст, даже когда ограничение действительно происходит.

Варианты осуществления с зависимым от изображения светом источника

В некоторых вариантах осуществления настоящего изобретения уровень освещения источника света дисплея может быть настроен согласно характеристикам отображаемого изображения, ранее отображенных изображений, изображений, которые будут отображены после отображенного изображения, или комбинациям указанного. В этих вариантах осуществления уровень освещения источника света дисплея может изменяться согласно характеристикам изображения. В некоторых вариантах осуществления эти характеристики изображения могут включать в себя уровни светимости изображения, уровни цветности изображения, характеристики гистограммы изображения и другие характеристики изображения.

После того как характеристики изображения были установлены, уровень освещения источника света (задней подсветки) может изменяться, чтобы увеличить один или более признаков изображения. В некоторых вариантах осуществления уровень источника света может быть уменьшен или увеличен, чтобы увеличить контраст в более темных или более светлых областях изображения. Уровень освещения источника света может также быть увеличен или уменьшен, чтобы увеличить динамический диапазон изображения. В некоторых вариантах осуществления уровень источника света может быть настроен, чтобы оптимизировать потребление мощности для каждого кадра изображения.

Когда уровень источника света был изменен, по любой причине, кодовые значения пикселей изображения могут быть настроены с использованием настройки градационной шкалы, чтобы дополнительно улучшить изображение. Если уровень источника света был уменьшен, чтобы сохранить мощность, значения пикселей могут быть увеличены, чтобы возвратить потерянную яркость. Если уровень источника света был изменен, чтобы увеличить контраст в определенном диапазоне светимости, значения пикселей могут быть настроены, чтобы скомпенсировать уменьшенный контраст в другом диапазоне или дополнительно увеличить определенный диапазон.

В некоторых вариантах осуществления настоящего изобретения, как проиллюстрировано на фиг.13, настройки градационной шкалы изображения могут зависеть от содержания изображения. В этих вариантах осуществления изображение может быть проанализировано 130, чтобы определить характеристики изображения. Характеристики изображения могут включать в себя характеристики канала светимости, такие как средний уровень картинки (APL), который является средней светимостью изображения; максимальное значение светимости; минимальное значение светимости; данные гистограммы светимости, такие как среднее значение гистограммы, наиболее частое значение гистограммы и другие; и другие характеристики светимости. Характеристики изображения могут также включать в себя характеристики цвета, такие как характеристика отдельных цветовых каналов (например, R, G и B в сигнале RGB). Каждый цветовой канал может быть проанализирован независимо, чтобы определить характеристики изображения, специфические для цветового канала. В некоторых вариантах осуществления отдельная гистограмма может использоваться для каждого цветового канала. В других вариантах осуществления данные блоба (большого блока двоичных данных) гистограммы, которые включают в себя информацию о пространственном распределении данных изображения, могут использоваться как характеристика изображения. Характеристики изображения могут также включать в себя временные изменения между видеокадрами.

Как только изображение проанализировано 130 и характеристики определены, карта градационной шкалы может быть вычислена или выбрана 132 из набора предварительно вычисленных карт на основе значения характеристики изображения. Эта карта может быть затем применена 134 к изображению, чтобы скомпенсировать настройку задней подсветки или иначе усилить изображение.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 14. В этих вариантах осуществления анализатор 142 получает изображение 140 и определяет характеристики изображения, которые могут использоваться, чтобы выбрать карту градационной шкалы. Эти характеристики затем посылаются селектору карты градационной шкалы 143, который определяет соответствующую карту на основе характеристик изображения. Этот выбор карты можно затем послать в процессор 145 изображения для применения карты к изображению 140. Процессор 145 изображения получает выбор карты и исходные данные изображения и обрабатывает исходное изображение с выбранной картой 144 градационной шкалы, таким образом, генерируя настроенное изображение, которое посылается на дисплей 146 для отображения пользователю. В этих вариантах осуществления одна или более карт 144 градационной шкалы сохранены для выбора на основе характеристик изображения. Эти карты 144 могут быть предварительно вычислены и сохранены как таблицы или некоторый другой формат данных. Эти карты 144 могут включать в себя простые таблицы гамма-преобразования, карты расширения, созданные с использованием методов, описанных выше со ссылками на фиг. 5, 7, 10 и 11, или другие карты.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 15. В этих вариантах осуществления анализатор 152 изображения получает изображение 150 и определяет характеристики изображения, которые могут использоваться, чтобы вычислить карту градационной шкалы. Эти характеристики затем посылаются в вычислитель 153 карты градационной шкалы, который может вычислить соответствующую карту на основе характеристик изображения. Вычисленная карта может быть затем послана в процессор 155 изображения для применения карты к изображению 150. Процессор 155 изображения получает вычисленную карту 154 и исходные данные изображения и обрабатывает исходное изображение с помощью карты 154 градационной шкалы, таким образом генерируя настроенное изображение, которое посылается в дисплей 156 для отображения пользователю. В этих вариантах осуществления карта 154 градационной шкалы вычисляется, по существу, в реальном времени на основе характеристик изображения. Вычисленная карта 154 может включать в себя простую таблицу гамма преобразования, расширенную карту, созданную с использованием способов, описанных выше со ссылками на фиг. 5, 7, 10 и 11, или другую карту.

Дальнейшие варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 16. В этих вариантах осуществления уровень освещения источника света может зависеть от содержания изображения, в то время как карта градационной шкалы также зависит от содержания изображения. Однако какая-либо связь между каналом вычисления источника света и каналом карты градационной шкалы не обязательна.

В этих вариантах осуществления изображение анализируется 160, чтобы определить характеристики изображения, требуемые для вычислений света источника или карты градационной шкалы. Эта информация затем используется, чтобы вычислить уровень 161 освещения источника света, соответствующий для изображения. Эти данные света источника затем посылаются 162 на дисплей для изменения света источника (например, задней подсветки), когда изображение отображается. Данные характеристики изображения также посылаются в канал карты градационной шкалы, где карта градационной шкалы выбирается или вычисляется 163 на основе информации характеристик изображения. Карта затем применяется 164 к изображению, чтобы сформировать улучшенное изображение, которое посылается на дисплей 165. Сигнал света источника, вычисленный для изображения, синхронизирован с расширенными данными изображения, так что сигнал света источника совпадает с отображением расширенных данных изображения.

Некоторые из этих вариантов осуществления, проиллюстрированных на фиг. 17, используют сохраненные карты градационной шкалы, которые могут содержать простую таблицу гамма-преобразования, расширенную карту, созданную с использованием методов, описанных выше со ссылками на фиг. 5, 7, 10 и 11, или другую карту. В этих вариантах осуществления изображение 170 посылается в анализатор 172 изображения, чтобы определить характеристики изображения, релевантные для вычисления карты градационной шкалы и света источника. Эти характеристики затем посылаются в вычислитель 177 света источника для определения соответствующего уровня освещения света источника. Некоторые характеристики могут также посылаться селектору 173 карты градационной шкалы для использования в определении соответствующей карты 174 градационной шкалы. Исходное изображение 170 и данные выбора карты затем посылаются в процессор 175 изображения, который извлекает выбранную карту 174 и применяет карту 174 к изображению 170, чтобы создать расширенное изображение. Это расширенное изображение затем посылается в дисплей 176, который также получает сигнал уровня света источника от вычислителя 177 света источника и использует этот сигнал, чтобы модулировать свет 179 источника, в то время как расширенное изображение отображается.

Некоторые из этих вариантов осуществления, проиллюстрированные на фиг. 18, могут вычислять карту градационной шкалы непрерывным образом. Эти карты могут включать в себя простую таблицу гамма преобразования, расширенную карту, созданную с использованием методов, описанных выше со ссылками на фиг. 5, 7, 10 и 11, или другую карту. В этих вариантах осуществления изображение 180 посылается в анализатор 182 изображения, чтобы определить характеристики изображения, релевантные для вычислений карты градационной шкалы и света источника. Эти характеристики затем посылаются в вычислитель 187 света источника для определения соответствующего уровня освещения света источника. Некоторые характеристики могут также посылаться в вычислитель 183 карты градационной шкалы для использования в вычислении соответствующей карты 184 градационной шкалы. Исходное изображение 180 и вычисленная карта 184 затем посылаются в процессор 185 изображения, который применяет карту 184 к изображению 180, чтобы создать расширенное изображение. Это расширенное изображение затем посылается на дисплей 186, который также получает сигнал уровня света источника от вычислителя 187 света источника и использует этот сигнал, чтобы модулировать свет 189 источника, в то время как расширенное изображение отображается.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 19. В этих вариантах осуществления изображение анализируется 190, чтобы определить характеристики изображения относительно вычисления и выбора света источника и карты градационной шкалы. Эти характеристики затем используются, чтобы вычислить 192 уровень освещения света источника. Уровень освещения света источника затем используется, чтобы вычислить или выбрать карту 194 настройки градационной шкалы. Эта карта затем применяется 196 к изображению, чтобы создать расширенное изображение. Расширенное изображение и данные уровня света источника затем посылаются 198 на дисплей.

Устройство, используемое для способов, описанных со ссылкой на фиг. 19, может быть описано со ссылкой на фиг. 20. В этих вариантах осуществления изображение 200 принимается в анализаторе 202 изображения, где определяются характеристики изображения. Анализатор 202 изображения может затем послать данные характеристики изображения в вычислитель 203 света источника для определения уровня света источника. Данные уровня света источника могут затем посылаться в селектор или вычислитель 204 карты градационной шкалы, который может вычислить или выбрать карту градационной шкалы на основе уровня света источника. Выбранную или вычисленную карту 207 можно затем послать в процессор 205 изображения вместе с исходным изображением для применения карты к исходному изображению. Этот процесс приведет в результате к расширенному изображению, которое посылается на дисплей 206 с сигналом уровня света источника, который используется, чтобы модулировать свет источника дисплея, в то время как изображение отображается.

В некоторых вариантах осуществления настоящего изобретения блок управления светом источника отвечает за выбор снижения света источника, который поддерживает качество изображения. Знание способности сохранения качества изображения на стадии адаптации используется, чтобы управлять выбором уровня источника света. В некоторых вариантах осуществления важно понять, что высокий уровень света источника необходим, когда изображение является ярким или изображение содержит высоко насыщенные цвета, то есть синий с кодовым значением 255. Использование только светимости, чтобы определить уровень задней подсветки, может вызвать артефакты для изображений, имеющих низкую светимость, но большие кодовые значения, то есть насыщенный синий или красный цвет. В некоторых вариантах осуществления может быть исследована каждая цветовая плоскость, и решение может быть принято на основе максимума всех цветовых плоскостей. В некоторых вариантах осуществления настройка задней подсветки может быть основана на единственном указанном проценте от пикселей, которые ограничены. В других вариантах осуществления, проиллюстрированных на фиг. 22, алгоритм модуляции задней подсветки может использовать два процента: процент ограниченных пикселей (P_Clipped) 236 и процент искаженных пикселей (P_Distored) 235. Выбор установки задней подсветки с этими отличающимися значениями обеспечивает пространство для вычислителя градационной шкалы, чтобы плавно ослаблять функцию градационной шкалы вместо наложения жесткого ограничения. При условии заданного входного изображения, определяется гистограмма кодовых значений для каждой цветовой плоскости. Если заданы два процента: P_Clipped 236 и P_Distored235, гистограмма каждой цветовой плоскости 221-223 исследуется, чтобы определить кодовые значения, соответствующие этим процентам 224-226. Это дает C_Clipped (цвет) 228 и C_Distorted(цвет) 227. Максимальное ограниченное кодовое значение 234 и максимальное искаженное кодовое значение 233 среди различных цветовых плоскостей могут использоваться, чтобы определить установку 229 задней подсветки. Эта установка гарантирует, что для каждой цветовой плоскости максимально указанный процент кодовых значений будет ограничен или искажен.

Уравнение 13

Процент задней подсветки (BL) определяется путем исследования функции градационной шкалы (TS), которая будет использоваться для компенсации и выбора процента BL так, чтобы функция градационной шкалы ограничивалась в 255 при кодовом значении Cv_Clipped 234. Функция градационной шкалы будет линейной ниже значения Cv_Distorted (значение этого наклона будет компенсировать снижение BL), постоянной при 255 для кодовых значений выше Cv_Clipped, и будет иметь непрерывную производную. Исследование производной иллюстрирует, как выбрать более низкий наклон и, следовательно, мощность задней подсветки, которая не дает искажения изображения для кодовых значений ниже Cv_Distorted.

На графике производной TS, показанной на фиг. 21, значение H не известно. Для TS, чтобы отобразить Cv_Clippedна 255, область под производной TS должна быть 255. Это ограничение позволяет определять значение H, как показано ниже.

Уравнение 14

Процент BL определяется из усиления кодового значения и гаммы дисплея и критериев точной компенсации для кодовых значений ниже точки искажения. Отношение BL, которое будет ограничивать при Cv_Clipped и обеспечит плавный переход от области без искажений ниже Cv_Distorted, определяется следующим образом:

Уравнение 15

Дополнительно, чтобы учесть проблему изменения BL, для отношения BL установлен верхний предел.

Уравнение 16

Временная фильтрация 231 нижних частот может быть применена к зависимому от изображения BL сигналу, полученному выше, чтобы скомпенсировать отсутствие синхронизации между LCD и BL. Диаграмма примерного алгоритма модуляции задней подсветки показана на фиг. 22, в других вариантах осуществления могут использоваться отличающиеся проценты и значения.

Отображение градационной шкалы может скомпенсировать выбранную настройку задней подсветки, минимизируя искажение изображения. Как описано выше, алгоритм выбора задней подсветки спроектирован на основе возможностей соответствующих операций отображения градационной шкалы. Выбранный уровень BL обеспечивает функцию градационной шкалы, которая компенсирует уровень задней подсветки без искажения для кодовых значений ниже первого определенного процента и ограничивает кодовые значения выше второго определенного процента. Два определенных процента обеспечивают функцию градационной шкалы, которая плавно переходит между свободным от искажения и ограниченным диапазонами.

Варианты осуществления с определением внешнего света

Некоторые варианты осуществления настоящего изобретения включают в себя датчик внешнего освещения, который может обеспечить вход для модуля обработки изображения и/или модуля управления светом источника. В этих вариантах осуществления обработка изображения, включая настройку градационной шкалы, отображение усиления и другие модификации, может быть связана с характеристиками внешнего освещения. Эти варианты осуществления могут также включать в себя настройку света источника или задней подсветки, которая связана с характеристиками внешнего освещения. В некоторых вариантах осуществления обработка света источника и изображения могут быть объединены в одном блоке обработки. В других вариантах осуществления эти функции могут быть выполнены отдельными блоками.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 23. В этих вариантах осуществления датчик 270 внешнего освещения может использоваться как вход для методов обработки изображения. В некоторых примерных вариантах осуществления входное изображение 260 может обрабатываться на основе ввода от датчика 270 внешнего освещения и уровня света 268 источника. Свет 268 источника, такой как задняя подсветка для освещения панели 266 LCD дисплея, может модулироваться или настраиваться для сбережения мощности или по другим причинам. В этих вариантах осуществления процессор 262 изображения может получать ввод от датчика 270 внешнего освещения и света 268 источника. На основе этих вводов процессор 262 изображения может изменить входное изображение, чтобы учесть внешние условия и уровни освещения 268 света источника. Входное изображение 260 может быть изменено согласно любому из методов, описанных выше для других вариантов осуществления, или другими методами. В примерном варианте осуществления карта градационной шкалы может быть применена к изображению, чтобы увеличить значения пикселей изображения относительно уменьшенного освещения света источника и изменений внешнего освещения. Измененное изображение 264 может затем регистрироваться на панели 266 дисплея, такой LCD панель. В некоторых вариантах осуществления уровень освещения света источника может быть уменьшен, когда внешний свет низок и может быть дополнительно уменьшен, когда настройка градационной шкалы или другой метод манипуляции значениями пикселей используются, чтобы скомпенсировать уменьшение освещения света источника. В некоторых вариантах осуществления уровень освещения света источника может быть уменьшен, когда внешнее освещение уменьшается. В некоторых вариантах осуществления уровень освещения света источника может быть увеличен, когда внешнее освещение достигает верхнего порогового значения и/или нижнего порогового значения.

Другие варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 24. В этих вариантах осуществления входное изображение 280 принимается в блоке 282 обработки изображения. Обработка входного изображения 280 может зависеть от ввода от датчика 290 внешнего освещения. Эта обработка может также зависеть от вывода из блока 294 обработки света источника. В некоторых вариантах осуществления блок 294 обработки света источника может получить ввод из датчика 290 внешнего освещения. Некоторые варианты осуществления могут также принимать ввод от индикатора 292 режима устройства, такого как индикатор режима мощности, который может указывать режим потребления мощности устройства, состояние батареи устройства или некоторое другое состояние устройства. Блок 294 обработки света источника может использовать условие внешнего света и/или состояние устройства для определения уровня освещения света источника, который используется для управления светом 288 источника, который будет освещать дисплей, такой как LCD дисплей 286. Блок 294 обработки света источника может также передать уровень освещения света источника и/или другую информацию на блок 282 обработки изображения.

Блок 282 обработки изображения может использовать информацию света источника от блока 294 обработки света источника, чтобы определить параметры обработки для обработки входного изображения 280. Блок 282 обработки изображения может применить настройку градационной шкалы, карту усиления или другую процедуру, чтобы настроить значения пикселей изображения. В некоторых примерных вариантах осуществления эта процедура будет улучшать яркость изображения и контраст и частично или полностью компенсировать снижение освещения источника света. Результатом обработки блока 282 обработки изображения является настроенное изображение 284, которое может посылаться на дисплей 286, где оно может освещаться светом 288 источника.

Другие варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 25. В этих вариантах осуществления входное изображение 300 принимается в блоке 302 обработки изображения. Обработка входного изображения 300 может зависеть от ввода из датчика 310 внешнего освещения. Эта обработка может также зависеть от вывода из блока 314 обработки света источника. В некоторых вариантах осуществления блок 314 обработки света источника может получать ввод из датчика 310 внешнего освещения. Некоторые варианты осуществления могут также получать ввод от индикатора 312 режима устройства, такого как индикатор режима мощности, который может указывать режим потребления мощности устройства, состояние батареи устройства или некоторое другое состояние устройства. Блок 314 обработки света источника может использовать условие внешнего света и/или состояние устройства, чтобы определить уровень освещения света источника, который используется для управления светом 308 источника, который освещает дисплей, такой как LCD дисплей 306. Блок обработки света источника может также передать уровень освещения света источника и/или другую информацию в блок 302 обработки изображения.

Блок 302 обработки изображения может использовать информацию света источника от блока 314 обработки света источника, чтобы определить параметры обработки для обработки входного изображения 300. Блок 302 обработки изображения может также использовать информацию внешнего освещения от датчика 310 внешнего освещения, чтобы определить параметры обработки для обработки входного изображения 300. Блок 302 обработки изображения может применить настройку градационной шкалы, карту усиления или другую процедуру, чтобы настроить значения пикселей изображения. В некоторых примерных вариантах осуществления эта процедура будет улучшать яркость изображения и контраст и частично или полностью компенсировать снижение освещения источника света. Результатом обработки блоком 302 обработки изображения является настроенное изображение 304, которое можно послать на дисплей 306, где он может освещаться светом 308 источника.

Другие варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 26. В этих вариантах осуществления входное изображение 320 принимается в блоке 322 обработки изображения. Обработка входного изображения 320 может зависеть от ввода из датчика 330 внешнего освещения. Эта обработка может также зависеть от вывода из блока 334 обработки света источника. В некоторых вариантах осуществления блок 334 обработки света источника может получить ввод из датчика 330 внешнего освещения. В других вариантах осуществления внешняя информация может быть получена от блока 322 обработки изображения. Блок 334 обработки света источника может использовать условие внешнего света и/или состояние устройства, чтобы определить промежуточный уровень освещения света источника. Этот промежуточный уровень освещения света источника может посылаться в постпроцессор 332 света источника, который может принимать форму квантователя, процессора хронирования или некоторого другого модуля, который может приспособить промежуточный уровень освещения источника света к потребностям конкретного устройства. В некоторых вариантах осуществления постпроцессор 332 света источника может приспособить управляющий сигнал источника света для ограничений хронирования, накладываемых типом источника 328 света и/или приложением формирования изображения, таким как видеоприложение. Постобработанный сигнал может затем использоваться, чтобы управлять источником света 328, который освещает дисплей, такой как LCD дисплей 326. Блок обработки света источника может также передать постобработанный уровень освещения света источника и/или другую информацию в блок 322 обработки изображения.

Блок 322 обработки изображения может использовать информацию света источника от постпроцессора 332 света источника, чтобы определять параметры обработки для обработки входного изображения 320. Блок 322 обработки изображения может также использовать информацию внешнего освещения от датчика 330 внешнего освещения, чтобы определить параметры обработки для обработки входного изображения 320. Блок 322 обработки изображения может применить настройку градационной шкалы, карту усиления или другую процедуру, чтобы настроить значения пикселей изображения. В некоторых примерных вариантах осуществления эта процедура будет улучшать яркость изображения и контраст и частично или полностью компенсировать снижение освещения источника света. Результатом обработки блоком 322 обработки изображения является настроенное изображение 344, которое можно послать на дисплей 326, где оно может освещаться светом 328 источника.

Некоторые варианты осуществления настоящего изобретения могут включать в себя отдельные модули 342, 362 анализа изображения и модули 343, 363 обработки изображения. Хотя эти блоки могут быть объединены в единственном компоненте или на однокристальной схеме, они проиллюстрированы и описаны как отдельные модули, чтобы лучше описать их взаимодействие.

Некоторые из этих вариантов осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 27. В этих вариантах осуществления входное изображение 340 принимается в модуле 342 анализа изображения. Модуль анализа изображения может анализировать изображение, чтобы определить характеристики изображения, которые можно передать к модулю 343 обработки изображения и/или модулю 354 обработки света источника. Обработка входного изображения 340 может зависеть от ввода из датчика 330 внешнего освещения. В некоторых вариантах осуществления модуль 354 обработки света источника может принимать ввод от датчика 350 внешнего освещения. Модуль 354 обработки света источника может также принимать ввод от датчика 352 состояния устройства или режима. Модуль 354 обработки света источника может использовать условие внешнего света, характеристику изображения и/или состояние устройства, чтобы определить уровень освещения света источника. Этот уровень освещения света источника можно послать в источник 348 света, который будет освещать дисплей, такой как LCD дисплей 346. Модуль 354 обработки света источника может также передать постобработанный уровень освещения света источника и/или другую информацию на модуль 343 обработки изображения.

Модуль 322 обработки изображения может использовать информацию света источника от модуля 354 обработки света источника, чтобы определить параметры обработки для обработки входного изображения 340. Модуль 343 обработки изображения может также использовать информацию внешнего освещения, которая передается от датчика 350 внешнего освещения через модуль 354 обработки света источника. Эта информация внешнего освещения может использоваться для определения параметров обработки для обработки входного изображения 340. Модуль 343 обработки изображения может применять настройку градационной шкалы, карту усиления или другую процедуру, чтобы настроить значения пикселей изображения. В некоторых примерных вариантах осуществления эта процедура будет улучшать яркость изображения и контраст и частично или полностью компенсировать снижение освещения источника света. Результатом обработки модулем 343 обработки изображения является настроенное изображение 344, которое можно послать на дисплей 346, где оно может быть освещено светом 348 источника.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 28. В этих вариантах осуществления входное изображение 360 принимается в модуле 362 анализа изображения. Модуль анализа изображения может анализировать изображение, чтобы определить характеристики изображения, которые можно передать в модуль 363 обработки изображения и/или модуль 374 обработки света источника. Обработка входного изображения 360 может зависеть от ввода из датчика 370 внешнего освещения. Эта обработка может также зависеть от вывода из модуля 374 обработки света источника. В некоторых вариантах осуществления внешняя информация может быть принята от модуля 363 обработки изображения, который может получить внешнюю информацию от датчика 370 внешнего освещения. Эта внешняя информацию может быть передана и/или обработана модулем 363 обработки изображения на пути к модулю 374 обработки света источника. Состояние устройства или режим можно также передать к модулю 374 обработки света источника от модуля 372 устройства.

Модуль 354 обработки света источника может использовать условие внешнего света и/или состояние устройства, чтобы определить уровень освещения света источника. Этот уровень освещения света источника может использоваться, чтобы управлять светом 368 источника, который будет освещать дисплей, такой как LCD дисплей 366. Модуль 374 обработки света источника может также передать уровень освещения света источника и/или другую информацию в блок 363 обработки изображения.

Модуль 363 обработки изображения может использовать информацию света источника от модуля 374 обработки света источника, чтобы определить параметры обработки для того, чтобы обрабатывать входное изображение 360. Модуль 363 обработки изображения может также использовать информацию внешнего освещения от датчика 370 внешнего освещения, чтобы определить параметры обработки для обработки входного изображение 360. Модуль 363 обработки изображения может применить настройку градационной шкалы, карту усиления или другую процедуру, чтобы настроить значения пикселей изображения. В некоторых примерных вариантах осуществления эта процедура будет улучшать яркость изображения и контраст и частично или полностью компенсировать снижение освещения источника света. Результатом обработки модулем 363 обработки изображения является настроенное изображение 364, которое может быть послано на дисплей 366, где оно может быть освещено внешним светом 368.

Варианты осуществления управления мощностью, адаптивные к искажениям

Некоторые варианты осуществления настоящего изобретения включают в себя способы и системы для учета потребностей по мощности, характеристик дисплея, внешней среды и ограничений питания от батареи устройств с дисплеями, включая мобильные устройства и приложения. В некоторых вариантах осуществления могут использоваться три семейства алгоритмов: алгоритмы управления мощностью дисплея, алгоритмы модуляции задней подсветки и алгоритмы сохранения яркости (BP). В то время как управление мощностью имеет более высокий приоритет в мобильных устройствах с батарейным питанием, эти системы и способы могут быть применены к другим устройствам, которые могут извлечь выгоду из управления мощностью для энергосбережения, управления распределением тепла и других целей. В этих вариантах осуществления эти алгоритмы могут взаимодействовать, но их отдельные функциональные возможности могут включать в себя:

- Управление мощностью - эти алгоритмы управляют мощностью задней подсветки по ряду кадров, используя изменения в видеоконтенте, чтобы оптимизировать потребление энергии.

- Модуляцию задней подсветки - эти алгоритмы выбирают уровни мощности задней подсветки, чтобы использовать для отдельного кадра, и используют статистику в пределах изображения, чтобы оптимизировать потребление мощности.

- Сохранение яркости - эти алгоритмы обрабатывают каждое изображение, чтобы скомпенсировать уменьшенную мощность задней подсветки и сохранить яркость изображения, избегая артефактов.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 29, которая включает в себя упрощенную блок-схему, показывающую взаимодействие компонентов этих вариантов осуществления. В некоторых вариантах осуществления алгоритм 406 управления мощностью может управлять фиксированным ресурсом 402 по видео, последовательности изображений или другой задаче дисплея и может гарантировать установленное среднее потребление мощности при сохранении качества и/или других характеристик. Алгоритм 410 модуляции задней подсветки может получать инструкции от алгоритма 406 управления мощностью и выбрать уровень мощности, подчиненный пределам, определенным алгоритмом 406 управления мощностью, чтобы эффективно представить каждое изображение. Алгоритм 414 сохранения яркости может использовать выбранный уровень 415 задней подсветки и возможное значение 413 ограничения, чтобы обрабатывать изображение, компенсируя сниженную заднюю подсветку.

Управление мощностью дисплея

В некоторых вариантах осуществления алгоритм 406 управления мощностью дисплея может управлять распределением использования мощности по видео, последовательности изображения или другой задаче дисплея. В некоторых вариантах осуществления, алгоритм 406 управления мощностью дисплея 406 может назначать фиксированную энергию батареи, чтобы обеспечивать гарантированный операционный срок службы при сохранении качества изображения. В некоторых вариантах осуществления одна цель алгоритма управления мощностью состоит в том, чтобы обеспечивать гарантированные нижние пределы по сроку службы батареи, чтобы увеличить удобство и простоту использования мобильного устройства.

Постоянное управление мощностью

Одна форма управления мощностью, которое достигает произвольной цели, состоит в выборе фиксированной мощности, которая удовлетворит желательному сроку службы. Блок-схема системы, показывающая систему, основанную на постоянном управлении мощностью, представлена на фиг. 30. Существенным моментом является то, что алгоритм 436 управления мощностью выбирает постоянную мощность задней подсветки на основе исключительно начального уровня 432 заряда батареи и желательного срока службы 434. Компенсация 442 для этого уровня 444 задней подсветки выполняется по каждому изображению 446.

Уравнение 17: Постоянное управление мощностью

Уровень 444 задней подсветки и, следовательно, потребление мощности не зависят от данных 440 изображения. Некоторые варианты осуществления могут поддерживать множество режимов постоянной мощности, позволяющих выполнять выбор уровня мощности на основе режима мощности. В некоторых вариантах осуществления зависимая от изображения модуляция задней подсветки не может использоваться, чтобы упростить выполнение системы. В других вариантах осуществления несколько постоянных уровней мощности могут быть установлены и выбраны на основе рабочего режима или пользовательского предпочтения. Некоторые варианты осуществления могут использовать этот принцип с единственным уменьшенным уровнем мощности, то есть 75% от максимальной мощности.

Простое адаптивное управление мощностью

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 31. Эти варианты осуществления включают в себя адаптивный алгоритм 456 управления мощностью. Снижение 455 мощности вследствие модуляции 460 задней подсветки вводится в алгоритм 456 управления мощностью, обеспечивая улучшенное качество изображения при обеспечении желательного срока службы системы.

В некоторых вариантах осуществления сбережения мощности с зависимой от изображения модуляцией задней подсветки могут быть включены в алгоритм управления мощностью путем обновления статического вычисления максимальной мощности во времени, как в Уравнении 18. Адаптивное управление мощностью может включать в себя вычисление отношения остающегося уровня заряда батареи (мА·ч) к остающемуся желательному сроку службы (часы), чтобы задать верхний предел мощности (мА) в алгоритм 460 модуляции задней подсветки. Вообще модуляция 460 задней подсветки может выбрать фактическую мощность ниже этого максимума, обеспечивая дополнительное сбережение мощности. В некоторых вариантах осуществления сбережения мощности, вследствие модуляции задней подсветки, могут быть отражены в форме обратной связи через изменяющиеся значения остающегося заряда батареи или текущей средней выбранной мощности и поэтому влияют на последующие решения по управлению мощностью.

Уравнение 18: Адаптивное управление мощностью

В некоторых вариантах осуществления, если информация состояния батареи недоступна или неточна, остающийся заряд батареи может быть оценен путем вычисления энергии, используемой дисплеем, как усредненной выбранной мощности на время работы, и вычитания ее из начального заряда батареи.

Уравнение 19: Оценка остающегося заряда батареи

Этот последний метод имеет преимущество, состоящее в том, что может осуществляться без взаимодействия с батареей.

Управление искажением-мощностью

Изобретателем было обнаружено при исследовании искажения в зависимости от мощности, что многие изображения демонстрируют весьма различные искажения при той же самой мощности. Тусклые изображения, изображения с плохим контрастом, такие как недодержанные фотографии, могут фактически быть отображены лучше при низкой мощности из-за повышения уровня черного, который следует из использования большой мощности. Алгоритм управления мощностью может балансировать между искажением изображения и емкостью батареи вместо прямых настроек мощности. В некоторых вариантах осуществления настоящего изобретения, проиллюстрированных на фиг. 29, методы управления мощностью могут включать в себя параметр 403 искажения, такой как максимальное значение искажения, в дополнение к максимальной мощности 401, задаваемой для алгоритма 410 управления задней подсветкой. В этих вариантах осуществления алгоритм 406 управления мощностью может использовать обратную связь из алгоритма 410 модуляции задней подсветки в форме характеристики 405 мощности/искажения текущего изображения. В некоторых вариантах осуществления максимальное искажение изображения может быть изменено на основе целевой мощности и свойства искажения мощности текущего кадра. В этих вариантах осуществления в дополнение к обратной связи по фактически выбранной мощности алгоритм управления мощностью может выбрать и предоставить целевое искажение 403 и может получить обратную связь по соответствующему искажению 405 изображения в дополнение к обратной связи по уровню 402 заряда батареи. В некоторых вариантах осуществления дополнительные входы могли бы использоваться в алгоритме управления мощностью, такие как уровень 408 внешнего освещения, пользовательское предпочтение и рабочий режим (то есть видео/графика).

Некоторые варианты осуществления настоящего изобретения могут пытаться оптимально распределять мощность по видеопоследовательности при сохранении качества отображения. В некоторых вариантах осуществления для данной видеопоследовательности два критерия могут использоваться для компромиссного выбора между полной используемой мощностью и искажением изображения. Могут использоваться максимальное искажение изображения и среднее искажение изображения. В некоторых вариантах осуществления эти параметры могут быть минимизированы. В некоторых вариантах осуществления минимизация максимального искажения по последовательности изображения может быть достигнута при использовании того же самого искажения для каждого изображения в последовательности. В этих вариантах осуществления алгоритм 406 управления мощностью может выбрать искажение 403, позволяя алгоритму 410 модуляции задней подсветки выбрать уровень задней подсветки, который удовлетворяет этому целевому искажению 403. В некоторых вариантах осуществления минимизация среднего искажения может быть достигнута, когда мощность, выбранная для каждого изображения, такова, что наклоны кривых искажения мощности равны. В этом случае алгоритм 406 управления мощностью может выбрать наклон кривой искажения мощности на основе алгоритма 410 модуляции задней подсветки, чтобы выбрать соответствующий уровень задней подсветки.

Фиг. 32A и 32B могут использоваться для иллюстрации сбережений мощности с учетом искажения в процессе управления мощностью. Фиг. 32A - график уровня мощности света источника для последовательных кадров последовательности изображения. Фиг. 32A показывает, что уровни мощности света источника необходимы для поддержания постоянного искажения 480 между кадрами и средней мощности 482 графика постоянного искажения. Фиг. 32B - график искажения изображения для тех же самых последовательных кадров последовательности изображения. Фиг. 32B показывает искажение 484 постоянной мощности, являющееся результатом поддержания установки постоянной мощности, уровень 488 постоянного искажения, являющийся результатом поддержания постоянного искажения по последовательности, и среднее искажение 486 постоянной мощности при поддержании постоянной мощности. Постоянный уровень мощности был выбран равным средней мощности результата постоянного искажения. Таким образом, оба метода используют ту же самую среднюю мощность. Исследование искажения показало, что постоянная мощность 484 дает существенное изменение в искажении изображения. Отметим также, что среднее искажение 486 управления постоянной мощности является более чем 10-кратным искажением 488 алгоритма постоянного искажения, несмотря на то, что оба используют ту же самую среднюю мощность.

На практике, оптимизация, чтобы минимизировать максимальное или среднее искажение по видеопоследовательности, может оказаться слишком сложной для некоторых приложений, поскольку искажение между исходными и уменьшенными по мощности изображениями должно вычисляться в каждой точке функции искажения мощности, чтобы оценить компромисс между искажением и мощностью.

Каждая оценка искажения может потребовать, чтобы уменьшение задней подсветки и соответствующее компенсирующее усиление яркости изображения вычислялись и сравнивались с исходным изображением. Следовательно, некоторые варианты осуществления могут включать в себя более простые методы для вычисления или оценки характеристик искажения.

В некоторых вариантах осуществления могут использоваться некоторые приближения. Во-первых, можно видеть, что метрика искажения по точкам, такая как среднеквадратическая ошибка (MSE), может быть вычислена из гистограммы кодовых значений изображения, а не изображения непосредственно, как выражено в Уравнении 20. В этом случае, гистограмма является одномерным сигналом только с 256 значениями в противоположность изображению, которое при разрешении 320x240 имеет 7680 выборок. Это можно дополнительно уменьшить субдискретизацией гистограммы, если желательно.

В некоторых вариантах осуществления приближение может быть сделано, предполагая, что изображение просто масштабируется с ограничением на стадии компенсации вместо применения фактического алгоритма компенсации. В некоторых вариантах осуществления включение члена подъема уровня черного в метрику искажения может также быть полезным. В некоторых вариантах осуществления использование этого члена может подразумевать, что минимальное искажение для полностью черного кадра происходит при нулевой задней подсветке.

Уравнение 20: Упрощающее вычисление искажения

В некоторых вариантах осуществления, чтобы вычислить искажение на данном уровне мощности для каждого кодового значения, может быть определено искажение, вызванное линейным усилением с ограничением. Искажение может затем взвешиваться частотой кодового значения и суммироваться, чтобы получить среднее искажение изображения на определенном уровне мощности. В этих вариантах осуществления простое линейное усиление для компенсации яркости не дает приемлемого качества для отображения изображения, но служит простым источником для вычисления оценки искажения изображения, вызванного изменением задней подсветки.

В некоторых вариантах осуществления, проиллюстрированных на фиг. 33, чтобы управлять и потреблением мощности, и искажением изображения, алгоритм 500 управления мощностью может отслеживать не только уровень 506 заряда батареи и оставшийся срок службы 508, но также и искажение 510 изображения. В некоторых вариантах осуществления как верхний предел по потреблению 512 мощности, так и целевое искажение 511 могут вводиться в алгоритм 502 модуляции задней подсветки. Алгоритм 502 модуляции задней подсветки 502 может затем выбрать уровень 512 задней подсветки, совместимый и с пределом мощности, и с целевым искажением.

Алгоритмы модуляции задней подсветки (BMA)

Алгоритм 502 модуляции задней подсветки 502 обеспечивает выбор уровня задней подсветки, используемого для каждого изображения. Этот выбор может быть основан на изображении, которое должно отображаться, и сигналах из алгоритма 500 управления мощностью. При соблюдении предела по максимальной мощности, выдаваемого 512 алгоритмом 500 управления мощностью, батареей 506 можно управлять для желательного срока службы. В некоторых вариантах осуществления алгоритм 502 модуляции задней подсветки может выбрать более низкую мощность в зависимости от статистики текущего изображения. Это может быть источником сбережений мощности для конкретного изображения.

Как только подходящий уровень 415 задней подсветки выбран, задняя подсветка 416 устанавливается на выбранный уровень, и этот уровень 415 задается алгоритму 414 сохранения яркости, чтобы определить необходимую компенсацию. Для некоторых изображений и последовательностей допущение небольшой величины искажения изображения может сильно уменьшить необходимую мощность задней подсветки. Поэтому некоторые варианты осуществления содержат алгоритмы, которые допускают управляемую величину искажения изображения.

Фиг. 34 - график, показывающий величину сохраненной мощности на образцовом DVD клипе как функцию числа кадров для нескольких допусков искажения. Процент пикселей с нулевым искажением изменялся от 100% до 97% к 95%, и средняя мощность по видеоклипу была определена. Средняя мощность колебалась от 95% до 60% соответственно. Таким образом, допущение искажения в 5% пикселей обеспечило дополнительное 35%-ное сбережение мощности. Это демонстрирует существенные сбережения мощности, возможные при допущении малого искажения изображения. Если алгоритм сохранения яркости может сохранить субъективное качество, вводя малое искажение, могут быть достигнуты существенные сбережения мощности.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 30. Эти варианты осуществления могут также включать в себя информацию от датчика 438 внешнего света и могут быть уменьшены в сложности для мобильного применения. Эти варианты осуществления включают в себя статический предел в процентах гистограммы и динамический максимальный предел мощности, выдаваемый алгоритмом 436 управления мощностью. Некоторые варианты осуществления могут включать в себя цель постоянной мощности, в то время как другие варианты осуществления могут включать в себя более сложный алгоритм. В некоторых вариантах осуществления изображение может быть проанализировано путем вычисления гистограмм каждого из цветовых компонентов. Кодовое значение в гистограмме, в которой возникает указанное значение в процентах, может быть вычислено для каждой цветовой плоскости. В некоторых вариантах осуществления может быть выбран целевой уровень задней подсветки так, чтобы линейное усиление в кодовых значениях вызывало ограничение кодового значения, выбранного из гистограмм. Фактический уровень задней подсветки может быть выбран как минимум этого целевого уровня и предела уровня задней подсветки, обеспеченного алгоритмом 436 управления мощностью. Эти варианты осуществления могут обеспечивать гарантируемое управление мощностью и могут допускать ограниченную величину искажения изображения в случаях, где предел управления мощностью может быть достигнут.

Уравнение 21: Выбор мощности на основе процентиля гистограммы

Варианты осуществления, основанные на искажении изображения

Некоторые варианты осуществления настоящего изобретения могут содержать предел искажения и предел максимальной мощности, выдаваемый алгоритмом управления мощностью. Фиг. 32B и 34 демонстрируют, что величина искажения на данном уровне мощности задней подсветки сильно изменяется в зависимости от содержания изображения. Свойства поведения искажения мощности каждого изображения могут использоваться в процессе выбора задней подсветки. В некоторых вариантах осуществления текущее изображение может анализироваться путем вычисления гистограмм для каждого цветового компонента. Кривая искажения мощности, определяющая искажение (например, MSE), может быть вычислена путем вычисления искажения в диапазоне значений мощности с использованием второго выражения Уравнения 20. Алгоритм модуляции задней подсветки может выбрать наименьшую мощность с искажением, соответствующим или ниже указанного предела искажения как целевого уровня. Уровень задней подсветки может затем быть выбран как минимум целевого уровня и предела уровня задней подсветки, выдаваемого алгоритмом управления мощностью. Дополнительно, искажение изображения на выбранном уровне может быть обеспечено алгоритму управления мощностью, чтобы вести обратную связь искажения. Частота выборки кривой искажения мощности и гистограммы изображения может быть уменьшена, чтобы контролировать сложность.

Сохранение яркости (BP)

В некоторых вариантах осуществления алгоритм BP осветляет изображение на основе выбранного уровня задней подсветки, чтобы скомпенсировать уменьшенное освещение. Алгоритм BP может управлять искажением, вводимым в дисплей, и способность алгоритма BP сохранять качество предписывает, какую величину мощности алгоритм модуляции задней подсветки может пытаться сохранить. Некоторые варианты осуществления могут компенсировать снижение задней подсветки путем масштабирования значений ограничения изображения, которые превышают 255. В этих вариантах осуществления алгоритм модуляции задней подсветки должен быть консервативным в снижении мощности, или будут вводиться раздражающие артефакты ограничения, таким образом ограничивая возможное сбережение мощности. Некоторые варианты осуществления предназначены для сохранения качества на наиболее критичных кадрах при фиксированном снижении мощности. Некоторые из этих вариантов осуществления компенсируют единственный уровень задней подсветки (то есть 75%). Другие варианты осуществления могут быть обобщены, чтобы работать с модуляцией задней подсветки.

Некоторые варианты осуществления алгоритма сохранения яркости (BP) могут использовать описание выхода светимости от дисплея как функции данных изображения и задней подсветки. Используя эту модель, BP может определить модификации к изображению, чтобы скомпенсировать снижение задней подсветки. В случае дисплея, работающего на пропускание и отражение, модель BP может быть изменена, чтобы включать описание отражательного аспекта дисплея. Выход светимости от дисплея становится функцией задней подсветки, данных изображения и внешней среды. В некоторых вариантах осуществления алгоритм BP может определить модификации к изображению, чтобы компенсировать снижение задней подсветки в данной внешней среде.

Влияние внешней среды

Из-за ограничений реализации некоторые варианты осуществления могут включать в себя алгоритмы ограниченной сложности для определения параметров BP. Например, разработка алгоритма, исполняемого полностью на LCD модуле, ограничивает обработку и память, доступную для алгоритма. В этом примере, генерирование дополнительных гамма-кривых для различных комбинаций задней подсветки/внешней среды может использоваться для некоторых вариантов осуществления BP. В некоторых вариантах осуществления могут быть необходимы пределы по числу и разрешению гамма-кривых.

Кривые мощности/искажения

Некоторые варианты осуществления настоящего изобретения могут получать, оценивать, вычислять или иначе определять характеристики мощности/искажения для изображений, включая, без ограничения указанным, кадры видеопоследовательности. На фиг. 35 представлен график, показывающий характеристики мощности/искажения для четырех примерных изображений. На фиг. 35 кривая 520 для изображения C сохраняет отрицательный наклон для всей полосы мощности света источника. Кривые 522, 524 и 526 для изображений A, B и D попадают на отрицательный наклон, пока они не достигают минимума, затем нарастают с положительным наклоном. Для изображений A, B и D увеличение мощности света источника фактически увеличит искажение в определенных диапазонах кривых, где кривые имеют положительный наклон 528. Это может быть вследствие характеристик дисплея, таких как, без ограничения указанным, LCD утечка или другие несовершенства дисплея, которые вызывают то, что отображенное изображение, как оно просматривается наблюдателем, последовательно отличается от кодовых значений.

Некоторые варианты осуществления настоящего изобретения могут использовать эти характеристики, чтобы определить соответствующие уровни мощности света источника для определенных изображений или типов изображения. Характеристики дисплея (например, LCD утечка) могут учитываться при вычислениях параметра искажения, которые используются, чтобы определить соответствующий уровень мощности света источника для изображения.

Примерные методы

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 36. В этих вариантах осуществления устанавливается 530 баланс мощности. Это может быть выполнено с использованием простого управления мощностью, адаптивного управления мощностью и других методов, описанных выше, или иных методов. Как правило, установление баланса мощности может включать в себя оценку задней подсветки или уровня мощности света источника, который позволит завершить задачу дисплея, такую как отображение видеофайла, используя фиксированный ресурс мощности, такой как часть заряда батареи. В некоторых вариантах осуществления, установление баланса мощности может включать в себя определение среднего уровня мощности, который позволит завершить задачу дисплея с фиксированной величиной мощности.

В этих вариантах осуществления может также быть установлен начальный критерий 532 искажения. Этот начальный критерий искажения может быть определен, оценивая уменьшенный уровень мощности света источника, который будет удовлетворять балансу мощности, и измеряя искажение изображения на этом уровне мощности. Искажение может быть измерено на нескорректированном изображении, на изображении, которое было изменено, с использованием метода сохранения яркости (BP), как описано выше, или на изображении, которое было изменено с использованием упрощенного процесса BP.

Как только начальный критерий искажения установлен, первая часть задачи дисплея может быть отображена 534 с использованием уровней мощности света источника, которые обеспечивают выполнение критериев искажения характеристиками искажения отображаемого изображения или изображений. В некоторых вариантах осуществления уровни мощности источника света могут быть выбраны для каждого кадра видеопоследовательности таким образом, чтобы каждый кадр отвечал требованию искажения. В некоторых вариантах осуществления значения источника света могут быть выбраны, чтобы поддерживать постоянное искажение или диапазон искажения, поддерживать искажение ниже установленного уровня или иначе соответствовать критерию искажения.

Потребление мощности затем может быть оценено 536, чтобы определить, удовлетворяет ли мощность, используемая для отображения первой части задачи отображения, параметрам управления балансом мощности. Мощность может быть распределена с использованием фиксированной величины для каждого изображения, видеокадра или другого элемента задачи отображения. Мощность может также быть распределена таким образом, чтобы средняя мощность, потребляемая по ряду элементов задачи отображения, отвечала требованию, в то время как мощность, потребляемая для каждого элемента задачи отображения, могла изменяться. Другие схемы распределения мощности могут также использоваться.

Когда оценка 536 потребления мощности показывает, что потребление мощности для первой части задачи отображения не отвечает требованиям баланса мощности, критерий искажения может быть изменен 538. В некоторых вариантах осуществления, в которых кривая мощности/искажения может быть оценена, принята, вычислена или иным образом определена, критерий искажения может быть изменен, чтобы позволить большее или меньшее искажение, как необходимо, чтобы соответствовать требованию баланса мощности. В то время как кривые мощности/искажения являются специфическими для изображения, могут использоваться кривая мощности/искажения для первого кадра последовательности, для примерного изображения в последовательности или для синтезированного изображения, репрезентативного для задачи отображения.

В некоторых вариантах осуществления, когда больше, чем планируемое количество мощности, использовалось для первой части задачи отображения и наклон кривой мощности/искажения является положительным, критерий искажения может быть изменен, чтобы допускать меньше искажение. В некоторых вариантах осуществления, когда больше, чем планируемое количество мощности, использовалось для первой части задачи отображения и наклон кривой мощности/искажения является отрицательным, критерий искажения может быть изменен, чтобы допускать больше искажения. В некоторых вариантах осуществления, когда меньше, чем планируемое количество мощности, использовалось для первой части задачи отображения и наклон кривой мощности/искажения отрицателен или положителен, критерий искажения может быть изменен, чтобы допускать меньше искажения.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 37. Эти варианты осуществления в типовом случае включают в себя устройство с батарейным питанием с ограниченной мощностью. В этих вариантах осуществления, уровень заряда батареи оценивается или измеряется 540. Требование по мощности задачи дисплея может также быть оценено или вычислено 542. Начальный уровень мощности источника света может также быть оценен или определен 544 иным образом. Этот начальный уровень мощности источника света может быть определен с использованием уровня заряда батареи и требования по мощности задачи дисплея, как описано для управления постоянной мощностью выше, или другими методами.

Критерий искажения, который соответствует начальному уровню мощности источника света, может также быть определен 546. Этот критерий может быть значением искажения, которое возникает для примерного изображения на начальном уровне мощности источника света. В некоторых вариантах осуществления значение искажения может быть основано на нескорректированном изображении, изображении, измененном алгоритмом фактического или предполагаемого BP, или другом примерном изображении.

Как только критерий искажения определен 546, первая часть задачи дисплея оценивается, и выбирается 548 уровень мощности света источника, который будет обуславливать искажение первой части задачи дисплея в соответствии с критерием искажения. Первая часть задачи дисплея затем отображается 550 с использованием выбранного уровня мощности света источника, и мощность, потребляемая во время отображения этой части, оценивается или измеряется 552. Если это потребление энергии не удовлетворяет требованию мощности, критерий искажения может быть изменен 554, чтобы привести потребление энергии в соответствие с требованием мощности.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 38A и 38B. В этих вариантах осуществления баланс мощности устанавливается 560, и также устанавливается 562 критерий искажения. Они оба в типовом случае устанавливаются в отношении конкретной задачи дисплея, например видеопоследовательности. Затем выбирается 564 изображение, такое как кадр или набор кадров видеопоследовательности. Уменьшенный уровень мощности света источника затем оценивается 566 для выбранного изображения так, чтобы искажение, следующее из уменьшенного уровня мощности света, соответствовало критерию искажения. Это вычисление искажения может включать в себя применение методов сохранения предполагаемой или фактической яркости (BP) к значениям изображения для выбранного изображения.

Выбранное изображение может затем быть изменено с помощью методов BP 568, чтобы скомпенсировать уменьшенный уровень мощности источника света. Фактическое искажение измененного изображения BP может затем быть измерено 570, и может быть выполнено определение относительно того, удовлетворяет ли это фактическое искажение критерию 572 искажения. Если фактическое искажение не удовлетворяет критерию искажения, процесс оценки 574 может быть настроен, и уменьшенный уровень мощности источника света может быть повторно оценен 566. Если фактическое искажение действительно удовлетворяет критерию искажения, выбранное изображение может быть отображено 576. Потребление мощности во время отображения затем измеряется 578 и сравнивается с ограничением 580 баланса мощности. Если потребление мощности удовлетворяет ограничению баланса мощности, следующее изображение, такое как последующий набор видеокадров, может быть выбрано 584, пока задача отображения не будет завершена 582, и в этот момент процесс завершается. Если следующее изображение будет выбрано 584, то процесс возвратится в точку "B", где уменьшенный уровень мощности источника света будет оцениваться 566 для этого изображения, и процесс будет продолжаться как для первого изображения.

Если потребление мощности для выбранного изображения не удовлетворяет ограничению баланса мощности 580, критерий искажения может быть изменен 586, как описано для других вариантов осуществления выше, и следующее изображение будет выбрано 584.

Варианты осуществления улучшенного уровня черного

Некоторые варианты осуществления настоящего изобретения включают в себя системы и способы для усовершенствования уровня черного дисплея. Некоторые варианты осуществления используют заданный уровень задней подсветки и генерируют светимость, соответствующую градационной шкале, которая как сохраняет яркость, так и улучшает уровень черного. Другие варианты осуществления включают в себя алгоритм модуляции задней подсветки, который включает в себя усовершенствование уровня черного при его проектировании. Некоторые варианты осуществления могут быть реализованы как расширение или модификация вариантов осуществления, описанных выше.

Улучшенное согласование светимости (согласованный с целью идеальный дисплей)

Формулировка согласования светимости, представленная выше (Уравнение 7) используется, чтобы определить линейное масштабирование кодовых значений, которое компенсирует снижение задней подсветки. Это оказалось эффективным при экспериментах со снижением мощности на уровне 75%. В некоторых вариантах осуществления с зависимой от изображения модуляцией задней подсветки задняя подсветка может быть значительно уменьшена, например ниже 10%, для темных кадров. Для этих вариантов осуществления линейное масштабирование кодовых значений, полученных в Уравнении 7, возможно, не является соответствующим, так как это может чрезмерно повысить значения темного. В то время как варианты осуществления, использующие эти методы, могут дублировать выход полной мощности на дисплее уменьшенной мощности, это может не обеспечивать оптимизации выхода. Так как дисплей полной мощности имеет приподнятый уровень черного, воспроизведение этого выхода для темных сцен не достигает выгоды от уменьшенного уровня черного, сделанного возможным при более низкой настройке мощности задней подсветки. В этих вариантах осуществления критерии согласования могут быть изменены и может быть получена замена для результата, данного в Уравнении 7. В некоторых вариантах осуществления выход идеального дисплея согласован. Идеальный дисплей может включать в себя нулевой уровень черного и тот же самый максимальный выход продукции, уровень белого =W, как для дисплея полной мощности. Отклик этого примерного идеального дисплея на кодовое значение cν может быть выражен в Уравнении 22 через максимальный выход W, гамму дисплея и максимальное кодовое значение.

Уравнение 22: Идеальный дисплей

В некоторых вариантах осуществления и примерный LCD дисплей может иметь тот же самый максимальный выход W и гамму, но ненулевой уровень черного B. Этот примерный LCD дисплей может быть смоделирован, используя модель GOG, описанную выше для выхода полной мощности. Выход масштабируется относительной мощностью задней подсветки для мощности, меньшей чем 100%. Усиление и параметры модели компенсации могут быть определены посредством максимального выхода W и уровня черного B дисплея полной мощности, как показано в Уравнении 23.

Уравнение 23: Модель GOG полной мощности

Выход дисплея уменьшенной мощности с относительной мощностью Р задней подсветки может быть определен путем масштабирования результатом полной мощности относительной мощностью.

Уравнение 24: Фактический выход LCD дисплея в зависимости от мощности и кодового значения

В этих вариантах осуществления кодовые значения могут быть изменены так, чтобы выходы идеального и фактического дисплеев были равны, где возможно. (Если идеальный выход не меньше или больше, чем это возможно при заданной мощности на фактическом дисплее).

Уравнение 25: Критерии для согласования выходов

Некоторое вычисление дает решение для

Уравнение 26: Соотношение кодового значения для согласования выхода

Эти варианты осуществления демонстрируют несколько свойств соотношения кодового значения для согласования с идеальным выходом на реальном дисплее с ненулевым уровнем черного. В этом случае имеется ограничение как на верхнем

Уравнение 27: Точки ограничения

Эти результаты согласуются с предшествующими выкладками для других вариантов осуществления, в которых дисплей предполагается имеющим нулевой уровень черного, то есть отношение контраста является бесконечным.

Алгоритм модуляции задней подсветки

В этих вариантах осуществления теория согласования светимости, которая включает в себя рассмотрение уровня черного путем выполнения согласования между дисплеем при заданной мощности и опорным дисплеем с нулевым уровнем черного, чтобы определить алгоритм модуляции задней подсветки. Эти варианты осуществления используют теорию согласования светимости, чтобы определить искажение, которое изображение должно иметь при отображении с мощностью P по сравнению с отображением на идеальном дисплее. Алгоритм модуляции задней подсветки может использовать предел максимальной мощности и предел максимального искажения, чтобы выбрать наименьшую мощность, которая приводит к искажению ниже указанного максимального искажения.

Искажение мощности

В некоторых вариантах осуществления при заданном целевом дисплее, определенном уровнем черного и максимальной яркостью при полной мощности, и изображении для отображения может быть вычислено искажение в отображении изображения при данной мощности P. Ограниченная мощность и ненулевой уровень черного дисплея могут быть эмулированы на идеальном опорном дисплее путем ограничения значений больших, чем яркость ограниченного по мощности дисплея и ограничения значений ниже уровня черного идеальной опоры. Искажение изображения может быть определено как MSE между кодовыми значениями исходного изображения и ограниченными кодовыми значениями, однако другие меры по искажению могут использоваться в некоторых вариантах осуществления.

Изображение с ограничением определено зависимыми от мощности пределами ограничения кодовых значений, введенных в Уравнении 27, как приведено в Уравнении 28.

Уравнение 28: Ограниченное изображение

Искажение между изображением на идеальном дисплее и на дисплее с мощностью P в области пикселя становится

Отметим, что оно может быть вычислено, используя гистограмму кодовых значений изображения.

Определение функции градационной шкалы может использоваться, чтобы получить эквивалентную форму этой меры по искажению, как показано в Уравнении 29.

Уравнение 29: Мера искажения

Эта мера включает в себя взвешенную сумму ошибки ограничения при высоком и низком кодовых значениях. Кривая мощности/искажения может быть сформирована для изображения, используя выражение согласно Уравнению 29. Фиг. 39 показывает график кривых мощности/искажения для различных примерных изображений. Фиг. 39 показывает график 590 мощности/искажения для сплошного белого изображения, график 592 мощности/искажения для яркого крупного плана желтого цветка, график 594 мощности/искажения для темного, низкоконтрастного изображения группы людей, график 596 мощности/искажения для сплошного черного изображения и график 598 мощности/искажения для яркого изображения серфера на волне.

Как можно видеть из фиг. 39, различные изображения могут иметь весьма различные отношения мощности/искажения. В экстремальных случаях, черный кадр 596 имеет минимальное искажение при нулевой мощности задней подсветки с искажением, повышающимся резко по мере увеличения мощности до 10%. Наоборот, белый кадр 590 имеет максимальное искажение при нулевой задней подсветке с искажением, уменьшающимся устойчиво до быстрого спадания до нуля при 100%-ной мощности. Яркое изображение 598 серфинга показывает устойчивое уменьшение в искажении по мере увеличения мощности. Два других изображения 592 и 594 показывают минимальное искажение на промежуточных уровнях мощности.

Некоторые варианты осуществления настоящего изобретения могут содержать алгоритм модуляции задней подсветки, который работает следующим образом:

1. Вычислить гистограмму изображения.

2. Вычислить функцию искажения мощности для изображения.

3. Вычислить наименьшую мощность с искажением ниже предела искажения.

4. (Факультативно) ограничить выбранную мощность на основе верхнего и нижнего пределов поставляемой мощности.

5. Выбрать вычисленную мощность для задней подсветки.

В некоторых вариантах осуществления, описанных со ссылкой на фиг. 40 и 41, значение 604 задней подсветки, выбранное посредством алгоритма модуляции BL, может быть предоставлено в алгоритм BP и может использоваться для проектирования градационной шкалы. Показаны средняя мощность 602 и искажение 606. Верхняя граница по усредненной мощности 600, используемой в этом эксперименте, также показана. Так как средняя используемая мощность значительно ниже этой верхней границы, алгоритм модуляции задней подсветки использует меньше мощности, чем простое использование фиксированной мощности, равной этому среднему пределу.

Разработка сглаженной функции градационной шкалы

В некоторых вариантах осуществления настоящего изобретения сглаженная функция градационной шкалы включает в себя два аспекта проектирования. Первый предполагает, что параметры для градационной шкалы даны, и определяет сглаженную функцию градационной шкалы, удовлетворяющую этим параметрам. Второй включает в себя алгоритм для выбора параметров проектирования.

Проектирование градационной шкалы с предполагаемыми параметрами

Отношение кодового значения, определенное Уравнением 26, имеет разрывы непрерывности наклона при ограничении действительным диапазоном [cvMin, cvMax]. В некоторых вариантах осуществления настоящего изобретения плавное ослабление на темном конце может быть определено аналогично сделанному для яркого конца в Уравнении 7. Эти варианты осуществления принимают как точку максимальной точности (MFP), так и точку наименьшей точности (LFP), между которыми градационная шкала согласуется с Уравнением 26. В некоторых вариантах осуществления градационная шкала может быть построена, чтобы быть непрерывной и иметь непрерывную первую производную и в MFP, и в LFP. В некоторых вариантах осуществления градационная шкала может пройти через экстремальные точки (ImageMinCV, cνMin) и (ImageMaxCV, cνMax). В некоторых вариантах осуществления градационная шкала может быть модифицирована от аффинного подъема как на верхнем, так и на нижнем конце. Дополнительно, пределы кодовых значений изображения могут использоваться, чтобы определить экстремальные точки вместо того, чтобы использовать фиксированные пределы. Возможно использовать фиксированные пределы в этой конструкции, но проблемы могут возникнуть при большом снижении мощности. В некоторых вариантах осуществления эти условия уникально определяют кусочную квадратичную градационную шкалу, которая выводится, как показано ниже.

Условия

Уравнение 30: Определение градационной шкалы

Уравнение 31: Наклон градационной шкалы

Быстрое наблюдение непрерывности градационной шкалы и первая производная в результирующих MFP и LFP.

Уравнение 32: Решение для параметров B, C, E, F градационной шкалы

Конечные точки определяют константы A и D как:

Уравнение 33: Решение для параметров A и D градационной шкалы

В некоторых вариантах осуществления эти отношения определяют сглаженное расширение градационной шкалы в предположении, что MFP/LFP, и ImageMaxCV/ImageMinCV доступны. Это оставляет открытой необходимость в выборе этих параметров. Другие варианты осуществления включают в себя способы и системы для выбора этих параметров проектирования.

Выбор параметров (MFP/LFP)

Некоторые варианты осуществления настоящего изобретения, описанные выше и в связанных заявках, учитывают только MFP с ImageMaxCV равным 255; cνMax использовалось вместо ImageMaxCV, введенного в этих вариантах осуществления. Эти ранее описанные варианты осуществления имели линейную градационную шкалу на нижнем конце из-за согласования, основанного на дисплее полной мощности, а не идеальном дисплее. В некоторых вариантах осуществления MFP была выбрана так, чтобы плавная градационная шкала имела нуль наклона в верхнем пределе, ImageMaxCV. Математически, MFP была определена следующим образом.

Уравнение 34: Критерий выбора MFP

Решение этого критерия связывает MFP с верхней точкой ограничения и максимальным кодовым значением.

Уравнение 35: Критерий предварительного выбора MFP

Для умеренного сокращения мощности, такого как P=80% этот критерий предварительного выбора MFP работает хорошо. Для большого сокращения мощности эти варианты осуществления могут улучшить результаты ранее описанных вариантов осуществления.

В некоторых вариантах осуществления мы выбираем критерий выбора MFP, соответствующий большому снижению мощности. Использование значения ImageMaxCV непосредственно в Уравнении 35 может вызвать проблемы. В изображениях, где мощность низка, мы ожидаем низкое максимальное кодовое значение. Если максимальное кодовое значение в изображении, ImageMaxCV, как известно, является малым, Уравнение 35 дает приемлемое значение для MFP, но в некоторых случаях ImageMaxCV либо неизвестно, либо велико, что может привести к неприемлемым, то есть отрицательным значениям MFP. В некоторых вариантах осуществления, если максимальное кодовое значение неизвестно или слишком высоко, альтернативное значение может быть выбрано для ImageMaxCV и применено в результате, приведенном выше.

В некоторых вариантах осуществления может быть определено k в качестве параметра, определяющего наименьшую долю ограниченного значения x_high, которое может иметь MFP. Затем k может использоваться, чтобы определить, приемлема ли MFP, вычисленная согласно Уравнению 35, то есть:

Уравнение 36: Критерии «приемлемости» MFP

Если вычисленная MFP не приемлема, то MFP может быть определена как наименьшее приемлемое значение, и необходимое значение ImageMaxCV может быть определено согласно Уравнению 37. Значения MFP и ImageMaxCV могут затем использоваться, чтобы определить градационную шкалу, как обсуждено ниже.

Уравнение 37: Коррекция ImageMaxCV

Этапы для выбора MFP в некоторых вариантах осуществления подытожены ниже:

1. Вычислить точку-кандидат MFP с использованием ImageMaxCV (или CVMax, если недоступно).

2. Испытать приемлемость с использованием Уравнения 36.

3. Если неприемлемо, определить MFP на основе доли k кодового значения ограничения.

4. Вычислить новое ImageMaxCV с использованием Уравнения 37.

5. Вычислить сглаженную функцию градационной шкалы с использованием MFP, ImageMaxCV и мощности.

Подобные методы могут быть применены, чтобы выбрать LFP на темном конце, с использованием ImageMinCV и x_low.

Примерные образцы градационной шкалы, основанные на алгоритмах проектирования сглаженной градационной шкалы и автоматическом выборе параметров, показаны на фиг. 42-45. Фиг. 42 и 43 показывают примерный образец градационной шкалы, где выбран уровень мощности задней подсветки 11%. Показана линия 616, соответствующая линейной части градационной шкалы между MFP 610 и LFP 612. Образец 614 градационной шкалы отклоняется от линии 616 выше MFP 610 и ниже LFP 612, но совпадает с линией 616 между LFP 612 и MFP 610. Фиг. 41 является увеличенным в масштабе изображением темной области представления градационной шкалы по фиг. 42. LFP 612 ясно видима, и более низкая кривая 620 образца градационной шкалы может наблюдаться как отклоняющаяся от линейного продолжения 622.

Фиг. 44 и 45 показывают примерный образец градационной шкалы, где уровень задней подсветки был выбран как 89% от максимальной мощности. Фиг. 44 показывает линию 634, совпадающую с линейной частью градационной шкалы. Линия 634 представляет идеальный отклик дисплея. Образец 636 градационной шкалы отклоняется 636, 638 от идеального линейного представления 634 дисплея выше MFP 630 и ниже LFP 632. Фиг. 45 показывает увеличенный в масштабе вид темного конца образца 636 градационной шкалы ниже LFP 640, где образец 642 градационной шалы отклоняется от продолжения 644 для идеального дисплея.

В некоторых вариантах осуществления настоящего изобретения вычисление искажения может быть модифицировано путем изменения вычисления ошибки между изображениями идеального и фактического дисплеев. В некоторых вариантах осуществления MSE может быть заменено суммой искаженных пикселей. В некоторых вариантах осуществления ошибка ограничения в верхней и нижней областях может быть взвешена по-разному.

Некоторые варианты осуществления настоящего изобретения могут включать в себя датчик внешней засветки. Если датчик внешней засветки имеется, датчик может использоваться, чтобы модифицировать метрику искажения, включая эффекты окружающего освещения и экранного отражения. Это может использоваться, чтобы модифицировать метрику искажения и, следовательно, алгоритм модуляции задней подсветки. Информация внешней среды может использоваться для управления образцом градационной шкалы путем указания соответствующей перцепционной точки ограничения на черном конце.

Варианты осуществления с сохранением цвета

Некоторые варианты осуществления настоящего изобретения включают в себя системы и способы для сохранения цветовых характеристик при увеличении яркости изображения. В некоторых вариантах осуществления сохранение яркости включает в себя отображение тела гаммы полной мощности в меньшее тело гаммы уменьшенного по мощности дисплея. В некоторых вариантах осуществления различные методы используются для сохранения цвета. Некоторые варианты осуществления сохраняют оттенок/насыщенность цвета в обмен на сокращение в усилении светимости.

Некоторые варианты осуществления "без сохранения цвета", описанные выше, обрабатывают каждый цветовой канал независимо, действуя так, чтобы обеспечить согласование светимости по каждому каналу цвета. В таких вариантах осуществления "без сохранения цвета", высоко насыщенные цвета или цвета выделения могут стать ненасыщенными и/или измениться в оттенке после обработки. Варианты осуществления с сохранением цвета учитывают эти цветовые артефакты, но, в некотором случае, могут немного уменьшить усиление светимости.

Некоторые варианты осуществления с сохранением цвета могут также использовать операцию ограничения, когда низкочастотный и высокочастотный каналы повторно объединяются. Ограничение каждого цветового канала независимо может снова привести к изменению в цвете. В вариантах осуществления, использующих ограничение с сохранением цвета, операция ограничения может использоваться, чтобы поддержать оттенок/насыщенность. В некоторых случаях, это ограничение с сохранением цвета может уменьшить светимость ограниченных значений ниже того, что имеет место в других вариантах осуществления "без сохранения цвета".

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 46. В этих вариантах осуществления входное изображение 650 считывается, и кодовые значения, соответствующие различным цветовым каналам для указанного местоположения пикселя, определяются 652. В некоторых вариантах осуществления входное изображение может быть в формате, который имеет отдельную информацию цветового канала, записанную в файле изображения. В примерном варианте осуществления изображение может быть записано с красным, зеленым и синим (RGB) цветовыми каналами. В других вариантах осуществления файл изображения может быть записан в голубом-пурпурном-желтом-черном (CMYK) формате, Lab, YUV или другом формате. Входное изображение может быть в формате, включающем в себя отдельный канал светимости, такой как Lab, или в формате без отдельного канала светимости, таком как RGB. Когда файл изображения не имеет отдельных данных цветового канала, которые являются легко доступными, файл изображения может быть преобразован в формат с данными цветового канала.

Как только кодовые значения для каждого цветового канала определены 652, затем определяется 654 максимальное кодовое значение среди кодовых значений цветового канала. Это максимальное кодовое значение может затем использоваться, чтобы определить параметры модели 656 настройки кодового значения. Модель настройки кодового значения может генерироваться разными способами. Кривая настройки градационной шкалы, функция усиления или другие модели настройки могут использоваться в некоторых вариантах осуществления. В примерных вариантах осуществления может использоваться кривая настройки градационной шкалы, которая увеличивает яркость изображения в ответ на настройку уменьшенной мощности задней подсветки. В некоторых вариантах осуществления модель настройки кодового значения может включать в себя кривую настройки градационной шкалы, как описано выше относительно других вариантов осуществления. Кривая настройки кодового значения может затем быть применена 658 к каждому из кодовых значений цветового канала. В этих вариантах осуществления применение кривой настройки кодового значения приведет к тому же самому значению усиления, применяемому к каждому цветовому каналу. Как только настройки выполнены, процесс продолжится для каждого пикселя 660 в изображении.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 47. В этих вариантах осуществления входное изображение считывается 670, и первое местоположение пикселя выбирается 672. Кодовые значения для первого цветового канала определяются 674 для выбранного местоположения пикселя, и кодовые значения для второго цветового канала определяются 676 для выбранного местоположения пикселя. Эти кодовые значения затем анализируются, и одно из них выбирается 678 на основании критерия выбора кодового значения. В некоторых вариантах осуществления может быть выбрано максимальное кодовое значение. Это выбранное кодовое значение может затем использоваться как вход для генератора 680 модели настройки кодового значения, который будет генерировать модель. Модель может затем быть применена 682 к первому и ко второму кодовым значениям цветового канала с по существу равным усилением, применяемым к каждому каналу. В некоторых вариантах осуществления значение усиления, полученное из модели настройки, может быть применено ко всем цветовым каналам. Обработка может затем продолжиться для следующего пикселя 684, пока все изображение не будет обработано.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 48. В этих вариантах осуществления входное изображение 690 вводится в систему. Изображение затем фильтруется 692, чтобы создать изображение первого частотного диапазона. В некоторых вариантах осуществления это может быть изображением нижних частот или изображением некоторого другого частотного диапазона. Изображение 694 второго частотного диапазона может также генерироваться. В некоторых вариантах осуществления изображение второго частотного диапазона может быть создано вычитанием изображения первого частотного диапазона из входного изображения. В некоторых вариантах осуществления, где изображение первого частотного диапазона является изображением нижних частот (LP), изображение второго частотного диапазона может быть изображением верхних частот (HP). Кодовое значение для первого цветового канала в изображении первого частотного диапазона может затем быть определено 696 для местоположения пикселя, и кодовое значение для второго цветового канала в изображении первого частотного диапазона может также быть определено 698 в местоположении пикселя. Одно из кодовых значений цветового канала затем выбирается 700 путем сравнения кодовых значений или их характеристик. В некоторых вариантах осуществления может быть выбрано максимальное кодовое значение. Модель настройки может затем генерироваться или к ней может быть получен доступ 702 с использованием выбранного кодового значения в качестве входа. Это может привести к множителю усиления, который может быть применен 704 к первому кодовому значению цветового канала и второму кодовому значению цветового канала.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 49. В этих вариантах осуществления входное изображение 710 может быть введено в селектор 712 пикселя, который может идентифицировать пиксель, который должен настраиваться. Первый считыватель 714 кодового значения цветового канала может считывать кодовое значение для выбранного пикселя для первого цветового канала. Второй считыватель 716 кодового значения цветового канала может также считывать кодовое значение для второго цветового канала в выбранном местоположении пикселя. Эти кодовые значения могут анализироваться в модуле 718 анализа, где одно из кодовых значений будет выбрано на основе характеристики кодового значения. В некоторых вариантах осуществления может быть выбрано максимальное кодовое значение. Это выбранное кодовое значение может затем быть введено в генератор 720 модели или селектор модели, который может определить значение усиления или модель. Это значение усиления или модель могут затем быть применены 722 к обоим кодовым значениям цветового канала независимо от того, было ли кодовое значение выбрано модулем 718 анализа. В некоторых вариантах осуществления к входному изображению можно получить доступ 728 при применении модели. Управление может затем перейти 726 назад к селектору 712 пикселя для итерационного выполнения по другим пикселям в изображении.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 50. В этих вариантах осуществления входное изображение 710 может быть введено в фильтр 730, чтобы получить изображение 732 первого частотного диапазона и изображение 734 второго частотного диапазона. Изображение первого частотного диапазона может быть преобразовано, чтобы обеспечить доступ к отдельным кодовым значениям 736 цветового канала. В некоторых вариантах осуществления входное изображение может обеспечить доступ к кодовым значениям цветового канала без какого-либо преобразования. Может быть определено кодовое значение для первого цветового канала первого частотного диапазона 738, и может быть определено кодовое значение для второго цветового канала первого частотного диапазона 740.

Эти кодовые значения могут быть введены в анализатор 742 характеристик кодового значения, который может определить характеристики кодового значения. Селектор 744 кодового значения может затем выбрать одно из кодовых значений на основе анализа кодового значения. Этот выбор может быть затем введен в селектор модели настройки или генератор 746, который сгенерирует или выберет значение усиления или карту усиления на основе выбора кодового значения. Значение усиления или карта могут затем быть применены 748 к первым кодовым значениям частотного диапазона для обоих цветовых каналов в настраиваемом пикселе. Этот процесс может повторяться, пока все изображение первого частотного диапазона не будет настроено 750. Карта усиления может также быть применена 753 к изображению 734 второго частотного диапазона. В некоторых вариантах осуществления постоянный коэффициент усиления может быть применен ко всем пикселям в изображении второго частотного диапазона. В некоторых вариантах осуществления изображение второго частотного диапазона может быть версией верхних частот входного изображения 710. Настроенное изображение 750 первого частотного диапазона и настроенное изображение 753 второго частотного диапазона могут быть суммированы или объединены 754 иным образом, чтобы создать настроенное выходное изображение 756.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 51. В этих вариантах осуществления входное изображение 710 можно послать в фильтр 760 или некоторый другой процессор для того, чтобы разделить изображение на множество изображений частотного диапазона. В некоторых вариантах осуществления фильтр 760 может содержать фильтр нижних частот (LP) и процессор для вычитания изображения LP, созданного фильтром LP, из входного изображения, чтобы создать изображение верхних частот (НР). Модуль 760 фильтра может вывести два или более определенных для частоты изображения 762, 764, каждое из которых имеет определенный частотный диапазон. Первое изображение 762 частотного диапазона может иметь данные цветового канала для первого цветового канала 766 и второго цветового канала 768. Кодовые значения для этих цветовых каналов можно послать на блок оценки 770 характеристик кодового значения и/или селектор 772 кодового значения. Этот процесс приведет к выбору одного из кодовых значений цветового канала. В некоторых вариантах осуществления будет выбрано максимальное кодовое значение из данных цветового канала для определенного местоположения пикселя. Это выбранное кодовое значение можно передать на генератор 774 режима настройки, который будет генерировать модель настройки кодового значения. В некоторых вариантах осуществления эта модель настройки может включать в себя карту усиления или значение усиления. Эта модель настройки может затем быть применена 776 к каждому из кодовых значений цветового канала для анализируемого пикселя. Этот процесс может быть повторен для каждого пикселя в изображении, приводя к настроенному изображению 778 первого частотного диапазона.

Изображение 764 второго частотного диапазона может быть факультативно настроено с отдельной функцией 765 усиления, чтобы повысить ее кодовые значения. В некоторых вариантах осуществления может не применяться никакая настройка. В других вариантах осуществления постоянный коэффициент усиления может быть применен ко всем кодовым значениям в изображении второго частотного диапазона. Это изображение второго частотного диапазона может быть объединено с настроенным изображением 778 первого частотного диапазона, чтобы сформировать настроенное объединенное изображение 781.

В некоторых вариантах осуществления применение модели настройки к изображению первого частотного диапазона и/или применение функции усиления к изображению второго частотного диапазона могут вызвать то, что некоторые кодовые значения изображения превысят диапазон устройства отображения или формат изображения. В этих случаях кодовые значения, возможно, должны быть ограничены до необходимого диапазона. В некоторых вариантах осуществления может использоваться процесс 782 ограничения с сохранением цвета. В этих вариантах осуществления кодовые значения, которые выпадают из указанного диапазона, могут быть ограничены так, чтобы сохранять соотношения между значениями цвета. В некоторых вариантах осуществления может быть вычислен множитель, который не больше, чем максимальное необходимое значение диапазона, деленное на максимальное кодовое значение цветового канала для анализируемого пикселя. Это приведет к коэффициенту "усиления" меньше единицы, и это уменьшит кодовое значение "завышенного размера" до максимального значения требуемого диапазона. Это значение "усиления" или ограничения может быть применено ко всем кодовым значениям цветового канала, чтобы сохранить цвет пикселя, при уменьшении всех кодовых значений до значения, которое меньше или равно максимальному значению или указанному диапазону. Применение этого процесса ограничения приводит в результате к настроенному выходному изображению 784, которое имеет все кодовые значения в пределах указанного диапазона и которое поддерживает цветовые соотношения кодовых значений.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 52. В этих вариантах осуществления используется ограничение с сохранением цвета, чтобы поддерживать цветовые соотношения при ограничении кодовых значений указанным диапазоном. В некоторых вариантах осуществления объединенное настроенное изображение 792 может соответствовать объединенному настроенному изображению 781, описанному со ссылкой на фиг. 51. В других вариантах осуществления объединенное настроенное изображение 792 может быть любым другим изображением, которое имеет кодовые значения, которые должны быть ограничены до указанного диапазона.

В этих вариантах осуществления определяется первое кодовое значение 794 цветового канала и определяется второе кодовое значение 796 цветового канала для указанного местоположения пикселя. Эти кодовые значения 794, 796 оцениваются в блоке оценки 798 характеристик кодового значения, чтобы определить выбранную характеристику кодового значения и выбрать кодовое значение цветового канала. В некоторых вариантах осуществления выбранная характеристика будет максимальным значением, и более высокое кодовое значение будет выбрано в качестве входа для генератора 800 настройки. Выбранное кодовое значение может использоваться как вход, чтобы сформировать настройку 800 ограничения. В некоторых вариантах осуществления эта настройка уменьшит максимальное кодовое значение до значения в пределах указанного диапазона. Эта настройка ограничения может затем быть применена ко всем кодовым значениям цветового канала. В примерном варианте осуществления кодовые значения первого цветового канала и второго цветового канала будут уменьшены 802 на тот же самый коэффициент, таким образом сохраняя отношение этих двух кодовых значений. Применение этого процесса ко всем пикселям в изображении приведет к выходному изображению 804 с кодовыми значениями, которые находятся в пределах указанного диапазона.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 53. В этих вариантах осуществления методы реализованы в области RGB путем манипулирования усилением, применяемым ко всем трем цветовым компонентам, основываясь на максимальном цветовом компоненте. В этих вариантах осуществления входное изображение 810 обрабатывается путем частотного разложения 812. В примерном варианте осуществления фильтр нижних частот (LP) 814 применяется к изображению, чтобы создать изображение LP 820, которое затем вычитается из входного изображения 810, чтобы создать изображение верхних частот (НР) 826. В некоторых вариантах осуществления пространственный 5×5 прямоугольный фильтр может использоваться для фильтра LP. В каждом пикселе в изображении LP 820 выбирается 816 максимальное значение трех цветовых каналов (R, G и B) и вводится в карту 818 усиления LP, которая выбирает соответствующую функцию усиления для применения ко всем значениям цветовых каналов для того конкретного пикселя. В некоторых вариантах осуществления усиление в пикселе со значениями [r, g, b] может быть определено посредством 1-D LUT, проиндексированной посредством max (r, g, b). Усиление в значении x может быть получено из значения кривой градационной шкалы фотометрического согласования, описанной выше, при значении x, деленном на x.

Функция 834 усиления может также быть применена к изображению HP 826. В некоторых вариантах осуществления функция 834 усиления может быть постоянным коэффициентом усиления. Это модифицированное изображение HP объединяется 830 с настроенным изображением LP, чтобы сформировать выходное изображение 832. В некоторых вариантах осуществления выходное изображение 832 может включать в себя кодовые значения, которые выходят за пределы диапазона для приложения. В этих вариантах осуществления процесс ограничения может быть применен, как объяснено выше со ссылками на фиг. 51 и 52.

В некоторых вариантах осуществления настоящего изобретения, описанных выше, модель настройки кодового значения для изображения LP может быть разработана так, чтобы для пикселей, у которых максимальный цветовой компонент ниже параметра, например, точки максимальной точности, усиление компенсировало снижение уровня мощности задней подсветки. Усиление нижних частот плавно ослабляется до 1 на границе цветовой гаммы, так что обработанный сигнал нижних частот остается в пределах гаммы.

В некоторых вариантах осуществления, обработка НР сигнала может быть независимой от выбора обработки сигнала нижних частот. В вариантах осуществления, которые компенсируют уменьшенную мощность задней подсветки, НР сигнал может быть обработан с постоянным усилением, которое будет сохранять контраст, когда мощность снижается. Формула для усиления сигнала HP в параметрах полной и уменьшенной мощности задней подсветки и гаммы дисплея дана в 5. В этих вариантах осуществления повышение контраста HP является устойчивым к шумам, так как усиление в типовом случае мало, например усиление равно 1.1 для 80%-ного сокращения мощности и гаммы 2.2.

В некоторых вариантах осуществления результат обработки сигнала LP и сигнала HP суммируется и ограничивается. Ограничение может быть применено ко всему вектору выборок RGB в каждом пикселе, масштабируя все три компонента одинаково, так что наибольший компонент масштабируется к 255. Ограничение происходит, когда повышенное значение HP, просуммированное со значением LP, превышает 255 и в типовом случае важно только для ярких сигналов с высоким контрастом. В общем случае гарантируется, что сигнал LP не превысит верхний предел за счет конструкции LUT. НР сигнал может вызвать ограничение в сумме, но отрицательные величины сигнала HP никогда не будут ограничиваться, тем самым поддерживая некоторый контраст, даже когда ограничение действительно происходит.

Варианты осуществления настоящего изобретения могут пытаться оптимизировать яркость изображения, или они могут пытаться оптимизировать сохранение или согласование цвета при увеличении яркости. В типовом случае имеется компромисс между сдвигом цвета и максимизацией светимости или яркости. Если предотвращается сдвиг цвета, обычно страдает яркость. Некоторые варианты осуществления настоящего изобретения могут пытаться сбалансировать компромисс между сдвигом цвета и яркостью путем формирования взвешенного усиления, применяемого к каждому цветовому компоненту, как показано в Уравнении 38.

Уравнение 38: Взвешенное усиление

Это взвешенное усиление изменяется от максимального согласования при альфа 0 до минимальных цветовых артефактах при альфа 1. Отметим, что, когда все кодовые значения ниже параметра MFP, все три усиления равны.

Варианты осуществления, связанные с искажениями, основанные на модели дисплея

Термин "масштабирование задней подсветки" может относиться к методу для уменьшения задней подсветки LCD и одновременно к модифицированию данных, посылаемых на LCD, чтобы скомпенсировать снижение задней подсветки. Главный аспект этого метода состоит в выборе уровня задней подсветки. Варианты осуществления настоящего изобретения могут выбрать уровень освещения задней подсветки в LCD, используя модуляцию задней подсветки для сбережений мощности или улучшения динамического контраста. Методы, используемые для решения этой проблемы, могут быть разделены на зависимые от изображения и независимые от изображения методы. Зависимые от изображения методы имеют целью ограничение величины ограничения, наложенное последующей обработкой изображения с компенсацией задней подсветки.

Некоторые варианты осуществления настоящего изобретения могут использовать оптимизацию для выбора уровня задней подсветки. При заданном изображении, процедура оптимизации может выбрать уровень задней подсветки, чтобы минимизировать искажение между изображением, как оно появилось бы на гипотетическом опорном дисплее, и изображением, как оно появится на фактическом дисплее.

Следующие термины могут быть использованы, чтобы описать элементы вариантов осуществления настоящего изобретения:

1. Модель эталонного дисплея: модель эталонного дисплея может представлять желательный выход дисплея, такого как LCD. В некоторых вариантах осуществления модель эталонного дисплея может смоделировать идеальный дисплей с нулевым уровнем черного или дисплей с неограниченным динамическим диапазоном.

2. Модель фактического дисплея: модель выхода фактического дисплея. В некоторых вариантах осуществления выход фактического дисплея может быть смоделирован для различных уровней задней подсветки, и фактический дисплей может быть смоделирован как имеющий ненулевой уровень черного. В некоторых вариантах осуществления алгоритм выбора задней подсветки может зависеть от отношения контраста дисплея через этот параметр.

3. Сохранение яркости (BP): Обработка исходного изображения для компенсации уменьшенного уровня задней подсветки. Изображение, как оно появилось бы на фактическом дисплее, является выходом модели дисплея на данном уровне задней подсветки на осветленном изображении. Некоторые примерные случаи:

- Без сохранения яркости: необработанные данные изображения посылаются на панель LCD. В этом случае, алгоритм выбора задней подсветки изменяет только заднюю подсветку, соответственно яркость не сохраняется.

- Компенсация яркости линейного усиления. Изображение обрабатывается с использованием простого аффинного преобразования, чтобы скомпенсировать снижение задней подсветки. Хотя этот простой алгоритм сохранения яркости жертвует качеством изображения, если действительно используется для компенсации задней подсветки, это эффективный инструмент для выбора значения задней подсветки.

- Отображение градационной шкалы: изображение обрабатывается с использованием карты градационной шкалы, которая может включать в себя линейные и нелинейные сегменты. Сегменты могут использоваться, чтобы ограничить ограничение и увеличить контраст.

4. Метрика искажения. Модель дисплея и алгоритм сохранения яркости могут использоваться, чтобы определить изображение, как оно появилось бы на фактическом дисплее. Искажение между этим выходом и изображением на эталонном дисплее может затем быть вычислено. В некоторых вариантах осуществления искажение может быть вычислено на основе одних только кодовых значений изображения. Искажение зависит от выбора метрики ошибок, в некоторых вариантах осуществления может использоваться среднеквадратичная ошибка.

5. Критерии оптимизации. Искажение может быть минимизировано соответственно различным ограничениям. Например, в некоторых вариантах осуществления могут использоваться следующие критерии:

- Минимизация искажения на каждом кадре видеопоследовательности.

- Минимизация максимального искажения при условии среднего ограничения задней подсветки.

- Минимизация среднего искажения при условии среднего ограничения задней подсветки.

Модели дисплея

В некоторых вариантах осуществления настоящего изобретения модель GoG может использоваться как для модели эталонного дисплея, так и для модели фактического дисплея. Эта модель может быть модифицирована для масштабирования на основе уровня задней подсветки. В некоторых вариантах осуществления эталонный дисплей может быть смоделирован как идеальный дисплей с нулевым уровнем черного и максимальным выходом W. Фактический дисплей может быть смоделирован как имеющий тот же самый максимальный выход W при полной задней подсветке и уровне черного B при полной задней подсветке. Отношение контраста - W/B. Отношение контраста бесконечно, когда уровень черного равен нулю. Эти модели могут быть выражены математически с использованием CV_Max, чтобы обозначить максимальное кодовое значение изображения в уравнениях, приведенных ниже.

Уравнение 39: Модель выхода эталонного (идеального) дисплея

Для фактического LCD с максимальным выходом W и минимальным выходом B на полном уровне задней подсветки, то есть P=1, выход моделируется как масштабируемый с относительным уровнем задней подсветки P. Отношение контраста CR=W/B не зависит от уровня задней подсветки.

Уравнение 40: Модель фактического LCD

Сохранение яркости

В этом примерном варианте осуществления используется процесс BP, основанный на простом усилении и ограничении, причем усиление выбирается, чтобы скомпенсировать снижение задней подсветки, где возможно. Следующий вывод показывает модификацию градационной шкалы, которая обеспечивает согласование светимости между эталонным дисплеем и фактическим дисплеем при заданной задней подсветке. Как максимальный выход, так и уровень черного фактического дисплея масштабируются задней подсветкой. Отметим, что выход фактического дисплея ограничен в пределах ниже масштабированного выходного максимума и выше масштабированного уровня черного. Это соответствует ограничению входа градационной шкалы при согласовании светимости значениями 0 и CV_max.

Уравнение 41: Критерий для согласования выходов

Пределы ограничения по cν' подразумевают пределы ограничения по диапазону согласования светимости.

Уравнение 42: Пределы ограничения

Уравнение 43: Точки ограничения

Градационная шкала обеспечивает согласование выхода для кодовых значений выше минимума и ниже максимума, где минимум и максимум зависят от относительной мощности Р задней подсветки и отношения контраста фактического дисплея CR=W/B.

Вычисление искажения

Различные измененные изображения, созданные и используемые в вариантах осуществления настоящего изобретения, могут быть описаны со ссылкой на фиг. 54. Исходное изображение I 840 может использоваться как вход в создании каждого из этих примерных измененных изображений. В некоторых вариантах осуществления исходное входное изображение 840 обрабатывается 842, чтобы получить идеальный выход Y_ideal 844. Идеальный процессор изображения, эталонный дисплей 842 может предположить, что идеальный дисплей имеет нулевой уровень черного. Этот выход Y_ideal 844 может представить исходное изображение 840, как наблюдается на эталонном (идеальном) дисплее. В некоторых вариантах осуществления, в предположении заданного уровня задней подсветки может быть вычислено искажение, вызванное представлением изображения с этим уровнем задней подсветки на фактическом LCD.

В некоторых вариантах осуществления сохранение яркости 846 может использоваться для генерации изображения I' 850 из изображения I 840. Изображение I' 850 можно затем послать в фактический процессор LCD 854 вместе с выбранным уровнем задней подсветки. Получающийся выход обозначен как Y_actual 858.

Модель эталонного дисплея может эмулировать выход фактического дисплея при использовании входного изображения I* 852.

Выход фактического LCD 854 является результатом прохождения исходного изображения I 840 через функцию 846 градационной шкалы с согласованием светимости, чтобы получить изображение I' 850. Это, возможно, не точно воспроизводит эталонный выход в зависимости от уровня задней подсветки. Однако выход фактического дисплея может быть эмулирован на эталонном дисплее 842. Изображение I* 852 обозначает данные изображения, посланные на эталонный дисплей 842, чтобы эмулировать выход фактического дисплея, таким образом создавая Y_emulated 860. Изображение I* 852 формируется ограничением изображения I 840 до диапазона, определяемого точками ограничения, определенными выше в связи с Уравнением 43 и в другом месте. В некоторых вариантах осуществления I* может быть описано математически следующим образом.

Уравнение 44: Ограниченное изображение

В некоторых вариантах осуществления искажение может быть определено как различие между выходом эталонного дисплея с изображением I и выходом фактического дисплея с уровнем задней подсветки P и изображением I'. Поскольку изображение I* эмулирует выход фактического дисплея на эталонном дисплее, искажение между эталонным и фактическим дисплеями равняется искажению между изображениями I и I*, оба на эталонном дисплее.

Уравнение 45

Так как оба изображения находятся на эталонном дисплее, искажение может быть измерено между данными изображения, не требуя формирования выхода дисплея.

Уравнение 46

Мера искажения изображения

Анализ выше показывает, что искажение между представлением изображения I 840 на эталонном дисплее и представлением на фактическом дисплее эквивалентно искажению между представлениями изображений I 840 и I* 852, оба на эталонном дисплее. В некоторых вариантах осуществления метрика искажения по точкам может использоваться, чтобы определить искажение между изображениями. Учитывая поточечное искажение d, искажение между изображениями может быть вычислено, суммируя различие между изображениями I и I*. Поскольку изображение I* эмулирует согласование светимости, ошибка состоит в ограничении в верхнем и нижнем пределах. В некоторых вариантах осуществления нормализованная гистограмма изображения h(x) может использоваться, чтобы определить искажение изображения в зависимости от мощности задней подсветки.

Уравнение 47

Кривая задней подсветки в зависимости от искажения

При заданных эталонном дисплее, фактическом дисплее, определении искажения и изображении, искажение может быть вычислено в диапазоне уровней задней подсветки. Будучи объединенными, эти данные искажения могут сформировать кривую задней подсветки в зависимости от искажения. Кривая задней подсветки в зависимости от кривой искажения может быть проиллюстрирована с использованием типовой структуры, которая является тусклым изображением представления, показываемого из темного помещения, и модели идеального дисплея с нулевым уровнем черного, фактической модели LCD с отношением контраста 1000:1 и метрики ошибки MSE (среднеквадратичной ошибки). Фиг. 55 - график гистограммы кодовых значений изображения для этого примерного изображения.

В некоторых вариантах осуществления кривая искажения может быть вычислена путем вычисления искажения для диапазона значений задней подсветки, используя гистограмму. Фиг. 56 - график примерной кривой искажения, соответствующей гистограмме по фиг. 55. Для этого примерного изображения, при низких значениях задней подсветки, сохранение яркости не может эффективно скомпенсировать уменьшенную заднюю подсветку, приводя к значительному увеличению в искажении 880. На высоких уровнях задней подсветки ограниченное отношение контраста вызывает то, что уровень черного поднимается 882 по сравнению с идеальным дисплеем. Минимальный диапазон искажения существует и, в некоторых вариантах осуществления, самое низкое значение задней подсветки, дающее это минимальное искажение 884, может быть выбрано посредством алгоритма минимального искажения.

Алгоритм оптимизации

В некоторых вариантах осуществления кривая искажения, такая как показана на Фиг. 56, может использоваться, чтобы выбрать значение задней подсветки. В некоторых вариантах осуществления может быть выбрана минимальная мощность искажения для каждого кадра. В некоторых вариантах осуществления, когда минимальное значение искажения не уникально, может быть выбрана наименьшая мощность 884, которая дает это минимальное искажение. Результаты, применяющие этот критерий оптимизации к короткому клипу DVD, показаны на фиг. 57, на которой представлен график выбранной мощности задней подсветки в зависимости от номера видео кадра. В этом случае средняя выбранная задняя подсветка 890 составляет примерно 50%.

Зависимость от изображения

Чтобы проиллюстрировать зависимый от изображения характер некоторых вариантов осуществления настоящего изобретения, примерные тестовые изображения с переменным содержанием были выбраны, и искажение в этих изображениях было вычислено для диапазона значений задней подсветки. Фиг. 39 - график задней подсветки относительно кривых искажения для этих примерных изображений. Фиг. 39 включает в себя графики для: изображения 596, полностью черного изображения; изображения B 590, полностью белого изображения; изображения C 594, очень тусклой фотографии группы людей; и изображения D 598, яркого изображения серфера на волне.

Отметим, что форма кривой строго зависит от содержания изображения. Это должно ожидаться, так как уровень задней подсветки уравновешивает искажение из-за потери яркости и искажения из-за повышенного уровня черного. Черное изображение 596 имеет наименьшее искажение при низкой задней подсветке. Белое изображение 590 имеет наименьшее искажение при полной задней подсветке. Тусклое изображение 594 имеет наименьшее искажение на промежуточном уровне задней подсветки, который использует конечное отношение контраста как эффективный баланс между повышенным уровнем черного и снижением яркости.

Отношение контраста

Отношение контраста дисплея может входить в определение фактического дисплея. Фиг. 58 иллюстрирует определение задней подсветки с минимальным искажением MSE для различных отношений контраста фактического дисплея. Отметим, что в пределе 1:1 отношения контраста 900, задняя подсветка минимального искажения зависит от среднего уровня сигнала (ASL) изображения. В противоположном экстремуме бесконечного отношения контраста (нулевой уровень черного), задняя подсветка минимального искажения зависит от максимума 902 изображения.

В некоторых вариантах осуществления настоящего изобретения модель эталонного дисплея может включать в себя модель дисплея с идеальным нулевым уровнем черного. В некоторых вариантах осуществления модель эталонного дисплея может включать в себя эталонный дисплей, выбранный моделью визуальной яркости, и в некоторых вариантах осуществления модель эталонного дисплея может включать в себя датчик света внешней среды.

В некоторых вариантах осуществления настоящего изобретения модель фактического дисплея может включать в себя модель пропускания GoG с конечным уровнем черного. В некоторых вариантах осуществления модель фактического дисплея может включать в себя модель для дисплея на пропускание и отражение, где выход моделируется как зависящий и от света внешней среды, и от отражательной части дисплея.

В некоторых вариантах осуществления настоящего изобретения сохранение яркости (BP) в процессе выбора задней подсветки может включать в себя линейное повышение с ограничением. В других вариантах осуществления процесс выбора задней подсветки может включать в себя операторы градационной шкалы с плавным ослаблением и/или двухканальный алгоритм BP.

В некоторых вариантах осуществления настоящего изобретения метрика искажения может включать в себя среднеквадратичную ошибку (MSE) в кодовых значениях изображения как метрику по токам. В некоторых вариантах осуществления метрика искажения может включать в себя метрики ошибок по точкам, включая сумму абсолютных разностей, число ограниченных пикселей и/или метрики в процентах на основе гистограмм.

В некоторых вариантах осуществления настоящего изобретения критерии оптимизации могут включать в себя выбор уровня задней подсветки, который минимизирует искажение в каждом кадре. В некоторых вариантах осуществления критерии оптимизации могут включать в себя средние ограничения мощности, которые минимизируют максимальное искажение или минимизируют среднее искажение.

Варианты осуществления динамического контраста LCD

Жидкокристаллические дисплеи (LCD) в типовом случае страдают от ограниченного отношения контраста. Например, уровень черного для дисплея может быть повышен вследствие утечки задней подсветки или других проблем, это может вызвать то, что черные области выглядят серыми, а не черными. Модуляция задней подсветки может смягчить эту проблему, понижая уровень задней подсветки и связанную с этим утечку, таким образом также уменьшая уровень черного. Однако при использовании без компенсации, этот метод будет иметь нежелательный эффект снижения яркости дисплея. Компенсация изображения может использоваться, чтобы восстановить яркость дисплея, потерянную вследствие затемнения задней подсветки. Компенсация типично была ограничена восстановлением яркости дисплея полной мощности.

Некоторые варианты осуществления настоящего изобретения, описанного выше, включают в себя модуляцию задней подсветки, которая фокусируется на сбережении мощности. В этих вариантах осуществления цель состоит в том, чтобы воспроизвести выходной сигнал полной мощности на более низких уровнях задней подсветки. Это может быть достигнуто одновременным затемнением задней подсветки и осветлением изображения. Усовершенствование уровня черного или динамического контраста - благоприятный побочный эффект в этих вариантах осуществления. В этих вариантах осуществления цель состоит в том, чтобы достигнуть повышения качества изображения. Некоторые варианты осуществления могут привести к следующим качественным усовершенствованиям изображения:

1. Более низкий уровень черного из-за уменьшенной задней подсветки.

2. Улучшенная насыщенность темных цветов из-за уменьшенной утечки, обусловленной уменьшением задней подсветки.

3. Улучшение яркости, если используется компенсация более сильная, чем снижение задней подсветки.

4. Улучшенный динамический контраст, то есть максимум в ярком кадре последовательности, деленный на минимум в темном кадре.

5. Внутрикадровый контраст в темных кадрах.

Некоторые варианты осуществления настоящего изобретения могут достигнуть одного или больше этих преимуществ посредством двух существенных методов: выбора задней подсветки и компенсации изображения. Одна проблема состоит в том, чтобы избежать артефактов мерцания в видео, поскольку задняя подсветка и скомпенсированное изображение могут изменяться по яркости. Некоторые варианты осуществления настоящего изобретения могут использовать целевую кривую тонов, чтобы уменьшить возможность мерцания. В некоторых вариантах осуществления целевая кривая может иметь отношение контраста, которое превышает соответствующий параметр панели (с фиксированной задней подсветкой). Целевая кривая может служить двум целям. Во-первых, целевая кривая может использоваться в выборе задней подсветки. Во-вторых, целевая кривая может использоваться, чтобы определить компенсацию изображения. Целевая кривая влияет на аспекты качества изображения, упомянутые выше. Целевая кривая может продолжаться от пикового значения дисплея при полной яркости задней подсветки до минимального значения дисплея при самой низкой яркости задней подсветки. Соответственно, целевая кривая будет продолжаться ниже диапазона типовых значений дисплея, достигнутых при полной яркости задней подсветки.

В некоторых вариантах осуществления выбор светимости задней подсветки или уровня яркости может соответствовать выбору интервала целевой кривой, соответствующей отношению контраста самой панели. Этот интервал перемещается при изменении задней подсветки. При полной задней подсветке темная область целевой кривой не может быть представлена на панели. При низкой задней подсветке яркая область целевой кривой не может быть представлена на панели. В некоторых вариантах осуществления, чтобы определить заднюю подсветку, задается кривая тонов, целевая кривая тонов и изображение, которое должно быть отображено. Уровень задней подсветки может быть выбран так, чтобы диапазон контраста панели с выбранной задней подсветкой ближе всего соответствовал диапазону значений изображения под целевой кривой тонов.

В некоторых вариантах осуществления изображение может быть изменено или скомпенсировано так, чтобы выход дисплея приходился на целевую кривую в максимально возможной степени. Если задняя подсветка слишком высока, темная область целевой кривой не может быть реализована. Так же, если задняя подсветка низка, яркая область целевой кривой не может быть реализована. В некоторых вариантах осуществления мерцание может быть минимизировано при использовании фиксированной цели для компенсации. В этих вариантах осуществления изменяются как яркость задней подсветки, так и компенсация изображения, но выход дисплея аппроксимирует целевую кривую тонов, которая фиксирована.

В некоторых вариантах осуществления целевая кривая тонов может суммировать одно или больше упомянутых выше улучшений качества изображения. Как выбор задней подсветки, так и компенсация изображения могут управляться через целевую кривую тонов. Выбор яркости задней подсветки может быть выполнен, чтобы "оптимально" представить изображение. В некоторых вариантах осуществления алгоритм выбора задней подсветки на основе искажения, описанный выше, может быть применен с определенной целевой кривой тонов и кривой тонов панели.

В некоторых примерных вариантах осуществления модель «усиление-компенсация-гамма-засветка» (GOGF) может использоваться для кривых тонов, как показано в уравнении 49. В некоторых вариантах осуществления значение 2.2 может использоваться для гаммы, и ноль может использоваться для компенсации, оставляя два параметра, усиление и засветку. Как кривые тонов панели, так и целевые кривые тонов могут быть определены с этими двумя параметрами. В некоторых вариантах осуществления усиление определяет максимальную яркость, и отношение контраста определяет аддитивный член засветки.

Уравнение 48: Модель кривой тонов

где CR - отношение контраста дисплея, М - максимальный выход панели, с - значение кода изображения и γ - значение гаммы.

Чтобы достигнуть улучшения динамического контраста, целевая кривая тонов отличается от кривой тонов панели. В самом простом применении, отношение контраста CR цели больше, чем у панели. Примерные кривые тонов панели представлены в Уравнении 49.

Уравнение 49: Примерные кривые тонов панели

где CR - отношение контраста панели, М - максимальный выход панели, c - кодовое значение изображения, T - значение кривой тонов панели и γ - значение гаммы.

Примерная целевая кривая тона представлена в Уравнении 50.

Уравнение 50: Примерная целевая кривая тонов

где CR - отношение контраста цели, М - максимальный выход цели (например, максимальный выход панели при полной яркости задней подсветки), c - кодовое значение изображения, T - значение целевой кривой тонов и γ - значение гаммы.

Аспекты некоторых примерных кривых тона могут быть описаны относительно Фиг. 60. Фиг. 59 представляет график log-log кодовых значений на горизонтальной оси и относительной светимости на вертикальной оси. На нем показаны три кривые тонов: кривая 1000 тонов панели, целевая кривая 1001 тонов и кривая степенной зависимости. Кривая 1000 тонов панели продолжается от черной точки 1003 панели к максимальному значению 105 панели. Целевая кривая 1001 тонов продолжается от целевой черной точки 1004 до максимального значения 1005 цели/панели. Целевая черная точка 1004 ниже, чем черная точка 1003 панели, поскольку она получает выгоду из более низкой яркости задней подсветки, однако полный диапазон целевой кривой тонов не может использоваться для единственного изображения, поскольку задняя подсветка может иметь только один уровень яркости для любого данного кадра, следовательно максимальное значение 1005 цели/панели не может быть достигнуто, когда яркость задней подсветки уменьшается, чтобы получить более низкую целевую черную точку 1004. Варианты осуществления настоящего изобретения выбирают диапазон целевой кривой тонов, которая является наиболее подходящей для отображаемого изображения и для желательной цели по эффективности.

Различные целевые кривые тонов могут генерироваться для достижения различных приоритетов. Например, если сбережение мощности является главной целью, значения М и CR для целевой кривой могут быть установлены равными соответствующим значениям в кривой тонов панели. В этом варианте осуществления, направленном на экономию мощности, целевая кривая тонов равна самой кривой тонов панели. Модуляция задней подсветки используется для экономии мощности, в то время как отображаемое изображение фактически то же самое, что и на дисплее с полной мощностью, за исключением верхнего конца диапазона, который недоступен при более низких установках задней подсветки.

Примерная кривая тонов, нацеленная на экономию мощности, проиллюстрирована на фиг. 60. В этих вариантах осуществления кривая тонов панели и целевая кривая тонов идентичны 1010. Яркость задней подсветки уменьшена, таким образом обеспечивая возможность более низкой возможной целевой кривой 1011, однако этот потенциал не используется в этих вариантах осуществления. Вместо этого изображение осветлено посредством компенсации кодовых значений изображения для согласования с кривой 1010 тонов панели. Когда это не возможно, при пределе панели из-за уменьшенной задней подсветки для сбережений 1013 мощности, компенсация может быть округлена 1012, чтобы избежать артефактов ограничения. Это округление может быть достигнуто согласно методам, описанным выше относительно других вариантов осуществления. В некоторых вариантах осуществления ограничение может допускаться или может не происходить из-за ограниченного динамического диапазона в изображении. В тех случаях округление 1012 может не потребоваться, и целевая кривая тонов может просто следовать за групповой кривой тонов на верхнем конце диапазона 1014.

В другом примерном варианте осуществления, когда более низкий уровень черного является основной целью, значение М для целевой кривой может быть установлено равным соответствующему значению в кривой тонов панели, но значение CR для целевой кривой может быть установлено равным 4-кратному значению в кривой тонов панели. В этих вариантах осуществления целевая кривая тонов выбирается, чтобы уменьшить уровень черного. Яркость дисплея неизменна относительно дисплея полной мощности. Целевая кривая тонов имеет то же самое максимальное М, что и панель, но имеет более высокое отношение контраста. В примере, приведенном выше, отношение контраста является 4-кратным собственного отношения контраста панели. Альтернативно, целевая кривая тонов может включать в себя округление кривой на верхнем конце ее диапазона. Предположительно задняя подсветка может модулироваться с фактором 4:1.

Некоторые варианты осуществления, которые приоритизируют снижение уровня черного, могут быть описаны со ссылкой на фиг. 61. В этих вариантах осуществления кривая 1020 тонов панели вычисляется, как описано выше, например, используя Уравнение 49. Целевая кривая 1021 тонов также вычисляется для уменьшенного уровня яркости задней подсветки и более высокого отношения контраста. На верхнем конце диапазона целевая кривая 1024 тонов может продолжаться вдоль кривой тонов панели. Альтернативно, целевая кривая тонов может использовать округленную кривую 1023, которая может уменьшить ограничение вблизи предела дисплея 1022 для уменьшенного уровня задней подсветки.

В другом примерном варианте осуществления, когда более яркое изображение является главной целью, значение М для целевой кривой может быть установлено 1.2-кратным соответствующего значения в кривой тонов панели, но значение CR для целевой кривой может быть установлено равным соответствующему значению в кривой тонов панели. Целевая кривая тонов выбирается, чтобы увеличить яркость, сохраняя то же самое отношение контраста. (Отметим, что уровень черного поднят.) Целевой максимум М больше, чем максимум панели. Компенсация изображения будет использоваться для осветления изображения, чтобы реализовать такое осветление.

Некоторые варианты осуществления, которые приоритизируют яркость изображения, могут быть описаны со ссылкой на фиг. 62. В этих вариантах осуществления кривая тонов панели и целевая кривая тонов существенно подобны вблизи нижнего конца диапазона 1030. Однако выше этой области, кривая 1032 тонов панели следует типовым путем к максимальному выходу 1033 дисплея. Целевая кривая тонов, однако, следует повышенным путем 1031, который обеспечивает кодовые значения более яркого изображения в этой области. В направлении верхнего конца диапазона целевая кривая 1031 может включать в себя округленную кривую 1035, причем целевая кривая закругляется к точке 1033, в которой дисплей больше не может следовать за целевой кривой из-за уменьшенного уровня задней подсветки.

В другом примерном варианте осуществления, когда улучшенное изображение с более низким уровнем черного и более ярким средним диапазоном является главной целью, значение М для целевой кривой может быть установлено равным 1.2-кратному соответствующего значения в кривой тонов панели, а значение CR для целевой кривой может быть установлено равным 4-кратному соответствующего значения в кривой тонов панели. Целевая кривая тонов выбрана, чтобы увеличить яркость и уменьшить уровень черного. Целевой максимум больше, чем максимум панели М, и отношение контраста также больше, чем отношение контраста панели. Эта целевая кривая тонов может влиять и на выбор задней подсветки и на компенсацию изображения. Задняя подсветка будет уменьшена в темных кадрах, чтобы достигать уменьшенного уровня черного цели. Компенсация изображения может использоваться даже при полной задней подсветке, чтобы достигнуть увеличенной яркости.

Некоторые варианты осуществления, которые приоритизируют яркость изображения и более низкий уровень черного, могут быть описаны со ссылкой на фиг. 63. В этих вариантах осуществления кривая 1040 тонов панели вычисляется, как описано выше, например, с использованием Уравнения 49. Целевая кривая 1041 тонов также вычисляется, однако целевая кривая 1041 тонов может начаться в более низкой точке 1045 черного, чтобы учесть уменьшенный уровень задней подсветки. Целевая кривая 1041 тонов может также следовать повышенным путем для осветления кодовых значений изображения в среднем диапазоне и верхнем диапазоне градационной шкалы. Так как дисплей с уменьшенным уровнем задней подсветки не может достигнуть максимального целевого значения 1042 или даже максимального значения 1043 панели, может использоваться скругленная кривая 1044. Скругленная кривая 1044 может завершать целевую кривую 1041 тонов при максимальном значении 1046 панели с уменьшенной задней подсветкой. Различные методы, описанные относительно других вариантов осуществления выше, могут использоваться, чтобы определить характеристику скругленной кривой.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 64. В этих вариантах осуществления может быть вычислено множество целевых кривых тонов, и выбор может быть сделан из набора вычисленных кривых на основе характеристик изображения, целей рабочих показателей или некоторых других критериев. В этих вариантах осуществления кривая 1127 тонов панели может генерироваться для ситуации полной яркости задней подсветки с повышенным уровнем 1120 черного. Целевые кривые 1128 и 1129 тонов могут также генерироваться. Эти целевые кривые 1128 и 1129 тонов включают в себя область перехода уровня 1122 черного, причем кривая переходит к точке уровня черного, такой как точка 1121 уровня черного. Эти кривые также включают в себя общую область, в которой входные точки из любой из целевых кривых тонов отображаются на те же самые выходные точки. В некотором варианте осуществления эти целевые кривые тонов могут также содержать скругленную кривую 1126 яркости, причем кривая скругляется к максимальному уровню 1125 яркости, как описано выше для других вариантов осуществления. Кривая может быть выбрана из этого набора целевых кривых тонов на основе характеристик изображения. В качестве примера, но не ограничения, изображение со многими очень темными пикселями может извлечь выгоду из более низкого уровня черного, и кривая 1128 с затемненной задней подсветкой и более низким уровнем черного может быть выбрана для этого изображения. Изображение со многими яркими значениями пикселей может влиять на выбор кривой 1127, с более высокой максимальной яркостью 1124. Каждый кадр видеопоследовательности может влиять на выбор различной целевой кривой тонов. При отсутствии управления, использование различных кривых тонов может вызвать мерцание и нежелательные артефакты в последовательности. Однако общая область 1123, совместно используемая всеми целевыми кривыми тонов этих вариантов осуществления, служит, чтобы стабилизировать временные эффекты и уменьшить мерцание и подобные артефакты.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 65. В этих вариантах осуществления может генерироваться набор целевых кривых тонов, таких как целевая кривая 1105 тонов. Эти целевые кривые тона могут включать в себя различные области 1102 перехода уровня черного, которые могут соответствовать различным уровням яркости задней подсветки. Этот набор целевых кривых тонов также включает в себя расширенную общую область 1101, в который все кривые в наборе совместно используют то же самое отображение. В некоторых вариантах осуществления эти кривые могут также включать в себя скругленные кривые 1103 яркости, которые переходят от общей области к максимальному уровню яркости. В примерной расширенной целевой кривой 1109 тонов кривая может начаться в точке 1105 уровня черного и перейти к расширенной общей области 1101, кривая может затем перейти от расширенной общей области к максимальному уровню 1106 яркости со скругленной кривой. В некоторых вариантах осуществления скругленная кривая яркости может не присутствовать. Эти варианты осуществления отличаются от описанных со ссылкой на фиг. 65 тем, что общая область находится выше кривой тонов панели. Это отображает входные значения пикселей на более высокие выходные значения, тем самым осветляя отображаемое изображение. В некоторых вариантах осуществления набор расширенных целевых кривых тонов может генерироваться и выборочно использоваться для кадров последовательности изображения. Эти варианты осуществления совместно используют общую область, что служит для уменьшения мерцания и подобных артефактов. В некоторых вариантах осуществления набор целевых кривых тонов и набор расширенных целевых кривых тонов может быть вычислен и сохранен для избирательного использования в зависимости от характеристик изображения и/или целей рабочих показателей.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 66. В методах по фиг. 66 определяются 1050 параметры целевой кривой тонов. В некоторых вариантах осуществления эти параметры могут включать в себя максимальный целевой выход панели, целевое отношение контраста или целевое значение гаммы панели. Другие параметры могут также использоваться, чтобы определить целевую кривую тонов, которая может использоваться для настройки или компенсации изображения для достижения цели рабочих характеристик.

В этих вариантах осуществления также может быть вычислена кривая 1051 тонов панели. Кривая тонов панели показана для иллюстрации различий между типовым выходом панели и целевой кривой тонов. Кривая 1051 тонов панели связывает характеристики панели дисплея, которая будет использоваться для отображения, и может использоваться для создания эталонного изображения, из которого могут быть выполнены измерения ошибки или искажения. Эта кривая 1051 может быть вычислена на основе максимального выхода М панели и отношения контраста панели CR для данного дисплея. В некоторых вариантах осуществления эта кривая может быть основана на максимальном выходе М панели, отношении контраста CR панели, значении гаммы γ панели и кодовых значениях с изображения.

Одна или более целевых кривых тонов (TTC) могут быть вычислены 1052. В некоторых вариантах осуществления может быть вычислено семейство TTC, причем каждый член семейства основан на различном уровне задней подсветки. В других вариантах осуществления могут различаться другие параметры. В некоторых вариантах осуществления целевая кривая тонов может быть вычислена с использованием максимального целевого выхода М и целевого отношения контраста CR. В некоторых вариантах осуществления эта целевая кривая тонов может быть основана на максимальном целевом выходе М, целевом отношении контраста CR, значении гаммы γ дисплея и кодовых значениях с изображения. В некоторых вариантах осуществления целевая кривая тонов может представлять желательные модификации к изображению. Например, целевая кривая тонов может представлять одно или более из пониженного уровня черного, более яркой области изображения, скомпенсированной области и/или скругленной кривой. Целевая кривая тонов может быть представлена как "таблица преобразования" (LUT), может быть вычислена посредством аппаратных средств или программного обеспечения или может быть представлена другими средствами.

Уровень яркости задней подсветки может быть определен 105. В некоторых вариантах осуществления на выбор уровня задней подсветки могут влиять цели рабочих показателей, таких как сбережение мощности, критерии уровня черного или другие цели. В некоторых вариантах осуществления уровень задней подсветки может быть определен так, чтобы минимизировать искажение или ошибку между обработанным или расширенным изображением и исходным изображением, как показано на гипотетическом эталонном дисплее. Когда значения изображения являются преобладающим образом очень темными, более низкий уровень задней подсветки может быть наиболее подходящим для дисплея изображения. Когда значения изображения преобладающим образом ярки, более высокий уровень задней подсветки может быть лучшим выбором для дисплея изображения. В некоторых вариантах осуществления изображение, обработанное с кривой тонов панели, может сравниваться с изображениями, обработанными с различным TTC, чтобы определить соответствующий TTC и соответствующий уровень задней подсветки.

В некоторых вариантах осуществления настоящего изобретения также могут учитываться специальные цели рабочих характеристик при выборе задней подсветки и выборе методов компенсации изображения. Например, когда сбережение мощности было идентифицировано как цель рабочих показателей, более низкие уровни задней подсветки могут иметь приоритет над оптимизацией характеристики изображения. Наоборот, когда яркость изображения является целью рабочих показателей, более низкие уровни задней подсветки могут иметь более низкий приоритет.

Уровень задней подсветки может быть выбран 1053 так, чтобы минимизировать ошибку или искажение изображения относительно целевой кривой тонов, гипотетического эталонного дисплея или некоторого другого стандарта. В некоторых вариантах осуществления методы, раскрытые в патентной заявке США № 11/460768, озаглавленной "Способы и системы для связанного с искажением управления светом источника", поданной 28 июля 2006, которая тем самым включена в настоящий документ посредством ссылки, могут использоваться, чтобы выбрать уровни задней подсветки и методы компенсации.

После вычисления целевой кривой тонов изображение может быть настроено или скомпенсировано 1054 с целевой кривой тонов, чтобы достигнуть целей рабочих показателей или скомпенсировать уменьшенный уровень задней подсветки. Эта настройка или компенсация могут быть выполнены в отношении целевой кривой тонов.

После выбора задней подсветки 1053 и компенсации или настройки 1054 настроенное или скомпенсированное изображение может быть отображено с выбранным уровнем 1055 задней подсветки.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 67. В этих вариантах осуществления установлена 1060 цель улучшения или обработки изображения. Эта цель может включать в себя сбережение мощности, более низкий уровень черного, осветление изображения, настройку градационной шкалы или другие цели обработки или улучшения. Основываясь на цели обработки или улучшения, могут быть выбраны 1061 параметры целевой кривой тонов. В некоторых вариантах осуществления выбор параметра может быть автоматизирован и основан на целях улучшения или обработки. В некоторых примерных вариантах осуществления эти параметры могут включать в себя максимальный целевой выход М и целевое отношение контраста CR. В некоторых примерных варианты осуществления эти параметры могут включать в себя максимальный целевой выход М, целевое отношение контраста CR, значение гаммы γ дисплея и кодовые значения с изображения.

Целевая кривая тона (TTC) может быть вычислена 1062 на основе выбранных параметров целевой кривой тонов. В некоторых вариантах осуществления может быть вычислен набор TTC. В некоторых вариантах осуществления набор может включать в себя кривые, соответствующие переменным уровням задней подсветки, но при общих параметрах TTC. В других вариантах осуществления могут быть различны другие параметры.

Уровень яркости задней подсветки может быть выбран 1063. В некоторых вариантах осуществления уровень задней подсветки может быть выбран в отношении характеристик изображения. В некоторых вариантах осуществления уровень задней подсветки может быть выбран на основе цели рабочих показателей. В некоторых вариантах осуществления уровень задней подсветки может быть выбран на основе целей рабочих показателей и характеристик изображения. В некоторых вариантах осуществления уровень задней подсветки может быть выбран путем выбора TTC, которая соответствует цели рабочих показателей или критерию ошибки, и использования уровня задней подсветки, который соответствует этой TTC.

Как только уровень задней подсветки выбран 1063, целевая кривая тонов, соответствующая тому уровню, выбирается в ассоциации. Изображение может затем настраиваться, улучшаться или компенсироваться 1064 с целевой кривой тонов. Настроенное изображение может затем быть показано 1065 на дисплее, используя выбранный уровень задней подсветки.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 68. В этих вариантах осуществления цели рабочих показателей дисплея изображения идентифицируются 1070. Это может быть выполнено через пользовательский интерфейс, посредством которого пользователь выбирает цели рабочих показателей непосредственно. Это может также быть выполнено через пользовательский запрос, посредством чего пользователь идентифицирует приоритеты, из которых формируются цели рабочих показателей. Цель работы может также идентифицироваться автоматически на основе анализа изображения, характеристик устройства дисплея, истории использования устройства или другой информации.

Основываясь на цели рабочих показателей, параметры целевой кривой тонов могут быть автоматически выбраны или генерированы 1071. В некоторых примерных вариантах осуществления эти параметры могут включать в себя максимальный целевой выход М и целевое отношение контраста CR. В некоторых примерных вариантах осуществления эти параметры могут включать в себя максимальный целевой выход М, целевое отношение контраста CR, значение гаммы γ дисплея и кодовые значения с изображения.

Одна или более целевых кривых тонов могут генерироваться 1072 из параметров целевой кривой тонов. Целевая кривая тонов может быть представлена как уравнение, ряд уравнений, таблица (например, LUT) или некоторое другое представление.

В некоторых вариантах осуществления каждая TTC будет соответствовать уровню задней подсветки. Уровень задней подсветки может быть выбран 1073 путем нахождения соответствующей TTC, которая соответствует критерию. В некоторых вариантах осуществления выбор задней подсветки может быть сделан другими методами. Если задняя подсветка выбрана независимо от TTC, то TTC, соответствующая этому уровню задней подсветки, может также быть выбрана.

Как только заключительная TTC выбрана 1073, она может быть применена 1074 к изображению, чтобы улучшить, скомпенсировать или иначе обработать изображение для дисплея. Обработанное изображение может затем быть отображено 1075.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 69. В этих вариантах осуществления цели рабочих показателей дисплея изображения идентифицируются 1080. Это может быть выполнено посредством пользовательского интерфейса, посредством которого пользователь непосредственно выбирает цели рабочих показателей. Это может также быть выполнено через пользовательский запрос, посредством которого пользователь идентифицирует приоритеты, из которых генерируются цели рабочих показателей. Цель рабочих показателей может также быть идентифицирована автоматически на основе анализа изображения, характеристик устройства дисплея, истории использования устройства или другой информации. Анализ изображения может также выполняться 1081, чтобы идентифицировать характеристики изображения.

Основываясь на цели рабочих показателей, параметры целевой кривой тонов могут быть автоматически выбраны или сгенерированы 1082. Уровень задней подсветки, который может быть непосредственно идентифицирован или может подразумеваться через максимальное выходное значение дисплея и отношение контраста, может также быть выбран. В некоторых примерных вариантах осуществления эти параметры могут включать в себя максимальный целевой выход М и целевое отношение контраста CR. В некоторых примерных вариантах осуществления эти параметры могут включать в себя максимальный целевой выход М, целевое отношение контраста CR, значение гаммы γ дисплея и кодовые значения с изображения.

Целевая кривая тонов может генерироваться 1083 из параметров целевой кривой тонов. Целевая кривая тонов может быть представлена как уравнение, система уравнений, таблица (например, LUT) или некоторое другое представление. Как только эта кривая сгенерирована 1083, она может быть применена 1084 к изображению, чтобы усилить, скомпенсировать или иначе обработать изображение для дисплея. Обработанное изображение может затем быть отображено 1085.

Улучшение цвета и улучшение яркости

Некоторые варианты осуществления настоящего изобретения включают в себя улучшение цвета и улучшение или сохранение яркости. В этих вариантах осуществления определенные тона цветов, диапазоны или области могут быть изменены, чтобы улучшить цветовые аспекты наряду с улучшением или сохранением яркости. В некоторых вариантах осуществления эти модификации или усиления могут быть выполнены в низкочастотной (LP) версии изображения. В некоторых вариантах осуществления могут использоваться определенные процессы улучшения цвета.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 70. В этих вариантах осуществления изображение 1130 может фильтроваться 1131 фильтром нижних частот (LP), чтобы генерировать LP изображение 1125. Это LP изображение 1125 может вычитаться 1134 или иначе объединяться с исходным изображением 1130, чтобы сформировать высокочастотное (HP) изображение 1135. LP изображение может затем быть обработано процессом 1133 градационной шкалы, таким как процесс сохранения яркости (BP) или подобный процесс для осветления характеристик изображения, компенсируя уменьшенный уровень задней подсветки или иначе изменяя LP изображение 1125, как описано выше относительно других вариантов осуществления. Получающееся обработанное LP изображение может затем быть объединено с НР изображением, чтобы сформировать улучшенное изображение на основе градационной шкалы, которое может затем быть обработано процессом 1135 расширения битовой глубины (BDE). В процессе BDE 1139, специально спроектированные шаблоны шума или шаблоны размывания изображения могут быть применены к изображению, чтобы уменьшить восприимчивость к оконтуриванию артефактов из последующей обработки, которые уменьшают битовую глубину изображения. Некоторые варианты осуществления могут включать в себя процесс BDE, как описано в патентной заявке США № 10/775012, озаглавленной "Methods and Systems for Adaptive Dither Structures", поданной 9 февраля 2004, изобретателей Scott J. Daly и Xiao-Fan Feng, упомянутая заявка включена в настоящий документ посредством ссылки. Некоторые варианты осуществления могут включать в себя процесс BDE, как описано в патентной заявке США № 10/645952, озаглавленной "Methods and Systems for Dither Structure Creation and Application", поданной 22 августа 2003, изобретателей Xiao-Fan Feng и Scott J. Daly, упомянутая заявка включена в настоящий документ посредством ссылки. Некоторые варианты осуществления могут включать в себя процесс BDE, как описано в патентной заявке США № 10/676891, озаглавленной "Methods and Systems for Dither Structure Creation and Application", поданной 30 сентября 2003, изобретателей Xiao-Fan Feng и Scott J. Daly, упомянутая заявка включена в настоящий документ посредством ссылки. Получающееся в результате BDE-улучшенное изображение 1129 может затем быть отображено или дополнительно обработано. BDE-улучшенное изображение 1129 с меньшей вероятностью будет проявлять оконтуривание артефактов, когда его битовая глубина уменьшается, как объяснено в заявках, которые включены посредством ссылки выше.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 71. В этих вариантах осуществления изображение 1130 может подвергаться низкочастотной фильтрации 1131 (LP), чтобы создать LP версию изображения. Эту LP версию можно послать в модуль 1132 улучшения качества цвета для обработки. Модуль 1132 улучшения качества цвета может включать в себя функции детектирования цвета, функции детализации цветовой карты, функции обработки цветовых областей и другие функции. В некоторых вариантах осуществления модуль 1132 улучшения качества цвета может включать в себя функции детектирования цвета поверхности, функции детализации карты цвета поверхности, а также обработку области цвета поверхности и обработку области, не относящейся к цвету поверхности. Функции в модуле 1132 улучшения качества цвета могут привести к измененным цветовым значениям для элементов изображения, таким как значения интенсивности пикселей.

После модификации цвета LP изображение с измененным цветом можно послать в модуль 1133 сохранения яркости или модуль усиления яркости. Этот модуль 1133 подобен многим варианты осуществления, описанным выше, в котором значения изображения настроены или изменены с помощью кривой градационной шкалы или подобным методом, чтобы улучшить характеристики яркости. В некоторых вариантах осуществления кривая градационной шкалы может быть связана со светом источника или уровнем задней подсветки. В некоторых вариантах осуществления кривая градационной шкалы может компенсировать уменьшенный уровень задней подсветки. В некоторых вариантах осуществления кривая градационной шкалы может осветлить изображение или иначе изменить изображение независимо от любого уровня задней подсветки.

Изображение с улучшенным качеством цвета и улучшенной яркостью может затем быть объединено с высокочастотной (НР) версией изображения. В некоторых вариантах осуществления HP версия изображения может быть создана вычитанием 1134 LP версии из исходного изображения 1130, приводя к НР версии изображения 1135. Комбинация 1137 изображения с улучшенным качеством цвета и улучшенной яркостью и НР версии изображения 1135 формирует улучшенное изображение 1138.

Некоторые варианты осуществления настоящего изобретения могут включать в себя зависимый от изображения выбор задней подсветки и/или отдельный процесс усиления для НР изображения. Эти два дополнительных элемента являются независимыми, отделяемыми элементами, но будут описаны относительно варианта осуществления, включающего оба элемента, как проиллюстрировано на фиг. 72. В этом примерном варианте осуществления изображение 1130 может быть введено в модуль 1131 фильтра, где может быть сформировано LP изображение 1145. LP изображение 1145 может затем вычитаться из исходного изображения 1130, чтобы сформировать НР изображение 1135. LP изображение 1145 можно также послать в модуль 1132 улучшения качества цвета. В некоторых вариантах осуществления исходное изображение 1130 можно также послать в модуль 1140 выбора задней подсветки для использования в определении уровня яркости задней подсветки.

Модуль 1132 улучшения качества цвета может включать в себя функции детектирования цвета, функции детализации цветовой карты, функции обработки цветовых областей и другие функции. В некоторых вариантах осуществления модуль 1132 улучшения качества цвета может включать в себя функции детектирования цвета поверхности, функции детализации карты цвета поверхности, а также обработку области цвета поверхности и обработку области, не относящейся к цвету поверхности. Функции в модуле 1132 улучшения качества цвета могут привести к измененным цветовым значениям для элементов изображения, таким как значения интенсивности пикселей.

Модуль 1141 сохранения яркости (BP) или улучшения яркости с использованием градационной шкалы может получать LP изображение 1145 для обработки посредством операции градационной шкалы. Операция градационной шкалы может зависеть от информации выбора задней подсветки, полученной от модуля 1140 выбора задней подсветки. Когда сохранение яркости достигается с использованием операции градационной шкалы, информация выбора задней подсветки полезна в определении кривой градационной шкалы. Когда только повышение яркости выполняется без компенсации задней подсветки, информация выбора задней подсветки может не требоваться.

НР изображение 1135 может также быть обработано в модуле 1136 НР усиления с использованием методов, описанных выше для подобных вариантов осуществления. Обработка усиления в модуле НР усиления приведет к измененному НР изображению 1147. Измененное LP изображение, получающееся из обработки градационной шкалы в модуле 1141 градационной шкалы, может затем быть объединено 1142 с измененным НР изображением 1147, чтобы сформировать улучшенное изображение 1143.

Улучшенное изображение 1143 может быть отображено на дисплее, использующем модуляцию задней подсветки, с задней подсветкой 1144, которая получила данные выбора задней подсветки от модуля 1140 выбора задней подсветки. Соответственно, изображение может быть отображено с уменьшенной или иначе модулированной настройкой задней подсветки, но с измененными значениями изображения, которые компенсируют модуляцию задней подсветки. Точно так же улучшенное по яркости изображение, включающее в себя LP обработку градационной шкалы и НР обработку усиления, может быть отображено с полной яркостью задней подсветки.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 73. В этих вариантах осуществления исходное изображение 1130 вводится в модуль 1150 фильтра, который может генерировать LP изображение 1155. В некоторых вариантах осуществления модуль фильтра может также генерировать гистограмму 1151. LP изображение 1155 можно послать в модуль 1156 улучшения качества цвета, а также в процесс вычитания 1157, где LP изображение будет вычитаться из исходного изображения 1130, чтобы формировать НР изображение 1158. В некоторых вариантах осуществления НР изображение 1158 может также быть подвергнуто coring-процессу 1159, в котором некоторые высокочастотные элементы удаляются из изображения HP 1158. Этот процесс «удаления сердцевины» приводит к изображению к соответственно отфильтрованному HP изображению 1160, которое может затем быть обработано 1161 с картой усиления 1162, чтобы достичь сохранения яркости, улучшения или других процессов, как описано выше для других вариантов осуществления. Процесс отображения усиления 1161 приведет в результате к отображенному по усилению НР изображению 1168.

LP изображение 1155, посланное в модуль 1156 улучшения качества цвета, может быть обработано там функциями детектирования цвета, функциями детализации карты цвета, функциями обработки цветовой области и другими функциями. В некоторых вариантах осуществления модуль 1156 улучшения качества цвета может содержать функции детектирования цвета поверхности, функции детализации карты цвета поверхности, а также обработку области цвета поверхности и обработку области, не относящейся к цвету поверхности. Функции в модуле 1156 улучшения качества цвета могут привести к измененным цветовым значениям для элементов изображения, таким как значения интенсивности пикселей, что может быть записано как LP изображение 1169 с улучшенным качеством цвета.

LP изображение 1169 с улучшенным качеством цвета может затем обрабатываться в модуле 1163 градационной шкалы сохранения яркости (ВР) или градационной шкалы улучшения яркости. Модуль 1163 градационной шкалы сохранения яркости (ВР) или градационной шкалы улучшения яркости может получить LP изображение 1169 с улучшенным качеством цвета для обработки операцией градационной шкалы. Операция градационной шкалы может зависеть от информации выбора задней подсветки, полученной от модуля 1154 выбора задней подсветки. Когда сохранение яркости достигнуто с использованием операции градационной шкалы, информация выбора задней подсветки полезна в определении кривой градационной шкалы. Когда выполняется только улучшение яркости без компенсации задней подсветки, информация выбора задней подсветки может не требоваться. Операция градационной шкалы, выполняемая в модуле 1163 градационной шкалы, может зависеть от характеристик изображения, целей рабочих показателей и других параметров независимо от информации задней подсветки.

В некоторых вариантах осуществления гистограмма изображения 1151 может быть задержана 1152, чтобы позволить модулю 1156 улучшения цвета и модулю 1163 градационной шкалы выполнять их функции. В этих вариантах осуществления задержанная гистограмма 1153 может использоваться, чтобы влиять на выбор 1154 задней подсветки. В некоторых вариантах осуществления гистограмма из предыдущего кадра может использоваться, чтобы влиять на выбор 1154 задней подсветки. В некоторых вариантах осуществления гистограмма от двух кадров, предшествующих текущему кадру, может использоваться, чтобы влиять на выбор 1154 задней подсветки. Как только выбор задней подсветки выполнен, данные выбора задней подсветки могут использоваться модулем 1163 градационной шкалы.

Как только LP изображение улучшенного качества обработано модулем 1163 градационной шкалы, полученное LP изображение 1176 с улучшенным цветом и улучшенной яркостью может быть объединено 1164 с преобразованным по усилению НР изображением 1168. В некоторых вариантах осуществления этот процесс 1164 может быть процессом суммирования. В некоторых вариантах осуществления объединенное улучшенное изображение 1177, получающееся в результате этого процесса объединения 1164, будет конечным продуктом для отображения изображения. Это объединенное, улучшенное изображение 1177 может быть отображено на дисплее, использующем заднюю подсветку 1166, модулированную с настройкой задней подсветки, полученной от модуля 1154 выбора задней подсветки.

Некоторые модули улучшения качества цвета согласно настоящему изобретению могут быть описаны со ссылкой на фиг. 74. В этих вариантах осуществления LP изображение 1170 может быть введено в модуль 1171 улучшения цвета. Различные процессы могут быть применены к LP изображению 1170 в модуле 1171 улучшения цвета. Процесс 1172 обнаружения цвета поверхности может быть применен к LP изображению 1170. Процесс 1172 обнаружения цвета поверхности может включать в себя анализ цвета каждого пикселя в LP изображении 1170 и назначение значения вероятности цвета поверхности на основе цвета пикселя. Этот процесс может привести в результате к карте вероятности цвета поверхности. В некоторых вариантах осуществления таблица преобразования (LUT) может использоваться, чтобы определить вероятность, что цвет является цветом поверхности. Другие методы могут также использоваться, чтобы определить вероятность цвета поверхности. Некоторые варианты осуществления могут включать в себя методы обнаружения цвета поверхности, описанные выше и в других заявках, которые включены в настоящий документ посредством ссылки.

Получающаяся в результате карта вероятности цвета поверхности может быть обработана процессом 1173 детализации цветовой карты. LP изображение 1170 может также быть введено в процесс 1173 детализации цветовой карты или процесс 1173 детализации цветовой карты может получить к нему доступ. В некоторых вариантах осуществления этот процесс 1173 детализации может включать в себя управляемый изображением нелинейный фильтр нижних частот. В некоторых вариантах осуществления процесс 1173 детализации может включать в себя процесс усреднения, применяемый к значениям карты цветов поверхности, когда соответствующее значение цвета изображения находится в пределах определенного расстояния цветового пространства до значения цвета соседнего пикселя и когда пиксель изображения и соседний пиксель находятся в пределах определенного пространственного расстояния. Карта цвета поверхности, измененная или детализированная этим процессом, может затем использоваться, чтобы идентифицировать область цвета поверхности в LP изображении. Область вне области цвета поверхности может также быть идентифицирована как область, не относящаяся к цвету поверхности.

В модуле 1171 улучшения качества изображения LP изображение 1170 может затем дифференциально обрабатываться с применением процесса 1174 модификации цвета только к области цвета поверхности. В некоторых вариантах осуществления процесс 1174 модификации цвета может быть применен только к области, не относящейся к цвету поверхности. В некоторых вариантах осуществления первый процесс модификации цвета может быть применен к области цвета поверхности, а второй процесс модификации может быть применен к области, не относящейся к цвету поверхности. Каждый из этих процессов модификации цвета приведет к измененному по цвету или улучшенному LP изображению 1175. В некоторых вариантах осуществления улучшенное LP изображение может быть затем обработано в модуле градационной шкалы, например в модуле 1163 градационной шкалы для сохранения яркости (BP) или улучшения яркости.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 75. В этих вариантах осуществления изображение 1130 может подвергаться низкочастотной фильтрации 1131 (LP), чтобы создать LP версию изображения. Эту LP версию можно послать в модуль 1132 улучшения качества изображения для обработки. Модуль 1132 улучшения качества изображения может включать в себя функции детектирования цвета, функции детализации цветовой карты, функции обработки цветовых областей и другие функции. В некоторых вариантах осуществления модуль 1132 улучшения качества цвета может включать в себя функции детектирования цвета поверхности, функции детализации карты цвета поверхности, а также обработку области цвета поверхности и обработку области, не относящейся к цвету поверхности. Функции в модуле 1132 улучшения качества цвета могут привести к измененным цветовым значениям для элементов изображения, таким как значения интенсивности пикселей.

После модификации цвета LP изображение с измененным цветом можно послать в модуль 1133 сохранения яркости или модуль усиления яркости. Этот модуль 1133 подобен многим вариантам осуществления, описанным выше, в которых значения изображения настраиваются или изменяются с помощью кривой градационной шкалы или подобным методом, чтобы улучшить характеристики яркости. В некоторых вариантах осуществления кривая градационной шкалы может быть связана со светом источника или уровнем задней подсветки. В некоторых вариантах осуществления кривая градационной шкалы может компенсировать уменьшенный уровень задней подсветки. В некоторых вариантах осуществления кривая градационной шкалы может осветлить изображение или иначе изменить изображение независимо от любого уровня задней подсветки.

Изображение с улучшенным качеством цвета и улучшенной яркостью может затем быть объединено с высокочастотной (НР) версией изображения. В некоторых вариантах осуществления HP версия изображения может быть создана вычитанием 1134 LP версии из исходного изображения 1130, приводя к НР версии изображения 1135. Комбинация 1137 изображения с улучшенным качеством цвета и улучшенной яркостью и НР версии изображения 1135 формирует улучшенное изображение 1138.

В этих вариантах осуществления процесс 1139 расширения битовой глубины (BDE) может быть выполнен над улучшенным изображением 1138. Этот процесс BDE 1139 может уменьшить видимые артефакты, которые возникают, когда битовая глубина ограничена. Некоторые варианты осуществления могут включать в себя процессы BDE, как описано в патентных заявках, упомянутых выше, которые включены в настоящий документ посредством ссылки.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 76. Эти варианты осуществления подобны описанным со ссылкой на фиг. 73, но включают в себя дополнительную обработку расширения битовой глубины.

В этих вариантах осуществления исходное изображение 1130 вводится в модуль 1150 фильтра, который может сформировать LP изображение 1155. В некоторых вариантах осуществления модуль фильтра может также генерировать гистограмму 1151. LP изображение 1155 может быть послано в модуль 1156 улучшения цвета, а также в процесс 1157 вычитания, где LP изображение 1155 будет вычтено из исходного изображения 1130, чтобы сформировать НР изображение 1158. В некоторых вариантах осуществления НР изображение 1158 может также подвергаться coring-процессу 1159, в котором некоторые высокочастотные элементы удаляются из НР изображения 1158. Этот процесс удаления заканчивается формированием отфильтрованного НР изображения 1160, которое может затем обрабатываться 1161 картой 1162 усиления, чтобы реализовать сохранение яркости, улучшение яркости или другие процессы, как описано выше для других вариантов осуществления. Процесс 1161 преобразования усиления приведет в результате к преобразованному по усилению НР изображению 1168.

LP изображение 1155, посланное в модуль 1156 улучшения качества цвета, может быть обработано там функциями детектирования цвета, функциями детализации цветовой карты, функциями обработки цветовых областей и другими функции. В некоторых вариантах осуществления модуль 1156 улучшения качества цвета может включать в себя функции детектирования цвета поверхности, функции детализации карты цвета поверхности, а также обработку области цвета поверхности и обработку области, не относящейся к цвету поверхности. Функции в модуле 1156 улучшения качества цвета могут привести к измененным цветовым значениям для элементов изображения, таким как значения интенсивности пикселей, которые могут быть записаны как LP изображение с улучшенным цветом.

LP изображение с улучшенным цветом может затем обрабатываться в модуле 1133 градационной шкалы сохранения яркости или градационной шкалы усиления яркости. Модуль 1163 градационной шкалы сохранения яркости (ВР) или градационной шкалы улучшения яркости может получить LP изображение 1169 с улучшенным качеством цвета для обработки операцией градационной шкалы. Операция градационной шкалы может зависеть от информации выбора задней подсветки, полученной от модуля 1154 выбора задней подсветки. Когда сохранение яркости достигнуто с использованием операции градационной шкалы, информация выбора задней подсветки полезна в определении кривой градационной шкалы. Когда выполняется только улучшение яркости без компенсации задней подсветки, информация выбора задней подсветки может не требоваться. Операция градационной шкалы, выполняемая в модуле 1163 градационной шкалы, может зависеть от характеристик изображения, целей рабочих показателей и других параметров независимо от информации задней подсветки.

В некоторых вариантах осуществления гистограмма изображения 1151 может быть задержана 1152, чтобы позволить модулю 1156 улучшения цвета и модулю 1163 градационной шкалы выполнять их функции. В этих вариантах осуществления задержанная гистограмма 1153 может использоваться, чтобы влиять на выбор 1154 задней подсветки. В некоторых вариантах осуществления гистограмма из предыдущего кадра может использоваться, чтобы влиять на выбор 1154 задней подсветки. В некоторых вариантах осуществления гистограмма от двух кадров, предшествующих текущему кадру, может использоваться, чтобы влиять на выбор 1154 задней подсветки. Как только выбор задней подсветки выполнен, данные выбора задней подсветки могут использоваться модулем 1163 градационной шкалы.

Как только LP изображение улучшенного качества обработано модулем 1163 градационной шкалы, полученное LP изображение 1176 с улучшенным цветом и улучшенной яркостью может быть объединено 1164 с преобразованным по усилению НР изображением 1168. В некоторых вариантах осуществления этот процесс 1164 может быть процессом суммирования. В некоторых вариантах осуществления объединенное улучшенное изображение 1177, получающееся в результате этого процесса объединения 1164, может обрабатываться процессом 1165 расширения битовой глубины (BDE). Процесс BDE 1165 может уменьшить видимые артефакты, которые возникают, когда битовая глубина ограничена. Некоторые варианты осуществления могут включать в себя процессы BDE, как описано в патентных заявках, упомянутых выше, которые включены в настоящий документ посредством ссылки.

После процесса BDE 1165 улучшенное изображение 1169 может быть отображено на дисплее, использующем заднюю подсветку 1166, модулированную с настройкой задней подсветки, полученной от модуля 1154 выбора задней подсветки.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 77. В этих вариантах осуществления изображение 1180 может подвергаться низкочастотной фильтрации 1181, чтобы сформировать LP изображение 1183. Это LP изображение 1183 может вычитаться 1182 или иначе объединяться с исходным изображением 1180, чтобы сформировать высокочастотное (HP) изображение 1189. LP изображение может затем обрабатываться модулем 1184 улучшения цвета. В модуле 1184 улучшения цвета различные процессы могут быть применены к LP изображению. Процесс 1185 обнаружения цвета поверхности может быть применен к LP изображению 1183. Процесс 1185 обнаружения цвета поверхности может включать в себя анализ цвета каждого пикселя в LP изображении 1183 и назначение значения вероятности цвета поверхности на основе цвета пикселя. Этот процесс может привести в результате к карте вероятности цвета поверхности. В некоторых вариантах осуществления таблица преобразования (LUT) может использоваться, чтобы определить вероятность, что цвет является цветом поверхности. Другие методы могут также использоваться, чтобы определить вероятность цвета поверхности. Некоторые варианты осуществления могут включать в себя методы обнаружения цвета поверхности, описанные выше и в других заявках, которые включены в настоящий документ посредством ссылки.

Получающаяся в результате карта вероятности цвета поверхности может быть обработана процессом 1186 детализации цветовой карты. LP изображение 1183 может также быть введено в процесс 1186 детализации цветовой карты, или процесс 1186 детализации цветовой карты может получить к нему доступ. В некоторых вариантах осуществления этот процесс 1186 детализации может включать в себя управляемый изображением нелинейный фильтр нижних частот. В некоторых вариантах осуществления процесс 1186 детализации может включать в себя процесс усреднения, применяемый к значениям карты цветов поверхности, когда соответствующее значение цвета изображения находится в пределах определенного расстояния цветового пространства до значения цвета соседнего пикселя и когда пиксель изображения и соседний пиксель находятся в пределах определенного пространственного расстояния. Карта цвета поверхности, измененная или детализированная этим процессом, может затем использоваться, чтобы идентифицировать область цвета поверхности в LP изображении. Область вне области цвета поверхности может также быть идентифицирована как область, не относящаяся к цвету поверхности.

В модуле 1184 улучшения качества изображения LP изображение 1183 может затем дифференциально обрабатываться с применением процесса 1187 модификации цвета только к области цвета поверхности. В некоторых вариантах осуществления процесс 1187 модификации цвета может быть применен только к области, не относящейся к цвету поверхности. В некоторых вариантах осуществления первый процесс модификации цвета может быть применен к области цвета поверхности, а второй процесс модификации может быть применен к области, не относящейся к цвету поверхности. Каждый из этих процессов модификации цвета приведет к измененному по цвету или улучшенному LP изображению 1188.

Это LP изображение 1188 улучшенного качества может затем суммироваться или иначе объединяться с НР изображением 1189, чтобы сформировать изображение 1192 улучшенного качества.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 78. В этих вариантах осуществления изображение 1180 может подвергаться низкочастотной фильтрации 1181, чтобы сформировать LP изображение 1183. Это LP изображение 1183 может вычитаться 1182 или иначе объединяться с исходным изображением 1180, чтобы сформировать высокочастотное (HP) изображение 1189. LP изображение может затем обрабатываться модулем 1184 улучшения цвета. В модуле 1184 улучшения цвета различные процессы могут быть применены к LP изображению. Процесс 1185 обнаружения цвета поверхности может быть применен к LP изображению 1183. Процесс 1185 обнаружения цвета поверхности может включать в себя анализ цвета каждого пикселя в LP изображении 1183 и назначение значения вероятности цвета поверхности на основе цвета пикселя. Этот процесс может привести в результате к карте вероятности цвета поверхности. В некоторых вариантах осуществления таблица преобразования (LUT) может использоваться, чтобы определить вероятность, что цвет является цветом поверхности. Другие методы могут также использоваться, чтобы определить вероятность цвета поверхности. Некоторые варианты осуществления могут включать в себя методы обнаружения цвета поверхности, описанные выше и в других заявках, которые включены в настоящий документ посредством ссылки.

Получающаяся в результате карта вероятности цвета поверхности может быть обработана процессом 1186 детализации цветовой карты. LP изображение 1183 может также быть введено в процесс 1186 детализации цветовой карты, или процесс 1186 детализации цветовой карты может получить к нему доступ. В некоторых вариантах осуществления этот процесс 1186 детализации может включать в себя управляемый изображением нелинейный фильтр нижних частот. В некоторых вариантах осуществления процесс 1186 детализации может включать в себя процесс усреднения, применяемый к значениям карты цветов поверхности, когда соответствующее значение цвета изображения находится в пределах определенного расстояния цветового пространства до значения цвета соседнего пикселя и когда пиксель изображения и соседний пиксель находятся в пределах определенного пространственного расстояния. Карта цвета поверхности, измененная или детализированная этим процессом, может затем использоваться, чтобы идентифицировать область цвета поверхности в LP изображении. Область вне области цвета поверхности может также быть идентифицирована как область, не относящаяся к цвету поверхности.

В модуле 1184 улучшения качества изображения LP изображение 1183 может затем дифференциально обрабатываться с применением процесса 1187 модификации цвета только к области цвета поверхности. В некоторых вариантах осуществления процесс 1187 модификации цвета может быть применен только к области, не относящейся к цвету поверхности. В некоторых вариантах осуществления первый процесс модификации цвета может быть применен к области цвета поверхности, а второй процесс модификации может быть применен к области, не относящейся к цвету поверхности. Каждый из этих процессов модификации цвета приведет к измененному по цвету или улучшенному LP изображению 1188.

Это LP изображение 1188 улучшенного качества может затем суммироваться или иначе объединяться с НР изображением 1189, чтобы сформировать изображение 1192 улучшенного качества, которое может затем быть обработано процессом 1191 расширения битовой глубины (BDE). В процессе BDE 1191, специально спроектированные шаблоны шума или шаблоны размывания изображения могут быть применены к изображению, чтобы уменьшить восприимчивость к оконтуриванию артефактов из последующей обработки, которые уменьшают битовую глубину изображения. Некоторые варианты осуществления могут включать в себя процесс BDE, как описано в патентных заявках, упомянутых выше, которые включены в настоящий документ посредством ссылки. Получающееся в результате BDE-улучшенное изображение 1193 может затем быть отображено или дополнительно обработано. BDE-улучшенное изображение 1193 с меньшей вероятностью будет проявлять оконтуривание артефактов, когда его битовая глубина уменьшается, как объяснено в заявках, которые включены в настоящий документ посредством ссылки выше.

Некоторые варианты осуществления настоящего изобретения включают в себя детали осуществления высококачественной модуляции задней подсветки и сохранения яркости при ограничениях выполнения аппаратных средств. Эти варианты осуществления могут быть описаны со ссылками на варианты осуществления по фиг. 73 и 76.

Некоторые варианты осуществления включают в себя элементы, которые находятся в блоке 1154 выбора задней подсветки и в блоке 1163 градационной шкалы ВР на фиг. 73 и 76. Некоторые из этих вариантов осуществления могут уменьшить потребление памяти и требования к вычислениям в реальном времени.

Вычисление гистограммы

В этих вариантах осуществления гистограмма вычисляется по кодовым значениям изображения, а не значениям светимости. Таким образом, никакое преобразование цвета не требуется. В некоторых вариантах осуществления начальный алгоритм может вычислить гистограмму по всем выборкам изображения. В этих вариантах осуществления вычисление гистограммы не может быть закончено, пока не будет получена последняя выборка изображения. Все выборки должны быть получены, и гистограмма должна быть завершена, прежде чем можно будет выполнять проектирование выбора задней подсветки и компенсации по кривой тонов.

Эти варианты осуществления имеют несколько проблем сложности:

- Потребность в буфере кадра, так как первый пиксель не может компенсироваться, пока гистограмма не будет завершена - RAM.

- Мало времени доступно для вычислений гистограммы и выбора задней подсветки, поскольку другие функциональные элементы остановлены, ожидая результатов - вычисление.

- Большое количество выборок изображения, которые должны быть обработаны, чтобы вычислить гистограмму по всем выборкам изображения - вычисление.

- Для 10-битовых данных изображения 10-битовая гистограмма требует относительно большой памяти для хранения данных и большого количества точек для исследования при оптимизации искажения - RAM и вычисление.

Некоторые варианты осуществления настоящего изобретения включают в себя способы для преодоления этих проблем. Чтобы исключить потребность в буфере кадра, гистограмма предшествующего кадра может быть использована как вход в алгоритм выбора задней подсветки. Гистограмма кадра n используется как вход для кадров n+1, n+2 или другого последующего кадра, таким образом, исключая необходимость в буфере кадра.

Чтобы обеспечить время для вычисления, гистограмма может быть задержана на один или более дополнительных кадров, так что гистограмма кадра n используется как вход для выбора задней подсветки для кадра n+2, n+3 и т.д. Это обеспечивает алгоритму выбора задней подсветки время на вычисления от конца кадра n до начала последующего кадра, например n+2.

В некоторых вариантах осуществления временной фильтр по выходу алгоритма выбора задней подсветки может использоваться, чтобы уменьшить чувствительность к этой задержке кадра при выборе задней подсветки относительно входного кадра.

Чтобы сократить количество выборок, которые должны быть обработаны при вычислении каждой гистограммы, некоторые варианты осуществления могут использовать блок, а не отдельные пиксели. Для каждой цветовой плоскости и каждого блока вычисляется максимальная выборка. Гистограмма может быть вычислена по этим максимумам блока. В некоторых вариантах осуществления максимум еще вычисляется по каждой цветовой плоскости. Таким образом, изображение с М блоками будет иметь 3-M входов в гистограмму.

В некоторых вариантах осуществления гистограмма может быть вычислена на входных данных, квантовавших до малого диапазона битов, то есть 6 битов. В этих вариантах осуществления уменьшается RAM, требуемая для хранения гистограммы. Кроме того, в связанных с искажением вариантах осуществления также уменьшаются операции, необходимые для поиска искажения.

Примерный вариант осуществления вычисления гистограммы описан ниже в форме кода как Функция 1.

Функция 1

Модели целевого и фактического дисплея

В некоторых вариантах осуществления алгоритмы искажения и компенсации зависят от степенной функции, используемой, чтобы описать целевые и эталонные дисплеи. Эта степенная функция или "гамма" может быть вычислена автономно в целочисленном представлении. В некоторых вариантах осуществления это вычисление в реальном времени может использовать предварительно вычисленные целочисленные значения степенной функции гаммы. Типовой код, упомянутый ниже как Функция 2, описывает примерный вариант осуществления.

Функция 2

В некоторых вариантах осуществления как целевой, так и фактический дисплеи могут быть смоделированы с двухпараметрической моделью GOG-F, которая используется в реальном времени, чтобы управлять основанным на искажении процессом выбора задней подсветки и алгоритмом компенсации задней подсветки. В некоторых вариантах осуществления как целевой (эталонный) дисплей, так и фактическая панель могут быть смоделированы как имеющие правило степени 2.2 гамма с аддитивным сдвигом. Аддитивный сдвиг может определять отношение контраста дисплея.

Вычисление весов искажения

В некоторых вариантах осуществления, для каждого уровня задней подсветки и входного изображения, может быть вычислено искажение между желательным выходным изображением и выходом на данном уровне задней подсветки. Результатом является вес для каждого элемента гистограммы и каждого уровня задней подсветки. Путем вычисления весов искажения только для необходимых уровней задней подсветки размер используемого RAM сводится к минимуму или уменьшенному уровню. В этих вариантах осуществления вычисление онлайн позволяет алгоритму адаптироваться к различным вариантам выбора эталонного или целевого дисплея. Это вычисление использует два элемента, гистограмму изображения и набор весов искажения. В других варианты осуществления веса искажения для всех возможных значений задней подсветки были вычислены офлайн и сохранены в ROM. Чтобы уменьшить требования к ROM, веса искажения могут быть вычислены для каждого уровня задней подсветки, представляющего интерес, для каждого кадра. При условии заданных моделей желательного дисплея и дисплея модели и списка уровней задней подсветки, веса искажения для этих уровней задней подсветки могут быть вычислены для каждого кадра. Типовой код для примерного варианта осуществления показан ниже как Функция 3.

Функция 3

Поиск на основе субдискретизации задней подсветки

В некоторых вариантах осуществления алгоритм выбора задней подсветки может включать в себя процесс, который минимизирует искажение между целевым выходом дисплея и выходом панели на каждом уровне задней подсветки. Чтобы снизить как количество уровней задней подсветки, которые должны оцениваться, так и количество весов искажения, которые должны вычисляться и сохраняться, подмножество уровней задней подсветки может использоваться в поиске.

В некоторых вариантах осуществления могут использоваться два примерных метода субдискретизации (взятия подвыборок) при поиске. В первом методе возможный диапазон уровней задней подсветки грубо квантуется, например, на 4 бита. По этому подмножеству квантовавших уровней выполняется поиск на минимальное искажение. В некоторых вариантах осуществления абсолютные минимальные и максимальные значения могут также использоваться для полноты. Во втором методе используется диапазон значений вокруг уровня задней подсветки, найденного для последнего кадра. Например, по значениям +-4, +-2, +-1 и +0 от уровня задней подсветки последнего кадра выполняется поиск вместе с абсолютными минимальным и максимальным уровнями. В этом последнем методе ограничения в диапазоне поиска налагают некоторое ограничение на изменение в выбранном уровне задней подсветки. В некоторых вариантах осуществления используется обнаружение сокращения сцены, чтобы управлять субдискретизацией. В пределах сцены поиск BL центрирует малое окно поиска вокруг задней подсветки последнего кадра. На границе ограничения сцены поиск распределяет малое количество точек в диапазоне возможных значений BL. Последующие кадры в той же самой сцене используют предшествующий метод центрирования поиска вокруг BL предыдущего кадра, пока не будет обнаружено другое ограничение сцены.

Вычисление единственной кривой компенсации BP

В некоторых вариантах осуществления несколько различных уровней задней подсветки могут использоваться в процессе работы. В других вариантах осуществления кривые компенсации для исчерпывающего набора уровней задней подсветки были вычислены офлайн затем сохранены в ROM для компенсации изображения в реальном времени. Это требование к памяти может быть уменьшено путем указания, что в каждом кадре необходима только единственная кривая компенсации. Таким образом, кривая тонов компенсации вычисляется и сохраняется в RAM на каждый кадр. В некоторых вариантах осуществления схема кривой компенсации такова, как используется в офлайновой схеме. Некоторые варианты осуществления могут включать в себя кривую с линейным повышением до максимальной точки точности (MFP) с последующим плавным скруглением, как описано выше.

Временной фильтр

Одним фактором, который должен учитываться в системе с модуляцией задней подсветки, является мерцание. Оно может быть уменьшено с помощью методов компенсации при обработке изображения. Однако имеется несколько ограничений для компенсации, которая может привести к артефактам, если изменение задней подсветки является быстрым. В некоторых ситуациях черные и белые точки отслеживают заднюю подсветку и не могут быть скомпенсированы во всех случаях. Кроме того, в некоторых вариантах осуществления выбор задней подсветки может быть основан на данных из задержанного кадра и, таким образом, может отличаться от фактических данных кадра. Чтобы отрегулировать мерцание на уровне черного/белого и обеспечить возможность задерживания гистограммы при вычислении задней подсветки, временной фильтр может использоваться, чтобы сгладить фактическое значение задней подсветки, посланное в блок управления задней подсветки, и соответствующую компенсацию.

Включение изменений яркости

По различным причинам пользователю может быть желательно изменить яркость дисплея. Проблемой является то, как сделать это в среде модуляции задней подсветки. Соответственно, некоторые варианты осуществления могут предусматривать манипуляцию яркостью эталонного дисплея, оставляя компоненты модуляции задней подсветки и компенсации яркости неизменными. Код ниже, описанный как Функция 4, иллюстрирует примерный вариант осуществления, где индекс эталонной задней подсветки либо установлен на максимум, либо установлен на значение, зависящее от среднего уровня изображения (APL), если APL используется для изменения максимальной яркости дисплея.

Функция 4

Варианты осуществления вектора взвешенных ошибок

Некоторые варианты осуществления настоящего изобретения включают в себя способы и системы, которые используют вектор взвешенных ошибок, чтобы выбрать заднюю подсветку или уровень освещения света источника. В некоторых вариантах осуществления выбирается множество уровней освещения света источника, из которого может быть сделан окончательный выбор для освещения целевого изображения. Модель дисплея панели может затем использоваться, чтобы вычислить выход дисплея для каждого из уровней освещения света источника. В некоторых вариантах осуществления модель эталонного дисплея или модель фактического дисплея, как описано относительно ранее представленных вариантов осуществления, может использоваться, чтобы определить выходные уровни дисплея. Кривая целевого выхода может также генерироваться. Векторы ошибок могут затем быть определены для каждого уровня освещения света источника путем сравнения выходов панели с кривой целевых выходов.

Гистограмма изображения или подобная структура, которая перечисляет значения изображения, может также генерироваться для целевого изображения. Значения, соответствующие каждому кодовому значению изображения в гистограмме изображения или этой структуре, могут затем использоваться для взвешивания векторов ошибок для конкретного изображения. В некоторых вариантах осуществления число попаданий на элемент разрешения гистограммы, соответствующий конкретному кодовому значению, может умножаться на значение вектора ошибок для данного кодового значения, таким образом создавая взвешенное, специфическое для изображения значение вектора ошибок. Взвешенный вектор ошибок может включать в себя значения векторов ошибок для каждого кодового значения в изображении. Этот определенный для изображения, определенный для уровня освещения света источника вектор ошибок может затем использоваться как признак ошибки, следующей из использования определенного уровня освещения света источника для этого определенного изображения.

Сравнение данных вектора ошибок для каждого уровня освещения света источника может указывать, какой уровень освещения приведет к наименьшей ошибке для этого конкретного изображения. В некоторых вариантах осуществления сумма взвешенных кодовых значений вектора ошибок может упоминаться как взвешенная ошибка изображения. В некоторых вариантах осуществления уровень освещения источника света, соответствующий наименьшей ошибке, или наименьшей взвешенной ошибке изображения, для конкретного изображения, может быть выбран для отображения этого изображения. В видеопоследовательности этот процесс может проводиться для каждого видеокадра, приводя к динамическому уровню освещения света источника, который может изменяться для каждого кадра.

Аспекты некоторых примерных вариантов осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 79, которая иллюстрирует целевую кривую 2000 выхода и несколько кривых 2002-2008 выходов дисплея. Целевая кривая 2000 выхода представляет желательные отношения между кодовыми значениями изображения (показано на горизонтальной оси) и выход дисплея (показано на вертикальной оси). Кривые 2002-2008 выхода дисплея также показаны для уровней освещения света источника от 25% до 100%. Кривая выхода дисплея для 25%-ной задней подсветки показана как 2002. Кривая выхода дисплея для 50%-ной задней подсветки показана как 2004. Кривая выхода дисплея для 75%-ной задней подсветки показана как 2006. Кривая выхода дисплея для 100%-ной задней подсветки показана как 2008. В некоторых вариантах осуществления различие по вертикали между кривой 2002-2008 выхода дисплея и целевой кривой 2000 выхода может представлять или быть пропорционально значению ошибки, соответствующему кодовому значению в этом положении. В некоторых вариантах осуществления накопление этих значений ошибок для ряда кодовых значений может упоминаться как вектор ошибок.

Аспекты некоторых примерных вариантов осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 80, которая иллюстрирует графики векторов ошибок для определенных уровней освещения источника света дисплея. Графики векторов ошибок на этом чертеже соответствуют целевой кривой выхода и кривым выхода дисплея 2000-2008 по фиг. 79. График вектора ошибок для 25%-ной задней подсветки показан как 2016. График вектора ошибок для 50%-ной задней подсветки показан как 2014. График вектора ошибок для 75%-ной задней подсветки показан как 2012. График вектора ошибок для 100%-ной задней подсветки показан как 2010. В этих примерных вариантах осуществления, отображенных на фиг. 80, используется квадратичное значение ошибки, делая все значения ошибок положительными числами. В других вариантах осуществления значения ошибок могут быть определены другими методами, и, в некоторых случаях, могут существовать отрицательные значения ошибок.

В некоторых вариантах осуществления настоящего изобретения вектор ошибок может быть объединен с данными изображения, чтобы создать определенные для изображения значения ошибок. В некоторых вариантах осуществления гистограмма изображения может быть объединена с одним или более векторами ошибок, чтобы создать взвешенное гистограммой значение ошибки. В некоторых вариантах осуществления счет элемента разрешения гистограммы для определенного кодового значения может умножаться на значение ошибки, соответствующее этому кодовому значению, таким образом, приводя к взвешенному гистограммой значению ошибки. Сумма всех взвешенных гистограммой кодовых значений для изображения на данном уровне освещения задней подсветки может упоминаться как взвешенная гистограммой ошибка. Взвешенная гистограммой ошибка может быть определена для каждого из множества уровней освещения задней подсветки. Выбор уровня освещения задней подсветки может быть основан на взвешенных гистограммой ошибках, соответствующих уровням освещения задней подсветки.

Аспекты некоторых вариантов осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 81, которая включает в себя график взвешенных гистограммой ошибок для различных уровней освещения задней подсветки. Взвешенный гистограммой график 2020 ошибок для первого изображения показывает устойчивое уменьшение в величине ошибки до минимального значения 2021 вблизи 86%-ного уровня освещения, после которого график повышается с увеличением значения задней подсветки.

Для этого конкретного изображения уровень освещения приблизительно 86% обеспечивает самую низкую ошибку. Другой график 2022 для второго изображения уменьшается устойчиво до второго минимального значения 2023 около 95%-ного уровня освещения, после которого график повышается с увеличением значения задней подсветки. Для этого второго изображения уровень освещения приблизительно 95% обеспечивает самую низкую ошибку. Таким способом уровень освещения задней подсветки может быть выбран для конкретного изображения, если взвешенные гистограммой ошибки определены для различных уровней света источника или освещения задней подсветки.

Аспекты некоторых вариантов осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 82. В этих вариантах осуществления изображение 2030 вводится в процесс 2031 вычисления гистограммы, который генерирует гистограмму 2032 изображения. Панель дисплея также анализируется, чтобы определить данные 2033 вектора ошибок для множества уровней освещения задней подсветки. Взвешенная ошибка 2035 может затем генерироваться 2034, комбинируя данные гистограммы 2032 со взвешенными данными 2033 вектора ошибок. В некоторых вариантах осуществления эта комбинация может быть выполнена 2034 умножением значения вектора ошибок, соответствующего кодовому значению, на счет гистограммы, соответствующий этому кодовому значению, таким образом формируя взвешенное гистограммой значение вектора ошибок. Сумма всех взвешенных гистограммой значений вектора ошибок для всех кодовых значений в изображении может упоминаться как взвешенная гистограммой ошибка 2035.

Взвешенная гистограммой ошибка может быть определена для каждого множества уровней освещения задней подсветки, комбинируя вектор ошибки для каждого уровня освещения задней подсветки с соответствующими значениями счета гистограммы. Этот процесс может привести к взвешенному гистограммой множеству ошибок, которое включает в себя взвешенные гистограммой значения ошибок для множества уровней освещения задней подсветки. Значения во взвешенном гистограммой множестве ошибок могут затем анализироваться, чтобы определить, какой уровень освещения задней подсветки является наиболее подходящим для дисплея изображения. В некоторых вариантах осуществления уровень освещения задней подсветки, соответствующий минимальной взвешенной гистограммой ошибке 2036, может быть выбран для отображения изображения. В некоторых вариантах осуществления другие данные могут влиять на решение относительно уровня освещения задней подсветки, например, в некоторых вариантах осуществления, цели экономии мощности могут влиять на это решение. В некоторых вариантах осуществления также может быть выбран уровень освещения задней подсветки, который находится вблизи минимального взвешенного гистограммой значения ошибки, но который соответствует некоторым другим критериям. Как только уровень 2037 освещения задней подсветки выбран, этот уровень может сигнализироваться дисплею.

Аспекты некоторых вариантов осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 83. В этих вариантах осуществления генерируется 2040 целевая кривая выхода для определенного устройства дисплея или характеристики дисплея. Эта кривая или ее соответствующие данные представляют желательный выход дисплея. Кривые выхода дисплея также генерируются 2041 для различных уровней задней подсветки или уровней освещения света источника. Например, в некоторых вариантах осуществления, кривая выхода дисплея может быть сгенерирована для уровней освещения задней подсветки приращениями по 10% или 5% от 0% до 100%.

На основе целевой кривой выхода и кривых выхода дисплея или панели могут быть вычислены 2042 определенные для уровня освещения векторы ошибок. Эти векторы ошибок могут быть вычислены путем определения различия между значением целевой кривой выхода и значением кривой выхода дисплея или панели для соответствующего кодового значения изображения. Вектор ошибок может включать в себя значение ошибки для каждого кодового значения изображения или для каждого кодового значения в динамическом диапазоне целевого дисплея. Векторы ошибок могут быть вычислены для множества уровней освещения света источника. Например, векторы ошибок могут быть вычислены для каждой кривой выхода дисплея, сформированной для дисплея. Набор векторов ошибок может быть вычислен заранее и сохранен для использования в вычислениях "в реальном времени" в процессе отображения изображения или может использоваться в других вычислениях.

Для подгонки уровня освещения света источника к определенному изображению или характеристике изображения гистограмма изображения может быть сгенерирована 2043 и использована в процессе выбора уровня освещения. В некоторых вариантах осуществления другие конструкции данных могут использоваться, чтобы идентифицировать частоту, с которой кодовые значения изображения появляются в определенном изображении. Эти другие конструкции могут упоминаться как гистограммы в этой спецификации.

В некоторых вариантах осуществления векторы ошибок, соответствующие переменным уровням освещения света источника, могут быть взвешены 2044 значениями гистограммы, чтобы связать ошибку дисплея с изображением. В этих вариантах осуществления значения вектора ошибок могут умножаться или иначе связываться со значениями гистограммы для соответствующих кодовых значений. Другими словами, значение вектора ошибок, соответствующее данному кодовому значению изображения, может быть умножено на значение счета элемента разрешения гистограммы, соответствующее данному кодовому значению.

Как только взвешенные значения вектора ошибок определены, все взвешенные значения вектора ошибок для данного вектора ошибок могут суммироваться 2045, чтобы создать взвешенное гистограммой значение ошибки для уровня освещения, соответствующего вектору ошибок. Взвешенное гистограммой значение ошибки может быть вычислено для каждого уровня освещения, для которого был вычислен вектор ошибок.

В некоторых вариантах осуществления набор взвешенных гистограммой значений ошибок может исследоваться 2046, чтобы определить характеристику набора. В некоторых вариантах осуществления эта характеристика набора может быть минимальным значением. В некоторых вариантах осуществления эта характеристика набора может быть минимальным значением в пределах некоторого другого ограничения. В некоторых вариантах осуществления эта характеристика набора может быть минимальным значением, которое удовлетворяет ограничению мощности. В некоторых вариантах осуществления линия, кривая или другая конструкция может подгоняться к набору взвешенных гистограммой значений ошибок и может использоваться для интерполяции между известными значениями ошибок или иначе представить набор взвешенных гистограммой значений ошибок. На основе взвешенных гистограммой значений ошибок и характеристики набора или другого ограничения может быть выбран уровень освещения света источника. В некоторых вариантах осуществления может быть выбран уровень освещения света источника, соответствующий минимальному взвешенному гистограммой значению ошибки.

Как только уровень освещения света источника выбран, этот вариант выбора может сигнализироваться дисплею или записываться с изображением, которое будет использоваться в момент отображения, так что дисплей может использовать выбранный уровень освещения, чтобы отображать целевое изображение.

Фильтр сигнала источника света дисплея, реагирующий на переход сцены

Модуляция света источника может улучшить динамический контраст и уменьшить потребление мощности дисплея, однако модуляция света источника может вызвать раздражающие флуктуации в светимости дисплея. Данные изображения могут быть модифицированы, как объяснено выше, чтобы скомпенсировать большую часть изменений света источника, но этот метод не может полностью скомпенсировать изменения света источника на краях динамического диапазона. Эти раздражающие флуктуации могут также быть уменьшены временной низкочастотной фильтрацией сигнала света источника, чтобы уменьшить значительные изменения уровня света источника и ассоциированные флуктуации. Этот метод может быть эффективным при управлении изменением уровня черного, и, с достаточно длинным фильтром, изменение уровня черного может быть эффективно незаметным.

Однако длинный фильтр, который может охватывать несколько кадров видеопоследовательности, может быть проблематичным при переходах сцены. Например, переход от темной сцены к яркой сцене требует быстрого повышения уровня света источника, чтобы перейти от низкого уровня черного до высокой яркости. Простая временная фильтрация света источника или сигнала задней подсветки ограничивает быстроту реагирования дисплея и приводит к раздражающему постепенному нарастанию яркости изображения вслед за переходом от темной сцены к яркой сцене. Использование фильтра, достаточно длинного, чтобы сделать это нарастание по существу незаметным, приводит к уменьшенной яркости после перехода.

Соответственно, некоторые варианты осуществления настоящего изобретения могут включать в себя обнаружение перехода сцены, и некоторые варианты осуществления могут включать в себя фильтр, который реагирует на наличие переходов сцены в видеопоследовательности.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 84. В этих вариантах осуществления изображение 2050 или данные изображения из него вводятся в детектор 2051 перехода сцены и/или буфер 2052. В некоторых вариантах осуществления один или оба из этих модулей 2051 и 2052 могут генерировать гистограмму изображения, которая может быть передана к другому модулю 2051 и 2052. Изображение 2050 и/или данные изображения могут затем передаваться на модуль 2053 выбора уровня света источника, где соответствующий уровень света источника может быть определен или выбран. Этот выбор или определение могут быть выполнены множеством способов, как обсуждено выше. Выбранный уровень света источника затем сигнализируется модулю 2054 временной фильтрации. Детектор 2051 перехода сцены может использовать данные изображения или гистограмму изображения, чтобы определить, существует ли переход сцены в видеопоследовательности, смежной с текущим кадром или в пределах определенной близости к текущему кадру. Если переход сцены обнаружен, его присутствие сигнализируется модулю 2054 временной фильтрации. Модуль 2054 временной фильтрации может содержать буфер сигнала света источника, так что последовательность сигналов уровня света источника может подвергаться фильтрации. Модуль 2054 временной фильтрации может также содержать множество фильтров или один или более переменных фильтров, чтобы фильтровать сигнал света источника. В некоторых вариантах осуществления модуль 2054 временной фильтрации может содержать фильтр бесконечного импульсного отклика (IIR). В некоторых вариантах осуществления коэффициенты фильтра IIR могут изменяться, чтобы обеспечивать различные отклики фильтра и выходные сигналы.

Один или более фильтров модуля 2054 временной фильтрации может быть зависимым от перехода сцены, причем сигнал перехода сцены от детектора 2051 перехода сцены может воздействовать на характеристики фильтра. В некоторых вариантах осуществления фильтр может полностью обходиться, когда обнаружен переход сцены вблизи текущего кадра. В других вариантах осуществления характеристики фильтра могут просто быть изменены в ответ на обнаружение перехода сцены. В других вариантах осуществления различные фильтры могут быть применены в ответ на обнаружение перехода сцены вблизи текущего кадра. После того как модуль 2054 временной фильтрации выполнил необходимую фильтрацию, сигнал уровня света источника может быть передан к модулю 2055 управления светом источника.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 85. В этих вариантах осуществления функции обнаружения перехода сцены и ассоциированные функции временной фильтрации могут быть связаны с модулем компенсации изображения. В некоторых вариантах осуществления изображение 2060 или данные изображения, полученные из него, вводятся в детектор 2061 перехода сцены и/или буфер 2062. В некоторых вариантах осуществления один или оба из этих модулей 2061 и 2062 могут генерировать гистограмму изображения, которая может быть передана к другому модулю 2061 и 2062. Изображение 2060 и/или данные изображения могут затем передаваться на модуль 2063 выбора уровня света источника, где соответствующий уровень света источника может быть определен или выбран. Этот выбор или определение могут быть выполнены множеством способов, как обсуждено выше. Выбранный уровень света источника затем сигнализируется модулю 2064 временной фильтрации. Детектор 2061 перехода сцены может использовать данные изображения или гистограмму изображения, чтобы определить, существует ли переход сцены в видеопоследовательности, смежной с текущим кадром или в пределах определенной близости к текущему кадру. Если переход сцены обнаружен, его присутствие сигнализируется модулю 2064 временной фильтрации. Модуль 2064 временной фильтрации может содержать буфер сигнала света источника, так что последовательность сигналов уровня света источника может подвергаться фильтрации. Модуль 2064 временной фильтрации может также содержать множество фильтров или один или более переменных фильтров, чтобы фильтровать сигнал света источника. В некоторых вариантах осуществления модуль 2064 временной фильтрации может содержать фильтр бесконечного импульсного отклика (IIR). В некоторых вариантах осуществления коэффициенты фильтра IIR могут изменяться, чтобы обеспечивать различные отклики фильтра и выходные сигналы.

Один или более фильтров модуля 2064 временной фильтрации может быть зависимым от перехода сцены, причем сигнал перехода сцены от детектора 2061 перехода сцены может воздействовать на характеристики фильтра. В некоторых вариантах осуществления фильтр может полностью обходиться, когда обнаружен переход сцены вблизи текущего кадра. В других вариантах осуществления характеристики фильтра могут просто быть изменены в ответ на обнаружение перехода сцены. В других вариантах осуществления различные фильтры могут быть применены в ответ на обнаружение перехода сцены вблизи текущего кадра. После того как модуль 2064 временной фильтрации выполнил необходимую фильтрацию, сигнал уровня света источника может быть передан к модулю 2065 управления светом источника и к модулю 2066 компенсации изображения. Модуль 2066 компенсации изображения может использовать сигнал уровня света источника, чтобы определить соответствующий алгоритм компенсации для изображения 2060. Эта компенсация может быть определена различными методами, описанными выше. Как только компенсация изображения определена, она может быть применена к изображению 2060, и измененное изображение 2067 может быть отображено с использованием уровня света источника, посланного в модуль 2065 управления светом источника.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 86. В этих вариантах осуществления входное изображение 2070 может быть введено в модуль 2081 компенсации изображения и модуль 2071 обработки изображения. В модуле 2071 обработки изображения данные изображения могут быть извлечены, подвергнуты субдискретизации или иначе обработаны, чтобы обеспечить возможность осуществления функций других элементов этих вариантов осуществления. В некоторых вариантах осуществления модуль 2071 обработки изображения может генерировать гистограмму, которую можно послать в модуль выбора задней подсветки (BLS) 2072, содержащий модуль 2073 буфера гистограммы и модуль 2084 детектора перехода сцены, а также модуль 2074 искажения и модуль 2075 временной фильтрации.

В модуле 2073 буфера гистограммы, гистограммы из последовательности кадров изображения могут сравниваться и анализироваться. Модуль 2084 детектора перехода сцены может также сравнивать и анализировать гистограммы, чтобы определить присутствие перехода сцены вблизи текущего кадра. Данные гистограммы могут быть переданы к модулю 2074 искажения, где характеристики искажения могут быть вычислены 2077 для одного или более уровней света источника или уровней освещения задней подсветки. Определенный уровень освещения света источника может быть определен путем минимизации 2078 характеристик искажения.

Этот выбранный уровень освещения можно затем послать на модуль 2075 временной фильтрации. Модуль временной фильтрации может также получить сигнал обнаружения перехода сцены от модуля 2084 детектора перехода сцены. На основе сигнала обнаружения перехода сцены временной фильтр 2079 может быть применен к сигналу уровня освещения света источника. В некоторых вариантах осуществления не может быть применен никакой фильтр при обнаружении перехода сцены вблизи текущего кадра. В других вариантах осуществления фильтр, применяемый, когда обнаружено присутствие перехода сцены, будет отличаться от фильтра, применяемого, когда переход сцены не является ближайшим.

Отфильтрованный сигнал уровня освещения света источника можно послать в модуль 2080 управления светом источника и в модуль 2081 компенсации изображения. Модуль компенсации изображения может использовать отфильтрованный уровень освещения света источника, чтобы определить соответствующую кривую коррекции градационной шкалы или другой алгоритм коррекции, чтобы скомпенсировать любое изменение в уровне освещения света источника. В некоторых вариантах осуществления для этой цели может генерироваться кривая 2082 коррекции градационной шкалы или кривая гамма коррекции. Эта кривая коррекции может затем быть применена к входному изображению 2070, чтобы создать измененное изображение 2083. Измененное изображение 2083 может затем отображаться с уровнем освещения света источника, который был послан в модуль 2080 управления источником света.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 87. В этих вариантах осуществления, входное изображение 2090 или данные, полученные из него, вводятся в пространственный низкочастотный фильтр 2096, буфер/процессор 2092, модуль 2091 детектора перехода сцены и сумматор 2098. Пространственный низкочастотный фильтр 2096 может создать низкочастотное изображение 2097, которое может быть передано к модулю 2101 генерации градационной шкалы сохранения яркости. Низкочастотное изображение 2097 может также посылаться в сумматор 2098 для объединения с входным изображением 2090, чтобы сформировать высокочастотное изображение 2099.

Модуль 2091 детектора перехода сцены может использовать входное изображение или данные из него, такие как гистограмма, а также данные, хранящиеся в буфере/процессоре 2092, чтобы определить, имеется ли переход сцены вблизи текущего кадра. Если обнаружен переход сцены, то сигнал может быть послан в модуль 2094 временной фильтрации. Входное изображение 2090 или данные, полученные из него, посылается в буфер/процессор 2092, где изображения, данные изображения и гистограммы могут сохраняться и сравниваться. Эти данные можно послать в модуль 2093 выбора уровня света источника для учета при вычислении соответствующего уровня освещения света источника. Уровень, вычисленный модулем 2093 выбора уровня света источника, можно послать в модуль 2094 временной фильтрации 2094 для фильтрации. Примерные фильтры, используемые для этого процесса, описаны ниже в этом документе. Фильтрация сигнала уровня света источника может быть адаптивной к присутствию перехода сцены вблизи текущего кадра. Как обсуждено ниже, модуль 2094 временной фильтрации может выполнять фильтрацию более агрессивно, когда переход сцены не является ближайшим.

После любой фильтрации уровень света источника можно послать в модуль 2095 управления светом источника для использования при отображении входного изображения или измененного изображения, основанного на нем. Выходной сигнал модуля 2094 временной фильтрации можно также послать в модуль 2101 генерации градационной шкалы сохранения яркости, который затем будет генерировать кривую коррекции градационной шкалы и применять эту кривую коррекции к низкочастотному изображению 2097. Это скорректированное низкочастотное изображение может затем быть объединено с высокочастотным изображением 2099, чтобы сформировать изображение 2102 улучшенного качества. В некоторых вариантах осуществления высокочастотное изображение 2099 может также обрабатываться с кривой усиления перед объединением со скорректированным низкочастотным изображением.

Аспекты некоторых вариантов осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 88. В этих вариантах осуществления определяется 2110 уровень освещения света источника для текущего кадра. Также определяется 2111 присутствие перехода сцены вблизи текущего кадра. Если переход сцены является ближайшим, то применяется 2112 второй процесс временной фильтрации к сигналу уровня освещения света источника для текущего кадра. Если переход сцены не является ближайшим к текущему кадру, то первый процесс 2113 временной фильтрации применяется к сигналу уровня освещения света источника для текущего кадра. После того как любая фильтрация выполнена, сигнал уровня освещения света источника посылается в дисплей для назначения 2114 уровня освещения для текущего кадра. В некоторых вариантах осуществления второй процесс 2112 фильтрации может просто обойти любую фильтрацию, когда переход сцены является ближайшим.

Аспекты некоторых вариантов осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 89. В этих вариантах осуществления изображение анализируется 2120, чтобы определить данные, относящиеся к выбору уровня света источника. Этот процесс может включать в себя генерацию гистограммы и сравнение. Соответствующий уровень света источника выбирается 2121 на основе данных изображения. Присутствие перехода сцены может затем определяться путем сравнения 2122 данных изображения из одного или более предыдущих кадров и данных изображения из текущего кадра. В некоторых вариантах осуществления это сравнение может включать в себя сравнение гистограмм. Если переход сцены не существует 2123, первый процесс фильтрации может быть применен 2125 к уровню света источника текущего кадра. Этот процесс может настроить значение уровня света источника для текущего кадра на основе уровней, используемых для предыдущих кадров. Если обнаружен 2123 переход сцены, то второй процесс фильтрации 2124 может быть применен к уровню освещения света источника. В некотором варианте осуществления этот второй процесс фильтрации может включать в себя пропуск первого процесса фильтрации или использования менее агрессивного процесса фильтрации. После любой фильтрации уровень освещения света источника можно послать в дисплей для использования при отображении текущего кадра.

Способы и системы некоторых вариантов осуществления настоящего изобретения могут быть проиллюстрированы со ссылкой на примерный сценарий с тестовой видеопоследовательностью. Последовательность состоит из черного фона с белым объектом, который появляется и исчезает. Как черные, так и белые значения следуют задней подсветке независимо от компенсации изображения. Задняя подсветка, выбираемая на кадр, изменяется от нуля, на черных кадрах, до высокого значения, чтобы достигнуть белого, и назад к нулю. График уровня света источника или задней подсветки в зависимости от номера кадра показан на фиг. 90. Полученное изображение испытывает изменение в уровне черного. Видеопоследовательность представляет черный фон с появляющимся белым квадратом. Первоначально задняя подсветка низка, и черная сцена является очень темной. Когда белый квадрат появляется, задняя подсветка нарастает, и заметно увеличение уровня черного до низкого серого. Когда квадрат исчезает, задняя подсветка уменьшается, и фон снова является очень темным. Это изменение в уровне черного может быть мешающим. Есть два способа устранить это изменение уровня черного: искусственно повысить черный в темных сценах или управлять изменением задней подсветки. Подъем уровня черного нежелателен, так что способы и системы настоящего изобретения управляют изменением задней подсветки так, чтобы изменение не было столь значительным или заметным.

Временная фильтрация

Решение этих вариантов осуществления заключается в управлении изменением уровня черного путем управления изменением в сигнале задней подсветки. Зрительная система человека нечувствительна к низкочастотному изменению в светимости. Например, во время восхода солнца яркость неба постоянно изменяется, но изменение является достаточно медленным, чтобы не быть заметным. Количественные измерения суммированы во временной функции чувствительности контраста (CSF), показанной на фиг. 91. Этот принцип может использоваться в некоторых вариантах осуществления, чтобы проектировать фильтр, который ограничивает изменение уровня черного.

В некоторых примерных вариантах осуществления, однополюсный фильтр IIR может использоваться для "сглаживания" сигнала задней подсветки. Фильтр может быть основан на значениях истории сигнала задней подсветки. Эти варианты осуществления работают хорошо, когда будущие значения не доступны.

Уравнение 51: Фильтр IIR

где BL(i) является значением задней подсветки, основанным на содержании изображения, и S(i) - сглаженное значение задней подсветки, основанное на текущем значении и истории. Этот фильтр является фильтром IIR с полюсом в α. Передаточная функция этого фильтра может быть выражена как:

Уравнение 52: Передаточная функция фильтра

Диаграмма Боде этой функции показана на следующей фиг. 92.

Диаграмма частотной характеристики показывает, что фильтр является низкочастотным фильтром.

В некоторых вариантах осуществления настоящего изобретения фильтр может варьироваться на основе наличия перехода сцены вблизи текущего кадра. В некоторых из этих вариантов осуществления могут использоваться два значения для полюса альфа. Эти значения могут переключаться в зависимости от сигнала обнаружения перехода сцены. В примерном варианте осуществления, если никакого перехода сцены не обнаружено, рекомендованное значение - 1000/1024. В некоторых примерных вариантах осуществления рекомендуются значения между 1 и 1/2. Однако когда обнаружен переход сцены, это значение может быть заменено на 128/1024. В некоторых вариантах осуществления значения между 1/2 и 0 могут использоваться для этого коэффициента. Эти варианты осуществления обеспечивают более ограниченную величину сглаживания по переходам сцены, что было найдено полезным.

График на фиг. 93 иллюстрирует отклик примерной системы, которая использует временную фильтрацию задней подсветки, для последовательности, показанной на фиг. 90, что включало появление белой области на черном фоне между кадром 60 в 2141 и кадром 120 в 2143. Нефильтрованная задняя подсветка увеличивается с нуля 2140a, перед появлением белой области, до устойчивого высокого значения 2140b, когда появляется белая область. Нефильтрованная задняя подсветка затем понижается мгновенно до нуля снова 2140c, когда белая область исчезает из последовательности в 2143. Это имеет эффект осветления яркой белой области, но также и имеет побочный эффект увеличения черного фона до низкого серого. Таким образом фон изменяется, когда белая область появляется и исчезает. Отфильтрованная задняя подсветка 2142a, b и c ограничивает изменение задней подсветки так, чтобы ее вероятность была незначительной. Отфильтрованная задняя подсветка начинается в нулевом значении 2142a перед появлением белой области в 2141, затем более медленно увеличивается 2142b во времени. Когда белая область исчезает, значению задней подсветки разрешается уменьшаться 2142c с управляемой скоростью. Белая область отфильтрованной системы немного более тускла, чем нефильтрованной системы, но изменение в фоне намного менее заметно.

В некоторых вариантах осуществления способность к реакции временного фильтра может быть проблемой. Это особенно заметно при сравнении с системой без такого ограничения по способности к реакции задней подсветки. Например, при фильтрации через переход сцены отклик задней подсветки ограничен фильтром, используемым для управлением флуктуациями уровня черного. Эта проблема иллюстрируется на фиг. 94. График на фиг. 94 моделирует выход системы после резкого перехода от черного к белому в 2150. Нефильтрованная система 2151 немедленно реагирует, поднимая заднюю подсветку от нуля 2151а до повышенного уровня 2151b, чтобы получить яркий белый. Отфильтрованная система медленно повышается с нуля 2152a вдоль кривой 2152b вслед за переходом от черного к белому. В нефильтрованной системе изображение немедленно переходит к значению серого. В отфильтрованной системе серый медленно повышается до белого по мере медленного увеличения задней подсветки. Таким образом, способность к реакции отфильтрованной системы к быстрым изменениям сцены уменьшается.

Обнаружение перехода сцены

Некоторые варианты осуществления настоящего изобретения включают в себя процесс обнаружения перехода сцены. Когда обнаружены переходы сцены, временная фильтрация может быть изменена, чтобы обеспечить возможность быстрого отклика задней подсветки. В пределах сцены изменение в задней подсветке ограничено фильтрацией для управления изменением в уровне черного. При переходе сцены краткие артефакты и изменение в видеосигнале незаметны из-за эффектов маскирования зрительной системы человека.

Переход сцены существует, когда текущий кадр очень отличается от предыдущего кадра. Когда нет перехода сцены, различие между последовательными кадрами является малым. Чтобы способствовать обнаружению перехода сцены, измерение различия между двумя изображениями может быть определено, и порог может быть установлен, чтобы дифференцировать переход сцены от отсутствия перехода сцены.

В некоторых вариантах осуществления способ обнаружения перехода сцены может быть основан на корреляции различия гистограмм. Более конкретно, гистограммы двух последовательных или ближайших кадров Н₁ и H₂ могут быть вычислены. Различие между двумя изображениями может быть определено как расстояние гистограмм.

Уравнение 53: Примерная метрика расстояния гистограмм

где i и j - индексы элемента разрешения, N - число элементов разрешения, и H₁ (i) - значение i-го элемента разрешения гистограммы. Гистограмма нормализована так, чтобы полная сумма значений элементов разрешения была равна 1. В общих чертах, если различие каждого элемента разрешения является большим, то расстояние D_cor является большим.

Чтобы классифицировать переход сцены, должен быть определен порог в дополнение к измерению расстояния изображения. В некоторых вариантах осуществления этот порог может быть определен опытным путем и может быть установлен как 0.001.

В некоторых вариантах осуществления, в пределах сцены, может использоваться фильтрация, принятая выше, чтобы ограничить флуктуации уровня черного. Эти варианты осуществления будут просто использовать систему постоянного фильтра, которая не реагирует на переходы сцен. Видимые флуктуации в уровне черного не происходят, однако отклик ограничен.

В некоторых вариантах осуществления, если обнаружен переход сцены, фильтр может быть переключен на фильтр, имеющий более быстрый отклик. Это позволяет задней подсветке быстро нарастать после перехода от черного к белому, но все же не с таким значительным повышением, как в случае нефильтрованного сигнала. Как показано на фиг. 95, нефильтрованный сигнал перескакивает с нуля на максимальное значение 2016 и остается на этом значении после того, как белая область появится при 2060. Более агрессивный фильтр, используемый в пределах сцен 2063, переходит слишком медленно для переходов сцен, однако модифицированный фильтр 2062, используемый в местоположениях переходов сцен, допускает быстрое нарастание, за которым следует постепенное увеличение до максимального значения.

Варианты осуществления настоящего изобретения, которые включают в себя обнаружение переходов сцен и адаптивную временную фильтрацию, спроектированную, чтобы сделать изменения в уровне черного незаметными, могут быть применены агрессивно в пределах сцены при сохранении быстроты реагирования задней подсветки на переходы сцен с большими изменениями яркости с переходом на адаптивный фильтр.

Варианты осуществления Y-усиления низкой сложности

Некоторые варианты осуществления настоящего изобретения разработаны для работы в системе низкой сложности. В этих вариантах осуществления свет источника или выбор уровня задней подсветки могут быть основаны на гистограмме яркости и минимизации метрики искажения на основе этой гистограммы. В некоторых вариантах осуществления алгоритм компенсации может использовать характеристику Y-усиления. В некоторых вариантах осуществления компенсация изображения может включать в себя манипуляцию параметрами для управления обработкой Y-усиления. В некоторых ситуациях обработка Y-усиления может полностью скомпенсировать сокращение света источника на изображениях шкалы яркостей, но будет снижать насыщенность цвета на насыщенных изображениях. Некоторые варианты осуществления могут управлять характеристикой Y-усиления, чтобы предотвратить чрезмерное снижение насыщенности. Некоторые варианты осуществления могут использовать параметр силы Y-усиления, чтобы управлять снижением насыщенности. В некоторых вариантах осуществления уровень Y-усиления 25% оказался эффективным.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 96. В этих вариантах осуществления веса 2074 искажения для различных уровней освещения задней подсветки могут быть вычислены и сохранены, например, в ROM для доступа во время онлайновой обработки. В некоторых вариантах осуществления коэффициенты 2075 фильтра или другие характеристики фильтра или параметры могут быть сохранены, например, в ROM для выбора во время обработки.

В этих вариантах осуществления входное изображение 2070 вводится в процесс 2071 вычисления гистограммы, который вычисляет гистограмму изображения, которая может быть сохранена в буфере 2072 гистограммы. В некоторых вариантах осуществления гистограмма для предыдущего кадра может использоваться, чтобы определить уровень задней подсветки для текущего кадра. В некоторых вариантах осуществления модуль 2076 искажения может использовать значения гистограммы из буфера 2072 гистограммы и веса 2074 искажения, чтобы определить характеристики искажения для различных уровней освещения задней подсветки. Модуль 2076 искажения может затем выбрать уровень освещения задней подсветки, который уменьшает или минимизирует 2078 расчетное искажение. В некоторых вариантах осуществления Уравнение 54 может использоваться, чтобы определить значение искажения.

Уравнение 54: Примерная метрика искажения

где BL представляет уровень освещения задней подсветки, Weight - значение веса искажения, связанное с уровнем освещения задней подсветки и элементом разрешения, и H - значение элемента разрешения гистограммы.

После выбора уровня освещения задней подсветки сигнал задней подсветки может быть фильтрован с временным фильтром 2080 в модуле 2079 фильтра. Модуль 2079 фильтра может использовать коэффициенты или характеристики 2075 фильтра, которые были предопределены и сохранены. Как только любая фильтрация выполнена, отфильтрованный окончательный сигнал задней подсветки может быть послан на дисплей или в модуль 2081 управления задней подсветкой дисплея.

Отфильтрованный окончательный сигнал задней подсветки может также быть послан в модуль 2083 проектирования Y-усиления, где он может использоваться в определении процесса компенсации изображения. В некоторых вариантах осуществления этот процесс компенсации может включать в себя применение кривой градационной шкалы к яркостному каналу изображения. Кривая градационной шкалы Y-усиления может быть определена одной или более точками, между которыми может быть выполнена интерполяция. В некоторых вариантах осуществления процесс градационной шкалы Y-усиления может включать в себя максимальную точку точности (MFP), выше которой может использоваться скругленная кривая. В этих вариантах осуществления один или более линейных сегментов могут определить кривую градационной шкалы ниже MFP, и отношение скругленной кривой может определить кривую выше MFP. В некоторых вариантах осуществления часть скругленной кривой может быть определена Уравнением 55.

Уравнение 55: Примерное определение наклона для скругленной кривой

Эти варианты осуществления выполняют компенсацию изображения только на канале светимости и обеспечивают полную компенсацию для изображений шкалы серого, но этот процесс может вызвать снижение насыщения в цветных изображениях. Чтобы избежать чрезмерного снижения насыщения в цветных изображениях, некоторые варианты осуществления могут включать в себя фактор интенсивности компенсации, который может быть определен в модуле 2082 управления интенсивностью. Поскольку модуль 2083 проектирования Y-усиления работает только для яркостных данных, цветовые характеристики не известны, и модуль управления уровнем должен работать без знания фактических интенсивностей насыщенности цвета. В некоторых вариантах осуществления фактор или параметр интенсивности могут быть введены в определение кривой градационной шкалы, как показано в Уравнении 56.

Уравнение 56: Примерное определение наклона для кривой градационной шкалы

где S - фактор интенсивности, BL - уровень освещения задней подсветки, и γ - гамма значение дисплея. Примерные кривые градационной шкалы показаны на фиг. 97.

Варианты осуществления эффективного вычисления

В некоторых вариантах осуществления настоящего изобретения выбор задней подсветки или света источника могут быть основаны на уменьшении ошибки между идеальным дисплеем и дисплеем конечного отношения контраста, таким как LCD. Моделируются идеальные дисплеи и дисплеи конечного CR. Ошибка между идеальным дисплеем и дисплеем конечного CR для каждого уровня яркости определяет вектор ошибок для каждого значения задней подсветки. Искажение изображения определяется взвешиванием гистограммы изображения вектором ошибок на каждом уровне задней подсветки.

В некоторых вариантах осуществления дисплеи могут быть смоделированы, используя функцию мощности, гамму, плюс аддитивный член для учета мерцания в LCD с конечным CR, заданным в Уравнении 57. Это модель гамма-сдвига-усиления мерцания с нулем сдвига, выраженным с использованием отношение контраста CR дисплея.

Уравнение 57: Модели дисплея

Модели дисплея графически представлены на фиг. 98. Показаны идеальный дисплей 2200 и дисплей CR с 25% 2201 и 75% 2202 задней подсветки.

Максимум и минимум LCD с конечным CR определяют верхний и нижний пределы идеального дисплея x_max и x_min, которые могут быть достигнуты с компенсацией изображения. Эти пределы зависят от задней подсветки bl, гаммы γ и отношения контраста CR. Эти пределы ограничения, определенные моделями, получены в итоге в Уравнении 58.

Уравнение 58: Пределы ограничения модели

В некоторых вариантах осуществления максимальный и минимальный пределы могут использоваться, чтобы определить вектор ошибок для каждого уровня задней подсветки. Примерная ошибка, показанная ниже, основана на квадратичной ошибке, вызванной ограничением. Компоненты вектора ошибок являются ошибкой между выходом идеального дисплея и ближайшим выходом на дисплее с конечным отношением контраста на указанном уровне задней подсветки. Алгебраически они определены в Уравнении 59.

Уравнение 59: Векторы ошибок дисплея

Типовые векторы ошибок представлены графически на фиг. 99. Отметим, что 100%-ная задняя подсветка имеет ошибку при низких кодовых значениях, вызванных повышенным уровнем черного по сравнению с идеальным дисплеем. Они не зависят от данных изображения, зависящих только от уровня задней подсветки и кодового значения.

В некоторых вариантах осуществления рабочие показатели окончательного CR LCD с модуляцией задней подсветки и компенсацией изображения могут быть получены в итоге с набором векторов ошибок для каждой задней подсветки, как определено выше. Искажение изображения при каждом значении задней подсветки может быть выражено как сумма искажений значений пикселей изображения (Уравнение 60). Как показано, в этих вариантах осуществления оно может быть вычислено из гистограммы изображения. Искажение изображения может быть вычислено для каждой задней подсветки bl путем взвешивания вектора ошибок для bl гистограммой изображения. Результатом является мера искажения изображения на каждом уровне задней подсветки.

Уравнение 60: Искажение изображения в зависимости от задней подсветки

Примерный вариант осуществления может быть продемонстрирован с тремя кадрами из последнего стандарта IEC для измерения TV мощности. Гистограммы изображения показаны на фиг. 100. Кривые искажения в зависимости от задней подсветки для гистограмм изображения по фиг. 100 и векторов ошибок дисплея по фиг. 99 показаны на фиг. 101.

В некоторых вариантах осуществления алгоритм выбора задней подсветки может работать путем минимизации искажения изображения между идеальными и окончательными CR дисплеями.

Некоторые варианты осуществления настоящего изобретения включают в себя структуру искажения, которая включает в себя как отношение контраста дисплея, так и способность включать различные метрики ошибок. Некоторые варианты осуществления могут работать путем минимизации количества ограниченных (вырезанных) пикселей как всего или части процесса выбора задней подсветки. Фиг. 102 сравнивает примерную сумму искажений квадратичной ошибки (SSE) с количеством ограниченных пикселей (# ограниченных) на одном кадре тестового набора IEC. SSE учитывает величину ошибки в дополнение к количеству ограниченных пикселей и сохраняет светлые участки изображения. Для этого изображения минимум SSE возникает при намного более высокой задней подсветке, чем минимум числа ограниченных пикселей. Это различие возникает из-за SSE, учитывающей величину ошибки ограничения в дополнение к количеству ограниченных пикселей. Кривая, представляющая число ограниченных пикселей, не является гладкой и имеет много локальных минимумов. Кривая SSE является гладкой, и местный минимум является глобальным минимумом, делающим эффективным поиск при субдискретизации минимальной SSE.

Вычисление с этой структурой искажения не является столь трудным, как это может сначала показаться. В некоторых вариантах осуществления выбор задней подсветки может быть выполнен однократно на кадр, а не с частотой пикселей. Как указано выше, веса ошибок дисплея зависят только от параметров дисплея и задней подсветки, но не от содержания изображения. Таким образом, моделирование дисплея и вычисление вектора ошибок могут быть сделаны в режиме офлайн, если желательно. Вычисление онлайн может включать в себя вычисление гистограммы, взвешивание векторов ошибок гистограммой изображения и выбор минимального искажения. В некоторых вариантах осуществления набор значений задней подсветки, используемых при минимизации искажения, может субдискретизироваться и эффективно определять местонахождение минимума искажения. В примерном варианте осуществления тестировались 17 уровней задней подсветки.

В некоторых вариантах осуществления настоящего изобретения моделирование дисплея, вычисление вектора ошибок, вычисление гистограммы, взвешивание векторов ошибок гистограммой изображения и выбор задней подсветки для минимального искажения могут быть выполнены онлайн. В некоторых вариантах осуществления моделирование дисплея и вычисление вектора ошибок могут быть выполнены офлайн перед фактической обработкой изображения, в то время как вычисление гистограммы, взвешивание векторов ошибок гистограммой изображения и выбор задней подсветки для минимального искажения выполняются онлайн. В некоторых вариантах осуществления точки ограничения для каждого уровня задней подсветки могут быть вычислены офлайн, в то время как вычисление вектора ошибок, вычисление гистограммы, взвешивание вектора ошибок гистограммой изображения и выбор задней подсветки для минимального искажения выполняются онлайн.

В некоторых вариантах осуществления настоящего изобретения поднабор полного диапазона уровней освещения света источника может быть выбран для рассмотрения при выборе уровня для изображения. В некоторых вариантах осуществления этот поднабор может быть выбран квантованием полного диапазона уровней. В этих вариантах осуществления только уровни в поднаборе принимаются во внимание для выбора. В некоторых вариантах осуществления размер этого поднабора уровней освещения может диктоваться ограничениями памяти или некоторым другим ограничением ресурса.

В некоторых вариантах осуществления этот поднабор уровней освещения света источника может быть дополнительно ограничен во время обработки путем ограничения значений поднабора, из которых делается выбор, до диапазона, связанного с уровнем, выбранным для предыдущего кадра. В некоторых вариантах осуществления этот ограниченный поднабор может быть ограничен значениями в пределах данного диапазона уровней, выбранного для последнего кадра. Например, в некоторых вариантах осуществления выбор уровня освещения света источника может быть ограничен ограниченным диапазоном 7 значений с обеих сторон от ранее выбранного уровня.

В некоторых вариантах осуществления настоящего изобретения ограничения на диапазон уровней освещения света источника могут зависеть от обнаружения перехода сцены. В некоторых вариантах осуществления алгоритм поиска уровня освещения света источника может выполнять поиск в ограниченном диапазоне из поднабора уровней, когда никакой переход сцены не обнаружен вблизи текущего кадра, и алгоритм может выполнять поиск во всем поднаборе уровней освещения, когда обнаружен переход сцены.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 103. В этих вариантах осуществления данные изображения из кадра 2250 исходного входного изображения вводятся в модуль 2251 обнаружения перехода сцены, чтобы определить, имеется ли переход сцены вблизи текущего входного кадра 2250. Данные изображения, связанные с кадрами, смежными с текущим кадром, могут также быть введены в модуль 2251 обнаружения перехода сцены. В некоторых вариантах осуществления эти данные изображения могут включать в себя данные гистограммы. Модуль обнаружения перехода сцены может затем обработать эти данные изображения, чтобы определить, имеется ли переход сцены вблизи текущего кадра. В некоторых вариантах осуществления переход сцены может быть обнаружен, когда гистограмма предыдущего кадра и гистограмма текущего кадра отличаются на величину порога. Результаты процесса обнаружения перехода сцены затем вводятся в модуль 2252 искажения, где присутствие перехода сцены может использоваться, чтобы определить, какие значения освещения света источника следует учитывать в процессе выбора уровня освещения света источника. В некоторых вариантах осуществления можно учитывать более широкий диапазон уровней освещения, если переход сцены является ближайшим. В некоторых вариантах осуществления ограниченный поднабор уровней освещения, связанных с уровнем, выбранным для последнего кадра изображения, может использоваться в процессе выбора. Соответственно, процесс обнаружения перехода сцены оказывает влияние на диапазон значений, которые учитываются в процессе освещения света источника. В некоторых вариантах осуществления, когда обнаружен переход сцены, больший диапазон уровней освещения учитывается в процессе выбора для текущего кадра. В некоторых вариантах осуществления, когда обнаружен переход сцены, диапазон уровней освещения, который не связан с уровнем, выбранным для предыдущего кадра, используется в процессе выбора для текущего кадра, в то время как диапазон уровней освещения, который сосредоточен вокруг уровня, выбранного для предыдущего кадра, используется в процессе выбора, когда не обнаружен переход сцены.

После того как диапазон или поднабор уровней освещения-кандидатов определен по отношению к присутствию перехода сцены, значения искажения для каждого уровня освещения-кандидата могут быть определены 2253. Один из уровней освещения может затем быть выбран 2254 на основе минимального значения искажения или некоторого другого критерия. Этот выбранный уровень освещения может затем быть сообщен к модулю 2255 управления светом источника или задней подсветки для использования при отображении текущего кадра. Выбранный уровень освещения может также использоваться как входной для процесса 2256 компенсации изображения для вычисления кривой градационной шкалы или подобного инструмента компенсации. Скомпенсированное или улучшенное по качеству изображение 2257, получаемое в результате этого процесса, может затем быть отображено.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 104. В этих вариантах осуществления изображение или последовательность изображений анализируется 2260, чтобы определить присутствие перехода сцены, ближайшей к текущему кадру. Если обнаружен 2263 переход сцены, то больший набор уровней освещения света источника можно учитывать в процессе выбора уровня освещения света источника. Этот больший набор относителен в размере к поднабору, который может использоваться, когда не обнаружен переход сцены. В некоторых вариантах осуществления этот больший набор может также быть не связанным со значением, используемым для предыдущего кадра. Когда переход сцены не обнаружен 2262, ограниченный поднабор уровней освещения может использоваться в процессе выбора. В некоторых вариантах осуществления этот ограниченный поднабор может также быть связан со значением, используемым для предыдущего кадра. Например, в некоторых вариантах осуществления, ограниченный поднабор может быть поднабором, сконцентрированным вокруг значения, используемого для предыдущего кадра. Как только ограничения на диапазон уровней освещения определены, уровень освещения света источника может быть выбран 2264 из соответствующего диапазона или поднабора.

Термины и выражения, которые использовались в приведенном выше описании, используются в нем как термины описания, а не ограничения, и нет никакого намерения в использовании таких терминов и выражений, как исключающих эквивалентность признаков, показанных и описанных, или их частей, при этом должно быть понятно, что объем изобретения определяется и ограничивается только нижеследующей формулой изобретения.

Реферат

Изобретение относится к способам определения параметра кривой настройки градационной шкалы. Техническим результатом является усиление изображения, формируемого дисплеями, которые используют излучатели света, за счет осуществления настройки яркости пикселей и настройки источника света дисплея на различные уровни в соответствии с характеристиками изображения. Процесс вычисления гистограммы вычисляет гистограмму изображения. Модуль искажения использует значения гистограммы и веса искажения, чтобы определить характеристики искажения для различных уровней освещения задней подсветки, затем выбирает уровень освещения задней подсветки, который снижает или минимизирует вычисленное искажение. После выбора уровня освещения задней подсветки сигнал задней подсветки фильтруется временным фильтром в модуле фильтрации. Модуль проектирования Y-усиления используется для определения процесса компенсации изображения. Этот процесс компенсации содержит применение кривой градационной шкалы к яркостному каналу изображения. 3 н. и 17 з.п. ф-лы, 107 ил.

Формула

6. Способ по п.1, в котором упомянутая генерация кривой настройки градационной шкалы содержит использование следующего уравнения:

где S - коэффициент интенсивности, BL - отфильтрованный уровень освещения света источника, γ - значение гаммы дисплея.

10. Способ по п.7, в котором упомянутое определение уровней ограничения содержит использование следующего уравнения:

,
где x_min и x_max - пределы ограничения, CR - отношение контраста дисплея, b1 - уровень освещения света источника и γ - значение гаммы дисплея.

11. Способ по п.7, в котором упомянутое определение векторов ошибок отображения содержит использование следующего уравнения:

где x_min и x_max - пределы ограничения, х - кодовое значение изображения и bl - уровень освещения света источника.

12. Способ по п.7, в котором упомянутое взвешивание упомянутых значений элементов разрешения гистограммы содержит использование следующего уравнения:

где bl - уровень освещения света источника, I(i,j) - значение пикселя изображения и

- вектор ошибок отображения.