Координатная привязка медицинских изображений - RU2677764C2

Чертежи

Описание

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к способу и устройству обработки изображений для координатной привязки по меньшей мере двух изображений объекта, например, срезов при компьютерной томографии (КТ) и(или) магниторезонансной томографии (МРТ).

УРОВЕНЬ ТЕХНИКИ

Документ US 2013/0182925 A1 раскрывает способ начальной координатной привязки первого набора изображений и второго набора изображений. Дальнейшая координатная привязка изображений выполняется в области, выбираемой автоматически или вручную. Начальная координатная привязка может быть, например, преобразованием в свободной форме, в то время как последующая координатная привязка является жесткой координатной привязкой. На заключительном этапе начальная и последующая координатные привязки могут быть объединены.

Документ US 2005/065421 A1 раскрывает способ, в котором для первого анатомического и функционального изображений координатная привязка выполняется совместно, и для второго анатомического и функционального изображений, полученных на более позднем этапе, координатная привязка выполняется совместно. Глобальная жесткая координатная привязка выполняется для первого и второго анатомического изображений. Более того, интересующий объем (область интереса, или ОИ) идентифицируется в первом комбинированном наборе данных изображений, координатно привязанном совместно, и локальная нежесткая координатная привязка выполняется для этой ОИ и соответствующей ОИ в наборе изображений с глобальной координатной привязкой.

Документ WO 2007/066294 A2 раскрывает процедуру, в которой несколько координатных привязок первого изображения и второго изображения отображаются на дисплее во время медицинского вмешательства. Врач может затем визуально выбрать одну из координатных привязок для последующего использования.

Документ WO 20121025855 A1 раскрывает координатную привязку анатомических изображений и эмиссионных изображений. В одном варианте осуществления за глобальной жесткой координатной привязкой следует локальная нежесткая привязка выделенной области интереса.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В свете вышеизложенного было бы желательно иметь средства, позволяющие выполнять улучшенную координатную привязку изображений.

Эта цель рассмотрена в описании устройства обработки изображений в соответствии с п. 1 Формулы изобретения, способ - в соответствии с п. 2 и медицинский аппарат формирования изображений - в соответствии с п. 3. Предпочтительные способы осуществления раскрыты в зависимых пунктах Формулы изобретения.

В соответствии с первым аспектом, вариант осуществления изобретения относится к устройству обработки изображений, которое может выполнять координатную привязку по меньшей мере двух изображений объекта, упомянутое устройство содержит следующие компоненты:

Первый модуль, ниже называемый «модуль глобальной координатной привязки», служащий для выполнения координатной привязки (называемой «глобальной координатной привязкой») по меньшей мере двух изображений, используя заданный алгоритм координатной привязки с первым вектором параметров.

Второй модуль, ниже называемый «модуль выбора», служащий для выбора заданной области интереса, называемой «ОИ», на этих изображениях.

Третий модуль, ниже называемый «модуль локальной координатной привязки», служащий для выполнения по меньшей мере одной координатной привязки (называемой «локальная координатная привязка») изображений внутри выбранной ОИ с использованием вышеупомянутого заданного алгоритма координатной привязки с вектором параметров, отличающимся от первого вектора параметров.

Кроме того, вышеупомянутый «отличающийся вектор параметров» локальной координатной привязки автоматически определяется для по меньшей мере одной координатной привязки на основании автоматического анализа ОИ, причем упомянутый анализ содержит по меньшей мере один из следующих пунктов: оценку диапазонов интенсивности, контуров изображения, измерения энтропии, гистограмм интенсивности, гистограмм контуров, диапазона интенсивности остаточного изображения и (или) анатомического положения.

Устройство обработки изображений может быть, например, реализовано при помощи специализированной электронной аппаратуры, аппаратуры цифровой обработки данных с соответствующим программным обеспечением, или их комбинацией.

Изображения, обрабатываемые этим устройством, обычно являются двумерными или трехмерными изображениями, например, получаемыми в результате процедуры сканирования от медицинского КТ (компьютерного томографа) или МРТ (магнито-резонансного томографа). Эти изображения предпочтительно кодируются как наборы цифровых данных, в которых каждый элемент представляет значение изображения (например, значение серого) в соответствующей точке пространства (представляемой, например, его координатами x, y, z в соответствующей системе координат).

Обычно термин «координатная привязка» двух изображений объекта относится к определению соответствия между двумя изображениями, которое каждому значению изображения первого одного из изображений ставит в соответствие эту же точку второго изображения, принадлежащую тому же местоположению или структуре визуализируемого объекта. Координатная привязка изображений, сгенерированных одной и той же аппаратурой, обычно необходима из-за возможных перемещений объекта (движений пациента, сокращений сердца, роста структуры и т.д.). Координатная привязка изображений, сгенерированных при помощи различной аппаратуры/модальностями, обычно необходима потому, что одна и та же структура изображаемого объекта на таких изображениях представлена по-разному. Перед координатной привязкой изображения могут быть предварительно обработаны соответствующим образом, например, путем фильтрации или путем удаления объектов, не представляющих интереса.

Объект, изображенный на обработанных изображениях, может быть, например, телом (часть тела) человека или животного при медицинском осмотре, чемоданом при контроле багажа, куском материала в материаловедении и т.п.

Признак «глобальная» или «локальная» будет означать то, что «глобальная координатная привязка» распространяется на большую часть изображений, чем «локальная координатная привязка», при этом последняя ограничена выбранной ОИ. Однако возможно, что «глобальная координатная привязка» не покрывает всех изображений, например, если из рассмотрения опускаются структуры, не представляющие интереса (например, стол пациента).

Термин «заданный алгоритм координатной привязки» может быть любым алгоритмом, который соответствует желаемой координатной привязке имеющихся изображений. В технике известно множество таких алгоритмов координатной привязки, например, жесткие координатные привязки, аффинные координатные привязки, нежесткие координатные привязки (ср. US 2013/0182925 A1; J. Modersitzki, "Numerical Methods for Image Registration". Oxford University Press, 2004; D. Rueckert, L. I. Sonoda, C. Hayes, D. L. G. Hill, M. O. Leach, and D. J. Hawkes, "Non-rigid registration using free-form deformations: Application to breast MR images", IEEE Transactions on Medical Imaging, 18(8):712-721, 1999). Все, что предполагается в используемых алгоритмах координатной привязки - это то, что она зависит от N≥1 параметров, причем эти параметры могут быть объединены в вектор параметров некоторого N-мерного пространства параметров.

Если выполнено более одной локальной координатной привязки при помощи модуля локальной координатной привязки, каждая из них будет использовать вектор параметров, отличающийся как от первого вектора параметров, так и от векторов параметров других локальных координатных привязок.

Выбор ОИ может быть выполнен на любом из входных изображений, в обоих изображениях одновременно (с последующим слиянием выборов) и/или в версиях изображений, для которых выполнена глобальная привязка. Последняя опция обычно предпочтительна, поскольку изображения, для которых выполнена глобальная координатная привязка, показывают те области, где глобальная координатная привязка может быть недостаточно хорошей, так что эти области могут быть выбраны как ОИ. Далее, выбор ОИ и соответствующее определение по меньшей мере одной локальной координатной привязки могут дополнительно быть повторены несколько раз для различных ОИ и/или выполнены параллельно для различных ОИ.

По меньшей мере одна локальная координатная привязка может быть выполнена с входными изображениями либо, предпочтительно, используя в качестве начальной точки изображения с глобальной привязкой.

В соответствии со вторым аспектом, вариант осуществления изобретения относится к способу координатной привязки по меньшей мере двух изображений объекта, причем упомянутый способ содержит следующие этапы, которые могут быть выполнены в упомянутом порядке или любом другом порядке или параллельно соответствующим образом:

а) «глобальная координатная привязка» изображений с использованием заданного алгоритма координатной привязки с первым вектором параметров.

б) выбор на изображениях интересующей области, называемой ОИ.

в) по меньшей мере одна «локальная координатная привязка» изображений внутри выбранной ОИ с использованием заданного алгоритма координатной привязки и отличающимся вектором параметров.

Кроме того, вышеупомянутый «отличающийся вектор параметров» локальной координатной привязки автоматически определяется для по меньшей мере одной координатной привязки на основании автоматического анализа ОИ, причем упомянутый анализ включает по меньшей мере один из следующих пунктов: оценку диапазонов интенсивности, контуров изображения, измерения энтропии, гистограмм интенсивности, контурных гистограмм, диапазона остаточной интенсивности и/или анатомического положения.

В соответствии с третьим аспектом вариант осуществления данного изобретения относится к медицинскому аппарату формирования изображений, содержащему следующие компоненты:

- по меньшей мере одно устройство формирования изображений для формирования изображений объекта;

- устройство обработки изображения типа, описанного выше для координатной привязки изображений, поступающих от устройства формирования изображений. Устройство обработки изображений будет, следовательно, содержать модуль глобальной координатной привязки для выполнения глобальной координатной привязки изображений с использованием заданного алгоритма координатной привязки с первым вектором параметров, модуль выбора для выбора ОИ на изображениях и модуль локальной координатной привязки для выполнения по меньшей мере одной координатной привязки изображений внутри выбранной ОИ с использованием заданного алгоритма координатной привязки и другого вектора параметров.

Модуль обработки изображений, способ и медицинский аппарат формирования изображений основаны на одной и той же концепции, что после глобальной координатной привязки двух изображений должна следовать по меньшей мере одна локальная координатная привязка с другим вектором параметров в выбранной интересующей области. Следовательно, разъяснения, приведенные для одного из этих вариантов осуществления, относятся также к другим вариантам осуществления.

Модуль обработки изображений, способ и медицинский аппарат формирования изображений имеют то преимущество, что они позволяют эффективно улучшить координатную привязку двух изображений, что может быть легко осуществлено. Это имеет место благодаря тому, что первая координатная привязка, которая обычно рассматривается как конечный результат, локально уточняется по меньшей мере в одной выбранной интересующей области путем локальной координатной привязки. Как было сказано, при локальной координатной привязке применяется тот же самый алгоритм координатной привязки, что и в первой координатной привязке, а уточнение может быть достигнуто без необходимости реализации полностью другого алгоритма координатной привязки.

Ниже будут описаны различные предпочтительные способы осуществления данного изобретения, которые могут быть реализованы в связи с описанными выше устройством обработки изображений, способом и медицинским аппаратом формирования изображений.

В первом предпочтительном варианте осуществления выполняются по меньшей мере две локальные координатные привязки с различными векторами параметров (в отношении устройства обработки изображений это означает, что модуль локальной координатной привязки разработан для выполнения по меньшей мере двух локальных координатных привязок с различными векторами параметров). Различные векторы параметров могут быть заданы предварительно, например, выданы из памяти модуля локальной координатной привязки. Дополнительно или как альтернатива, они могут быть выбраны или сгенерированы (1) случайным образом, (2) на основе данных, вводимых пользователем, и/или в зависимости от выбранной ОИ и/или типа подлежащих координатной привязке изображений. Вычисление двух или более локальных координатных привязок позволяет сравнивать результаты, например, при помощи некоторой целевой функции, обеспечивающей некоторую числовую оценку результатов. Лучшая из локальных координатных привязок затем может быть выбрана для дальнейшего использования.

В дальнейшем развитии вышеупомянутого подхода результаты локальных координатных привязок с различными векторами параметров отображаются (например, на мониторе устройства обработки изображений или медицинского аппарата формирования изображений), где пользователь может затем выбрать по меньшей мере один из отображаемых результатов для дальнейшего использования. Выбор может быть сделан, например, при помощи некоторого устройства ввода, такого как мышь, трекбол, клавиатура и т.п. (опять, оно может быть частью устройства обработки изображений или медицинского аппарата формирования изображений). Обычно пользователь выбирает ту локальную координатную привязку, которая кажется наилучшей, хотя также возможны другие критерии выбора. Отображение результата координатной привязки может быть выполнено любым подходящим путем, например, показом наложения изображений с координатной привязкой. Выбор результата локальной координатной привязки, конечно, равносилен выбору определенной локальной координатной привязки и ее вектора параметров, использованного для получения выбранного результата. Результаты локальных координатных привязок могут отображаться последовательно, возможно, с дополнительной опцией перехода между результатами для пользователя. Наиболее предпочтительно, когда результаты локальных координатных привязок отображаются одновременно таким образом, чтобы пользователь мог увидеть их одним взглядом и сравнить их параллельно. Дополнительно или как вариант, параллельно может также отображаться результат глобальной координатной привязки.

Вышеупомянутый выбор локальной координатной привязки предпочтителен тем, что позволяет уточнять координатную привязку изображения путем задействования возможностей пользователя (интуитивно) оценивать координатные привязки. Устройство обработки изображений используется для того, что оно может выполнить лучше всего, т.е. для выполнения численных вычислений (для нескольких локальных координатных привязок) с высокой скоростью. Все, что должен сделать пользователь - это выбрать, например, простым щелчком мыши, одну из локальных координатных привязок, которая кажется ему(ей) наилучшей, причем этот выбор часто основывается на критериях, которые трудно жестко сформулировать или реализовать в алгоритме.

Пользователь в качестве варианта может выбрать для дальнейшего использования два или более результата локальной координатной привязки. Предпочтительно, пользователь может одновременно может выполнить ранжирование выбранных координатных привязок («лучшая», «вторая лучшая» и т.д.). Векторы параметров выбранных координатных привязок тогда будут обычно указывать подобласть целого пространства параметров, в которой может быть выполнен предпочтительный поиск во время дальнейшей оптимизации локальной координатной привязки. Например, среднее выбранных векторов параметров (возможно, взвешенных в соответствии с ранжированием) может использоваться для определения новой локальной координатной привязки.

После выбора пользователем одной локальной координатной привязки из отображаемых результатов локальных координатных привязок эта выбранная координатная привязка может быть дополнительно уточнена на дальнейшем этапе вычислений (если было выбрано несколько локальных координатных привязок, каждая из них может быть уточнена и/или может быть уточнена выведенная из них новая локальная координатная привязка). Следовательно, оптимум этой выбранной локальной координатной привязки может быть взят в качестве основы для дальнейшего использования. Уточнение локальной координатной привязки может включать, например, новое вычисление упомянутой локальной координатной привязки с изменением одного или более параметров (которые могут быть или не быть компонентами соответствующего вектора параметров), которые известны для повышения точности координатной привязки. Такие параметры могут, например, относиться к разрешению обрабатываемых изображений и/или к числу итераций, выполняемых итерационным алгоритмом координатной привязки. Обычно когда должны быть вычислены несколько локальных координатных привязок, чтобы ограничить время выполнения алгоритма разумными величинами, для таких параметров выбирают суб-оптимальные значения. Использование суб-оптимальных упрощенных локальных координатных привязок обычно достаточно для заданной цели нахождения, какие из локальных координатных привязок дают лучшие результаты, чем другие.

В описанном выше варианте осуществления выбор пользователем одного или более отображаемых результатов из нескольких локальных координатных привязок обычно производится вновь и вновь большое количество раз с различными входными изображениями (например, от разных областей тела и/или пациентов). При таком сценарии выполняемые пользователем выборы могут дополнительно оцениваться в связи с возможными предпочтениями, например, с учетом отличий от (слепого или случайного) выбора координатных привязок с равной вероятностью. Например, если пользователь выбирает векторы параметров из некоторой подобласти пространства параметров чаще, чем из других областей, это указывает предпочтение, которое может быть обнаружено качественно или даже количественно. Эта информация может быть предпочтительно использована во время будущих координатных привязок изображений. Локальные координатные привязки с предпочтительными для пользователя векторами параметров могут быть, например, представлены как выборы по умолчанию. Дополнительно или альтернативно большее число локальных координатных привязок может быть вычислено в области пространства параметров, содержащей предпочтительные векторы параметров. Также, области пространства параметров, которые при локальных координатных привязках выбираются редко или не выбираются вообще, могут редко использоваться для выборки параметров или вообще пропускаться. Процедура координатной привязки, таким образом, может быть обеспечена с некоторыми возможностями обучения, которые во времени обеспечивают непрерывное усовершенствование. Следует отметить, что термин «пользователь», предпочтения которого определяются, может, конечно, относиться к группе из нескольких пользователей.

В устройстве обработки изображений, способе и/или медицинском аппарате формирования изображений «другой вектор параметров» локальной координатной привязки автоматически определяется для по меньшей мере одной локальной координатной привязки на основании автоматического анализа ОИ. В одном варианте осуществления возможности ввода пользователя могут быть ограничены выбором ОИ (если это не сделано также автоматически), и автоматический алгоритм анализирует эту ОИ и определяет некоторый вектор параметров для локальной координатной привязки (например, в соответствии с некоторым заданным критерием, содержащимся в этом алгоритме). Благодаря фокусировке на ОИ, автоматически определенный вектор параметров будет обычно давать лучшие результаты координатной привязки (для этой ОИ), чем глобальная координатная привязка, которая должна использовать первый вектор параметров, выбранный исходя из ЦЕЛЫХ изображений.

Вышеупомянутый автоматический анализ ОИ содержит по меньшей мере один из следующих пунктов: оценку диапазонов интенсивности, контуров изображения, измерения энтропии, гистограмм интенсивности, контурных гистограмм, диапазона остаточной интенсивности и/или анатомического положения.

В качестве примера, оценка диапазона интенсивности для основного изображения может указывать, какой вид анатомического содержимого (для изображений компьютерной томографии, например, воздух в легких или кишечный газ с очень низкими значениями HU, жидкости, неплотная или плотная ткань с умеренными значениями HU, костные структуры с большими значениями HU) представлен в ОИ, и поэтому может подтвердить некоторую настройку параметров. Координатная привязка костных структур может, например, требовать более жесткой деформации, в то время как координатная привязка тканевых структур требует умеренной упругости. Присутствие воздуха или газа может подсказывать необходимость настройки, допускающей большие изменения объема между сравниваемыми изображениями.

В качестве дальнейшего примера, оценка гистограмм интенсивности расширяет оценку диапазона интенсивности. Анализ гистограмм может использоваться для определения количества биотканей с некоторыми диапазонами интенсивности (например, костей или жидкостей). Затем может быть выбрана настройка параметров, предназначенная для наибольшей части, представленной в ОИ, либо может быть выбрана настройка параметров, зависящая от подобласти ОИ или даже зависящая от вокселей, например, если ОИ состоит из более чем одного материала. Кроме того, анализ гистограмм может выполняться отдельно для каждого изображения, что позволяет, например, определять контрастное вещество на одном из изображений. Адекватной настройкой параметров для такого сценария будет упругая деформация, но с сохранением объема.

В другом примере оценка контуров изображения, например, через вычисление градиентных изображений, показывает, присутствуют ли контуры в ОИ. Контуры изображения могут быть рельефными (например, на диафрагме) или малыми (например, на внутренней границе между печенью и почкой). В то время как рельефные контуры изображения легко сопоставить, менее резкие контуры могут требовать настройки параметров с уменьшающимся весом регуляризатора или с увеличивающимся весом параметра, характеризующего сходство, либо могут требовать предварительной обработки изображений для повышения четкости контуров.

В другом примере, оценка контурных гистограмм расширяет возможности оценки контуров изображения. Анализ гистограмм может быть использован для определения количества контуров с некоторой четкостью. Как и в сценарии, где вычисляются гистограммы интенсивности, могут быть выбраны специальные настройки параметров для подобластей ОИ.

В качестве дальнейшего примера, может использоваться оценка остаточного изображения. Не выровненные контуры изображения появляются на остаточном изображении как пара структур, похожих на линии, одна с положительными интенсивностями, другая - с отрицательными интенсивностями. Появление такой пары может быть обнаружено и отражает, например, возросшую упругость, либо уменьшенный вес регуляризатора, либо увеличенный вес параметра, характеризующего сходство, либо предварительную обработку изображений. В комбинации с другими измерениями, например, с гистограммой интенсивности, внутри одной и той же области изображения возможна специальная предварительная обработка, например, через преобразование интенсивностей для повышения четкости рассматриваемого контура. Наличие структур на остаточном изображении может также подсказывать необходимость большего числа итераций или координатной привязки при уточненном разрешении.

В качестве другого примера, для настройки параметров может быть использовано анатомическое положение ОИ, основанное на результате сегментации. На основании результатов сегментации может быть использована органоспецифичная или специфичная для костей настройка параметров.

Один или многие из упомянутых примеров могут быть объединены с анализом множественных уровней разрешения (или нескольких шкал). Если некоторое свойство отсутствует после оценки на некотором уровне разрешения изображения, но присутствует на более тонком уровне разрешения изображения, имеет смысл выбрать настройку параметров, которая добавляет более тонкий уровень разрешения к координатной привязке.

Выбор ОИ может быть сделан пользователем вручную, например, при помощи мыши или другого указывающего устройства, при помощи которого пользователь может обозначить границы желаемого ОИ на дисплее с изображениями. В другом варианте осуществления выбор ОИ может быть сделан автоматически, например, на основе алгоритма, который сегментирует области с конкретными параметрами на заданном изображении.

По меньшей мере одна локальная координатная привязка изображений внутри выбранного ОИ с использованием заданного алгоритма координатной привязки и другого вектора параметров может быть дополнительно повторена по меньшей мере один раз. Один цикл локальных координатных привязок может, например, позволить пользователю выбрать наилучший результат, и следующий цикл локальных координатных привязок может быть основан при этом выборе с использованием примерных векторов параметров, близких к тому, который был выбран в предыдущем цикле. Естественно, этот процесс может быть итеративно повторен несколько раз.

В способах осуществления способа и устройства обработки изображений одна локальная координатная привязка для ОИ может рассматриваться как конечная локальная координатная привязка (например, локальная координатная привязка, выбранная пользователем как наилучшая, или локальная координатная привязка, основанная на автоматически определенном векторе параметров). Для достижения общей оптимальной координатной привязки входных изображений предпочтительно, чтобы эта окончательная локальная координатная привязка объединялась с глобальной координатной привязкой. Такое объединение может быть достигнуто различными способами, поскольку предусмотрено, что эта окончательная локальная координатная привязка преобладает (или единственно применяется) внутри ОИ, в то время как глобальная координатная привязка преобладает (или единственно применяется) вне ОИ. Внутри границы ОИ может быть определена переходная область, в которой имеет место непрерывный переход от глобальной координатной привязки к локальной координатной привязке (ср. US 2013/0182925 A1).

Глобальная координатная привязка и/или локальная(ые) координатная(ые) привязка (привязки) могут быть предпочтительно нежесткими координатными привязками (или «свободными преобразованиями формы»). Нежесткие координатные привязки обычно могут преобразовать два изображения одно в другое, особенно если они изображают мягкие деформируемые материалы, такие как мягкие ткани тела.

В зависимости от заданного алгоритма координатной привязки соответствующие векторы параметров содержат множество различных типов параметров. В предпочтительном варианте осуществления вектор параметров содержит по меньшей мере один параметр, выбранный из следующей группы: свойство материала, весовой коэффициент, количество итераций и разрешение изображения. Типичный вектор параметров может, например, содержать несколько свойств материала (например, упругость костей или мышц), весовой коэффициент (например, сходство изображения в зависимости от регуляризации), максимальное количество итераций и суб-оптимальное разрешение изображений, используемое при локальной координатной привязке.

Изображения с координатной привязкой могут быть, например, изображениями, сгенерированными рентгеновским аппаратом, таким как рентгеновский проекционный аппарат или компьютерный томограф. Дополнительно или альтернативно, изображения могут быть сгенерированы позитронным электронным томографом или ОФЭКТ (однофотонным эмиссионным компьютерным томографом, SPECT), магнито-резонансным томографом или ультразвуковым диагностическим аппаратом.

Описанный способ будет обычно реализовываться при помощи вычислительного устройства, например, микропроцессора или ПЛИС в устройстве обработки изображений. Соответственно, настоящее изобретение далее содержит программный продукт для вычисления, обеспечивающий реализацию функций любого из способов в соответствии с настоящим изобретением, когда он выполняется на вычислительном устройстве.

Далее, настоящее изобретение содержит носитель данных, например, флоппи-диск, жесткий диск, постоянную память с перезаписью (EPROM), компакт-диск (CD-ROM), цифровой многоцелевой диск (DVD) или USB-флешку, который хранит компьютерный продукт в машиночитаемом виде и который реализует по меньшей мере один из способов данного изобретения, когда программа, хранящаяся на носителе данных, выполняется на вычислительном устройстве. Такой носитель данных может, в частности, подходить для хранения программы вычислительного устройства, упомянутого в предыдущем параграфе.

В настоящее время такое программное обеспечение часто предлагается для загрузки в Интернете или в корпоративных сетях, следовательно, настоящее изобретение содержит также передачу компьютерного продукта, соответствующего настоящему изобретению, посредством локальных или глобальных информационных сетей.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты настоящего изобретения будут понятны и разъяснены из и с учетом описанных далее вариантов осуществления.

На чертежах:

Фиг. 1 схематично изображает медицинский аппарат формирования изображений в соответствии с вариантом осуществления данного изобретения;

Фиг. 2 показывает пример входного изображения;

Фиг. 3 иллюстрирует выбор ОИ на двух изображениях с глобальной координатной привязкой;

Фиг. 4 иллюстрирует отображение глобальной координатной привязки и множество локальных координатных привязок с различными векторами параметров.

Ссылочные позиции на рисунках обозначают одинаковые или похожие компоненты.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Координатная привязка изображений все больше применяется как основная технология установления соответствий между изображениями. Диапазон ее применения широк, охватывая часто встречающиеся приложения, такие как формирование изображение с динамическим контрастом и определение изменений при последующих обследованиях. Жесткие/аффинные координатные привязки пригодны только для нескольких приложений, и большинство приложений требуют нежесткой координатной привязки.

Всегда желательно улучшить точность координатных привязок, особенно если необходимо привести в соответствие слабоконтрастные структуры или очень подвижные структуры. В соответствии с предлагаемым здесь приближением для достижения таких улучшений используются модифицированные параметры координатной привязки. Однако поскольку их выбор может быть спорным и требовать экспертных знаний, предложен удобный для пользователя путь модификации параметров координатной привязки по типу «что видишь, то получаешь».

Фиг. 1 схематично иллюстрирует медицинский аппарат формирования изображений 100 в соответствии со вариантом осуществления, соответствующим вышеописанному подходу. Центральным элементом аппарата формирования изображений является устройство 50 обработки изображений, которое может быть реализовано, например, при помощи микрокомпьютера с соответствующим программным обеспечением. Прямоугольники внутри устройства 50 обработки изображений имеют смысл для иллюстрации скорее различных этапов обработки, чем различных аппаратных компонентов. Как правило, эти прямоугольники соответствуют модулям, которые главным образом реализованы в соответствующих (под)программах программного обеспечения.

Входные изображения I₁, I₂ поступают на устройство 50 обработки изображений и могут в общем случае формироваться в любом подходящем источнике изображений, включая запоминающее устройство, в котором хранятся предварительно сгенерированные изображения для последующей обработки. В показанном примере первое изображение I₁ (или поток изображений) поступает от рентгеновского сканера 10с с источником 11 рентгеновского излучения и детектором 12, который может вращаться вокруг пациента Р на столе для пациента. Второе изображение I₂ (или поток изображений) поступает от МРТ-сканера 20, который генерирует изображения срезов или 3D-изображения тела пациента Р, расположенного в канале сканера.

Первое и второе изображения I₁, I₂ в данном примере поступают от различных типов источников изображений. Размерность изображений (2D, 3D) может быть одинаковой или различной. Кроме того, для одного и того же объекта, например, для одной и той же части тела пациента Р, может потребоваться отображение на двух поступающих изображениях I₁, I₂ для обоснованной координатной привязки.

В устройстве 50 обработки изображений два или более изображений I₁, I₂, формируемые внешними средствами, сначала обрабатываются в блоке «глобальной координатной привязки» 51 (дополнительные этапы предварительной обработки, такие как фильтрация или удаление не интересующих частей изображения, здесь детально не показаны). Модуль 51 глобальной координатной привязки выполняет глобальную координатную привязку (GR, ГКП) изображений I₁, I₂ с использованием некоторого заданного алгоритма координатной привязки, который применяет (заданный) вектор параметров p₀. Как показано в прямоугольнике внутри этого модуля, глобальная координатная привязка обычно обеспечивает преобразование f координат x, y, z первого изображения I₁ в координаты x', y', z' второго изображения I₂. Это преобразование таково, что, например, точка x, y, z, соответствующая определенной локализации или структуре на первом изображении I₁ (например, бифуркации сосуда), отображается в точку x', y', z', соответствующую той же локализации или структуре на втором изображении I₂. На рисунке это преобразование проиллюстрировано деформацией системы координат x', y', z' на втором рисунке I₂ (такой, что идентичные локализации объекта или структур на двух изображениях совпадают, если первое и деформированное второе изображения наложены друг на друга).

Результат глобальной координатной привязки затем поступает на «модуль выбора» 52, который позволяет пользователю выбрать область интереса («ОИ»). Этот этап использует внешний пользовательский интерфейс 60 для отображения изображений с глобальной координатной привязкой на дисплее или мониторе 63 и для обозначения пользователем ОИ при помощи клавиатуры 61 и мыши 62.

Следует отметить, что возможны другие способы для выбора ОИ. Так, например, выбор может быть основан на одном из входных изображений (или на обоих) либо выбор может быть выполнен автоматически устройством 50 обработки.

После выбора ОИ выполняются несколько локальных координатных привязок LR1, … LRs, … LRn внутри ОИ при помощи «модуля локальной координатной привязки» 53. Каждая из этих локальных координатных привязок использует тот же самый алгоритм координатной привязки, который использовался в блоке глобальной координатной привязки, но с другими векторами параметров p₁≠p₂≠, …, p_s≠, …, p_n.

Результаты вышеупомянутых локальных координатных привязок LR1, … LRs, … LRn предоставляются пользователю на мониторе 63. Предпочтительно все результаты отображаются параллельно и, по выбору, вместе с результатом глобальной координатной привязки ГКП в центре. Пользователь может затем выбрать одну или более из этих локальных координатных привязок, например, локальную координатную привязку LRs, которую он (она) считает наилучшей. Эта выбранная локальная координатная привязка LRs может быть дополнительно улучшена путем уточнения, например, вычисления при большем разрешении, перед тем как она будет обрабатываться дальше.

Выбранная пользователем локальная координатная привязка LRs (или, фактически, соответствующий вектор параметров p_s) направляется на «модуль объединения» 54, в котором она объединяется с глобальной координатной привязкой GR подходящим способом для получения итоговой общей координатной привязки. Глобальная координатная привязка GR может, например, преобладать в итоговой общей координатной привязке за пределами ОИ, в то время как выбранная локальная координатная привязка LRs преобладает внутри ОИ с непрерывным, мягким переходом изнутри ОИ наружу. Итоговая общая координатная привязка затем, как правило, становится пригодной для дальнейшей обработки, хранения и/или оценки.

Как альтернатива вычислению нескольких координатных привязок (LR1, ... LRs, ..., LRn) с разными векторами параметров (p₁, …, p_s, …, p_n) и выбору пользователем наилучшей локальной координатной привязки (LRs), ОИ может быть автоматически проанализирована для нахождения вектора параметров p_s для последующей локальной координатной привязки.

Заданный алгоритм координатной привязки, примененный в модулях глобальной и локальной координатной привязки 51, 53, предпочтительно может быть алгоритмом нежесткой координатной привязки. Нежесткая координатная привязка изображений может быть реализована как итеративный процесс, в котором оптимизируется параметр, характеризующий сходство изображений, в то время как дополнительный параметр регуляризации сохраняет решение в некотором смысле реалистичным (обычно требуется некоторая гладкость результирующего поля деформаций). Типичная нежесткая схема координатной привязки содержит следующие составляющие:

- Преставление и параметризация преобразования между двумя или более областями изображения. Часто выбирается, например, сетка контрольных точек B-сплайнов или векторы умной трансляции вокселей изображения.

- Целевая функция, объединяющая параметр сходства изображения и параметр регуляризации. Частыми выборами для параметра сходства являются взаимная информация, сумма квадратов разностей или корреляция интенсивности. Параметр регуляризации обычно подразумевает некоторый уровень гладкости, достигаемый, например, путем применения штрафов для производных первого и/или второго порядка преобразуемого поля.

- Параметры сходства изображения и регуляризации взвешиваются в зависимости от выбора методологии, модальности получения изображения и применения. Взвешивание обычно фиксировано для всего изображения.

- Набор (или вектор) параметров, использованный для управления схемой координатной привязки (например, упругость или свойства материала, весовые коэффициенты, максимальное число итераций, используемые уровни разрешения и т.д.).

- Схема оптимизации, например, градиентного спуска, сопряженных градиентов и т.д.

Точность выходного результата координатной привязки зависит от (1) числа выполненных итераций, т.е. времени вычислений, (2) настроек параметров, использованных для координатной привязки, и (3) интересующей анатомии. Поскольку для нежесткой координатной привязки изображений не существует автоматических схем проверки, она не может быть автоматически определена, если выходной результат координатной привязки соответствует требованию пользователя (например, «ошибка координатной привязки меньше 2 мм»). Даже для большого числа итераций невозможно гарантировать того, что правила пользователя выполняются для любой интересующей анатомии.

Фиг. 2 показывает в качестве примера пример изображения компьютерной томографии, на котором высококонтрастные контуры изображения (например, диафрагмы) легче обнаружить, чем слабоконтрастные контуры изображения (например, нижняя граница печени). Поэтому любая схема координатной привязки имеет тенденцию приводить в соответствие высококонтрастные контуры изображения лучше, чем слабоконтрастные.

Кроме того, костные структуры могут, например, нереалистично деформироваться при использовании настроек параметров, специфичных для мягких тканей, и требовать настроек, специфичных для костных тканей, для свойств моделируемых материалов. В дополнение, различные сценарии применения (например, отслеживание точки, определение изменения количества при последующих обследованиях, исследование перфузии, динамическое контрастирование изображений и т.д.) формулируют различные требования, и не существует универсального решения для координатной привязки.

Путем введения упомянутого выше уточнения ОИ в виде этапа постобработки, точность результата координатной привязки может тем не менее быть улучшена при помощи минимального ввода данных пользователем.

Как разъяснено выше, упомянутое уточнение требует выбора области интереса ОИ на одном из входных изображений. Фиг. 3 иллюстрирует отображение результата глобальной координатной привязки как остаточного изображения (т.е. разности первого изображения и деформированного второго изображения), на котором кубоид был выбран как ОИ для указания области, причем результат координатной привязки нуждается в улучшении (нижняя граница печени не выправлена). Другие возможные формы ОИ содержат, например, сферу, эллипсоид или неправильную форму.

Множественные быстрые уточнения локальной координатной привязки LR1, …, LRn (с различными настройками параметров) затем вычисляются для ОИ и предоставляются пользователю. Как проиллюстрировано на Фиг. 4, это, например, может быть сделано в виде предварительных видов, отображаемых вокруг изображения глобальной координатной привязки GR в центре. Следуя подходу «что видишь, то получаешь», пользователь затем может выбрать предварительный вид, лучше всего удовлетворяющий его(ее) нужды (и таким образом выбирает настройку параметров). За этим может следовать точное уточнение координатной привязки с новой настройкой параметров. Пользователю необходимо только (1) выбрать область интереса и (2) выбрать один из (очень быстро) вычисленных предварительных видов.

Главные предпосылки и этапы описанного подхода следующие:

1. Подготовка двух или более медицинских изображений I₁, I₂ произвольного размера.

2. Вычисление по (предпочтительно нежесткого) алгоритму координатной привязки изображения со стандартной настройкой параметров p₀, используя, например, параметры сходства изображения и регуляризации для выправления входных изображений.

3. Подготовка первого графического пользовательского интерфейса ГПИ, причем первый выходной результат - глобальной координатной привязки - показывается пользователю и причем пользователь может выбрать ОИ для обозначения области изображения, причем выходной результат координатной привязки нуждается в улучшении. Представление этого выходного результата может быть сделано, например, путем наложения первого и выправленного (деформированного) второго изображения («слияние»), или путем вычисления разности первого изображения и выправленного (деформированного) второго изображения («остаток»), или путем наложения контуров изображения, выделенных из выправленного (деформированного) второго изображения на первое изображение («наложение контуров»).

4. Определение множества модифицированных настроек параметров p₁, …, p_s, …, p_n, используемых для очень быстрых локальных координатных привязок ОИ. На этом этапе параметры, используемые в алгоритме глобальной координатной привязки, модифицируются разумным образом, например, моделированные параметры упругости увеличиваются или уменьшаются, тканевые соединения выделяются алгоритмом преобразования интенсивности или выравнивания гистограммы, либо выбирается другая мера сходства или регуляризатора. Модификация параметров дает в результате новый набор настроек параметров.

Кроме того, алгоритм глобальной координатной привязки начиная с этапа 2 вычисляется заново с входными изображениями I₁, I₂, обрезанными в соответствии с заданным пользователем ОИ и с каждой новой настройкой параметров p₁, …, p_s, …, p_n. Алгоритм глобальной координатной привязки может быть инициализирован с глобальной деформацией, полученной на этапе 2.

В интересах интерактивной обработки выполнение алгоритма локальной координатной привязки должно быть быстрым. Это может быть достигнуто (i) ограничением области координатной привязки размерами ОИ, (ii) ограничением координатной привязки низкими разрешениями (т.е. уменьшением дискретизации) входных изображений (тогда результат интерпретируется как предварительный вид точного выходного результата координатной привязки). Для каждой настройки параметров вычисляется деформация для ОИ.

5. Подготовка второго ГПИ, где снова первый выходной результат - глобальной координатной привязки - также как и набор уточненных результатов локальной координатной привязки (предварительных видов) показывается пользователю и где пользователь может выбрать предварительный вид, который лучше всего соответствует его (ее) нуждам. Из-за такого режима предварительных видов (т.е. когда координатные привязки выполняются в очень быстром режиме) может получиться так, что выравнивание изображений будет все еще неидеальным. Однако здесь важно только выбрать предварительный вид (с соответствующей настройкой параметров), который улучшает результат глобальной координатной привязки (с этапа 2) в ожидаемом направлении.

6. Выбранная настройка параметров p_s затем используется для выполнения уточненной координатной привязки, т.е. инициализируется глобальной деформацией, полученной на этапе 2. Высокоточная координатная привязка с новыми настройками параметров выполняется для ОИ. Для получения гладкой деформации вдоль границы ОИ необходимо выбрать соответствующие граничные условия для уточненной координатной привязки. Выходным результатом системы являются выровненные (совмещенные) изображения или поля деформаций между некоторыми или всеми входными изображениями.

С упомянутыми выше средствами может быть реализован ГПИ с двумя кликами пользователя для дополнительного уточнения в качестве этапа постобработки. Дополнительными модификациями и расширениями описанной процедуры могут быть, например:

- Построение этапов с 3 (выбор ОИ) по 6 (уточненная координатная привязка) в «цикле» до тех пор, пока пользователь не будет удовлетворен точностью координатной привязки.

- Сохранение выбора пользователя. Излюбленный выбор (выборы) могут впоследствии предлагаться для (i) уменьшения числа уточняющих этапов и/или (ii) для уменьшения набора настроек модифицированных параметров.

- Пользователь может также выбрать второй лучший (третий лучший и т.д.) предварительный вид. Диапазон поиска может быть тогда распространен на настройки параметров первых n предварительных видов (взвешенных в соответствии с пользовательским ранжированием). Это может еще больше улучшить настройки параметров, используемых для уточненной координатной привязки на этапе 6.

В итоге, описаны варианты осуществления координатной привязки изображений, в которых модифицированные параметры координатной привязки могут улучшить точность координатной привязки, особенно локально. Данный подход позволяет адаптировать параметры локальной координатной привязки по принципу «что видишь, то получаешь». Это не требует экспертных знаний и требует минимального ввода данных пользователем (2 клика).

Процедура, описанная выше, основана на том наблюдении, что параметры координатной привязки обычно выбираются однократно для всей области изображения и что внутри некоторой области интереса (ОИ) модифицированные настройки параметров могут быть более подходящими и могут локально улучшить выходной результат координатной привязки. В качестве альтернативного подхода, который использует данное наблюдение, предложен автоматический анализ содержания изображения внутри ОИ (например, вокруг места, на которое пользователь указал кликом), который запускает последующий второй проход координатной привязки с автоматически определенными модифицированными настройками параметров.

Главными предпосылками и этапами этого альтернативного подхода являются:

1. Два или более медицинских изображений произвольного размера (как описано выше).

2. Например, нежесткий алгоритм координатной привязки изображения со стандартной настройкой параметров, использующий, например, параметры сходства изображения и регуляризации (как описано выше).

3. Графический пользовательский интерфейс (ГПИ), где первый выходной результат - глобальной координатной привязки - показывается пользователю (например, в виде совмещенных изображений, остаточного изображения или изображения с наложением контуров) и где пользователь может выбрать место или ОИ (как описано выше).

4. Автоматический анализ содержания изображения внутри ОИ определяет более подходящие настройки параметров из диапазона сохраненных настроек. Автоматический анализ может использовать, например, диапазоны интенсивности, контуры изображения, измерения энтропии, гистограммы интенсивности, контурные гистограммы, диапазон интенсивности остаточного изображения, анатомическое положение (в комбинации с предварительной сегментацией). Диапазон низкой интенсивности, например, будет мотивировать уравнивание гистограммы для того, чтобы способствовать выправлению слабоконтрастных структур на изображении. Наличие филигранных структур в ОИ, например, требует использования изображений с большим разрешением, чем обычно.

5. Модифицированные настройки параметров используются для выполнения второго (локального) прохода координатной привязки, т.е. для ОИ выполняется высокоточная координатная привязка с новыми настройками параметров, инициализированная глобальной деформацией, полученной на шаге 2. Для сохранения гладкой деформации вдоль границы ОИ необходимо для уточненной координатной привязки выбрать соответствующие граничные условия. Выходным результатом системы являются выправленные изображения или поля деформаций между некоторыми или всеми входными изображениями.

Следовательно, достигнут полностью автоматический анализ, направляемый пользователем (одним кликом на область изображения, причем необходимо улучшить точность координатной привязки). Анализ основан на (1) содержимом обоих входных изображений и на (2) результате первого прохода глобальной координатной привязки; этот анализ выполняется внутри области вокруг упомянутого пользователем места. Результатом полностью автоматического анализа являются настройки модифицированных параметров, которые затем используются для второго прохода координатной привязки.

Описанные выше процедуры могут быть применены для обработки изображений от компьютерного томографа или изображений, полученными любыми другими способами.

Несмотря на то, что изобретение было проиллюстрировано и детально описано на чертежах и в вышеупомянутом описании, такую иллюстрацию и описание следует считать иллюстративными или приводимыми в качестве примера, но не ограничивающими; изобретение не ограничено приведенными вариантами осуществления. Другие варианты осуществления, кроме раскрытых, могут подразумеваться и быть реализованы подготовленными специалистами при реализации данного изобретения на практике, включая чертежи, описание и прилагаемую формулу изобретения.

В формуле изобретения слово «содержащий» не исключает другие элементы или этапы, а упоминание чего-либо в единственном числе не исключает множественного. Один элемент или другой модуль могут выполнять функции, декларированные в нескольких пунктах формулы изобретения. Простой факт, что некоторые меры, декларированные в разных зависимых пунктах, не означает, что комбинация этих мер не может быть использована для получения преимуществ. Компьютерная программа может храниться или передаваться на соответствующем постоянном носителе, таком, как оптический или твердотельный, вместе с иной аппаратурой или как ее часть, а также может передаваться другими способами, такими, как Интернет или посредством других проводных или беспроводных телекоммуникационных систем. Любые ссылки в формуле изобретения не могут толковаться как ограничивающие его.

Реферат

Группа изобретений относится к медицинской технике, а именно к средствам обработки изображений для координатной привязки. Устройство обработки изображений, которое может осуществлять координатную привязку по меньшей мере двух изображений (I, I) объекта (Р) содержит «модуль глобальной координатной привязки» для выполнения глобальной координатной привязки (GR) изображений (I, I) с использованием заданного алгоритма координатной привязки и первым вектором параметров (), «модуль выбора» для выбора области интереса, называемой ОИ, на изображениях, «модуль локальной координатной привязки» для осуществления по меньшей мере одной локальной координатной привязки (LR1, ... LRs, ..., LRn) изображений внутри выбранной ОИ с использованием заданного алгоритма координатной привязки и отличающегося вектора параметров (,, …,), причем вектор параметров определен для по меньшей мере одной локальной координатной привязки на основании автоматического анализа ОИ, который содержит оценку диапазонов интенсивности, гистограмм интенсивности, контуров изображения, контурных гистограмм, измерений энтропии, диапазона интенсивности остаточного изображения и/или анатомического положения. Способ координатной привязки осуществляется посредством устройства обработки изображений. Медицинский аппарат формирования изображений содержит по меньшей мере одно устройство формирования изображений, устройство обработки изображений, поступающих от устройства формирования изображений. Использование изобретений позволяет улучшить координатную привязку изображений. 3 н. и 31 з.п. ф-лы, 4 ил.

Формула