Повышение качества интраваскулярного ультразвукового изображения и обработки сигналов - RU2238041C2

Чертежи

Показать все 14 чертежа(ей)

Описание

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ НАСТОЯЩЕЕ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к устройству и способу улучшения качества интраваскулярного ультразвукового изображения и обработки сигналов, а более конкретно - к устройству и способу обработки интраваскулярной ультразвуковой видео и сигнальной информации, которые улучшают качество и эффективность (полезность) интраваскулярных ультразвуковых изображений.

ПРЕДПОСЫЛКИ СОЗДАНИЯ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

Интраваскулярные ультразвуковые изображения формируют из луча ультразвуковой энергии, направляемого прибором, например первичным измерительным преобразователем или матрицей первичных измерительных преобразователей, расположенных вокруг, вдоль или на конце катетера, введенного в кровеносный сосуд. Ультразвуковой луч из прибора непрерывно вращается в кровеносном сосуде, формируя полное изображение внутреннего поперечного сечения, то есть изображение в поперечной (X-Y) плоскости. В зависимости от характерной конфигурации прибора изображение может быть получено либо из той же поперечной плоскости прибора, либо из поперечной плоскости, находящейся немного впереди (то есть удаленной) от поперечной плоскости прибора. Если катетер перемещают внутри и вдоль кровеносного сосуда (то есть вдоль оси Z), то могут быть сформированы и визуально воспроизведены изображения различных сегментов (ряд последовательных поперечных сечений) сосуда.

Интраваскулярное ультразвуковое исследование может быть проведено во всех типах кровеносных сосудов, включая (без ограничения) артерии, вены и другие периферийные сосуды, и во всех частях тела.

Принимаемый (детектируемый) ультразвуковой сигнал сначала является аналоговым сигналом. Этот сигнал обрабатывают, применяя аналоговые и цифровые способы так, чтобы в конечном счете получить набор векторов, содержащих данные, преобразованные в цифровую форму. Каждый вектор представляет реакцию (на воздействие ультразвукового луча) другого углового сектора сосуда, то есть сечение кровеносного сосуда. Число элементов данных в каждом векторе (разрешение выборки в осевом направлении) и число векторов, используемых для сканирования всего поперечного сечения (разрешение выборки в поперечном направлении) сосуда, могут изменяться в зависимости от типа используемой системы.

Векторы, преобразованные в цифровую форму, вначале могут быть размещены в двухмерной матрице, имеющей полярные координаты, то есть А(r, θ). Например, в этой матрице полярных координат ось Х соответствует координате r, а ось Y - координате θ. Каждое значение матрицы является величиной (в диапазоне 0-255, если система является восьмибитовой), представляющей силу реакции на воздействие ультразвукового луча в этом месте.

Матрицу полярных координат, как правило, не передают для визуального воспроизведения, поскольку результирующее изображение будет слишком сложным для интерпретации врачами. Информация, хранимая в матрице полярных координат А(r, θ), как правило, подвергается нескольким ступеням обработки и интерполируется в прямоугольные (декартовы) координаты, например координаты Х и Y (А(Х, Y)), которые просто интерпретируются врачами. Таким образом, ось Х и Y матрицы А(Х, Y) будет соответствовать представлению поперечного сечения сосуда в прямоугольных координатах. Информация в матрице прямоугольных координат, возможно, подвергается дальнейшей обработке и в конечном счете визуально воспроизводится для анализа врачом. Некоторые системы могут собирать данные и визуально воспроизводить изображения в частоте видеодисплея, например приблизительно 30 изображений в секунду.

Интраваскулярное ультразвуковое исследование сегмента полости трубчатого органа тела, то есть сосуда, как правило, осуществляют путем введения катетера в отдаленную часть сегмента, подлежащего исследованию, и затем катетер медленно вытягивают назад вдоль полости трубчатого органа тела (вдоль оси Z) так, что непрерывно воспроизводятся последовательные изображения, которые образуют сегмент. Во многих случаях катетер соединяют с механическим вытяжным устройством, которое тянет катетер с постоянной скоростью, которая, как правило, составляет приблизительно 0,5-1 мм/сек.

В современных системах формирования интраваскулярных ультразвуковых изображений, как правило, для визуального воспроизведения изображения поперечного сечения полости трубчатого органа тела, например кровеносного сосуда, используют технологию, которая была описана выше. Однако эти системы несовершенны, поскольку они не предусматривают какой-либо стабилизации изображений для компенсации движения катетера и/или полости трубчатого органа тела, например кровеносного сосуда. Хорошо известно, что в процессе формирования интраваскулярного ультразвукового изображения полости трубчатого органа тела всегда имеется движение катетера и/или полости трубчатого органа тела. Такое движение может иметь место в поперечной плоскости (X-Y), вдоль оси (оси Z) сосуда или быть комбинацией таких движений. Катетер, предназначенный для формирования изображения, может также отклоняться относительно сосуда, так что плоскость формирования изображения становится не перпендикулярной оси Z (такое движение будет называться угловым отклонением). Такие движения вызываются биением сердца, пульсацией крови и/или другой жидкости, проходящей через полость трубчатого органа тела, движением сосудов, силами, прикладываемыми врачом, и другими силами, вызванными причинами, относящимися к физиологии.

В современных системах формирования интраваскулярных ультразвуковых изображений, если катетер, предназначенный для формирования изображения, неподвижен или при осуществлении медленного вытягивания вручную или механически, относительное движение катера и полости трубчатого органа тела является главным фактором изменения внешнего вида последовательных изображений, то есть как видно на устройстве для визуального воспроизведения пленки или видеоизображения. Изменение внешнего вида имеет место, поскольку скорость изменения изображения в процессе движений намного больше, чем скорость изменения действительной морфологии из-за вытягивания.

Если формирование изображения предусматривает компенсацию в последовательных изображениях относительного движения катетера и полости трубчатого органа тела, то имеет место стабилизация. Поскольку ни в одной из применяемых в настоящее время систем формирования интраваскулярных ультразвуковых изображений не обеспечивается стабилизации, отсутствует компенсация или коррекция относительных движений катетера и полости трубчатого органа тела. В результате этого элементы морфологии представляются как постоянно движущиеся или вращающиеся, то есть как видно на устройстве для визуального воспроизведения пленки или видеоизображения. Это затрудняет врачу точно интерпретировать морфологию при динамичном отображении интраваскулярного ультразвукового изображения. Кроме того, при отсутствии стабилизации интраваскулярных ультразвуковых изображений, подаваемых на вход алгоритма обработки, например восстанавливающего объем или другого фильтра, который обрабатывает набор последовательных изображений, это может привести к искажениям, неправильному диагнозу или неточным исследованиям.

Современные аппараты или катетеры для формирования интраваскулярных ультразвуковых изображений могут иметь нарушения нормальной работы, связанные с работой электронных или механических устройств. Это может приводить к визуальному воспроизведению изображений известных или неизвестных артефактов и скрывать действительную морфологию. В настоящее время нет автоматизированных способов определения, являются ли представленные изображения артефактами, которые затрудняют анализ изображений сосуда или полости трубчатого органа тела.

Поведение кардиоваскулярной функции, как правило, является периодическим. Выявление этой периодичности и способность установить корреляцию между изображением и временной фазой сердечного цикла, к которому оно относится, называют кардиальной селекцией.

В настоящее время кардиальную селекцию осуществляют путем использования внешнего сигнала, обычно электрокардиограммы. Однако селекция с помощью электрокардиограммы требует приема сигнала электрокардиограммы и его чередование (или синхронизацию) с интраваскулярным ультразвуковым изображением. Это требует дополнительного аппаратного/программного обеспечения.

Структурные элементы в интраваскулярных ультразвуковых изображениях кровеносных сосудов могут быть разбиты на три общие категории: полость, то есть область, через которую проходит поток крови или другой жидкости; слои оболочки сосуда; и наружная сторона, то есть ткань или морфология внешней стороны сосуда. Кровь в большинстве интраваскулярных ультразвуковых пленок (изображений) характеризуется быстро изменяющейся отражающей структурой. Внешняя сторона сосуда также изменяется с высокой временной частотой. В настоящее время временное поведение пикселей и их структурных атрибутов также автоматически не контролируется.

Сосудодвигательная реакция в контексте полостей трубчатых органов тела, например кровеносных сосудов, определяется как изменение диаметра полости, например сосуда. Такое изменение может иметь место в естественных условиях или быть вызвано искусственно. Сосудодвигательная реакция может иметь динамический компонент, то есть динамическое изменение размеров полости трубчатого органа тела, например диаметра сосуда (сжатие и расширение), в течение кардиоваскулярного цикла, и статический компонент основной конфигурации, то есть изменение диаметра основной конфигурации полости трубчатого органа тела, например сосуда.

Сосудодвигательная реакция может быть выражена в виде количественных физиологических параметров, показывающих способность полости трубчатого органа тела, например сосуда, изменять свой диаметр в некоторых условиях. Эти параметры имеют в настоящее время и, возможно, в будущем важность с медицинской и диагностической точки зрения, поскольку дают информацию в отношении состояния полости трубчатого органа тела, например сосуда, и эффекта проведенной терапии.

Интраваскулярное ультразвуковое формирование изображения используют для текущего контроля сосудодвигательной реакции, поскольку такое изображение обеспечивает отображение диаметра основной конфигурации и его динамические изменения. Кроме того, интраваскулярное ультразвуковое формирование изображения может быть использовано для текущего контроля того, является ли сосудодвигательная реакция глобальной (равномерной), то есть все поперечное сечение полости полого органа тела сжимается/расширяется с одинаковой величиной и в одном направлении. Интраваскулярное ультразвуковое формирование изображения может быть также использовано для определения того, является ли сосудодвигательная реакция неравномерной, что ведет к локальным изменениям диаметра полости трубчатого органа тела, то есть разные части поперечного сечения полости трубчатого органа тела ведут себя по-разному.

В настоящее время все виды текущего контроля сосудодвигательной реакции, осуществляемые с помощью интраваскулярного ультразвукового формирования изображения, выполняют вручную. Это является трудоемкой, длительной операцией, которая не позволяет осуществлять текущий контроль в реальном масштабе времени.

Интерпретацию интраваскулярных ультразвуковых изображений осуществляют посредством анализа композиции статических изображений и текущего контроля их временного поведения. Большинство интраваскулярных ультразвуковых изображений может быть разделено на три основные части. Наибольшую часть внутреннего сечения представляет собой канал полости трубчатого органа тела, то есть полость, через которую проходит поток вещества, то есть крови. Вокруг канала для прохождения потока находится действительный сосуд, который может включать в себя кровеносные сосуды и какие-либо другие сосуды тела, которые состоят из множества слоев ткани (и бляшек, если имеется заболевание). Вне сосуда может находиться другая ткань, которая может принадлежать к окружающей морфологии, например к сердцу, в изображении коронарного сосуда.

Если интраваскулярную ультразвуковую пленку просматривают в динамическом режиме, то есть в формате кинофильма, то пиксели, соответствующие потоку вещества, проходящего через сосуд, и морфологии внешней стороны сосуда имеют другое временное поведение, чем сам сосуд. Например, в большинстве интраваскулярных ультразвуковых пленок поток крови, проходящий через сосуд, отличается часто чередующимися отражающими конфигурациями. Внешняя сторона морфологии сосуда также имеет частые чередования. В настоящее время временное поведение пикселей в динамических интраваскулярных ультразвуковых изображениях автоматически не контролируют.

В современных устройствах для визуального воспроизведения ультразвуковых интраваскулярных изображений, если они предусмотрены в системе, высокочастотные временные изменения подавляют посредством, например, усреднения некоторого числа изображений. Однако это в некоторых случаях ведет к подавлению внешнего вида элементов с высокой амплитудой, то есть показателей светло-серого цвета, а также приводит к нерезкости контура изображения.

Размер канала (прохождения потока) полости трубчатого органа тела является очень важным диагностическим параметром. Если это требуется для диагностики, то этот параметр, например, определяется врачом вручную. Это осуществляют вычерчиванием контура границ прохождения потока, наложенных на статическое изображение, например, зафиксированного на экране или дисплее. Такой неавтоматизированный способ получения размера канала является трудоемким, неточным и связанным с систематическими ошибками оценки, обусловленными субъективными факторами или неточностями прибора.

В настоящее время можно купить программное обеспечение обработки изображения для автоматического получения размера канала прохождения потока. Однако такие методики основаны на оценке показателя серого цвета статических изображений и не принимают во внимание другое временное поведение материала, например крови, проходящей через канал вдоль стенок сосуда.

В процессе лечения сосудов обычной является практика повторения интраваскулярного ультразвукового исследования вытягиванием в некоторых сегментах сосуда. Например, обычной ситуацией является первоначальное исследование соответствующего сегмента сосуда, диагноз заболевания (если оно имеется), удаление интраваскулярного ультразвукового катетера, назначение терапии, осуществление терапии, например с помощью надувного, вводимого в полость, баллона или стента, и затем сразу после этого повторное исследование прошедшего терапию сегмента при использовании интраваскулярного ультразвукового катетера для оценки результатов терапии. Для правильной оценки результатов и полной оценки эффекта проведенной терапии желательно, чтобы изображения сегментов перед терапией и после терапии, на которых представлены поперечные сечения сосуда, лежали в тех же самых сравниваемых местах вдоль оси Z сосуда (то есть соответствующие сегменты). Для осуществления такого сравнения необходимо определить, какие места в пленках интраваскулярных ультразвуковых изображений, полученных перед терапией, и интраваскулярных ультразвуковых изображений, полученных после терапии, соответствуют друг другу. Эта процедура, называемая согласованием, позволяет точно сравнивать интраваскулярные ультразвуковые изображения, полученные перед и после терапии.

В настоящее время такое согласование, как правило, осуществляют посредством просмотра интраваскулярных ультразвуковых пленок (полученных при вытягивании соответствующего катетера) сегментов перед терапией и после терапии, одной после другой или одной за другой, используя поддающиеся идентификации анатомические ориентиры для определения последовательностей, которые визуально соответствуют друг другу. Этот способ крайне неточен и труден для применения, принимая во внимание то, что изображения не стабильны и часто поворачиваются и/или движутся на дисплее вследствие отсутствия стабилизации и поскольку многие из анатомических ориентиров, обнаруженных в интраваскулярном ультразвуковом изображении пленки сегмента перед терапией, могут быть разрушены или изменены в результате терапии, проведенной на сосуде. Кроме того, ориентация и внешний вид сосуда, вероятно, изменятся в результате различных ориентаций и относительных положений интраваскулярного ультразвукового катетера относительно сосуда вследствие его удаления и повторного введения после завершения терапии. Согласование, которое делают вручную при неавтоматизированной визуальной идентификации, может быть крайне трудоемким и неточным.

КРАТКОЕ ИЗЛОЖЕНИЕ СУЩНОСТИ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

Настоящее изобретение решает проблемы, связанные с системами формирования интраваскулярных ультразвуковых изображений, имеющимися в настоящее время на рынке, и с предшествующим уровнем техники посредством обеспечения врачей точными интраваскулярными ультразвуковыми изображениями и последовательностями изображений исследуемой морфологии, обеспечивая в соответствии с этим постановку более точного диагноза и проведение более точного исследования.

Настоящее изобретение обеспечивает способ обработки интраваскулярной ультразвуковой видео и сигнальной информации для удаления искажений и неточностей, вызванных различными видами движения катетера и полости трубчатого органа тела. Такая обработка в результате обеспечивает увеличение качества и эффективности (полезности) интраваскулярных ультразвуковых изображений. Преимущество, обеспечиваемое настоящим изобретением, заключается в том, что отдельные интраваскулярные ультразвуковые изображения стабилизируются относительно предшествующего изображения (изображений), устраняя благодаря этому отрицательные эффекты, возникающие при какой-либо последующей обработке множества изображений. Если движения в каждом изображении являются движениями в поперечном направлении, то такие движения могут быть полностью скомпенсированы для каждого полученного изображения.

Поскольку движение в полости трубчатого органа тела стабилизируется, настоящее изобретение обеспечивает алгоритмы объемной реконструкции для точного воспроизведения морфологии. Настоящее изобретение применимо и эффективно в системе любого типа, в которой имеется необходимость стабилизации изображений (интраваскулярных ультразвуковых или других), поскольку зонд (например, ультразвуковой или другой), движущийся через полость, имеет относительное движение (например, относительно полости трубчатого органа тела).

Настоящее изобретение предусматривает детектирование ультразвукового сигнала, генерируемого ультразвуковым устройством в полости трубчатого органа тела, перевод принимаемого аналогового сигнала в полярные координаты (А(r, θ)), стабилизацию поля в полярных координатах, преобразование стабилизированных полярных координат в прямоугольные координаты (А(Х, Y)), стабилизацию поля в прямоугольных координатах и затем передачу стабилизированного изображения как прямоугольных координат к устройству для визуального воспроизведения. Стабилизированные изображения (в полярных или прямоугольных координатах) могут быть дополнительно обработаны перед визуальным воспроизведением или могут визуально не воспроизводиться. Преобразование в прямоугольные координаты и/или стабилизация поля в прямоугольных координатах может быть сделана в любой момент перед или после стабилизации поля в полярных координатах. Кроме того, стабилизация поля в полярных или прямоугольных координатах может не проводиться в зависимости от обнаруженного смещения в изображении или в зависимости от других факторов. Помимо этого, в зависимости от обнаруженного смещения или от других факторов, могут быть включены или исключены дополнительные формы стабилизации.

Например, стабилизация устойчивого движения может быть введена для компенсации поворотного (углового) движения или глобальной сосудодвигательной реакции (расширения или сжатия в направлении r) в поле, представленном в полярных координатах, и/или сдвига в прямоугольных координатах (в направлении Х и/или Y) в поле в прямоугольных координатах.

Устойчивое поперечное движение между представлениями последовательных изображений называют "смещением", то есть равномерным движением в плоскости изображения всех относящихся к морфологии элементов. Для стабилизации интраваскулярных ультразвуковых изображений на первом этапе осуществляют "оценку и выявление смещения". То есть между каждой парой последовательных изображений оценивают и выявляют смещение (если оно имеется). Для выполнения операции на паре интраваскулярных ультразвуковых изображений с целью определения, имеется ли смещение между такими изображениями, в системе может быть использован процессор. Процессор может использовать единственный алгоритм или может выбирать из нескольких алгоритмов для выполнения такой операции.

Система использует алгоритм (алгоритмы) для моделирования смещения в изображении и затем сравнивает это смещенное изображение с предшествующим ему изображением. Сравнения между изображениями известны как операции сравнения, которые могут быть также известны на предшествующем уровне техники как согласование. Для каждого смещения система выполняет одну операцию сравнения. Результаты серии операций сравнения оцениваются для определения местоположения (направления и величины) смещенного изображения, которое имеет наибольшее сходство с предшествующим несмещенным изображением. Конечно, изображение может быть аналогичным образом сравнено с последующим изображением. После определения действительного смещения текущее изображение становится предшествующим изображением, следующее изображение становится текущим изображением и описанная выше операция повторяется.

Используя оценку и выявление смещения, система определяет вид поперечного смещения, например поворот, расширение, сжатие, сдвиг (в прямоугольных координатах) и так далее, вместе с направлением и величиной смещения. На следующем этапе осуществляют "выполнение смещения". То есть для стабилизации каждого из изображений относительно смежного ему предшествующего изображения, система выполняет операцию или серию операций на интраваскулярных ультразвуковых изображениях. При такой стабилизации используют одно или множество "обратных смещений", цель которых - аннулировать выявленное смещение. Для выполнения такого "обратного смещения" система может иметь алгоритм или может выбирать из некоторого числа алгоритмов. Логику, которая решает, какое обратное смещение будет действительно выполнено в изображении прежде, чем оно поступит для дальнейшей обработки или для визуального воспроизведения, называют "логикой смещения". Как только интраваскулярные ультразвуковые изображения стабилизированы для требуемых видов выявленного движения, система может передать видеоинформацию (в прямоугольных или полярных координатах) для дополнительной обработки и в конечном счете для визуального воспроизведения, где результаты стабилизации могут стать видимыми, например, врачом. В альтернативном варианте осуществления стабилизация может быть невидимой для пользователя в том смысле, что стабилизация может быть использована до некоторых других этапов обработки, после которых результирующие изображения проецируют на дисплее в их исходном нестабилизированном состоянии или ориентации.

Возможно, что поперечное движение между изображениями не является устойчивым, а имеет локальный характер, то есть разные части изображения будут перемещаться в разных направлениях и на разную величину. В этом случае для компенсации такого движения описанные выше способы стабилизации или другие способы могут быть реализованы локально.

Настоящее изобретение обеспечивает выявление сердечной периодичности благодаря использованию информации, получаемой только из интраваскулярных ультразвуковых изображений без необходимости внешнего сигнала, например, электрокардиограммы. Этот способ предусматривает использование операций сравнения, которые также частично используются в процессе стабилизации. Одной важной функцией выявления периодичности (то есть кардиальной селекции), когда катетер неподвижен или когда выполняют регулируемое вытягивание интраваскулярного ультразвукового зонда, является то, что способ позволяет выбор изображений фазы в последовательных сердечных циклах. Выбор изображений на основе кардиальной селекции позволит стабилизировать все виды периодического движения (включая поперечные, по оси Z и угловые отклонения), принимая во внимание то, что изображения выбирают из одной фазы последовательных биений сердца. Например, эти интраваскулярные ультразвуковые изображения могут быть воспроизведены визуально и любые промежутки, создаваемые между ними, могут быть скомпенсированы для заполнения и визуального воспроизведения интерполированных изображений. Интраваскулярные ультразвуковые изображения, выбранные с помощью этой операции, могут быть также переданы дальше для дополнительной обработки.

Операции сравнения, используемые для выявления периодичности, также могут быть использованы для текущего контроля качества изображения и индикации артефактов, связанных с нарушениями в процессе формирования изображения и устройства для обработки (изображений).

Операции, используемые для оценки смещения, могут автоматически выявлять сосудодвигательную реакцию. Это может быть полезным для процесса стабилизации, так как сосудодвигательная реакция вызывает изменение последовательных изображений вследствие изменения диаметра сосуда. Если изображения стабилизируют в отношении сосудодвигательной реакции, то такое изменение должно быть скомпенсировано. В альтернативном варианте осуществления, информация, относящаяся к изменению диаметра, может быть визуально отображена, поскольку она может иметь значение для понимания физиологии исследуемого явления. Текущий контроль сосудодвигательной реакции осуществляют путем выполнения операций сравнения с последовательными изображениями, используя представления изображений в полярных координатах, то есть А(r, θ). Такие операции могут быть проделаны со всеми изображениями или с соответствующими отдельными полярными векторами (из последовательных изображений), в зависимости от вида требуемой информации. Поскольку глобальная сосудодвигательная реакция выражается как равномерное изменение диаметра полости трубчатого органа тела, это может быть оценено с помощью операции сравнения, в которой принимается во внимание все изображение, представленное в полярных координатах. Как правило, для оценки сосудодвигательной реакции может быть использована любая операция, пригодная для глобальной стабилизации представления изображения в полярных координатах.

В некоторых условиях в процессе формирования интраваскулярного ультразвукового изображения сосудодвигательная реакция не может быть однородной, то есть движение имеется только в некоторых сечениях интраваскулярного ультразвукового изображения, соответствующего определенным областям в полости трубчатого органа тела. Это может иметь место, например, там, где артерия имеет в некотором месте нарост из бляшки, позволяя в соответствии с этим расширение или сжатие артерии только в областях нароста бляшки. Когда такое движение выявляется, система способна разделять ультразвуковые сигналы, представляющие поперечные сечения полости трубчатого органа тела, на множество сегментов, каждый из которых затем обрабатывается отдельно относительно соответствующего сегмента в смежном изображении, используя определенный алгоритм (алгоритмы). Затем могут быть визуально воспроизведены результирующие интраваскулярные ультразвуковые изображения. Такая форма стабилизации может использоваться отдельно или вместе с описанными выше способами стабилизации. В альтернативном варианте осуществления может быть визуально отображена информация, относящаяся к локальному изменению диаметра сосуда, поскольку она может иметь важность с точки зрения физиологии.

Временное поведение пикселей и их структурных атрибутов может быть использовано для увеличения качества визуального воспроизведения и для автоматического разбиения на сегменты (извлечение полости трубчатого органа тела). Если текущий контроль поведения осуществляют в условиях стабилизированного изображения, то могут быть улучшены эффективность увеличения качества визуального воспроизведения и процессов разбиения на сегменты.

В соответствии с настоящим изобретением временное поведение интраваскулярных ультразвуковых изображений может контролироваться автоматически. Информация, получаемая в процессе такого текущего контроля, может быть использована для улучшения точности интерпретации интраваскулярного ультразвукового изображения. Благодаря фильтрации и подавлению быстро изменяющихся элементов (изображения) вещества, например крови, поток которого проходит через сосуд, и внешней стороны морфологии сосуда как результата их временного поведения, может быть улучшено человеческое восприятие (понимание) сосуда, представляемого статически и динамически, например в виде кинофильма.

Автоматическое разбиение на сегменты, то есть идентификация сосуда и вещества, например крови, поток которой проходит через сосуд, может быть осуществлено благодаря использованию алгоритма, который автоматически идентифицирует вещество, например кровь, на основе временного поведения структурных атрибутов, образованных посредством соответствующих им пикселей. Временное поведение, которое извлекается из изображений, может быть использовано для нескольких целей. Например, временная фильтрация может быть выполнена для улучшения качества изображения, а выявление изменений в пиксельной структуре может быть использовано для автоматической идентификации полости трубчатого органа тела и его периферии.

Во всех интраваскулярных ультразвуковых изображениях сам катетер (и устройство для формирования изображения) лучше всего удалить из изображения до выполнения стабилизации или текущего контроля. Неудаление катетера из изображения может ухудшить стабилизацию и текущий контроль. Удаление катетера может быть выполнено автоматически, поскольку его размеры известны.

Настоящее изобретение обеспечивает также автоматическую идентификацию (то есть согласование или регистрацию) соответствующих блоков данных из двух пленок одного сегмента сосуда, например, перед и после терапии. Для сравнения первой интраваскулярной ультразвуковой пленки, то есть первой последовательности интраваскулярных ультразвуковых изображений, со второй интраваскулярной ультразвуковой пленкой, то есть со второй последовательностью интраваскулярных ультразвуковых изображений, одного сегмента полости трубчатого органа тела, например, полученной в виде видеофильма, кинофильма или в цифровой форме, последовательности изображений должны быть синхронизированы. Согласование, которое обеспечит такую синхронизацию, предусматривает выполнение операций сравнения групп последующих изображений, принадлежащих к двум наборам последовательных интраваскулярных ультразвуковых изображений.

Из одной последовательности изображений выбирают группу последующих изображений, называемую опорной группой. Такая группа должна быть выбрана из части визуально воспроизводимого сосуда в обеих последовательностях изображений и это должна быть та часть, на которой не собираются проводить терапию, поскольку вероятно, что терапия изменит морфологию сосуда. Другим условием для осуществления такого процесса согласования является то, что эти две последовательности изображений должны быть получены при известной, постоянной и предпочтительно одинаковой скорости вытягивания катетера.

Операции сравнения выполняют с изображениями опорной группы и изображениями из второй группы, которая имеет одинаковое число последовательных изображений, извлеченных из второй последовательности изображений. Затем вторую группу изображений смещают на один блок данных относительно опорной группы и повторяют операции сравнения. Это может быть повторено предварительно определенное число раз и для определения максимального сходства сравнивают результаты сравнения каждого смещения блока данных. Максимальное сходство определит рассогласование блока данных между изображениями двух последовательностей изображений. Это рассогласование может быть реверсировано в первой или второй пленке так, чтобы соответствующие изображения могли автоматически идентифицироваться и/или одновременно попадать в поле зрения.

Таким образом, соответствующие изображения могут попадать в поле зрения, например, для определения эффективности любой проведенной терапии или изменения в морфологии в течение (определенного) периода времени.

Кроме того, описанные выше различные виды стабилизации могут быть выполнены в изображениях или между изображениями в этих двух последовательностях перед, в процессе или после такой операции согласования. Таким образом, две пленки могут быть визуально воспроизведены не только синхронно, но также в одинаковых ориентации и положении относительно друг друга.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг.1a и фиг.1b - двухмерная матрица изображения в векторах, переведенных в цифровую форму, в полярных и прямоугольных координатах соответственно.

Фиг.2 - результаты оценки смещения между двумя последовательными изображениями в прямоугольных координатах.

Фиг.3 - иллюстрация изображений, имеющих дрейф в полярных и прямоугольных координатах.

Фиг.4 - иллюстрация эффекта выполнения операций (поворотного смещения и смещения в прямоугольных координатах) стабилизации.

Фиг.5 - иллюстрация глобальных сжатия или расширения полости трубчатого органа тела, выраженных в представлениях изображения в полярных и прямоугольных координатах.

Фиг.6 - изображение, разделенное на четыре секции для обработки, соответствующей настоящему изобретению.

Фиг.7 - сосуд, представленный в полярных и прямоугольных координатах, в котором была выявлена сосудодвигательная реакция.

Фиг.8 - графические иллюстрации результатов текущего контроля сосудодвигательной реакции в реальном коронарном сосуде.

Фиг.9 - графическая иллюстрация синхронных электрокардиограммы и коэффициента взаимной корреляции.

Фиг.10 - таблица группы значений коэффициента взаимной корреляции (средний ряд) последовательных изображений (номеров 1-10, указанных в первом ряду) и результаты внутренних взаимных корреляций (нижний ряд),

Фиг.11 - иллюстрация графика (коэффициента взаимной корреляции), на котором показан артефакт в интраваскулярных ультразвуковых изображениях.

Фиг.12 - иллюстрация интраваскулярных ультразвуковых изображений, разделенных на три основные части: полость трубчатого органа тела, через которую проходят потоки жидкости; действительный сосуд; и окружающая ткань.

Фиг.13 - иллюстрация результатов временной фильтрации.

Фиг.14 - иллюстрация изображения результатов автоматической экстракции полости трубчатого органа тела.

Фиг.15 - иллюстрация временной последовательности первой пленки (левый столбец), опорного сегмента из второй пленки (средний столбец) и изображений из первой пленки, которые соответствуют (или согласуются) изображениям опорного сегмента (правый столбец).

ПОДРОБНОЕ ОПИСАНИЕ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

Ультразвуковые сигналы систем формирования интраваскулярных ультразвуковых изображений генерируются и принимаются посредством ультразвукового прибора, например первичного измерительного преобразователя или матрицы первичных измерительных преобразователей, обрабатываются и в конечном счете представляются как векторы, содержащие данные, преобразованные в цифровую форму. Каждый вектор представляет реакцию на воздействие ультразвукового луча другого углового сектора полости трубчатого органа тела. Число элементов данных в каждом векторе (разрешение выборки в осевом направлении) и число векторов, используемых для сканирования всего поперечного сечения (разрешение выборки в поперечном направлении) сосуда, зависит от конкретной используемой системы формирования интраваскулярного ультразвукового изображения.

В частности, процессор устройства, связанный с передатчиком ультразвуковых сигналов и детектором, может быть запрограммирован на формирование первой серии изображений из первого набора детектируемых ультразвуковых сигналов, формирование второй серии изображений из второго набора детектируемых ультразвуковых сигналов, сравнение первой серии изображений со второй серией изображений и автоматическое согласование первой серии изображений и второй серии изображений.

В другом варианте процессор может быть запрограммирован на формирование первого изображения из детектируемых ультразвуковых сигналов, формирование второго изображения из детектируемых ультразвуковых сигналов, сравнение второго изображения с первым изображением и обработку первого и второго изображений.

Векторы данных, переведенных в цифровую форму, сначала сформированы в виде двухмерной матрицы, которая иллюстрируется на фиг.1(а). Как правило, эта матрица имеет полярные координаты, то есть координаты А(r, θ). Ось Х матрицы, показанной на фиг.1(а), соответствует координате r, тогда как ось Y матрицы соответствует координате θ. Каждое значение матрицы, как правило, является показателем серого цвета, например, в диапазоне 0-255, если оно имеет 8 бит, представляющим уровень ультразвукового сигнала в этом соответствующем местоположении в полости трубчатого органа тела. Эта матрица полярных координат может быть затем преобразована в матрицу прямоугольных координат, как показано на фиг.1(b), имеющую ось Х и ось Y, которые соответствуют представлению поперечного сечения сосуда в прямоугольных координатах. Это изображение может быть после этого дополнительно обработано и передано к устройству для визуального воспроизведения (дисплею). В исходной матрице и в дисплее могут быть использованы полярные или прямоугольные координаты. Значения для матриц могут отличаться от показателей серого цвета, например, они могут быть цветовыми показателями или другими показателями и могут быть менее или более восьми бит.

Во время процедуры вытягивания при формировании интраваскулярного ультразвукового изображения полость (трубчатого органа тела), называемая ниже сосудом, и/или катетер для формирования изображения может претерпеть несколько видов относительного движения. Эти виды движения включают в себя (1) вращение в плоскости формирования изображения, то есть смещение координаты θ изображения в полярных координатах; (2) сдвиг в прямоугольных координатах, то есть смещение по координате Х и/или Y изображения в прямоугольных координатах; (3) глобальную сосудодвигательную реакцию, характеризующуюся радиальными сжатием или расширением всего сосуда, то есть равномерным смещением по координате r изображения в полярных координатах; (4) локальную сосудодвигательную реакцию, характеризующуюся радиальными сжатием или расширением разных частей сосуда, отличающимися по величине и направлению, то есть локальными смещениями по координате r изображения в полярных координатах; (5) локальное перемещение, характеризующееся другим перемещением ткани, которое изменяется в зависимости от точного местоположения в изображении; и (6) движение по плоскости, то есть перемещения, которые перпендикулярны или почти перпендикулярны (осуществляются под углом) плоскости формирования изображения.

Стабилизация последовательных необработанных изображений применима к первым пяти видам движения, описанным выше, поскольку движение ограничено плоскостью, проходящей в поперечном направлении. Эти виды движения могут быть скомпенсированы для достижения стабилизации посредством преобразования каждого текущего изображения так, чтобы имело место его максимальное сходство с предшествующим изображением. Первые три вида движения могут быть стабилизированы при использовании операций сравнения, которые сравнивают все или крупные части изображений друг с другом. Это возможно, поскольку движение является глобальным или устойчивым по своему характеру. Четвертый и пятый виды движения стабилизируют посредством локального использования операций сравнения, поскольку разные части изображения испытывают разные движения. Шестой вид движения может быть стабилизирован только частично посредством локального приложения операций сравнения. Это возможно, поскольку движение не ограничено плоскостью, проходящей в поперечном направлении. Этот вид движения может быть стабилизирован при выявлении кардиоваскулярной периодичности.

В следующих разделах будут описаны способы глобальной стабилизации, после чего следует описание способов локальной стабилизации. Стабилизация, использующая выявление кардиоваскулярной периодичности, должна быть описана в разделах, в которых описывается выявление периодичности.

Для достижения глобальной стабилизации оценку смещения осуществляют при использовании некоторого типа операции сравнения. Операция сравнения измеряет сходство двух изображений. Оценку смещения осуществляют посредством преобразования первого изображения и измерения его близости, то есть сходства, с вторым, предшествующим ему изображением. Преобразование может быть выполнено, например, посредством смещения всего первого изображения вдоль оси или комбинации осей (X и/или Y в прямоугольных координатах или r и/или θ в полярных координатах) на один пиксель (или более). Как только преобразование, то есть смещение, выполнено, преобразованное первое изображение сравнивается со вторым, предшествующим ему изображением при использовании заданной функции. Такое преобразование повторяют каждый раз путем смещения первого изображения на дополнительный пиксель (или более) вдоль одной и/или другой оси и сравнивая преобразованное первое изображение со вторым, предшествующим ему изображением, используя заданную функцию. После того как все смещения оценены, местоположение глобального экстремума сравнений при использовании заданной функции покажет направление и величину перемещения между первым изображением и вторым, предшествующим ему изображением.

Например, на фиг.2 иллюстрируются результаты оценки смещения между двумя последовательными изображениями в прямоугольных координатах. Изображение А является предшествующим изображением, показывающим конфигурацию, например поперечное сечение, сосуда, центр которого расположен в нижнем правом квадранте матрицы. Изображение В является текущим изображением, показывающим ту же конфигурацию, но смещенную в направлении вверх и влево и расположенную в верхнем левом квадранте матрицы. Величина и направление движения центра сосуда указаны стрелкой. Нижней матрицей является матрица C(shiftX, shiftY), которая является результирующей матрицей после реализации оценок смещения при использовании того же типа операции сравнения.

Имеется много различных алгоритмов или математических функций, которые могут быть использованы для выполнения операции сравнения. Одной из них является взаимная корреляция, возможно, при использовании преобразования Фурье. То есть там, где текущее и предшествующее изображения состоят, например, из 256×256 пикселей, каждое подвергается преобразованию Фурье при использовании быстрого преобразования Фурье. Сопряжение быстрого преобразования Фурье текущего изображения умножают на быстрое преобразование Фурье предшествующего изображения. Результатом является обратное быстрое преобразование Фурье при использовании алгоритма обратного быстрого преобразования Фурье. Формула взаимной корреляции при использовании преобразования Фурье может быть записана как

С=real(ifft2((fft2(A))*conj(fft2(B)))),

где А = матрица предшествующего изображения (например, 256×256);

В = матрица текущего изображения (например, 256× 256);

fft2 = двухмерное быстрое преобразование Фурье;

ifft2 = двухмерное обратное быстрое преобразование Фурье;

conj = сопряжение;

real = реальная (вещественная) часть комплексного выражения;

* = умножение элемента на элемент; и

С = матрица взаимной корреляции.

Оценка сходства при использовании взаимной корреляции, выполненной с помощью преобразования Фурье, действительно является аппроксимацией. Это так, поскольку математическая формула для преобразования Фурье относится к бесконечно большим или периодическим функциям или матрицам, хотя в реальной жизни матрицы (или изображения) имеют конечные размеры и не обязательно являются периодическими. При выполнении взаимной корреляции, используя быстрое преобразование Фурье, способ допускает периодичность по обеим осям.

В результате эта формула является хорошей аппроксимацией и отражает действительную ситуацию по оси θ представления изображения в полярных координатах, однако она не отражает действительной ситуации по оси r представления изображения в полярных координатах или по оси Х или оси Y представления изображения в прямоугольных координатах.

Имеется ряд преимуществ взаимной корреляции при использовании быстрого преобразования Фурье. Во-первых, все значения матрицы C(shiftX, shiftY) взаимной корреляции вычислены с помощью этой основной операции. Кроме того, имеется специализированное аппаратное обеспечение для выполнения операции быстрого преобразования Фурье, то есть интегральные схемы или платы, предназначенные для осуществления преобразования Фурье.

Другим алгоритмом, который может быть использован для выполнения операции сравнения, является прямая взаимная корреляция, нормированная или нет. Ее осуществляют путем умножения каждого пикселя в текущем смещенном изображении на соответствующий ему пиксель в предшествующем изображении, суммирования всех результатов и нормирования в случае нормированной взаимной корреляции. Каждый результат смещения в сумме и действительное смещение будет указано наибольшей суммой из оцененных смещений. Формула взаимной корреляции может быть записана следующим образом

Эта формула для нормированной взаимной корреляции имеет вид

где A = матрица предшествующего изображения;

В = матрица текущего изображения;

Σ = сумма всех пикселей в матрице;

С = матрица результатов всех выполненных смещений.

При использовании этого прямого способа взаимной корреляции C(shiftX, shiftY) может быть оценено для всех возможных значений shiftX и shiftY. Например, если каждая из исходных матриц А и В имеет 256×256 пикселей, то было бы оценено каждое из значений shifX и shiftY в диапазоне от -127 до +128, сделав всего 256×256=65536 оценок смещений для того, чтобы вычислить C(shiftX, shiftY) для всех возможных значений shiftX и shiftY. При завершении этих оценок определяют глобальный максимум матрицы.

Прямая взаимная корреляция может быть выполнена более эффективно путем уменьшения числа требуемых арифметических операций. Для определения действительного смещения изображений нет необходимости в оценке каждого возможного shiftX и shiftY. Достаточно найти местоположение наибольшего значения C(shiftX, shiftY) из всех возможных shiftX и shiftY.

Третьим алгоритмом, который может быть использован для выполнения операции сравнения, является суммирование абсолютных разностей. Этого достигают путем вычитания каждого пикселя в одном изображении из соответствующего пикселя в другом изображении, получения их абсолютных значений и суммирования всех результатов. Каждое смещение будет суммировано и действительное смещение будет указано наименьшей суммой. Формула суммы абсолютных разностей (SAD) может быть записана следующим образом:

SAD=absolute(A-В)

Эта формула может быть записана следующим образом:

где A = матрица предшествующего изображения;

В = матрица текущего изображения;

abs = абсолютное значение;

- = вычитание одного элемента из другого;

Σ = сумма всех разностей.

Хотя точность каждого из этих алгоритмов/формул может немного изменяться в зависимости от определенного вида движения (элементов) и юстировки системы, должно быть очевидно, что ни одна формула не может быть априори классифицирована как обеспечивающая лучшие или наиболее точные результаты. Кроме того, должны быть многочисленные варианты формул, описанных выше, и другие алгоритмы/формулы, которые могут быть использованы для осуществления оценки смещения и которыми могут быть заменены описанные выше алгоритмы/формулы. Эти алгоритмы/формулы предусматривают также операции, которые известны на предшествующем уровне техники для использования в качестве операций согласования.

Как следует из фиг.2, если выполненная операция сравнения является взаимной корреляцией, то C(shiftX, shiftY) называют матрицей взаимной корреляции, а глобальный максимум, указанный жирной точкой в верхнем левом квадранте, будет находиться на некотором расстоянии и в некотором направлении от центра матрицы (стрелка в матрице С), которое совпадает с расстоянием центра сосуда в изображении В от центра сосуда на изображении А (стрелка на изображении В).

Если выполненной операцией сравнения является суммирование абсолютных разностей, то черная точка укажет глобальный минимум, который будет находиться на расстоянии и в направлении от центра матрицы (стрелка в матрице С), которое совпадает с расстоянием центра сосуда на изображении В до центра сосуда на изображении А (стрелка на изображении В).

Поворотное перемещение выражают как смещение вдоль текущего изображения в полярных координатах, а именно координаты θ относительно ее положения в предшествующем изображении. Поворотное смещение в текущем изображении определяют путем максимизации близости (сходства) между текущим изображением в полярных координатах и предшествующим изображением. Максимальная близость будет получена, если текущее изображение обратно смещено на точную величину действительного смещения. Например, в изображении 256×256 пикселей значение разности (в пикселях) между координатой 128 и координатой θ максимума изображения взаимной корреляции (минимум в изображении суммирования абсолютных разностей) покажет направление (положительное или отрицательное) и величину поворота.

Сосудодвигательная реакция характеризуется расширением и сжатием всего поперечного сечения сосуда. На изображении в полярных координатах этот вид перемещения выражают как движение внутрь и наружу сосуда вдоль оси r. Сосудодвигательная реакция может быть скомпенсирована соответствующим действием в противоположном направлении на текущем изображении в полярных координатах при использовании одной из описанных выше формул или какой-либо другой формулы. В противоположность угловой стабилизации, при стабилизации сосудодвигательной реакции ориентация изображения не изменяется, но действительное изображение трансформируется путем его растягивания или сжатия.

Сдвиг в прямоугольных координатах выражают как смещение по оси Х и оси Y в изображении в прямоугольных координатах относительно предшествующего изображения в прямоугольных координатах. Этот вид движения оценивают путем сдвига изображения в прямоугольных координатах в противоположном направлении действительному смещению. Таким образом, сдвиг в прямоугольных координатах (в представлении изображения в прямоугольных координатах) может быть достигнут по существу с помощью тех же арифметических операций, используемых для стабилизации поворота и сосудодвигательной реакции в представлении изображения в полярных координатах.

Ряд оценок смещения, необходимых для определения местоположения глобального экстремума (максимума или минимума в зависимости от функции сравнения) C(shiftX, shiftY), может быть уменьшен при использовании различных технологий вычисления. Одна технология, например, имеет преимущество в том отношении, что перемещение между последовательными интраваскулярными ультразвуковыми изображениями в общем относительно мало по отношению к полным размерам матриц в полярных и/или прямоугольных координатах. Это означает, что матрица C(shiftX, shiftY) может быть оценена только в относительно небольшой части вокруг центра матрицы, то есть вокруг точки shiftX=0, shiftY=0. Экстремум этой части должен быть глобальным экстремумом матрицы C(shiftX, shiftY), включая большие значения shiftX и shiftY. Размер минимальной части, который бы гарантировал то, что найденный экстремум в ней на самом деле является глобальным экстремумом, изменяется в зависимости от настройки системы. Число необходимых операций оценки может быть дополнительно уменьшено, принимая во внимание равномерность и монотонность свойств, ожидаемых от матрицы С (особенно по соседству с глобальным экстремумом). По этой причине, если значение матрицы C(shiftX, shiftY) в определенном местоположении имеет локальный экстремум (например, в соседстве 5×5 пикселей), то вероятно это есть глобальный экстремум всей матрицы C(shiftX, shiftY).

Уменьшение числа необходимых оценок может быть получено сначала поиском от центра матрицы (shiftX=0, shiftY=0) и проверкой ближнего соседства, например 5×5 пикселей вокруг центра. Если локальный экстремум найден внутри этого соседства, то вероятно, что глобальный экстремум всей матрицы C(shiftX, shiftY) и поиск может быть закончен. Однако, если локальный экстремум найден на краях этого соседства, например shiftX = -2, shiftY = -2, shiftX = 2, shiftY = 2, то поиск вокруг этих пикселей повторяют до тех пор, пока не будет найдено значение матрицы C(shiftX, shiftY), которое больше (меньше) всех ее ближних соседей. Поскольку в большом числе изображений нет перемещения внутри изображения, число оценок, необходимых для определения местоположения глобального максимума в этих случаях, будет составлять приблизительно 5×5=25, вместо исходных 65536 оценок.

Число необходимых операций оценки может быть также уменьшено путем выборки изображений. Например, если изображения, имеющие размер 256×256 пикселей выборочно контролируют для каждого второго пикселя, то они уменьшаются до размера 128×128 пикселей. В этом случае прямая взаимная корреляция или суммирование абсолютных разностей таких матриц предусматривает 128×128 операций вместо 256× 256 операций, при этом каждый раз изображения смещаются относительно друг друга. Выборка как способ уменьшения операций оценки смещения может сочетаться с другими вышеописанными способами уменьшения числа операций оценки.

Как следует из фиг.2, в результате операции сравнения величина shiftX будет иметь положительное значение, а величина shiftY - отрицательное значение. Для стабилизации изображения В, то есть для компенсации смещений в направлениях Х и Y, логикой смещения будет изменение направления их смещений на обратное, то есть изменение их знака, но не их величины, и выполнение этих смещений на матрице, соответствующей изображению В. Это будет искусственное изменение направления смещения изображения В на обратное и вынуждение изображения В оставаться не смещенным относительно изображения А.

Действительные значения, используемые в вычислениях сравнения, не обязательно должны быть исходными значениями матрицы, обеспечиваемыми системой формирования изображения. Например, улучшенные результаты могут быть получены, если исходные значения увеличены в 2, 3 или 4 раза или обработаны каким-либо другим способом.

Катетер формирования изображения и закрывающая оболочка выглядят как постоянные артефакты на всех интраваскулярных ультразвуковых изображениях. Это затрудняет выполнение операций сравнения изображений, поскольку оболочка и катетер не являются частью морфологии сосуда. По этой причине необходимо исключить катетер и связанные с ним предметы из изображения до выполнения операций сравнения, то есть обнулить значения их пикселей. Исключение этих предметов может быть осуществлено автоматически, поскольку известны размеры катетера.

Оценка и выполнение смещения могут быть модульными. Таким образом, оценка и осуществление смещения могут быть ограничены отдельно полярными координатами или прямоугольными координатами или оценка и осуществление смещения могут быть выполнены последовательно для полярных и прямоугольных координат. В настоящее время, поскольку формирование изображения в системах формирования интраваскулярных ультразвуковых изображений, как правило, осуществляют путем использования сначала полярных координат, а затем преобразования в прямоугольные координаты, удобнее всего проводить оценку и осуществление смещения в той же последовательности. Однако эта последовательность может быть модифицирована или изменена без отрицательных эффектов или отрицательных результатов.

Процесс оценки смещения может быть выполнен вдоль одной или обеих осей. Как правило, предпочитают проведение двух оценок даже в том случае, если движение направлено вдоль одной оси. Выполнение смещения может быть ограничено обеими осями, одной осью или может быть не связано с какой-либо из осей.

Нет необходимости в идентификации области, используемой для оценки смещения, и области, в которой осуществляют смещение. Например, оценка смещения может быть проведена при использовании относительно небольшой области изображения, тогда как выполнение смещения сдвинет все изображение в соответствии со смещением, указанным для этой области.

Тривиальная логика смещения является логикой, в которой выполняемое смещение на каждом изображении (формируя в соответствии с этим стабилизированное изображение) имеет одинаковую величину и противоположное направление смещению, полученному в результате оценки. Однако такая логика может привести к процессу, определенному как дрейф. Дрейф является процессом, в котором выполняемые смещения накапливаются и дают увеличение смещения, размеры которого значительны относительно всего изображения или визуального воспроизведения изображения. Дрейф может быть результатом неточности оценки смещения или неперпендикулярности перемещения внутри изображения в некоторой части кардиоваскулярного цикла. Если стабилизацию осуществляют в прямоугольных координатах, то дрейф может вызвать, например, смещение относительно большой части изображения из визуального воспроизведения. Если осуществляют стабилизацию поворота, то дрейф может вызвать увеличивающееся вращение изображения в определенном направлении.

Фиг.3 представляет собой изображение, иллюстрирующее дрейф в полярных и прямоугольных координатах. Левое изображение является исходным визуальным воспроизведением изображения, тогда как правое изображение является аналогичным изображением после осуществления стабилизации в полярных и прямоугольных координатах. Следует отметить, что правое изображение повернуто против часовой стрелки на больший угол и смещено вниз относительно левого изображения. В этом случае выполнение поворота и смещения в прямоугольных координатах не компенсирует действительных смещений изображения, а возникает из неточной оценки смещения.

Логика смещения должна быть такой, чтобы обеспечивать минимальный дрейф из-за ошибки оценки смещения. Один способ предотвращения или по меньшей мере ограничения дрейфа основан на установке предела величины допустимых смещений. Это минимизирует дрейф, но при отсутствии компенсации некоторого действительного смещения. Для предотвращения или минимизации смещения могут быть использованы дополнительные способы. Они могут чередоваться со способами выявления кардиоваскулярной периодичности, которые будут описаны позднее.

Изображения, показанные на фиг.4, иллюстрируют эффект выполнения на изображении операций стабилизации (поворотного смещения и смещения в прямоугольных координатах). Левое изображение является интраваскулярным ультразвуковым изображением, сделанным в коронарной артерии, как это видно на большой части обычного визуального воспроизведения (с удаленным катетером), тогда как правое изображение показывает, как бы выглядело левое изображение, будучи визуально воспроизведенным после того, как выполнены операции стабилизации.

При внимательном сравнении левого и правого изображений, показанных на фиг.4, могут быть отмечены некоторые различия. Во-первых, правое изображение немного повернуто в направлении по часовой стрелке (то есть на несколько градусов) относительно левого изображения. Это является результатом стабилизации поворота. Во-вторых, правое изображение поступательно сдвинуто в левом направлении относительно левого изображения. Это может быть выявлено путем замера расстояния полости трубчатого органа тела от краев каждого изображения. Это является результатом операции стабилизации в прямоугольных координатах.

Преимущества стабилизации визуально воспроизводимого изображения не могут стать очевидными обзором одних изображений, как показано на фиг.4. Однако обзор пленки таких изображений легко проиллюстрирует определенные преимущества. На визуальном воспроизведении, которое не содержит стабилизации, местоположение катетера будет всегда находиться в центре дисплея, а морфологические элементы будут перемещаться вокруг и вращаться на дисплее. В противоположность этому, на стабилизированном визуальном воспроизведении местоположение катетера будет перемещаться вокруг, тогда как морфологические признаки будут оставаться в основном неподвижными. Стабилизация не обязательно станет очевидной на действительном визуальном воспроизведении. Она может стать невидимой для пользователя в том смысле, что стабилизация увеличит последующие операции обработки, но действительное визуальное воспроизведение будет представлять собой результирующие обработанные изображения в их исходном (нестабилизированном) положении и ориентации.

На фиг.5 иллюстрируются глобальные сжатие или расширение сосуда, представленные с помощью полярных координат как перемещение элементов вдоль координат r, то есть перемещение вдоль полярных векторов. На фиг.5 показаны также глобальные сжатие или расширение сосуда, представленные с помощью прямоугольных координат. На фиг.5(а) показан внешний вид основной конфигурации поперечного сечения сосуда на изображениях, представленных с помощью полярных и прямоугольных координат. На фиг.5(b) показано относительное сжатие основной конфигурации сосуда. На фиг.5(с) показано относительное равномерное расширение основной конфигурации сосуда.

Поскольку глобальная сосудодвигательная реакция выражается равномерным изменением диаметра сосуда, для оценки глобальной сосудодвигательной реакции может быть использована любая операция, пригодная для стабилизации в представлении в полярных координатах, например она может быть оценена с помощью операции сравнения при использовании всего изображения, представленного в полярных координатах.

После выполнения оценки двухмерного смещения, как описано выше, для стабилизации поворота используют нахождение местоположения максимума в матрице C(shiftX, shiftY) на оси θ. Это оставляет местоположение экстремума на оси r, что может быть использовано как индикация глобальной сосудодвигательной реакции. Текущий контроль глобальной сосудодвигательной реакции является побочным результатом оценки двухмерного смещения в изображении в полярных координатах.

Каждая пара последовательных изображений дает численное значение показателя сосудодвигательной реакции. Величина и знак результирующего относительного смещения изображений характеризуют изменения в сосуде, то есть сосудодвигательную реакцию.

Отрицательные смещения указывают на расширение, а положительные смещения - на сжатие. Величина значения показывает величину изменения в результате сосудодвигательной реакции.

В некоторых обстоятельствах движение или сосудодвигательная реакция не может быть равномерным/устойчивым, хотя и ограниченным в плоскости формирования изображения, то есть в поперечном направлении. Для определения вида движения или сосудодвигательной реакции изображение может быть разделено на секции, а оценку глобальной стабилизации выполняют на каждой из этих секций. Вид движения может быть определен посредством анализа смещений этих секций относительно соответствующих секций предшествующего изображения. Например, как показано на фиг.6, изображение на фиг.6(а) может быть разделено на четыре секции, как показано на фиг.6(b). Оценка смещения может быть выполнена отдельно на каждой из этих четырех секций. Сравнение результатов оценки смещения для каждой из четырех секций может, возможно, идентифицировать вид действительного движения. Таким образом, вид применяемой стабилизации может изменяться в зависимости от вида определенного движения.

Стабилизацию локального перемещения осуществляют посредством выполнения операций сравнения в соответствующих областях. Небольшие части предшествующего изображения А (области "эталонного изображения") и небольшие части текущего изображения В (области "поиска") принимают участие в процессе локальной стабилизации. В некоторых случаях лучше всего выполнять локальную стабилизацию после осуществления глобальной стабилизации.

В процессе локальной стабилизации области эталонного изображения в предшествующем изображении (А) смещают в области поиска текущего изображения (В) и сравнивают, используя операции сравнения. На основе результатов оценки поиска и сходства каждый пиксель во вновь образованном стабилизированном изображении (В’) получит новое значение.

Локальная стабилизация иллюстрируется на следующем примере, в котором область эталонного изображения является областью 1×1 пиксель, то есть соответствует одному пикселю, область поиска является областью 3×3 пикселей, а операция сравнения представляет собой суммирование абсолютных разностей. В следующей диаграмме соответствующими пикселями являются: на изображении А - пиксель, имеющий численное значение 3, а на изображении В - пиксель, имеющий численное значение 9. Иллюстрируется также окрестность области 3×3 пикселей пикселя, имеющего численное значение 9.

В этом примере, в соответствии с описанными выше условиями, пиксель "эталонной области", имеющий численное значение 3, сравнивают, используя суммирование абсолютных разностей, со всеми пикселями, найденными в области поиска (размером 3×3 пикселей) вокруг пикселя, имеющего численное значение 9. Пиксель, имеющий численное значение 1, в верхнем левом углу области поиска, достигнет минимальной величины суммы абсолютных разностей (|1-3|=2) из всех возможностей в области поиска. В результате во вновь образованном стабилизированном изображении (В’) соответствующий пиксель в местоположении пикселей, имеющих численные значения 3 и 9, получит численное значение 1.

Как правило, размеры области эталонного изображения и поиска могут изменяться в соответствии с используемой операцией сравнения. Действительное значение, которое получил пиксель вновь образованного стабилизированного изображения (В’), не обязательно должно быть действительным значением пикселя из текущего изображения В (как иллюстрируется в примере), но некоторой функцией значений пикселя. Важно отметить, что, в противоположность глобальным/устойчивым способам, в результате локальной стабилизации "композиция" изображения, то есть внутреннее соотношение между пикселями и их распределение в стабилизированном изображении, изменяется по отношению к исходному изображению. Локальная стабилизация может быть выполнена при использовании как полярных, так и прямоугольных координат для воспроизведения изображения.

На фиг.7 показан сосуд, изображение которого представлено в прямоугольных и полярных координатах, в котором была обнаружена сосудодвигательная реакция. Если обнаружена локальная сосудодвигательная реакция, то это указывает на то, что некоторые части поперечного сечения сосуда ведут себя иначе, чем другие части поперечного сечения.

На фиг.7(а) показана основная конфигурация сосуда перед локальной сосудодвигательной реакцией. На фиг.7(b) показан пример локальной сосудодвигательной реакции. Как показано на представлениях изображения в прямоугольных и полярных координатах, четыре разные части сосуда ведут себя по-разному: два сегмента сосуда не изменяют диаметра или не перемещаются относительно соответствующих им в предшествующем изображении сегментов; один сегмент сжимается или движется вверх; и один сегмент расширяется или движется вниз.

Как можно видеть, способы оценки глобальной сосудодвигательной реакции не пригодны для оценки локальной сосудодвигательной реакции, поскольку разные части сосуда ведут себя по-разному. Если в случае, пример которого показан на фиг.7, применить способ оценки глобальной сосудодвигательной реакции, то в результате его применения получим, что общая сосудодвигательная реакция равна нулю, то есть расширение и сжатие будут взаимно аннулировать друг друга.

По этой причине должны быть использованы способы оценки локальной сосудодвигательной реакции. Это может быть достигнуто путем отдельной оценки сосудодвигательной реакции каждого полярного вектора, то есть каждого вектора θ (или Y). Операции сравнения выполняют используя одномерные смещения соответствующих полярных векторов. Например, если сравнение используют с взаимной корреляцией, то следующая операция иллюстрирует, как это осуществляется при использовании одномерных смещений

где А = матрица предшествующего изображения;

В = матрица текущего изображения;

* = умножение пикселя на соответствующий пиксель;

Σ = сумма пикселей в матрице полярного вектора;

С = двухмерная матрица коэффициента корреляции.

Как можно видеть, смещение осуществляется вдоль одной оси (X или оси r) для каждой оси и каждого полярного вектора (вектора θ или Y). Полученные значения в каждом векторе для оценки смещения не могут быть действительными значениями изображений, но, например, каждый пиксель в векторе может получить среднее арифметическое значение своих боковых соседей, то есть, например, A(X, Y) получит среднее арифметическое от А(Х, Y-1), А(Х, Y) и А(Х, Y+1). То же самое относится и к B(shiftX, Y). Это может сделать процесс взаимной корреляции более стойким к помехам.

Образуют двухмерную матрицу C(shiftX, Y). Каждый столбец в матрице хранит результаты операций сравнения, выполненные между соответствующими полярными векторами из текущего изображения и предшествующего изображения. Эта операция может быть также выполнена при использовании быстрого преобразования Фурье.

После образования матрицы определяют местоположение экстремума (максимума в операции взаимной корреляции) в каждом столбце. Это местоположение экстремума указывает на согласование между текущим полярным вектором и полярным вектором предшествующего изображения. Таким образом, может быть охарактеризована сосудодвигательная реакция каждого вектора, то есть радиальное движение в каждом определенном угловом секторе сосуда.

Эта информация может быть использована для визуального отображения локальной сосудодвигательной реакции, причем она может быть введена из некоторых или всех полярных векторов и усреднена для определения среднего значения сосудодвигательной реакции или для других целей. По этой причине путем оценки локальной сосудодвигательной реакции может быть оценена локальная и глобальная сосудодвигательная реакция.

Для эффективного применения и/или выражения в качестве количественных физиологических параметров величина сосудодвигательной реакции должна быть некоторым образом соотнесена с действительным диаметром сосуда. Таким образом, измерения при текущем контроле сосудодвигательной реакции должны, как правило, использоваться совместно с автоматическими или неавтоматическими измерениями диаметра сосуда.

Помимо действительной сосудодвигательной реакции, смещение в изображении, представленном в прямоугольных координатах, может быть также выявлено как сосудодвигательная реакция. Это имеет место, поскольку смещение изображения, представленного в прямоугольных координатах, если выражено в полярных координатах, приводит к смещениям вдоль осей r и θ. Чтобы отличить действительную сосудодвигательную реакцию от смещения изображения, представленного в прямоугольных координатах, оценка смещения в изображении, представленного в прямоугольных координатах, должна показать отсутствие перемещения или перемещение должно быть небольшим. Если обнаружен сдвиг в изображении, представленном в прямоугольных координатах, то он сначала должен быть стабилизирован. По этой причине прямоугольные координаты могут быть снова преобразованы в полярные координаты для оценки сосудодвигательной реакции. Это обеспечит больший успех и приведет к получению более точных результатов при определении действительной сосудодвигательной реакции.

Графики, приведенные на фиг.8, иллюстрируют результаты текущего контроля локальной сосудодвигательной реакции в коронарном сосуде человека в естественных условиях. Текущий контроль локальной сосудодвигательной реакции был выполнен дважды приблизительно в одном сегменте сосуда и состоял из 190 последовательных изображений, как показано по оси Х на фиг.8(а) и 8(b). Отличие между этими двумя графиками в том, что оценка сосудодвигательной реакции, показанная на фиг.8(а), была выполнена до терапии артерии, то есть до вмешательства врачей, тогда как оценка сосудодвигательной реакции, показанная на фиг.8(b), была сделана после терапии артерии, то есть после вмешательства врачей.

В каждом изображении сосудодвигательную реакцию оценивали локально в каждом полярном векторе и затем все обнаруженные отдельные смещения были введены и усреднены для получения единого глобального показателя (по оси Y) сосудодвигательной реакции для каждого изображения, то есть показателя активности сосудодвигательной реакции.

Единицы по оси Y не имеют прямого физиологического значения, поскольку действительный диаметр сосуда не вычисляли, но их соотношение на графиках, показанных на фиг.8(а) и 8(b), имеет значение, поскольку их использовали для характеризации одного сосуда. Таким образом, из этих графиков может быть получена важная информация. Следует отметить увеличение сосудодвигательной реакции после терапии (максимальная сосудодвигательная реакция увеличилась приблизительно от 40 до 150 единиц). По этой причине, даже при неполной оценке сосудодвигательной реакции было показано изменение физиологии (вероятно, связанное с терапией).

Текущий контроль кардиоваскулярной периодичности может быть осуществлен только на основе информации, хранимой в интраваскулярных ультразвуковых изображениях, исключая в соответствии с этим необходимость электрокардиограммы или какого-либо другого внешнего сигнала. Это означает, что может быть установлена связь между каждым изображением и соответствующей ему временной фазой в кардиоваскулярном цикле без необходимости внешнего сигнала. Как только эта связь установлена, текущий контроль может заменить сигнал электрокардиограммы в большом числе случаев применения, которые требуют кардиальной селекции. Этот текущий контроль может проводиться при использовании операций сравнения последовательных изображений. Кроме того, те же операции сравнения могут давать информацию в отношении размера интраваскулярных ультразвуковых изображений и их поведения.

Сердечный цикл проявляется сам в циклическом поведении некоторых параметров, которые получают из интраваскулярных ультразвуковых изображений. Если поведение этих параметров подвергается текущему контролю, то может быть определена периодичность сердечного цикла. Знание частоты получения блоков информации позволит также определить сердечный цикл как временной параметр.

Сходство между последовательными интраваскулярными ультразвуковыми изображениями является параметром, который отчетливо проявляется в периодической конфигурации. Это является результатом периодичности большинства видов движения внутри изображения. Может быть сформирована функция сравнения, в которой каждое значение является результатом операции сравнения между парой последовательных изображений. Например, набор из десяти изображений даст девять последовательных значений сравнения.

Функция сравнения может быть получена из операции взаимной корреляции, операции суммирования абсолютных разностей или любого другого типа операций, которые обладают функцией сравнения. Нормированная взаимная корреляция дает очень хорошие результаты при использовании для текущего контроля периодичности.

Ниже приведена формула коэффициента взаимной корреляции (как функция N-го изображения) для вычисления функции сравнения

где Correlation_function(N) = одноразмерная функция, дающая одно значение для каждой пары изображений;

А = матрица предшествующего изображения (N-го изображения);

В = матрица текущего изображения (N+1-го изображения);

* = умножение пикселя на соответствующий пиксель;

Σ = сумма всех пикселей в матрице.

Коэффициент корреляции является побочным результатом процесса стабилизации, поскольку всегда вычисляют центральное значение (shiftX=0, shiftY=0) нормированной матрицы (C(shiftX, shiftY)). Это остается справедливым для всех типов функций сравнения, используемых для стабилизации. Центральное значение матрицы (C(shiftX=0, shiftY=0)) сравнения (операции взаимной корреляции или другой операции, используемой для стабилизации) может всегда быть использовано для получения функции сравнения.

Функция сравнения может быть также вычислена из изображений, которые смещены относительно друг друга, то есть из значения, используемого для образования функции C(shiftX, shiftY), где shiftX и shiftY не равны нулю. Функция сравнения не обязательно должна быть вычислена из всех изображений, но она может быть также вычислена из части изображений, совпадающих друг с другом или смещенных относительно друг друга.

На фиг.9 показаны графики электрокардиограммы и коэффициента взаимной корреляции, которые построены синхронно. Обе кривые относятся к одному набору изображений. На фиг.9(а) показан график сигнала электрокардиограммы, а на фиг.9(b) показан график коэффициента взаимной корреляции, построенные на основе данных, полученных из последовательных интраваскулярных ультразвуковых изображений. На горизонтальной оси отображен номер изображения (всего 190 последовательных изображений). Как можно видеть, функция коэффициента взаимной корреляции, показанная на фиг.9(b), имеет периодический характер, причем ее периодичность аналогична периодичности сигнала электрокардиограммы, показанной на фиг.9(а) (на обоих графиках показан период, соответствующий приблизительно шести сердечным сокращениям).

Текущий контроль периодичности функции сравнения может быть сложным, поскольку функция сравнения не имеет типовой формы или может изменяться во времени, что зависит от используемого типа функции сравнения, и может изменяться от сегмента сосуда к сегменту сосуда и от субъекта к субъекту.

Для непрерывного и автоматического текущего контроля периодичности функции сравнения может быть использовано множество способов. Например, один способ является пороговым способом. Этот способ обеспечивает текущий контроль значения функции сравнения, превышающего некоторое значение, известное как пороговое значение. Как только такое значение выявлено, способ определяет, когда это пороговое значение снова имеет место. Период между двумя такими событиями определяется как временная разность. Пример такого способа показан в виде таблицы на фиг.10. В таблице приведена группа значений коэффициента взаимной корреляции (средний ряд), принадлежащих к последовательным изображениям (от номера 1 до номера 10, указанных в верхнем ряду). Если пороговое значение устанавливается, например, равным 0,885, то оно первый раз имеет место при переходе от изображения #2 к изображению #3. Второй раз оно имеет место при переходе от изображения #6 к изображению #7. Таким образом, временной период периодичности занимает время получения (7-3=4) четырех изображений.

Другой способ, который может быть использован для определения кардиоваскулярной периодичности из кривой сравнения, является способ внутренней взаимной корреляции. В этом способе используется сегмент функции сравнения, то есть группа последовательных значений. Например, в таблице, показанной на фиг.10, такой сегмент может состоять из первых четырех последовательных изображений, то есть изображений #1-#4. Как только сегмент выбран, он подвергается взаимной корреляции с самим собой, генерируя значение взаимной корреляции 1. Затем этот сегмент взаимно коррелируется с сегментом такого же размера, взятого из функции сравнения, но смещенного на одно изображение вперед. Эту операцию повторяют с сегментом, смещенным на два изображения вперед, и так далее. В примере, приведенном на фиг.10, сегмент {0,8; 0,83; 0,89; 0,85} взаимно коррелировали бы с сегментом, смещенным на одно изображение {0,83; 0,89; 0,85; 0,82}, затем сегмент {0,8; 0,83; 0, 89; 0,85} взаимно коррелировали бы с сегментом, смещенным на два изображения {0,89; 0,85; 0,82; 0,87} и так далее. В нижнем ряду таблицы, иллюстрируемой на фиг.10, приведены результаты таких внутренних взаимных корреляций. Первое значение 1 является результатом взаимной корреляции сегмента с самим собой. Значения взаимной корреляции исследовали для определения местоположения локального максимума. В этом примере эти максимумы расположены в изображении #1 и изображении #5 (их значения показаны жирными цифрами). Результирующая периодичность представляет собой разность между местоположением локального максимума и местоположением, из которого был начат поиск (то есть изображения #1). В этом примере периодичность - время, которое прошло от появления изображения #1 до появления изображения #5, которое соответствует длительности (5-1=4) четырех изображений. Как только период определен, поиск начинается снова, используя сегмент, окружающий локальный максимум, например изображение #5. В этом примере, например, новый сегмент может быть группой значений сравнения, принадлежащих изображениям #4-#7.

Вследствие характера этого используемого вида вычисления, операция внутренней взаимной корреляции в некоторый момент времени требует значений сравнения изображений, получаемых в будущем. Таким образом, в отличие от порогового способа способ сравнения требует хранения изображений (в запоминающем устройстве), а определение периодичности осуществляется ретроспективно. Кардиоваскулярная периодичность может также подвергаться текущему контролю путем преобразования кривой сравнения во временную частотную область посредством преобразования Фурье. В этой частотной области периодичность должна быть выражена как пик, соответствующий периодичности. Этот пик может быть обнаружен при использовании спектрального анализа.

Функция сравнения может обеспечить дополнительную важную информацию об интраваскулярных ультразвуковых изображениях, которые не могут быть получены из внешних сигналов, например сигналов электрокардиограммы, которые не получены из действительных изображений. Характер этой функции может указать на некоторые состояния в интраваскулярных ультразвуковых изображениях или частях изображений, используемых для образования функции сравнения. Важными элементами функции сравнения, которые являются показателями состояния интраваскулярных ультразвуковых изображений, являются наличие периодичности и "грубости" функции сравнения. Нормальные интраваскулярные ультразвуковые изображения должны проявлять относительно однородную и периодическую функцию сравнения, как показано, например, на фиг.9(b).

Однако, если "грубость" и/или периодичность отсутствуют, то это может указывать на некоторую проблему в формировании интраваскулярных ультразвуковых изображений, то есть на наличие артефакта в образовании изображения, вызванного, например, либо механической, либо электронной неисправностью. Приведенные ниже данные помогают это пояснить. На фиг.11 приведен график коэффициента взаимной корреляции, полученный из последовательных интраваскулярных ультразвуковых изображений. Этот график аналогичен по своему получению графику взаимной корреляции, показанному на фиг.9(b), но в этом примере он получен с помощью другого катетера (для формирования изображения), применяемого в другом объекте для исследования.

Из этого примера очевидно, что функция сравнения не проявляет четкой периодичности, не имеет однородности, а имеет грубый или колосовидный внешний вид. В этом случае характер графика сравнения вызван неравномерностью поворота первичного измерительного интраваскулярного ультразвукового преобразователя, ответственного за генерацию/улавливание ультразвуковых сигналов, визуально воспроизводимых в изображении. Этот тип артефакта иногда проявляется в интраваскулярных ультразвуковых узлах катетер-измерительный преобразователь, в которых имеются подвижные механические части.

Функция сравнения, при отражении нормальных условий формирования изображения, может служить для других целей. Это связано с местоположением максимума в каждом цикле функции сравнения. Определение местоположения этих максимумов может оказаться важным для алгоритмов обработки изображения, которые обрабатывают несколько последовательных изображений вместе. Изображения, обнаруженные вблизи максимума, отображают тенденцию иметь высокое сходство друг с другом и небольшое перемещение внутри изображения. Кроме того, если требуется выбрать изображения, принадлежащие к одной фазе последовательных сердечных циклов, то, как правило, лучше всего выбирать их, используя максимумы (функции сравнения) в каждом цикле.

Например, в одном способе визуального воспроизведения эти изображения формируют на дисплее и промежутки заполняют интерполированными изображениями. Посредством этого способа визуального воспроизведения могут быть стабилизированы все виды периодического движения.

На логическом этапе смещения в процессе стабилизации также можно использовать текущий контроль кардиоваскулярной периодичности. Если необходимо избегать дрейфа, то аккумулируемое смещение после каждого (одного) сердечного цикла должно быть небольшим или равным нулю, то есть сумма всех смещений за период цикла должна быть равна нулю или почти нулю. Это означает, что явление дрейфа может быть ограничено путем использования логики смещения, которая связана с текущим контролем периодичности.

Как следует из фиг.12, большинство интраваскулярных ультразвуковых изображений может быть разделено на три основные части. Центральная область (вокруг катетера), названная на фиг.12 полостью, является действительной полостью трубчатого органа или внутренним каналом, через который проходит поток жидкости, например крови. Вокруг полости трубчатого органа расположен действительно существующий сосуд, названный на фиг.12 сосудом, состоящий из нескольких слоев ткани и бляшки (при наличии заболевания). Сосуд окружает другая ткань, названная на фиг.12 внешней стороной, то есть мышечной тканью или тканью органа, например сердца, на изображении коронарного сосуда.

При динамическом просмотре интраваскулярных ультразвуковых изображений (то есть в формате кинофильма) визуальное воспроизведение внутренней стороны, где проходит поток крови, и внешней стороны, окружающей сосуд, как правило, отличаются другим временным поведением, чем сам сосуд.

Автоматический текущий контроль временного поведения пикселей в динамическом интраваскулярном ультразвуковом изображении позволит использовать информацию, полученную с помощью этого процесса, как помощь в интерпретации интраваскулярных ультразвуковых изображений. Эта информация может быть использована для улучшения качества интраваскулярного ультразвукового визуального воспроизведения (посредством фильтрации и подавления изображения таких быстро изменяющихся элементов, как жидкость, например кровь, и окружающая ткань, вследствие их временного поведения. Эта информация может быть также использована для автоматического разделения на сегменты для автоматического определения размеров полости трубчатого органа путем идентификации жидкости, например крови, и окружающей ткани на основе временного поведения структурных атрибутов, образованных из составляющих их пикселей.

Для осуществления автоматического текущего контроля временного поведения должна быть сделана оценка соотношения между атрибутами, образованными соответствующими пикселями, принадлежащими к последовательным изображениям. Получение временного поведения напоминает способы, применяемые для операций локального сравнения, описанные выше.

Большие временные изменения характеризуются относительно большими изменениями (показателя серого цвета) соответствующих пикселей при переходе от одного изображения к следующему. Такие быстрые временные изменения могут подавляться при визуальном воспроизведении посредством маски, которая отображает временные изменения в значениях пикселей. Проблема, которая возникает при такой оценке, заключается в определении, связаны ли изменения (показателя серого цвета) в соответствующих значениях пикселей с потоком, или изменением вещества, или движениями сосуда/катетера. Осуществление такой оценки стабилизированных изображений позволяет устранить или по меньшей мере минимизировать эту проблему.

Ниже использованы следующие условные обозначения:

В = текущее (стабилизированное или нестабилизированное) изображение;

А = предшествующее (стабилизированное или нестабилизированное) изображение;

С = последующее (стабилизированное или нестабилизированное) изображение;

abs = абсолютное значение.

Применяемые матрицы могут быть матрицами прямоугольных или полярных координат.

Следующая операция, в результате которой получают матрицу D1, должна быть определена следующим образом: D1 является матрицей, в которой каждый пиксель с координатами X, Y представляет собой сумму абсолютных разностей его небольшой окружающей окрестности, например 9 элементов (Х-2; Х+2; Y-2; Y+2 - квадрата 3× 3 пикселя), изображений А и В соответственно.

Например, в следующей иллюстрации приведены соответствующие пиксели (показанные жирными цифрами) и их ближнее соседство в матрицах А и В.

Пиксель в матрице D1, имеющий местоположение, соответствующее пикселям, имеющим значение 4 (в матрице В) и 7 (в матрице А), получит следующее значение:

abs(1-3)+abs(4-6)+abs(71-8)+abs(6-3)+abs(7-4)+abs(15-70)+abs(3-2)+abs(5-1)+abs(83-6)=190

Матрица D2 определяется аналогичным образом, но для матриц В и С.

Матрицы D1 и D2 являются действительно разными матрицами, которые усреднены в окрестности 3×3 пикселей для минимизации локальных флуктуаций или помех. Большие изменения (значения показателя серого цвета) между изображениями А и В или между В и С будут выражены как относительно большие численные значения в матрицах D1 и D2 соответственно.

Затем образована следующая матрица (Dmax), в которой каждый пиксель является максимумом соответствующих пикселей в матрицах D1 и D2:

Dmax=max(D1.D2)

где max(D1.D2) = каждый пиксель в матрице Dmax, содержащий наибольший из двух соответствующих пикселей в матрицах D1 и D2 соответственно.

Таким образом, единая матрица Dmax особенно увеличивает большие изменения пикселей между матрицами А, В и С. Затем из матрицы Dmax (посредством нормирования) образована матрица MD маски, то есть каждый пиксель в матрице Dmax разделен на максимальное значение матрицы Dmax. По этой причине значения пикселей матрицы MD маски находятся в диапазоне от нуля до единицы.

Роль матрицы маски заключается в умножении на матрицу текущего изображения В для получения новой матрицы или изображения BOUT

BOUT=(1-MDⁿ)*B,

где В = исходное текущее изображение;

BOUT = новое изображение;

n = степень, в которую возводят каждый пиксель в матрице MD, причем n, как правило, представляет собой число, имеющее значение в диапазоне от 2 до 10;

1-MDⁿ = матрица, в которой каждое значение пикселя представляет собой разность единицы и значения соответствующего пикселя в матрице MD.

Благодаря осуществлению вычитания 1-MDⁿ, небольшие значения MD, которые отражают медленно изменяющиеся элементы, становятся большими в 1-MDⁿ. Кроме того, шанс того, что только медленно изменяющиеся элементы получат большие значения, увеличивается вследствие предшествующего увеличения больших значений MD (путем образования MD как максимума между матрицами D1 и D2).

Умножение маски (1-MDⁿ) на текущее изображение В образует новое изображение BOUT, в котором внешний вид медленно изменяющихся пикселей увеличивается, тогда как значения быстро изменяющихся пикселей уменьшаются. Число n определяет величину подавления быстро изменяющихся элементов на дисплее.

На фиг.13 иллюстрируются результаты временной фильтрации. Левое изображение является исходным изображением (то есть матрицей В) коронарного сосуда, как это будет видно при текущем визуальном воспроизведении. Правое изображение было подвергнуто операциям обработки, описанным выше, то есть временной фильтрации (матрица BOUT). Следует отметить, что в правом изображении кровь и окружающую ткань отфильтровывают (подавляют) и намного проще идентифицируются полость и границы сосуда.

Автоматическое деление на сегменты дает возможность отличить жидкость, например кровь, и внешнюю сторону от стенки сосуда, основываясь на различиях временного поведения структурных параметров. Как в случае временной фильтрации, этот способ основан на определении соотношения между соответствующими пикселями из некоторого числа последовательных изображений. Если значения пикселей изменяются вследствие движения внутри изображения, то возникает помеха выполнению алгоритма, осуществление стабилизации перед автоматическим делением на сегменты предотвратит или по меньшей мере уменьшит эту проблему.

Так же как и в случае временной фильтрации, были приняты следующие условные обозначения:

В = текущее (стабилизированное или нестабилизированное) изображение;

А = предшествующее (стабилизированное или нестабилизированное) изображение;

С = последующее (стабилизированное или нестабилизированное) изображение.

Матрицы могут быть представлены прямоугольными или полярными координатами.

Структурные параметры могут быть определены следующим образом: предположим, что четырьмя ближайшими соседями пикселя, имеющего значение "а", являются пиксели, имеющие значения "b", "с", "d" и "е", тогда классификация "а" будет зависеть от его соотношений с "b", "с", "d" и "е". Это может быть показано на следующей иллюстрации:

Теперь могут быть образованы следующие категории:

В вертикальном направлении:

если а>b и а>е, то "а" классифицируют как принадлежащее к категории I;

если а>b и а<е, то "а" классифицируют как принадлежащее к категории II;

если а

если ае, то "а" классифицируют как принадлежащее к категории IV;

если а=b и а=е, то "а" классифицируют как принадлежащее к категории V.

В горизонтальном направлении:

если а>с с a>d, то "а" классифицируют как принадлежащее к категории I;

если а>с с a

если а<с с a

если а<с с a>d, то "а" классифицируют как принадлежащее к категории IV;

если а=с с a=d, то "а" классифицируют как принадлежащее к категории V.

После этого для образования новой категории комбинируют категории в вертикальном и горизонтальном направлениях. В результате этого пиксель "а" теперь может принадлежать к (5×5=25) двадцати пяти возможным категориям. Это означает то, что структурный параметр "а" характеризуется его принадлежностью к одной из двадцати пяти категорий.

Например, в следующем соседстве

Пиксель "а"=10 в вертикальном направлении классифицируется как принадлежащий к категории I, поскольку 10>7 и 10>3, а в горизонтальном направлении - к категории V, поскольку 10=10. Однако, если пиксель "а" будет расположен в следующем соседстве

то он будет классифицирован как принадлежащий к другой категории, поскольку в горизонтальном направлении он будет теперь принадлежать к категории III (10<11 и 10<14).

Определением соотношения каждого пикселя со своим близким соседством был определен структурный параметр, который определяет классификацию каждого пикселя в двадцати пяти возможных категориях. Число категорий может изменяться (увеличиваться или уменьшаться), то есть, например, путем изменения условий классификации по категориям, так же, как используемое число ближайших соседей, например вместо четырех может быть использовано восемь ближайших соседей.

Основной концепцией, используемой для отличения структурных изменений жидкости, например крови, от сосуда, является текущий контроль изменения категорий соответствующих пикселей в последовательных изображениях. Для осуществления этого определяют категорию каждого пикселя в каждой матрице А, В и С. Затем соответствующие пиксели проверяют, изменяется ли их категория. Если она изменяется, то этот пиксель считают пикселем жидкости, например крови, или пикселем окружающей ткани. Если она не изменяется, то пиксель считают пикселем сосуда.

В следующем примере показаны три соответствующие пикселя (имеющие значения 8, 12 и 14) и их соседей в последовательных матрицах А, В и С.

В этом примере категория пикселя, имеющего значение 12 (в матрице В), та же, что и в матрице А, и в матрице С, так что он будет классифицирован как пиксель, имеющий больший шанс быть пикселем стенки сосуда. Однако, если существует ситуация, как показано ниже (значение 20 в матрице С изменяется на 13),

то пиксели, имеющие значение 8 в матрице А и 12 в матрице В, имеют одинаковые категории, но пиксель, имеющий значение 14, имеет другую категорию, чем в предшествующем примере. В результате пиксель, имеющий значение 12 в матрице В, будет классифицирован как пиксель с большим шансом быть пикселем жидкости (полости), то есть крови, или пикселем ткани внешней стороны.

Описанный способ классификации позволяет осуществлять текущий контроль изменения структуры или конфигурации, связанной с ближайшим соседством вокруг каждого пикселя. Как только это изменение определено, как описано выше, каждый пиксель может получить двоичное значение. Например, значение 0, если его считают пикселем сосуда, или значение 1, если его считают пикселем крови или пикселем, принадлежащим к внешней стороне сосуда. Двоичное изображение служит входом в процесс идентификации полости и исходные значения пикселей прекращают играть роль в процессе деления на сегменты.

Идентификация полости, в которой используют двоичное изображение, основано на двух допущениях, которые, как правило, действуют в интраваскулярных ультразвуковых изображениях, обрабатываемых так, как это описано выше. Во-первых, области в изображении, которые содержат кровь или находятся на внешней стороне сосуда, характеризуются высокой плотностью пикселей с двоичным значением 1 (или низкой плотности пикселей с нулевым значением). Термин "плотность" необходим, поскольку всегда имеются пиксели, которые классифицированы неправильно. Второе допущение заключается в том, что, с точки зрения морфологии, соединенные области высокой плотности пикселей, имеющих значение 1 (полость), должны находиться вокруг катетера и быть окруженными соединенными областями низкой плотности пикселей, имеющих значение 1 (сосуд), которые, в свою очередь, окружены соединенными областями высокой плотности пикселей, имеющих значение 1 (наружная сторона сосуда). Причиной таких допущений является типичное ожидаемое строение кровеносного сосуда.

Эти два допущения образуют основу алгоритма последующей обработки, который извлекает действительную область, связанную с полостью, из двоичного изображения. Такой алгоритм может использовать известные технологии обработки изображений, например пороговую обработку плотности в локализованных областях (для отличия крови/внешней поверхности от сосуда), и морфологические операторы, например расширение или связывание с взаимосоединением и образованием соединенной области, которая должна представлять действительную полость, обнаруженную между стенками сосуда.

На фиг.14 показано изображение результатов алгоритма автоматического извлечения (удаления) полости. Это изображение является исходным интраваскулярным ультразвуковым изображением (например, как описано выше, как изображение В) и границы полости наложены (с помощью алгоритма) как светлая линия. Алгоритм извлечения границ полости основан на текущем контроле изменения описанного выше структурного параметра при использовании трех последовательных изображений.

Описанные выше примеры временной фильтрации и автоматического разделения на сегменты включают в себя использование двух дополнительных изображений (например, как описано выше, как изображения А и С) в дополнение к текущему изображению (например, как описано выше, как изображение В). Однако оба эти способа могут быть модифицированы для применения меньше (то есть только одного изображения) или больше дополнительных изображений.

Эффективность этих двух, описанных выше, способов будет сильно увеличена в сочетании с текущим контролем кардиоваскулярной периодичности. Текущему контролю, в частности, подвергают последовательные изображения, что в результате обеспечивает получение больших значений сравнения между изображениями. Эти изображения, как правило, не имеют перемещений внутри изображения. Таким образом, наиболее надежные результаты можно ожидать, когда на вход временной фильтрации или автоматического деления на сегменты подают последовательные изображения с максимальным сравнением между изображениями.

В процессе терапии сосудов при использовании катетеризации обычной практикой является повторение интраваскулярных ультразвуковых исследований в том же сегменте сосуда. Типовой методикой, например, является исследование сначала соответствующего сегмента, оценка заболевания (если оно имеется), удаление интраваскулярного ультразвукового катетера, назначение терапии, выполнение терапии и затем для оценки результатов терапии непосредственно после нее (в процессе того же курса лечения) получение интраваскулярного ультразвукового изображения снова.

Для адекватной оценки результатов такой терапии должны быть сравнены соответствующие сегменты перед и после терапии, местоположение которых вдоль длины сосуда совпадает, то есть должны быть сравнены соответствующие сегменты. Следующий способ обеспечивает согласование, то есть автоматическую идентификацию (регистрацию) соответствующих сегментов.

Для осуществления согласования соответствующих сегментов выполняют операции сравнения изображений, принадлежащих к первой группе последовательных изображений, то есть опорного сегмента, первой пленки вытягивания, и изображений, принадлежащих ко второй группе последовательных изображений второй пленки вытягивания. Согласование опорного сегмента в первой пленке с соответствующим сегментом во второй пленке получают, если максимизирована определенная оценочная функция.

Из одного из двух пленок выбирают опорный сегмент. Опорный сегмент может быть группой последовательных изображений, представляющих, например, несколько секунд воспроизведения пленки интраваскулярных ультразвуковых изображений. Важно выбрать опорный сегмент, находящийся на некотором расстоянии от места в сосуде, которое представлено на двух пленках и не претерпело изменения в результате какой-либо процедуры (терапии), то есть опорный сегмент находится перед или после сегмента, подвергнутого терапии.

В качестве примера, который поможет пояснить способ согласования соответствующих сегментов, на фиг.15 приведена соответствующая таблица.

В левом столбце приведена временная последовательность первой пленки, причем в этом случае пленка состоит из двадцати последовательных изображений. В среднем столбце приведена последовательность опорного сегмента, которая выбрана из второй пленки и состоит из десяти последовательных изображений. В правом столбце приведен перечень десяти последовательных изображений из первой пленки (#5-#14), которые действительно соответствуют или согласуются с изображениями опорного сегмента из второй пленки (#1-#10). Целью процесса согласования является действительное обнаружение этого соответствия.

Как только опорный сегмент выбран, его смещают вдоль другой пленки (каждый раз на одно изображение или более) и осуществляют ряд операций сравнения соответствующих изображений в каждом сегменте. Направление смещения зависит от относительного местоположения опорного сегмента во временной последовательности двух пленок. Однако в общем случае, если относительное местоположение не известно, то смещение может быть выполнено в обоих направлениях.

В примере, где

r = опорный сегмент; и

f= первая пленка,

первый набор операций осуществляют с изображениями, содержащими следующие пары: r#1-f#1, r#2-f#2, r#3-f#3, ...,r#10-f#10.

Второй набор операций осуществляют с изображениями, содержащими следующие пары: r#1-f#2, r#2-f#3, r#3-f#4, ...,r#10-f#11.

Третий набор операций осуществляют с изображениями, содержащими следующие пары: r#1-f#3, r#2-f#4, r#3-f#5, ...,r#10-f#12 и так далее. Как следует из этого примера, смещение осуществляют каждый раз на одно изображение и только в одном направлении.

Например, с изображениями в каждой паре могут быть выполнены следующие операции. Сначала изображение из опорного сегмента стабилизируют для поворота и движения в прямоугольных координатах относительно его эквивалента в первой пленке. Затем в каждой паре выполняют операции сравнения изображений. Эта операция может быть, например, нормированной взаимной корреляцией (описанной выше в отношении определения периодичности). Каждая такая операция дает значение сравнения, например, коэффициент взаимной корреляции при использовании нормированной взаимной корреляции. В примере, показанном в таблице, иллюстрируемой на фиг.15, каждый раз при смещении опорного сегмента получают десять новых коэффициентов взаимной корреляции.

Значения сравнения, полученные с помощью набора операций, могут быть затем отображены в такого же типа функции сравнения, например в усредняющей функции. Используя приведенный выше пример, коэффициенты взаимной корреляции суммируют и затем делят на число пар, то есть на десять. Поэтому каждый набор операций в результате дает одно значение, то есть среднее сравнение, которое должно представлять степень сравнения опорного сегмента и его временного эквивалента в первой пленке. Таким образом, результатом первого набора операций будет одно значение, результатом второго набора операций - другое значение и так далее.

Можно ожидать, что максимальное среднее сравнение будет иметь место в результате операций, выполненных с сегментами, которые очень похожи, то есть с соответствующими или с согласующимися сегментами.

В приведенном выше примере эти сегменты должны быть согласованы в процессе пятого набора операций, которые проводят с изображениями, содержащими следующие пары: r#1-f#5, r#2-f#6, r#3-f#7, ..., r#10-f#14.

По этой причине максимальное среднее сходство должны показать соответствующие сегменты, поскольку каждая пара изображений является действительно парой соответствующих изображений, то есть имеющих одну морфологию. Однако не может быть критериев для следования этому алгоритму. Например, может быть принят во внимание вид функции сравнения, полученной из многих смещенных позиций сегмента, вместо использования только одного из ее значений, которое является максимальным.

Как только соответствующие сегменты идентифицированы, законченные первая и вторая пленки могут быть синхронизированы относительно друг друга. Это будет результатом соответствующего смещения, обнаруженного с помощью процесса согласования одной пленки относительно другой. Таким образом, при просмотре этих двух пленок при проецировании на два соседних экрана, сегмент, отснятый перед терапией, будет противопоставлен секции после проведения терапии.

Помимо синхронизации соответствующих сегментов, вышеописанные операции стабилизируют также соответствующие сегменты относительно друг друга. Это дополнительно увеличивает возможность понять изменения в морфологии. Таким образом, даже в том случае, если катетер снова вводят в сосуд и его положение и ориентация, вероятно, изменятся, то несмотря на это изображения на пленках, сделанных перед проведением терапии и после нее, будут стабилизированы относительно друг друга.

Число изображений, используемых для опорного сегмента, может изменяться. Чем больше изображений используют в процессе согласования, тем более надежными будут получены результаты и тем меньше вероятность ошибки. Однако компромиссом является большее время, требуемое для вычислений, проводимых в каждом процессе согласования, по мере увеличения числа пар.

Важно, чтобы скорость вытягивания при съемке пленок оставалась стабильной и известной. Предпочтительно, чтобы скорость вытягивания была одинаковой в обоих случаях съемки.

Возможно много различных вариантов осуществления настоящего изобретения. Различные вышеописанные элементы могут быть использованы отдельно и независимо друг от друга. Эти элементы могут быть также скомбинированы в разных вариантах осуществления.