Улучшенная визуализация кровеносных сосудов с использованием управляемого роботом эндоскопа - RU2689767C2

Чертежи

Описание

Это раскрытие относится к медицинским инструментам и способам и, более конкретно, к системам и способам для улучшения визуализации анатомии внутренних органов в медицинских целях.

Аортокоронарное шунтирование (АКШ) является хирургической процедурой для реваскуляризации закупоренных коронарных артерий. В традиционной хирургии грудину пациента открывают, и сердце полностью обнажается. Однако, малоинвазивное (МИ) шунтирование осуществляется через небольшие отверстия. Важной частью процедуры АКШ является удаление сосуда из тела пациента, который затем используется для того, чтобы шунтировать одно или несколько атеросклеротических сужений в коронарных артериях. Чаще всего удаляемым и используемым сосудом является внутренняя грудная артерия (ВГА), которая может включать в себя левую ВГА (ЛВГА) или правую ВГА (ПВГА), которые расположены в грудной полости.

В течение МИ коронарного шунтирования сердца прямой доступ к этим сосудам с невозможен, и они удаляются с помощью длинных инструментов, вставляемых в отверстия через межреберные мышцы в промежутки между ребрами. Во время МИ хирургической операции, ассистент хирурга может удерживать эндоскоп или он может удерживаться с использованием роботизированного управления. В случае роботизированного управления можно использовать визуальное сервоуправление по изображению для перемещения робота в определенное место. Визуальное сервоуправление по изображению состоит в выборе точки на эндоскопическом изображении, вместе с движением робота таким образом, что указатель устанавливается в центре изображения.

Изъятие ВГА обычно является наиболее длительной частью процедуры АКШ. Изъятие ВГА обычно занимает от 45 до 60 минут, и успех процедуры шунтирования обычно зависит от качества взятого сосуда.

Основные задачи на этом этапе процедуры включают в себя следующее. Эндоскопические изображения являются единственным способом визуализации для этой процедуры, но эндоскоп обеспечивает лишь ограниченное изображение небольшого сегмента кровеносного сосуда. При МИ хирург работает с удлиненными инструментами, вставленными между ребрами, идущими ниже области грудины. Это делает работу трудной, так как артерию, которую забирают, необходимо тщательно выделить от окружающих тканей и боковые ветви должны быть каутеризированы.

Длина, например, артерии ЛВГА должна быть достаточной, чтобы охватить место шунтирования на коронарной артерии. Очень трудно оценить длину забранного сосуда артерии во время процедуры МИ (в отличие от открытого оперативного вмешательства, где длина может быть оценена, так как все области являются видимыми и доступными). Так как ЛВГА удаляется из среднего и нижнего отдела грудной клетки, она имеет тенденцию быть более встроенной в ткань, замедляя выделение и делая визуализацию артерии и боковых ветвей еще более сложной задачей.

Сочетание технических трудностей при выделении артерии и неизвестная длина, необходимая для шунтирования приводит к увеличению времени процедуры, так как хирург либо выделяет гораздо более длинный артериальный сегмент, чем необходимо в более сложной дистальной области, либо выделяет слишком короткий сегмент, который требует потом возвращения для дальнейшего выделения артерии.

В соответствии с примерным вариантом осуществления настоящего изобретения, данное изобретение представляет собой систему для визуализации целевого анатомического объекта, которая включает в себя устройство для наблюдения для формирования изображений внутренних органов, имеющее зону обзора меньшую, чем область, которую нужно отобразить. Планировочный модуль выполнен с возможностью приема видео от устройства для наблюдения таким образом, чтобы изображения зоны обзора сшивались вместе для того, чтобы сформировать составное изображение области, которую нужно отобразить. Модуль наведения на изображение выполнен с возможностью перемещения устройства для наблюдения вдоль целевого анатомического объекта в ходе процедуры таким образом, что изображение, сформированное в зоне обзора устройства для наблюдения, отображается как видео в реальном времени, накладываемое на поле составного изображения.

Например, планировочный модуль может быть выполнен с возможностью выбора точек, представляющих интерес, в составном изображении, относящемся к целевому анатомическому объекту. Система может дополнительно включать в себя робота, выполненного с возможностью направлять устройство для наблюдения и модуль наведения на изображение, выполненный с возможностью использования точек, представляющих интерес, для направления устройства для наблюдения. Планировочный модуль может быть выполнен с возможностью совмещения и наложения оперативных изображений на составное изображение для предоставления улучшенной карты целевого анатомического объекта. Система может дополнительно включать в себя индикатор состояния, отображаемый вместе с составным изображением для того, чтобы указать продвижение устройства для наблюдения, например, по отношению к общей протяженности. Целевой анатомический объект может включать в себя кровеносный сосуд, который предстоит выделить, и индикатор состояния может включать в себя продвижение в процентах и/или график продвижения, для того, чтобы указать выделенную часть относительно общей длины кровеносного сосуда. Также возможно, чтобы планировочный модуль использовал дооперационное изображение кровеносного сосуда для того, чтобы оценить общую длину. Целевой анатомический объект может включать в себя, например, внутреннюю грудную артерию (ВГА) для использования в операции шунтирования. Кроме того, устройство для наблюдения может включать в себя гибкий эндоскоп.

В соответствии с другим примерным вариантом осуществления настоящего изобретения, данное изобретение представляет собой систему для визуализации целевого анатомического объекта и включает в себя процессор и память, соединенную с процессором. Память включает в себя планировочный модуль, выполненный с возможностью сшивать вместе изображения зоны обзора целевого анатомического объекта, полученные от устройства для наблюдения, для создания составного изображения целевого анатомического объекта. Модуль наведения на изображение выполнен с возможностью перемещения устройства для наблюдения вдоль целевого анатомического объекта, используя составное изображение таким образом, что изображение, сформированное в зоне обзора устройства для наблюдения, отображается как видео в реальном времени, накладываемое на поле составного изображения.

Например, планировочный модуль может быть выполнен с возможностью выбора точек, представляющих интерес, в составном изображении, относящемся к целевому анатомическому объекту. Система может дополнительно включать в себя робота, выполненного с возможностью направлять устройство для наблюдения и модуль наведения на изображение, выполненный с возможностью использования точек, представляющих интерес, для направления устройства для наблюдения. Планировочный модуль может быть выполнен с возможностью совмещения и наложения оперативных изображений на составное изображение для предоставления улучшенной карты целевого анатомического объекта. Система может дополнительно включать в себя индикатор состояния, формируемый модулем наведения на изображение, и отображаемый вместе с составным изображением для того, чтобы указать продвижение устройства для наблюдения, например, по отношению к общей протяженности. Целевой анатомический объект может включать в себя кровеносный сосуд, который предстоит выделить, и индикатор состояния может включать в себя продвижение в процентах и/или график продвижения, для того, чтобы указать выделенную часть относительно общей длины кровеносного сосуда. Планировочный модуль может использовать предоперационное изображение кровеносного сосуда, чтобы оценить общую длину. Целевой анатомический объект может включать в себя, например, внутреннюю грудную артерию (ВГА) для использования в операции шунтирования. Кроме того, устройство для наблюдения может включать в себя гибкий эндоскоп.

В соответствии с еще одним примерным вариантом осуществления настоящего изобретения, данное изобретение представляет собой способ визуализации целевого анатомического объекта, в том числе: формирования изображений частей целевого анатомического объекта с использованием зоны обзора устройства для наблюдения; формирования составного изображения целевого анатомического объекта, используя части; выбора точек, представляющих интерес, в составном изображении; и от начальной точки, двигаясь вдоль целевого анатомического объекта так, что изображение, сформированное в зоне обзора устройства для наблюдения, отображается как видео в реальном времени, накладываемое на поле составного изображения.

Например, способ может дополнительно включать в себя совмещение и наложение оперативного или предоперационного изображения на составное изображение для предоставления улучшенной карты целевого анатомического объекта. Кроме того, способ может дополнительно формировать индикатор состояния, чтобы указать продвижение устройства для наблюдения относительно общей протяженности. Целевой анатомический объект может включать в себя кровеносный сосуд, который предстоит выделить, и формирование индикатора состояния может включать в себя указание на продвижение в процентах и/или график продвижения, для того, чтобы указать выделенную часть относительно, например, общей длины кровеносного сосуда. Формирование изображений частей целевого анатомического объекта с использованием зоны обзора устройства для наблюдения может включать в себя управляемое роботом перемещение устройства для наблюдения с использованием для навигации точек, представляющих интерес. Способ может дополнительно включать в себя перемещение устройства для наблюдения с использованием визуального сервоуправления по изображению. Возможно также, что целевой анатомический объект включает в себя внутреннюю грудную артерию (ВГА) и этап перемещения вдоль целевого анатомического объекта включает в себя выделение ВГА для использования в операции шунтирования. Способ может дополнительно включать в себя измерение длины целевой анатомии из составного изображения.

Эти и другие цели, признаки и преимущества настоящего раскрытия станут очевидны из нижеследующего подробного описания их иллюстративных вариантов осуществления, которые следует рассматривать вместе с прилагаемыми чертежами.

Это раскрытие представит подробно нижеследующее описание предпочтительных вариантов осуществления со ссылкой на следующие чертежи, где:

На ФИГ. 1 представлена функциональная/структурная схема, показывающая систему для визуализации целевого анатомического объекта в соответствии с одним из вариантов осуществления;

На ФИГ. 2 представлена функциональная/структурная схема, показывающая систему для визуализации целевого анатомического объекта в соответствии с одним из вариантов осуществления;

На ФИГ. 3 представлена диаграмма, показывающая установку системы для проведения изъятия кровеносного сосуда и/или коронарное шунтирование в соответствии с одним иллюстративным вариантом осуществления;

На ФИГ. 4 представлена диаграмма, показывающая установку системы, показанную на ФИГ. 3, имеющая эндоскоп с зоной обзора меньшей, чем для всего кровеносного сосуда, который должен быть изъят в соответствии с одним иллюстративным вариантом осуществления;

На ФИГ. 5 представлено изображение, показывающее составное изображение сшитых вместе зон обзора из эндоскопического видео внутренней грудной артерии в соответствии с одним из вариантов осуществления;

На ФИГ. 6 представлено изображение, показывающее составное изображение с точками, представляющими интерес, определенными в соответствии с одним из вариантов осуществления;

На ФИГ. 7 представлено изображение, показывающее составное изображение с совмещенными и наложенными оперативными изображениями (предоперационными и/или интраоперационными) внутренней грудной артерии в соответствии с одним из вариантов осуществления; и

На ФИГ. 8 представлено изображение, показывающее составное изображение с наложенной на составное изображение вставкой с видео в реальном времени зоны обзора, и показывающее продвижение (%) и длину внутренней грудной артерии в соответствии с одним из вариантов осуществления.

В соответствии с принципами настоящего изобретения, для решения проблемы выделения сосуда предоставляется планирование выделения кровеносного сосуда и система исполнения, как описано выше. Принципы настоящего изобретения обеспечивают значительно увеличенную зону обзора, показывающую большую часть кровеносного сосуда (например, ЛВГА) в отличие от только небольшого сегмента и предоставляют дополнительную информацию о кровеносном сосуде. Эта дополнительная информация включает в себя, например, длину кровеносного сосуда, который выделяется для забора, продвижение в выделении кровеносного сосуда относительно требуемой длины шунта и расположение боковых ветвей, которые должны быть каутеризированы.

Следует понимать, что настоящее изобретение будет описано в терминах медицинских инструментов для использования при проведении процедуры коронарного шунтирования; однако, идеи настоящего изобретения гораздо более широкие и применимы к любому инструменту или процедуре, где необходима или желаема улучшенная визуализация целевой анатомии. В некоторых вариантах осуществления принципы настоящего изобретения используются для отслеживания или анализа сложных биологических или механических систем. В частности, настоящие принципы применимы к внутренним процедурам отслеживания биологических систем, процедурам во всех областях тела, таких как легкие, желудочно-кишечный тракт, органы выделения, кровеносные сосуды и т.д. Элементы, изображенные на фигурах, могут быть реализованы в различных комбинациях аппаратного и программного обеспечения и предоставляют функции, которые могут быть объединены в один элемент или несколько элементов.

Функции различных элементов, показанных на Фигурах, могут быть обеспечены за счет использования специальных аппаратных средств, а также аппаратных средств, способных выполнять компьютерные программы, в сочетании с соответствующим программным обеспечением. В случаях когда, они предоставляются процессором, функции могут быть обеспечены одним выделенным процессором, одним общим процессором или с помощью множества отдельных процессоров, некоторые из которых могут быть общими. Кроме того, явное использование термина «процессор» или «контроллер» не следует рассматривать как относящиеся исключительно к аппаратным средствам, способным выполнять компьютерные программы, и может неявно включать в себя, без ограничения, аппаратное средство процессора для цифровой обработки сигналов («DSP»), постоянную память («ПЗУ») для хранения программного обеспечения, оперативное запоминающее устройство («ОЗУ»), энергонезависимое запоминающее устройство и т.д.

Кроме того, все утверждения настоящего документа, излагающие принципы, аспекты и варианты осуществления изобретения, а также их конкретные примеры, которые предназначены для того, чтобы охватить как структурные, так и функциональные их эквиваленты. Кроме того, предполагается, что такие эквиваленты включают как известные сегодня эквиваленты, так и эквиваленты, которые будут разработаны в будущем (т.е., любые разработанные элементы, которые выполняют ту же функцию, независимо от структуры). Таким образом, например, специалистам в данной области следует иметь в виду, что блок-схемы, представленные в настоящем документе, представляют концептуальные взгляды иллюстративного компонент системы и/или схемы, реализующих принципы изобретения. Кроме того, следует иметь в виду, что любые блок-схемы, схемы последовательности операций и т.п. представляют различные процессы, которые могут быть, по существу, представлены в машиночитаемых носителях хранения и таким исполняться компьютером или процессором, независимо от того, показан ли явно такой компьютер или процессор.

Кроме того, варианты осуществления настоящего изобретения могут иметь форму компьютерного программного продукта, доступного на компьютере, который может использоваться, или машиночитаемом носителе хранения, предоставляющим программный код для использования, или связанным с компьютером, или любой системой исполнения инструкций. Для целей настоящего описания, компьютер, который может использоваться, или машиночитаемый носитель хранения, может быть любым устройством, которое может включать в себя, хранить, взаимодействовать, распространять или передавать программу для использования системой, аппаратом или устройством выполнения инструкций, или связываться с ними. Носитель может быть электронной, магнитной, оптической, электромагнитной, инфракрасной или полупроводниковой системой (или аппарат или устройство) или средой распространения. Примеры машиночитаемых носителей включают в себя полупроводниковую или твердотельную память, магнитную ленту, съемную компьютерную дискету, оперативное запоминающее устройство (ОЗУ), постоянную память (ПЗУ), жесткий магнитный диск и оптический диск. Современные примеры оптических дисков включают в себя компакт-диск ПЗУ (CD-ROM), перезаписываемый компакт-диск (CD-R/W), Blu-Ray™ и DVD.

Обратимся теперь к чертежам, на которых одинаковые цифры обозначают одни и те же или подобные элементы, и начнем с ФИГ. 1, в качестве иллюстрации показана система 100 для минимально инвазивной хирургии в соответствии с одним из вариантов осуществления. Система 100 может включать в себя рабочую станцию или консоль 112, с которой процедура контролируется и/или управляется. Рабочая станция 112 предпочтительно включает в себя один или несколько процессоров 114 и память 116 для хранения программ и приложений. Память 116 может хранить планировочный модуль 104 и модуль 106 наведения на изображение, используемый для работы в сочетании с медицинским устройством 102. Медицинское устройство 102 может включать в себя устройство 105 формирования изображений (например, камеру, оптическое волокно с линзой и т.д.), которое может быть развернуто с одним или несколькими из устройств: катетера, проволочного направителя катетера, зонда, эндоскопа, гибкого эндоскопа, робота, электрода, фильтрующего устройства, устройства баллона или другого медицинского компонента и т.д. Устройство 102 может быть вставлено в организм 160 пациента. В одном из вариантов осуществления процедура, которая должны быть выполнена, включает в себя минимально инвазивную коронарную хирургию, и устройство 102 вставляется в грудную полость 162 организма 160 для наблюдения и выделения целевого анатомического объекта 131, такого как кровеносный сосуд (например, ВГА).

Планировочный модуль 104 включает в себя следующие элементы и признаки. Во время, например, изъятия сосуда для процедуры коронарного шунтирования, планировочный модуль 104 составляет схему для управления визуализацией целевого сосуда, который забирают, например, ВГА, разрешая хирургу манипулировать другими инструментами. Планировочный модуль 104 управляет изображением, сшивая вдоль ВГА, для того, чтобы обеспечить всеобъемлющую зону обзора, и дополнительно обеспечивает совмещение изображений, предоставляя возможность наложения предоперационного (или интраоперационного) изображений на, например, эндоскопическое видео, используя способы, известные в данной области. Планировочный модуль 104 предусматривает выбор целевых точек, представляющих интерес, к которым можно обращаться или индексировать для использования с модулем 106 наведения на изображение. Планировочный модуль 104 также предусматривает вычисление длин кровеносного сосуда или другой анатомической особенности (например, используя сшитое/составное изображение).

Планировочный модуль 104 можно использовать для совмещения и наложения оперативных изображений 135, таких как предоперационные или интраоперационные изображения, сделанные с помощью устройства 110 формирования изображений. Устройство 110 формирования изображений можно использовать одновременно или в другое время и в другом месте для того, чтобы собирать изображения. Оперативные изображения 135 могут включать в себя трехмерные изображения предоперационной компьютерной томографии (КТ) или магнитно-резонансные изображения (МРТ) и т.д. или интраоперационные рентгеновские или ультразвуковые. Также предполагаются другие методы формирования изображений. Оперативные изображения 135 можно использовать в изображении 107 наложения для того, чтобы исключить из рассмотрения признаки целевого анатомического объекта 131, потому что в противном случае было бы трудно смотреть на эндоскопические изображения.

Модуль 106 наведения на изображение обеспечивает управление на основе изображения устройством 102, например, эндоскопом, предпочтительно посредством управления роботизированной системой 108, которая поддерживает устройство 102. Наложение 107 может быть сформировано с помощью модуля 148 обработки изображений и планировочного модуля 104. Наложение 107 может включать в себя эндоскопическое изображение 134 на текущий момент времени, отображенное на составном изображении 124. Составное изображение 124 является сшитым вместе изображением множества зон обзора изображений, сделанных с помощью устройства 102. Модуль наведения 106 на изображение обеспечивает определение количественного значения для продвижения, каковое может сопоставлять длину выделенного сосуда с требуемой длиной для того, чтобы определить, когда достаточное продвижение будет достигнуто.

Модуль 106 наведения на изображение направляет роботизированную систему 108 вдоль длины целевой анатомии 131. В одном из вариантов осуществления устройство 102 направляется с использованием точек, представляющих интерес, определенными на этапе планирования.

Рабочая станция 112 включает в себя дисплей 118 для просмотра изображений внутренних органов субъекта (пациента) или объема и может включать в себя изображения с наложением или другое воспроизведение, формируемое по изображениям, полученным от устройства 102. Дисплей 118 может также позволить пользователю взаимодействовать с рабочей станцией 112 и ее компонентами и функциями, или любым другим элементом в системе 100. Этому также способствует интерфейс 120, который может включать в себя клавиатуру, мышь, джойстик, тактильное устройство или какую-либо другую периферию или управление для того, чтобы обеспечить обратную связь с пользователем и взаимодействие с рабочей станции 112.

Обратимся к ФИГ. 2, способ выполнения процедуры в соответствии с принципами настоящего изобретения включает в себя две части. Первая часть процедуры осуществляется планировочным модулем 104 и вторая часть осуществляется модулем 106 наведения на изображение для облегчения выделения сосуда. Планировочный модуль 104 выполняет этапы с 202 по 212. Модуль 106 наведения на изображение выполняет этапы с 214 по 220. Во время процедуры используется интраоперационная установка, показанная на ФИГ. 3. В других вариантах осуществления некоторые или все задачи на ФИГ. 2 могут быть распределены или выполнены другим модулем (104 и/или 106).

Обратимся к ФИГ. 3, продолжая обращаться к ФИГ. 2, эндоскоп 302 удерживается роботизированной системой 304, в то время как два инструмента 306 и 308 используются для выделения ВГА 310 и проводятся хирургом. Эндоскоп 302 вставляется в грудную полость через отверстие (не показано), которое обеспечивает доступ между ребрами 312. Это отличается от обычной установки, когда ассистент удерживает эндоскоп. Роботизированная система 304 (держатель эндоскопа) обеспечивает полный контроль хирурга через посредство визуализации с помощью выдачи команд, основываясь на предоставляемых изображениях.

В блоке 202 получаются предоперационные или интраоперационные изображения целевой области. Предоперационное изображение может включать в себя объемные изображения, снятые с пациента заранее. Это может включать в себя формирование изображения с помощью компьютерной томографии (КТ), формирование изображения с помощью магнитно-резонансной томографии (МРТ) или любой другой метод формирования изображения. Интраоперационные изображения могут включать в себя формирование рентгеновских изображений, прямую фотосъемку (например, через камеру эндоскопа) и т.д. В блоке 204, эндоскоп 302 вставляется в грудную клетку. В блоке 206, эндоскоп перемещается в положение для обеспечения важной зоны обзора. В одном из вариантов осуществления эндоскоп маневрирует, используя способ, называемый визуальным сервоуправлением по изображению, который включает в себя центрирование эндоскопического видимого изображения на исследуемой области во время процедуры. Могут быть использованы другие способы перемещения эндоскопа.

В блоке 208, собирается составное изображение целевого кровеносного сосуда. Так как зона обзора эндоскоп ограничена, изображения вдоль целевого кровеносного сосуда могут быть собраны и сшиты вместе для того, чтобы сгенерировать составное изображение всей целевой области, например, ВГА. На ФИГ. 4 иллюстративно изображен конус 402 зоны обзора (FOV) конус для эндоскопа 302, делающий снимки для составного изображения.

В блоке 210, на составном изображении выбираются анатомические точки, представляющие интерес. Эти точки могут включать в себя области, где от ВГА отходят ветви, или области здоровой или нездорового ткани, травмированной ткани и т.д. Точки, представляющие интерес, могут быть использованы в качестве адресных местоположений для фокусировки или перемещения эндоскопа, управляемого роботом, в разное время в течение процедуры. В блоке 212, производится совмещение предоперационных или интраоперационных изображений и составного изображения, которое выводится от эндоскопа.

В блоке 214, эндоскоп (или, по меньшей мере, зона обзора эндоскопа) перемещается в исходное положение. Это положение выбирается в качестве положения начального сканирования и предпочтительно устанавливается на конце исследуемой области. В блоке 216, текущая зона обзора эндоскопа накладывается поверх соответствующего участка составного изображения. Текущая зона обзора показана на ФИГ. 3 в поле 320. На составное изображение 322 накладывается изображение 320 в реальном времени. В блоке 218, индикатор выполнения реализован через показ длины продвижения относительно общей длины по мере того как части кровеносного сосуда выделяются. Например, по мере того как проходится составное изображение, часть общей длины, которая выделяется, указывается или вычисляется в процентах или количестве загерметизированных ветвей. На ФИГ. 3, показывается общая длина 326 и указывается длина 324 продвижения. В блоке 220, продвижение продолжается до завершения.

Обратимся к ФИГ. 5-8, иллюстративные изображения ВГА показаны для более полного описания настоящих вариантов осуществления. Настоящие примеры являются иллюстративными, и следует понимать, что принципы настоящего изобретения могут быть применены к любой хирургической процедуре или любой системе/способу для рассмотрения или анализа внутренних структур (например, в обучающих системах, для древних артефактов, механических систем, таких как блок двигателя, и т.д.)

Обратимся к ФИГ. 5, в качестве иллюстрации показано изображение, сшиваемое для изображения полной зоны обзора. С эндоскопом, готовым к использованию и расположенном в направлении начала сосуда ЛВГА, хирург может начать сбор полной зоны обзора. Чтобы сделать это, хирург или робот перемещает эндоскоп, используя некалиброванное роботизированное визуальное сервоуправление по изображению или другой метод, вдоль видимого участка ЛВГА. Таким образом, хирург выбирает точки вдоль ЛВГА, и эндоскоп движется соответственно. Хирург может также использовать хирургический инструмент в качестве направителя, так как инструмент перемещается и, значит, эндоскоп может отслеживать кончик инструмента. Этот шаг аналогичен клинической практике, где эндоскоп перемещается либо ассистентом, либо хирургом для наблюдения артерии по всей длине.

Для того чтобы сшить изображения, собранные движущимся эндоскопом, можно модифицировать известные методы, используемые для выполнения сшивания изображений. Изображения могут использовать подходящие алгоритмы или другие методы обработки изображений. Одна из модификаций относится к эндоскопическому типу. В этом варианте осуществления, эндоскоп может иметь как боковой, так и прямой обзор. Вторая модификация относится к движению эндоскопа. Движение эндоскопа может быть запрограммировано заранее и регулироваться с помощью модуля 148 (ФИГ. 1) для обработки изображений. В этом вариант осуществления движение создается и регулируется командами хирурга. Другая модификация может включать в себя использование гибкого эндоскопа.

Хотя движение определяется пользователем, проверка изображений, используемых для сшивания, может быть выполнена путем оптимизации записанных изображений на основании количества совпадений и невязки в значениях RGB перекрывающихся пикселей. Изображения выравниваются для того, чтобы сгенерировать составное изображение 500. Составное изображение 500 включает в себя всю длину кровеносного сосуда (например, ВГА). Общая длина кровеносного сосуда может быть вычислена из изображения (используя масштаб или образец) или может быть вычислена на основании расстояния, пройденного эндоскопом или другим инструментом в изображениях. Окончательный результат является составным изображением 500, которое включает в себя серию изображений (изображений 504 зон обзора) вдоль длины ВГА 502, которые были сшиты вместе из отдельных изображений, собранных с помощью эндоскопа в течение периода времени.

Обратимся к ФИГ. 6, составное изображение 500 показано с выбранными и указанными точками 602, представляющими интерес. После того, как составное изображение 500 соответствующей части ВГА 502 было сформировано, несколько анатомических точек 602, представляющих интерес, на составном изображении 500 могут быть выбраны для планирования выделения сосуда. Эти точки 602 могут быть сохранены (путем их наложения на изображение) и затем указаны во время процедуры. С другой стороны, по мере того как точки 602 выбираются, роботизированный держатель эндоскопа перемещает эндоскоп в это местоположение, и положения сочленений робота сохраняются, так что на них можно ссылаться в течение процедуры выделения под визуальным контролем.

В примере, показанном на ФИГ. 6, выбор точек на анатомических точках 602, представляющих интерес, включают в себя, например, начальную точку выделения с пометкой «А», конечную точку выделения с пометкой «B» и большой бифуркации с пометкой «С».

Обратимся к ФИГ. 7, дополнительно (или альтернативно) к выбору точек на составном изображении 500, составное изображение 500 можно использовать для совмещения 2D эндоскопического изображения и предоперационного или интраоперационного 3D изображения. Наложение 702 сосудистого русла из 3D предоперационного изображения помещается на составное изображение 500. Сравнение с ВГА 502 может указать местоположение бифуркаций, которые прямо не видны на эндоскопических изображениях, так как они могут быть расположены под фасцией и другой тканью.

Обратимся к ФИГ. 8, модуль 106 наведения на изображение используется для направления эндоскопа. Хирург перемещает эндоскоп обратно к проксимальному положению, например, близко к аорте, и начинает выполнение выделения артерии из окружающей ткани для того, чтобы отделить артерию (ВГА) от грудной стенки. Хирург может автоматически расположить эндоскоп в этом месте, используя визуальное сервоуправление по изображению и/или обращаясь к ранее выбранным точкам 602 (выбранным в ходе планирования). По мере того как хирург продвигается вдоль артерии, как текущее эндоскопическое изображение, которое накладывается в поле 802, так и ранее вычисленное составное изображение 500 отображаются для хирурга (с необязательным наложением (702) артерии, например, из предоперационных изображений).

Вид «картинка на картинке» позволяет хирургу наблюдать гораздо более широкую зону обзора, чем та, что доступна в данный момент. Кроме того, так как движение эндоскопа известно, из датчиков положения робота, в сочетании с информацией о совмещении, может быть найден размер, показывающий длину участка артерии, который уже выделен. Индикатор состояния 804, который может быть числовым или графическим, показывает степень изъятия артерии, как части требуемой или общей длины 806. Индикатор состояния 804 может быть показан на изображении на дисплее. В другом варианте осуществления вместо процентов может быть показан индикатор текущего состояния, так что, когда поле 802 изображения в реальном времени накладывается на составное изображение 500, по мере того как хирург продвигается через ветвь ВГА, показываемый как часть общей длины удаляемого сосуда, по сравнению с требуемой или общей длиной. Планировочный модуль (104, ФИГ. 1) может использовать предоперационные изображения, чтобы обеспечить оценку общей длины сосуда, которую можно использовать для формирования индикатора выполнения во время вмешательства с устройством для наблюдения.

При интерпретации прилагаемой формулы изобретения, следует понимать, что:

a) слово «содержит» не исключает наличия других элементов или действий, чем те, которые перечислены в данном пункте формулы изобретения;

b) использование единственного числа элемента не исключает присутствия множества таких элементов;

c) любые ссылочные позиции в формуле изобретения никак не ограничивают их объем;

d) несколько «средств» может быть представлено посредством одного и того же элемента или аппаратного обеспечения или программного обеспечения, реализующего структуру или функцию; и

e) никакая конкретная последовательность действий не предназначена быть необходимой, если это специально не указано.

Описав предпочтительные варианты осуществления для улучшенной визуализации кровеносных сосудов с использованием управляемого роботом эндоскопа (которые предназначены для иллюстрации и не являются ограничивающими), следует отметить, что модификации и изменения могут быть сделаны специалистами в данной области в свете вышеизложенных идей. Поэтому следует понимать, что могут быть сделаны изменения в конкретных вариантах осуществления описанного раскрытия, которые находятся в пределах объема вариантов осуществления, раскрытых в настоящем документе, как изложено в прилагаемой формуле изобретения. Таким образом, описав подробности и специфику, требуемую патентными законами, формула изобретения, защищаемая патентом на изобретение, излагается в прилагаемой формуле изобретения.

Реферат

Группа изобретений относится к медицине, а именно к медицинским инструментам, и может быть использована для визуализации целевого анатомического объекта. Предложена система, содержащая: эндоскоп для формирования изображений внутренних органов, имеющий зону обзора меньшую, чем область, которую нужно отобразить; планировочный модуль, выполненный с возможностью приема видео от эндоскопа таким образом, чтобы изображения зоны обзора эндоскопа сшивались вместе для того, чтобы сформировать составное изображение области, которую нужно отобразить; и модуль наведения на изображение, выполненный с возможностью перемещения эндоскопа вдоль целевого анатомического объекта в ходе процедуры таким образом, что изображение, сформированное в зоне обзора эндоскопа, отображается как видео в реальном времени, накладываемое поверх соответствующего участка составного изображения. Также предложена система для визуализации целевого анатомического объекта, содержащая: процессор и память, соединенную с процессором, причем память включает в себя: планировочный модуль, выполненный с возможностью сшивать вместе изображения зоны обзора целевого анатомического объекта, полученные от эндоскопа, для создания составного изображения целевого анатомического объекта, и модуль наведения на изображение, выполненный с возможностью перемещения эндоскопа вдоль целевого анатомического объекта, используя составное изображение таким образом, что изображение, сформированное в зоне обзора устройства для наблюдения, отображается как видео в реальном времени, накладываемое поверх соответствующего участка составного изображения. Группа изобретений обеспечивает улучшение визуализации анатомии внутренних органов в медицинских целях. 2 н. и 13 з.п. ф-лы, 8 ил.

Формула