Эндоскопическая видеосистема - RU2657951C2
Код документа: RU2657951C2
Чертежи
Описание
ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ
Это заявка испрашивает приоритет по предварительной заявке США с серийным номером 61/602106, поданной 23 февраля 2012 года, по предварительной заявке США с серийным номером 61/668743, поданной 6 июля 2012 года, и по предварительной заявке США с серийным номером 61/708157, поданной 1 октября 2012 года.
ОБЛАСТЬ ТЕХНИКИ
Этот документ относится к эндоскопическим видеосистемам.
УРОВЕНЬ ТЕХНИКИ
Медицинские эндоскопы используются для обследования внутренних частей тела (например, полостей, суставов) во время хирургической операции (например, лапароскопической/торакоскопической хирургической операции) через небольшое отверстие. В некоторых случаях эндоскоп включает в себя жесткую или гибкую удлиненную вводимую трубку, оснащенную множеством оптических волокон, которые простираются от проксимальной ручки через вводимую трубку к дистальному видеонаконечнику эндоскопа. Источник света обеспечивает подачу света на оптические волокна и, таким образом, обследуемый участок освещается.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
В одном аспекте осуществляется доступ к данным изображения, представляющим изображение, захваченное с помощью эндоскопического видеоустройства. Данные изображения кодируются в первом цветовом пространстве. Данные изображения, к которым осуществляется доступ, преобразуются из первого цветового пространства во второе цветовое пространство. Второе цветовое пространство отличается от первого цветового пространства. Местоположение особенности на изображении определяется при анализе данных изображения во втором цветовом пространстве. Сегментация данных, указывающая на местоположение особенностей на изображении, сохраняется и, на основе данных сегментации, изображение отображается с указанием определенного местоположения особенностей.
Варианты воплощения могут включать одну или более из следующих особенностей. Отображение изображения с указанием определенного местоположения особенностей может включать преобразование данных изображения из второго цветового пространства в третье цветовое пространство и, на основе данных сегментации и данных изображения в третьем цветовом пространстве, отображение изображения с указанием определенного местоположения особенностей. Одна или более особенностей могут включать тип ткани, анатомическую структуру или внешний объект, введенный в тело пациента.
Определение местоположения особенности на изображении при анализе данных изображения во втором цветовом пространстве может включать формирование гистограммы значений оттенка пикселей в данных изображения на основе данных изображения во втором цветовом пространстве и идентификацию пикселей, которые входят на гистограмме в диапазон оттенков, соответствующих особенностям, при этом данные сегментации указывают пиксели, входящие на гистограмме в диапазон оттенков, которые соответствуют особенностям.
Определение местоположения особенности на изображении при анализе данных изображения во втором цветовом пространстве может включать группировку пикселей в данных изображения во втором цветовом пространстве по группам на основе значений оттенка пикселей; определение первой группы пикселей из числа групп пикселей; определение второй группы пикселей из числа групп пикселей; и выбор одного из: первой или второй группы пикселей на основе относительного цветового контраста между первой и второй группами пикселей, где данные сегментации указывают на выбранную группу пикселей. Группировка пикселей может включать формирование гистограммы значений оттенка пикселей в данных изображения на основе данных изображения во втором цветовом пространстве. Определение первой группы пикселей может включать определение первого набора пикселей, которые находятся в пределах первого диапазона оттенков на гистограмме. Определение второй группы пикселей может включать определение второго набора пикселей, которые находятся в пределах второго диапазона оттенков на гистограмме. Выбор одного из: первой или второй группы пикселей может включать выбор одного из: первого или второго набора пикселей на основе относительного цветового контраста между первым диапазоном оттенков и вторым диапазоном оттенков.
Первые цветовые пространства могут быть одними из: RGB, YUV, YPrPb или YcrCb. Второе цветовое пространство может быть одним из: HSV, Lab или HSY.
В другом аспекте система включает эндоскопическое видеоустройство и вычислительное устройство. Эндоскопическое видеоустройство сконфигурировано для генерирования данных изображения, представляющих изображение, снятое с помощью эндоскопического видеоустройства, в котором данные изображения кодируются в первом цветовом пространстве и эти данные изображения передаются на вычислительное устройство. Вычислительное устройство сконфигурировано для приема данных изображения, передаваемых эндоскопическим видеоустройством; преобразования полученных данных изображения из первого цветового пространства во второе цветовое пространство, где второе цветовое пространство отличается от первого цветового пространства; определения местоположения особенности на изображении при анализе данных изображения во втором цветовом пространстве; сохранения данных сегментации, которые указывают местоположение особенностей на изображении; и, на основе данных сегментации, отображения изображения на устройстве отображения с указанием определенного местоположения особенностей.
Варианты воплощения могут включать одну или более из следующих особенностей. Например, для отображения изображения на устройстве отображения с указанием определенного местоположения особенностей вычислительное устройство может быть сконфигурировано для преобразования данных изображения из второго цветового пространства в третье цветовое пространство и, основанного на данных сегментации и данных изображения в третьем цветовом пространстве, отображения изображения на устройстве отображения с указанием определенного местоположения особенностей. Одна или более особенностей могут включать тип ткани, анатомическую структуру или внешний объект, введенный в тело пациента.
Для определения местоположения особенности на изображении при анализе данных изображения во втором цветовом пространстве вычислительное устройство может быть сконфигурировано для формирования гистограммы значений оттенка пикселей в данных изображения на основе данных изображения во втором цветовом пространстве и определения пикселей, которые на гистограмме находятся в пределах диапазона оттенков, которые соответствуют особенностям, при этом данные сегментации указывают пиксели, входящие на гистограмме в диапазон оттенков, которые соответствуют особенностям.
Для определения местоположения особенности на изображении при анализе данных изображения во втором цветовом пространстве вычислительное устройство может быть сконфигурировано для группировки пикселей в данных изображения во втором цветовом пространстве по группам на основе значений оттенка пикселей; определения первой группы пикселей из числа групп пикселей; определения второй группы пикселей из числа групп пикселей; выбора одного из: первой или второй группы пикселей на основе относительного цветового контраста между первой и второй группами пикселей, где данные сегментации указывают выбранную группу пикселей.
Для группировки пикселей вычислительное устройство может быть сконфигурировано для формирования гистограммы значений оттенка пикселей в данных изображения на основе данных изображения во втором цветовом пространстве. Для определения первой группы пикселей вычислительное устройство может быть сконфигурировано для определения первого набора пикселей, которые входят в первый диапазон оттенков на гистограмме. Для определения второй группы пикселей вычислительное устройство может быть сконфигурировано для определения второго набора пикселей, которые входят во второй диапазон оттенков на гистограмме. Для выбора одного из: первой или второй группы пикселей, вычислительное устройство может быть сконфигурировано для выбора одного из: первого или второго набора пикселей на основе относительного цветового контраста между первым диапазоном оттенков и вторым диапазоном оттенков.
Первые цветовые пространства могут быть одними из: RGB, YUV, YPrPb или YcrCb. Второе цветовое пространство может быть одним из: HSV, Lab или HSY.
В другом аспекте осуществляется доступ к данным изображения, представляющим видео, снятое с помощью эндоскопического видеоустройства. Данные изображения кодируются в первом цветовом пространстве. Данные изображения, к которым осуществляется доступ, преобразуются из первого цветового пространства во второе цветовое пространство, где второе цветовое пространство отличается от первого цветового пространства. Местоположение заметной особенности определяется в видео при анализе данных изображения во втором цветовом пространстве. Положение заметной особенности отслеживается по нескольким кадрам данных изображения. Анатомическая модель формируется на основе отслеживаемой заметной особенности. Местоположение целевой анатомической особенности в видео определяется на основании анатомической модели. Видео отображается с указанием местоположения целевой особенности.
Варианты воплощения могут включать одной или более из следующих особенностей. Например, определение местоположения целевой анатомической особенности может включать определение местоположения целевой анатомической особенности на основе анатомической модели и известных анатомических зависимостей между аспектами модели и целевой анатомической особенностью. Создание анатомической модели на основе отслеживаемой заметной особенности может включать определение перемещения заметной особенности на основе изменений в положении заметной особенности в нескольких кадрах и создание анатомической модели на основе перемещения заметной особенности.
Определение местоположения заметной особенности в изображении при анализе данных изображения во втором цветовом пространстве может включать формирование гистограммы значений оттенка пикселей в данных изображения на основе данных изображения во втором цветовом пространстве и идентификацию пикселей, которые входят на гистограмме в диапазон оттенков, соответствующих особенностям, при этом данные сегментации указывают на пиксели, которые входят на гистограмме в диапазон оттенков, которые соответствуют особенностям.
Определение местоположения заметной особенности на изображении при анализе данных изображения во втором цветовом пространстве может включать группировку пикселей в данных изображения во втором цветовом пространстве по группам на основе значений оттенка пикселей; определение первой группы пикселей из числа групп пикселей; определение второй группы пикселей из числа групп пикселей; и выбор одного из: первой или второй группы пикселей на основе относительного цветового контраста между первой и второй группами пикселей, где данные сегментации указывают на выбранную группу пикселей.
Группировка пикселей может включать формирование гистограммы значений оттенка пикселей в данных изображения на основе данных изображения во втором цветовом пространстве. Определение первой группы пикселей может включать определение первого набора пикселей, которые входят в первый диапазон оттенков на гистограмме. Определение второй группы пикселей может включать определение второго набора пикселей, которые входят во второй диапазон оттенков на гистограмме. Выбор одного из: первой или второй группы пикселей может включать выбор одного из: первого или второго набора пикселей на основе относительного цветового контраста между первым диапазоном оттенков и вторым диапазоном оттенков.
Первые цветовые пространства могут быть одними из: RGB, YUV, YPrPb или YcrCb. Второе цветовое пространство может быть одним из: HSV, Lab или HSY.
В другом аспекте система включает эндоскопическое видеоустройство и вычислительное устройство. Эндоскопическое видеоустройство сконфигурировано для формирования данных изображения, представляющих видео, снятое с помощью эндоскопического видеоустройства, в котором данные изображения кодируются в первом цветовом пространстве и эти данные передаются на вычислительное устройство. Вычислительное устройство сконфигурировано для приема данных изображения, передаваемых эндоскопическим видеоустройством; преобразования полученных данных изображения из первого цветового пространства во второе цветовое пространство, где второе цветовое пространство отличается от первого цветового пространства; определения местоположения заметной особенности в видео при анализе данных изображения во втором цветовом пространстве; отслеживания положения заметной особенности в нескольких кадрах данных изображения; создания анатомической модели на основе отслеживаемой заметной особенности; определения местоположения целевой анатомической особенности в видеоданных на основе анатомической модели; отображения видео на устройстве отображения с указанием местоположения целевой особенности.
Варианты воплощения могут включать одну или более следующих особенностей. Например, для определения местоположения целевой анатомической особенности вычислительное устройство может быть сконфигурировано для определения местоположения целевой анатомической особенности на основе анатомической модели и известных анатомических зависимостей между аспектами модели и целевой анатомической особенностью. Для создания анатомической модели на основе отслеживаемой заметной особенности вычислительное устройство может быть сконфигурировано для определения перемещения заметной особенности на основе изменений в положении заметной особенности в нескольких кадрах и создания анатомической модели на основе перемещения заметной особенности.
Для определения местоположения особенности на изображении при анализе данных изображения во втором цветовом пространстве вычислительное устройство может быть сконфигурировано для формирования гистограммы значений оттенка пикселей в данных изображения на основе данных изображения во втором цветовом пространстве; и определения пикселей, которые находятся на гистограмме в пределах диапазона оттенков, которые соответствуют особенностям, при этом данные сегментации указывают на пиксели, входящие на гистограмме в диапазон оттенков, которые соответствуют особенностям.
Для определения местоположения особенности на изображении при анализе данных изображения во втором цветовом пространстве вычислительное устройство может быть сконфигурировано для группировки пикселей в данных изображения во втором цветовом пространстве по группам на основе значений оттенка пикселей; определения первой группы пикселей из числа групп пикселей; определения второй группы пикселей из числа групп пикселей; выбора одной из: первой или второй группы пикселей на основе относительного цветового контраста между первой и второй группами пикселей, где данные сегментации указывают на выбранную группу пикселей.
Для группировки пикселей вычислительное устройство может быть сконфигурировано для формирования гистограммы значений оттенка пикселей в данных изображения на основе данных изображения во втором цветовом пространстве. Для определения первой группы пикселей вычислительное устройство может быть сконфигурировано для определения первого набора пикселей, которые находятся в пределах первого диапазона оттенков на гистограмме. Для определения второй группы пикселей вычислительное устройство может быть сконфигурировано для определения второго набора пикселей, которые находятся в пределах второго диапазона оттенков на гистограмме. Для выбора одного из: первой или второй группы пикселей вычислительное устройство может быть сконфигурировано для выбора одного из: первого или второго набора пикселей на основе относительного цветового контраста между первым диапазоном оттенков и вторым диапазоном оттенков.
Первые цветовые пространства могут быть одними из: RGB, YUV, YPrPb или YcrCb. Второе цветовое пространство может быть одним из: HSV, Lab или HSY.
Подробное описание одного или более вариантов воплощения изложено на прилагаемых чертежах и в описании, приведенном ниже. Другие признаки, объекты и преимущества будут очевидны из описания и чертежей, а также из формулы изобретения.
ОПИСАНИЕ ЧЕРТЕЖЕЙ
ФИГ. 1 представляет собой блок-схему, иллюстрирующую пример медицинской системы.
ФИГ. 2A-2D иллюстрируют пример видеоартроскопа, который может быть использован с системой по ФИГ. 1.
ФИГ. 3 иллюстрирует альтернативный пример видеоартроскопа, который может быть использован с системой по ФИГ. 1.
ФИГ. 4 иллюстрирует пример способа сегментации особенностей в данных изображения и отображения соответствующего изображения с сегментацией.
ФИГ. 5А представляет собой иллюстрацию примера автофлуоресцентного изображения, полученного в пространстве RGB.
ФИГ. 5В иллюстрирует пример гистограммы, сформированной на основе изображения из ФИГ. 5А после того, как изображение преобразовано в альтернативное цветовое пространство.
ФИГ. 5С представляет собой иллюстрацию примера изображения с сегментирующей маской, полученной из совокупности по ФИГ. 5В.
ФИГ. 6 иллюстрирует пример способа определения особенностей в данных изображения и использования этих особенностей в анатомической модели.
ПОДРОБНОЕ ОПИСАНИЕ
На ФИГ. 1 представлена блок-схема, иллюстрирующая пример медицинской системы 100. Медицинская система 100 включает эндоскопическое видеоустройство 102, такое как видеоартроскоп и устройство захвата изображения, вычислительное устройство 104 и устройство отображения 106. Обычно эндоскопическое видеоустройство 102 осуществляет отправку данных изображения внутренних анатомических структур на вычислительное устройство 104, которое принимает данные изображения 103 (например, при помощи устройства захвата видео/кадра). Вычислительное устройство 104 выполняет обработку данных изображения для сегментирования целевой ткани или анатомических структур на данных изображения другой ткани или структур и отображает соответствующие изображения на устройстве отображения 106 таким образом, что показывает сегментацию пользователю, например, хирургу.
В частности, эндоскопическое видеоустройство 102 включает жесткую или гибкую удлиненную вводимую трубку, оснащенную множеством оптических волокон, которые простираются от проксимальной ручки через вводимую трубку к дистальному видеонаконечнику эндоскопа. Эндоскопическое видеоустройство используется для обследования областей внутри тела пациента (например, полостей, суставов) во время хирургической операции (например, лапароскопической/артроскопической хирургической операции), для этого вводимая трубка вставляется через небольшое отверстие в теле пациента. Один или более источников света, содержащихся в корпусе эндоскопического видеоустройства 102, светят на оптические волокна, которые освещают пространство возле видеонаконечника. Источники света могут переключаться между широкополосным видимым светом и узкополосным светом, подходящим для того, чтобы вызвать автофлуоресценцию ткани или объектов. В любом случае, оптическая система эндоскопического видеоустройства передает полученное изображение в блок камеры, который преобразует изображение в видеосигнал, который включает данные изображения, соответствующие изображению.
Вычислительное устройство 104 включает интерфейс камеры 104а, которая получает видеосигнал от эндоскопического видеоустройства 102 и обеспечивает питание и двунаправленную связь с эндоскопическим видеоустройством 102. Вычислительное устройство 104 может представлять собой вычислительное устройство любого подходящего типа, такое как персональный компьютер, рабочая станция, переносное вычислительное устройство, операторский терминал, ноутбук, сетевой терминал, встроенное устройство или тому подобное. Вычислительное устройство 104 включает систему канала связи, такую как шина данных или другую электронную схему, которая связывает интерфейс камеры 104а с запоминающим устройством 104b, процессором 104с и интерфейсом ввода/вывода 114.
Запоминающее устройство 104b является машиночитаемым устройством любого подходящего типа, которое может включать, например, дискету, жесткий диск, постоянное запоминающее устройство (ПЗУ) или оперативное запоминающее устройство (ОЗУ). В запоминающем устройстве 104b хранится приложение визуализации 108а. Хранимое приложение визуализации 108а может включать инструкции, которые при выполнении процессором 104с вызывают выполнение процессором операций, описанных ниже. Во время работы вычислительного устройства 104 процессор 104с осуществляет доступ к запоминающему устройству 104b через канал связи для выполнения приложения визуализации 108а. В других вариантах воплощения процессор 104с и запоминающее устройство 104b могут быть заменены на программируемую логическую интегральную схему (FPGA), которая может быть запрограммирована для выполнения логических функций приложения визуализации 108b.
Выполнение приложения визуализации 108b инициирует обработку процессором 104 с видеосигнала таким образом, чтобы сегментировать целевые ткани или анатомические структуры в данных изображения на видеосигнале из другой ткани или структур. Например, процессор 104с преобразует данные изображения из первого цветового пространства (например, цветового пространства RGB, создаваемого эндоскопическим устройством 102) во второе цветовое пространство, подходящее для сегментации (например, цветовое пространство HSV) и выполняет обработку преобразованных данных изображения для выполнения сегментации. Процессор 104с затем преобразует данные изображения обратно в первое цветовое пространство (или другое цветовое пространство, подходящее для отображения), сохраняя при этом данные сегментации, и использует данные изображения и данные сегментации для отображения видео на устройстве отображения 106 таким образом, что сегментирует целевые ткани или структуры из другой ткани или структур.
В другом примере процессор 104с преобразует данные изображения из первого цветового пространства во второе цветовое пространство, подходящее для сегментации, и выполняет обработку преобразованных данных изображения для выполнения сегментации для определения заметных особенностей. Процессор 104с затем отслеживает заметные особенности и использует перемещение заметных особенностей для создания анатомической модели. Процессор 104с определяет целевые особенности на основе модели и отображает видео с указанием местоположения целевых особенностей.
Фиг. 2A-2D иллюстрируют пример видеоартроскопа 200, который может быть использован с системой 100, например, в качестве эндоскопического видеоустройства 102. Видеоартроскоп 200 включает жесткую вводимую трубку 202 и проксимальный корпус 204. Проксимальный корпус 204 включает узел ввода 206, узел фокусирования 208 и узел крепления камеры 210. Узел крепления камеры крепит узел видеокамеры 212 (иначе называемый головкой камеры) с помощью, например, С-крепления 214. Применение С-крепления позволяет отсоединить и по отдельности стерилизовать видеоартроскоп 200 и головку камеры 212. В других вариантах воплощения видеоартроскоп 200 соединен с головкой камеры 212 посредством соединителя артроскопа, а не С-крепления.
Узел ввода 206 соединен с узлом фокусирования 208 таким образом, что узел ввода 206 и узел фокусирования 208 могут вращаться по отношению друг к другу в месте стыка 216. При вращении узла ввода 206 изменяется зона обзора при изменении ориентации дистального конца вводимой трубки 202.
Узел ввода 206 включает осветительную стойку 218, которая содержит полупроводниковые источники света 220, которые излучают свет, передаваемый в и из дистального конца вводимой трубки 202 по волоконно-оптическим осветителям 222. Полупроводниковые источники света 220 включают, например, два светодиодных источника света 220а и 220b.
Первый светодиодный источник света 220а представляет собой широкополосный светодиодный источник света, который излучает свет в широкой видимой полосе частот с использованием, например, изменения состояния люминесцирующего вещества. Например, широкополосный светодиодный источник света 220а может излучать белый свет. Видимый свет передается с помощью, например, пучка стекловолокон 222а с высокой интенсивностью излучения в видимом диапазоне. Пучок световодов 222а, например, встык присоединен к широкополосному светодиодному источнику света 220а и имеет высокую числовую апертуру (NA) около 0,86, которая позволяет обеспечить высокий коэффициент передачи оптической мощности и освещение всей зоны обзора.
Второй светодиодный источник света 220b представляет собой узкополосный светодиодный источник света, который излучает узкую полосу света возбуждения (например, 395 нм), который может быть использован для получения автофлуоресценции. Свет с малой длинной волны передается через отдельный или многопроводной пластмассовый пучок световодов 222b, который оптимизирован для передачи света с меньшей длиной волны.
По мере необходимости подсветка может переключаться пользователем между видимым светом и возбуждением флуоресценции. Наличие переключаемых источников света может позволить использовать устройство в хирургии для различения типов тканей. Например, для пациента с разрывом передней крестообразной связки (ACL) видеоартроскоп 200 может быть переключен в режим с узкополосной флуоресценции (AF), чтобы исследуемая ткань (оставшаяся часть ACL на прикреплении) могла быть идентифицирована в целях определения, где должен быть высверлен канал на выступе кости для хирургического восстановления. С использованием переключаемого режима света видеоартроскоп 200 может быть переключен между режимами видимого света и автофлуоресценции для точного позиционирования направителя сверления/канюли в требуемом месте прикрепления. Например, хирург может вначале визуализировать исследуемую ткань с использованием автофлуоресценции, попытаться установить направитель с использованием видимого света (поскольку конец направителя сверления легче визуализировать в видимом свете), а затем проверить позиционирование направителя сверления по отношению к исследуемой ткани с помощью автофлуоресценции (и повторять, пока направитель не будет правильно установлен). С помощью режима автофлуоресценции, другие типы ткани, в том числе поврежденная хрящевая и/или менисковая ткань, также могут быть идентифицированы таким образом, чтобы могла быть выполнена последующая процедура.
Узел фокусирования 208 включает хвостовик 223, набор фокусирующей оптики 224 и фокусировочное кольцо 226. Фокусировочное кольцо 226 сконфигурировано для вращения по отношению к хвостовику 223 и узлу крепления камеры 210. При повороте фокусировочного кольца 226 производится регулировка фокусирующей оптики 228 в осевом направлении вдоль продольной оси видеоартроскопа 200, которая устанавливает фокус освещенного изображения.
Во время работы выбранный источник света 220а или 220b обеспечивает освещение в рабочей зоне с помощью волоконно-оптического осветителя 222. Освещенные изображения из рабочей зоны передаются на узел камеры 212 по световоду. Световод проходит от дистального конца вводимой трубки 202 через волоконно-оптическую систему 224 в вводимую трубку 202, через набор фокусирующей оптики 228 в узел фокусирования 208 к узлу видеокамеры 212, который включает узел полупроводниковой светочувствительной матрицы (прибор с зарядовой связью, ПЗС) 230 для преобразования изображений в данные изображения. Узел ПЗС может включать, например, красный ПЗС, зеленый ПЗС и синий ПЗС для генерирования RGB данных изображения. В других случаях узел ПЗС может включать, например, отдельный датчик с конфигурацией шаблона Байера для предоставления RGB данных. Данные изображения передаются в видеосигнале на вычислительное устройство 104.
Видеоартроскоп 200 также включает набор контактных колец и проводов для подачи питания от головки камеры 212 к источникам света 220. В частности, видеоартроскоп 200 включает контактное кольцо С-крепления 232, контактное кольцо узла фокусирования 234 и контактное кольцо узла ввода 236. Видеоартроскоп 200 также включает провода 238, которые проложены между контактным кольцом С-крепления 232 и контактным кольцом узла фокусирования 234, и провода 240, которые проложены между контактным кольцом узла фокусирования 234 и контактным кольцом узла ввода 240. Последний набор проводов проложен от контактного кольца узла ввода 240 и источников света 220. Электрический ток подается от головки камеры 212 через контактное кольцо С-крепления 232, через провода 234, через контактное кольцо узла фокусирования 234, через провода 240, через контактное кольцо узла ввода 236 и, наконец, через провода 242 к источникам света 220. Использование контактных колец 232, 234 и 236 позволяет, при необходимости, вращаться друг относительно друга головке камеры 212, фокусировочному кольцу 208, хвостовику 223 и узлу ввода 206, при этом питание подается от головки камеры 212 на источники света 220.
На ФИГ. 3 показан альтернативный пример видеоартроскопа 300, который можно использовать с системой 100, например, в качестве эндоскопического видеоустройства 102. В этом альтернативном варианте электропитание передается от головки камеры к видеоартроскопу 300 через систему беспроводной передачи электроэнергии. В частности, в видеоартроскопе 300 контактное кольцо С-крепления 232 заменено двумя катушками 302 и 304. Первую катушку 302 (передатчик) помещают в головке камеры 312, а вторую катушку 304 (приемник) помещают в видеоартроскопе 300 в узле крепления камеры 310. Первая катушка 302 передает энергию на вторую катушку 304, используя индуктивную связь посредством поля в ближней зоне. Затем энергия передается от второй (принимающей) катушки 304 через электрические провода и контактные кольца к источникам света таким же образом, как описано в отношении видеоартроскопа 200.
В качестве альтернативы вторая катушка 304 может быть помещена в осветительную стойку 218 или в другое место в узле ввода 208. В этом альтернативном варианте энергия передается на вторую катушку 304 посредством поля в дальней зоне. Поскольку вторая катушка 304 расположена в узле ввода, контактные кольца и провода в узле фокусирования 208 не нужны.
На ФИГ. 4 показан пример способа 400 сегментации особенностей в данных изображения и отображения соответствующего изображения с сегментацией. Способ 400 реализуется, например, с помощью процессора 104с при выполнении приложения визуализации 108b, но способ 400 может быть выполнен и с использованием других систем или конфигураций. Способ 400 позволяет улучшить изображения, полученные с помощью эндоскопического видеоустройства, для лучшей визуализации исследуемых областей в поле изображения, будь то анатомические аспекты или внешние объекты, вводимые в зону обзора.
Процессор 104с осуществляет доступ (402) к данным изображения, представляющим изображение, снятое с помощью эндоскопического видеоустройства, такого как видеоартроскоп 200 или 300. Данные изображения могут соответствовать автофлуоресцентному изображению, снятому с использованием, например, узкополосного источника света 220b, или изображению в видимом свете, снятому с использованием, например, широкополосного источника света 220а. Изображение может представлять собой снимок внутренней ткани или анатомических структур пациента. Данные изображения кодируются с использованием первого цветового пространства, которое подходит для захвата изображения (цветового пространства захвата). Например, первое цветовое пространство является одним из цветовых пространств: RGB, YUV, YPrPb или YcrCb.
Процессор 104с преобразует (404) данные изображения, к которым осуществляется доступ, из первого цветового пространства во второе цветовое пространство, отличное от первого цветового пространства. Второе цветовое пространство подходит для сегментации одной или более исследуемых областей (цветовое пространство сегментации). Целесообразность применения цветового пространства в качестве цветового пространства сегментации определяется его способностью дифференцировать отдельные цвета, уменьшать цветовые артефакты метамеризма (измерения цвета при различном освещении) и возможностью наиболее удобной реализации для поддержки в блоке обработки в режиме реального времени. Второе цветовое пространство может быть, например, HSV, Lab или HSY.
Процессор 104с определяет (406) местоположение особенности в данных изображения при анализе данных изображения во втором цветовом пространстве. Особенность может включать ткань, анатомическую структуру или внешний объект, введенный в организм пациента. Для определения особенности процессор 104с может, например, выполнить цветовую сегментацию данных изображения во втором цветовом пространстве. В качестве примера, после того как флуоресцентное изображение преобразовано во второе цветовое пространство (например, HSV), процессор 104с может проанализировать распределение оттенков в изображении, например, путем формирования гистограммы значений оттенка пикселей в данных изображения во втором цветовом пространстве. Группы пикселей, которые соответствуют различным совокупностям на гистограмме (то есть различным диапазонам оттенков), могут соответствовать различным тканям на изображении. Процессор 104с может определить пиксели, которые находятся на гистограмме в пределах совокупности (диапазона оттенков) данных, которые соответствуют исследуемой ткани (или другим особенностям), и сгенерировать данные сегментации, которые указывают пиксели, входящие в эту совокупность.
В другом примере процессор 104с может использовать относительный цветовой контраст для определения конкретных тканей или обособления областей изображения, соответствующих исследуемой ткани, от других областей изображения. Например, в некоторых случаях оттенок бедренной ACL ткани, как правило, отличается от оттенка фоновых участков изображения и других тканей. В автофлуоресцирующих изображениях, например, области, соответствующие ACL, обычно имеют синий цвет, в то время как фоновые участки, как правило, выглядят более фиолетовыми. Таким образом, фоновые участки изображения, как правило, содержат больше красного цвета по сравнению с областями, отображающими ACL ткань. Процессор 104с может использовать эту информацию для различения ACL ткани от фона.
Например, пиксели в автофлуоресцирующем изображении колена могут быть сгруппированы в соответствии со значениями оттенка пикселей (например, с использованием гистограммы или другого способа). Первая и вторая группы пикселей затем определяются из числа групп. Например, при использовании гистограммы процессор 104с может определить первый и второй наборы пикселей, которые входят в первый и второй диапазоны оттенков, соответственно, на гистограмме. Первая и вторая группы могут быть определены, например, сначала устранением посторонней информации, которая не соответствует минимальному значению насыщенности, а также минимальному значению интенсивности, затем - сопоставлением оставшихся совокупностей с гауссовыми распределениями для определения четко выраженных совокупностей на гистограмме или, в качестве альтернативы, использованием многоступенчатого алгоритма обнаружения, включающего низкочастотную фильтрацию и исключение резко выделяющихся значений, и далее - определением совокупностей посредством пороговой величины первой и второй производных с целью определения четко выраженных совокупностей в обработанной гистограмме распределения оттенков. Из первой и второй групп процессор 104с выбирает группу с более синими пикселями (по отношению к другой группе) как соответствующую ACL ткани и генерирует данные сегментации, которые указывают на эти пиксели. При использовании гистограммы процессор 104с может выбрать набор пикселей, которые находятся в пределах диапазона оттенков, которые является более синими.
Аналогичным образом анализ распределения пикселей в соответствии с оттенком может указывать на дополнительные или отличающиеся области на изображении. В некоторых вариантах воплощения группа пикселей, которая включает их наибольшее количество, может быть установлена в качестве фона, так как фон, как правило, является самой большой областью изображения.
В некоторых ситуациях совместное применение различных оптических устройств, датчиков камеры и систем обработки упрощается путем анализа распределения оттенков на изображении. При одинаковых условиях освещения различные устройства и конфигурации устройства могут приводить к созданию диапазона различных чистых оттенков. Тем не менее, анализ распределения оттенков на изображении (например, различия в оттенке между различными областями изображения) может обеспечить достоверную точность, несмотря на эти вариации.
Процессор 104 с сохраняет (408) данные сегментации, которые указывают расположение особенностей в данных изображения, и преобразует (410) данные изображения из второго цветового пространства в третье цветовое пространство. Третье цветовое пространство подходит для отображения на устройстве отображения и может быть, например, одним из: RGB, YUV, YPrPb или YcrCb.
На основании данных сегментации и данных изображения в третьем цветовом пространстве процессор 104с отображает (412) изображение с указанием определенного местоположения особенностей. Расположение особенностей может быть определено, например, с помощью бинарной маски, которая используется перед обработкой для наложения псевдоцвета на представление исходного изображения в оттенках серого. В качестве другого примера, данные сегментации могут быть использованы для генерации маски, непосредственно сопоставленной одному из стандартных каналов RGB и исключенных из остальных каналов таким образом, что сегментирование появляется только в одном из этих каналов отображения. Кроме того, к примеру, данные сегментации могут быть обработаны в дополнение к созданию выделенной области для альфа-смешивания на исходном изображении в виде наложения.
В то время как приведенное выше изложение относится к системе 100, способ 400 может быть выполнен независимо от конкретного средства для захвата автофлуоресцентных, флуоресцентных или видимых энергетических изображений. В некоторых вариантах воплощения границы ткани (например, каемки) или другие исследуемые области обнаруживаются и перекрываются с помощью выходного видеосигнала в реальном масштабе времени с видеоартроскопа, например, видеоартроскопа 200.
В некоторых случаях способ 400 может быть выполнен для облегчения визуализации исследуемых особенностей без предварительной калибровки. Другие способы могут потребовать априорного знания ответного сигнала системы, проходящего через оптические устройства, датчик камеры, любую заданную систему конвейерной обработки с освещением возбуждения и могут потребовать поддержки калибровки для коррекции изменений в каждой отдельной системе оптического и электронного отклика для того, чтобы достоверно отделить ответный сигнал от целевой ткани или объекта от отклика цвета фона. Способ 400 может не нуждаться в такой калибровке при соответствующих обстоятельствах.
ФИГ. 5А иллюстрирует пример автофлуоресцирующего изображения 500, полученного в пространстве RGB. Изображение 500 может быть захвачено, например, с использованием узкополосного источника света 220b. Изображение представляет собой образцы ткани из колена человека, которые включают бедренную ACL опорную область 502а и 502b и хрящи 504а и 504b из мыщелка бедренной кости. Обе эти структуры имеют коллаген, но ACL имеет другой тип коллагена, который вызывает флуоресцирование бедренной опорной области 502а и 502b светло-синим цветом, в то время как хрящ 504а и 504b флуоресцирует фиолетовым цветом. Опорная ACL область в этом примере является исследуемой анатомической особенностью.
На ФИГ. 5В показан пример гистограммы 520, сформированной на основе изображения 500, после того как изображение 500 было преобразовано в альтернативное цветовое пространство, например, HSV. Гистограмма имеет три основные группы пикселей. Первая группа 522 сосредоточена около 200 градусов. Вторая группа 524 сосредоточена около 275 градусов. Третья группа 526 сосредоточена около 315 градусов. Третья группа 526 включает наибольшее количество пикселей и, следовательно, может быть обозначена в качестве фона (в некоторых вариантах воплощения эти пиксели могут быть отфильтрованы до формирования гистограммы). В этом случае первая и вторая группы 522 и 524 соответствуют двум типам ткани. Поскольку ACL ткань является более синей по отношению к хрящу мыщелка бедренной кости, более синяя группа пикселей (первая группа 522) выбрана как соответствующая ACL ткани.
ФИГ. 5С иллюстрирует пример изображения 530 с маской сегментации 532, полученной из совокупностей гистограммы 520. Маска сегментации указывает местоположение опорной области ACL (исследуемая анатомическая особенность). В этом случае исходное изображение отправляется на зеленый канал дисплея, а маска сегментации отправляется на красный канал дисплея. Это приводит к тому, что красная маска сегментации 532 отображается над исследуемыми объектами (опорная область ACL), в то время как остальные анатомические объекты показаны зеленым цветом.
На ФИГ. 6 показан пример способа 600 идентификации особенностей в данных изображения и использования этих особенностей в анатомической модели. Способ 600 реализуется, например, с помощью процессора 104с при выполнении приложения визуализации 108b, однако способ 400 могут выполнять и другие системы или конфигурации.
Как правило, процесс 600 использует преобразование цветового пространства для сегментации, как это описано в отношении процесса 400, для идентификации заметных особенностей в отображаемой анатомии и возможного использования этих заметных особенностей с другими заметными особенностями, для построения основанной на особенностях модели, составленной по известным анатомическим точкам. Эта модель может быть затем использована для идентификации целевых анатомических особенностей или области в зоне обзора и отображения целевых особенностей или областей таким образом, чтобы отличить их от других областей. В некоторых случаях данные автофлуоресцентного отображения могут повысить производительность основанной на особенностях модели, представляющей отображаемую ткань.
Процессор 104с осуществляет (602) доступ к данным изображения, закодированным в первом цветовом пространстве, например, в виде видео в режиме реального времени, полученного от артроскопа. Данные изображения могут соответствовать автофлуоресцентному изображению, снятому с помощью, например, узкополосного источника света 220b, или изображению в видимом свете, захваченному с использованием, например, широкополосного источника света 220а. Изображение может быть получено из внутренней ткани или анатомических структур пациента. Данные изображения кодируются с использованием первого цветового пространства, которое подходит для захвата изображения (цветового пространства отображения). Например, первое цветовое пространство является одним из цветовых пространств: RGB, YUV, YPrPb или YcrCb.
Процессор 104с преобразует (604) данные изображения, к которым осуществляется доступ, из первого цветового пространства во второе цветовое пространство, отличное от первого цветового пространства. Второе цветовое пространство подходит для сегментации одной или более исследуемых областей (цветовое пространство сегментации), как описано выше в отношении действия 404.
Процессор 104с определяет (606) местоположения одной или более заметных особенностей в данных изображения путем анализа данных изображения во втором цветовом пространстве. Процессор 104с выполняет это, например, с использованием любого из способов, описанных выше в отношении действия 406. Процессор 104с может также определить местоположение дополнительных заметных особенностей, таких как точки или каемки, используя данные изображения в первом или втором цветовых пространствах.
Процессор отслеживает (608) положение заметных особенностей на нескольких кадрах видео. В эти несколько кадров видео могут попасть заметные особенности в разных положениях по отношению к субъекту (например, видео захватывается с разных ракурсов). На основании изменений в положении отслеживаемых особенностней процессор использует, например, способы анализа параметров движения для оценки того, каким образом были перемещены особенности. Например, процессор определяет векторы движения, которые описывают то, каким образом перемещались эти отслеживаемые особенности.
Процессор генерирует (610) трехмерную (3D) основанную на особенностях анатомическую модель на основании перемещения отслеживаемых особенностей. После того как 3D модель будет создана, процессор определяет (612) местоположение целевой анатомической особенности. Например, если модель представляет собой часть бедренной кости, местоположение ACL или PCL может быть определено на основе аспектов модели. Процессор может оценить расположение анатомической особенности, принимая во внимание известные анатомические зависимости, такие как соотношения, пропорции и другие характеристики анатомических особенностей. Например, на основе 3D модели может быть определена кривизна мыщелка бедренной кости. При использовании этого значения кривизны положение ACL, PCL или другого признака может быть определено по отношению к 3D-модели, основанной на известном соотношении, описывающем размеры и расположение элементов колена.
Затем процессор отображает (614) изображения, соответствующие данным изображения, с указанием расположения целевой анатомической особенности. Например, расположение исследуемой анатомической особенности указывается на видео в реальном масштабе времени, получаемом от артроскопа в виде наложения. Процессор продолжает отслеживать положение отслеживаемых особенностей. Поскольку вид объекта изменяется, процессор обновляет отображение видео, чтобы показать изменения в положении исследуемой анатомической особенности. Могут быть использованы дополнительные способы локализации и визуализации особенности, включая те, которые описаны в заявке на патент США 12967435, поданной 14 декабря 2010 г. (и опубликованной как патент США Арр. Pub. №2011/0141140), которая включена сюда в качестве ссылки в полном объеме.
Был описан ряд вариантов воплощения. Тем не менее, должно быть понятно, что могут быть произведены различные модификации. Например, в то время как примеры способов обработки и моделирования изображений были описаны для использования с видеоартроскопами, те же способы могут быть использованы с другими устройствами и способами захвата изображения.
Кроме того, автофлуоресцирующее изображение может быть создано с помощью любого подходящего устройства или комбинации устройств и не ограничивается конкретными описанными устройствами. Например, на ФИГ. 2D показана конфигурация, в которой источник видимого света и источник узкополосного света для возбуждения формируются из отдельных светодиодов, которые установлены в боковой стойке. Вполне возможно, что один источник света, выполненный из множества чипов, излучающих свет разных цветов, расположен в боковой стойке или в любом другом месте эндоскопа и может переключаться между видимым светом и светом, подходящим для автофлуоресценции. Такой светодиодный источник света может упоминаться как перестраиваемые белые светодиоды и может, в случае необходимости, быть использован для переключения между видимым светом или светом возбуждения флуоресценции. Если светодиод (или другое полупроводниковое устройство) может переключать или изменять излучение света с широкой полосы на узкую полосу, он может быть использован вместо двух светодиодов, показанных на ФИГ. 2D.
Освещение для видимого света или возбуждения флуоресценции может быть подведено способом, отличным от освещения канала эндоскопа. Например, возбуждение флуоресценции может быть подведено через зонд, расположенный отдельно от видеоартроскопа. В этом случае источник видимого света может быть установлен в видеоартроскопе, а светодиодный источник для флуоресценции будет размещен в отдельном зонде или инструменте. Светодиодный источник для флуоресценции может быть расположен на дистальном или проксимальном конце отдельного зонда. Если светодиодный источник для флуоресценции находится на проксимальном конце, энергия возбуждения может быть передана в дистальном направлении через волокна. Светодиод для флуоресценции и/или волокна, передающие энергию возбуждения флуоресценции, могут быть встроены в другие виды инструментов, применяемые в артроскопических процедурах, такие как направитель сверления, ручной инструмент, многоразовая или одноразовая канюля, которые соответствуют направителю сверления, эндоскопу или отдельному зонду. Кроме того, освещение может быть выработано на независимом устройстве с автономным питанием и передано на передающее устройство с помощью гибкого световода в сочетании со стойкой на передающем устройстве. В этом последнем варианте воплощения энергия возбуждения может быть сгенерирована с помощью монохроматического лазера, светодиода или фильтруемого источника белого света в автономном устройстве.
Соответственно, другие варианты воплощения находятся в пределах объема прилагаемой формулы изобретения.
Реферат
Группа изобретений относится к медицинской технике, а именно к эндоскопическим видеосистемам. Способ идентификации особенности в данных изображения включает осуществление доступа к данным изображения, снятого с помощью эндоскопического видеоустройства, при этом данные изображения кодируются в первом цветовом пространстве, преобразование данных изображения, к которым осуществляется доступ, из первого цветового пространства во второе цветовое пространство, при этом второе цветовое пространство отличается от первого цветового пространства и является цветовым пространством сегментирования, определение местоположения особенности на изображении при анализе данных изображения во втором цветовом пространстве, сохранение данных сегментации, которые указывают местоположение особенностей на изображении, и отображение, на основе данных сегментации, изображения с указанием определенного местоположения особенностей. Во втором варианте осуществления способа дополнительно определяют местоположение особенности в видео при анализе данных изображения во втором цветовом пространстве, отслеживают положение особенности в нескольких кадрах данных изображения, создают анатомическую модель на основе отслеживаемой особенности, определяют местоположение особенности в видеоданных на основе анатомической модели и отображают видео с указанием местоположения особенности. Медицинские системы для осуществления способов содержат эндоскопическое видеоустройство, сконфигурированное для генерирования данных изображения, передачи данных изображения на вычислительное устройство, сконфигурированное с возможностью выполнения этапов способов. Использование изобретений позволяет уменьшить цветовые артефакты метамеризма. 4 н. и 32 з.п. ф-лы, 6 ил.
