Устройство содействия и способ предоставления визуализирующего сопровождения оперирующему хирургу во время хирургической операции с использованием, по меньшей мере, одного медицинского инструмента - RU2017129562A
Код документа: RU2017129562A
Формула
1. Устройство (10) содействия для предоставления визуализирующего сопровождения оперирующему хирургу во время хирургической операции с использованием, по меньшей мере, одного медицинского инструмента, причем указанное устройство содействия содержит:
камеру (12) для генерации видеосигнала, который содержит последовательность кадров изображения;
блок (18) отображения для отображения последовательности изображений на основе видеосигнала;
блок (22) обработки изображений, содержащий модуль (50) обнаружения инструмента, для обнаружения, по меньшей мере, одной целевой структуры, которая представляет собой инструмент, который используется в соответствующем кадре, путем идентификации заданного отличительного признака и для извлечения информации о местоположении, которая указывает местоположение целевой структуры в кадре;
манипулятор (14), который соединен с камерой (12), и может приводиться в действие посредством сигнала управления для перемещения камеры (12); и
контроллер (26) манипулятора для генерирования сигнала управления из информации о местоположении и для приведения в действие манипулятора (14) посредством сигнала управления;
отличающееся тем, что модуль (50) обнаружения инструмента идентифицирует сегмент изображения в качестве заданного отличительного признака, причем указанный сегмент изображения характеризуется насыщенностью цвета, которая равна или меньше, чем заданная насыщенность цвета, и контуром, который отграничивает сегмент изображения и имеет, по меньшей мере, один прямолинейный участок.
2. Устройство (10) содействия по п. 1, отличающееся тем, что блок (22) обработки изображений включает в себя модуль (48) сегментации, который на основе соответствующего кадра генерирует, по меньшей мере, одно двоичное изображение, в котором модуль (50) обнаружения инструмента идентифицирует сегмент изображения.
3. Устройство (10) содействия по п. 1, отличающееся тем, что
блок (22) обработки изображений включает в себя модуль (36) предварительной обработки, который генерирует изображение в оттенках серого на основе соответствующего кадра, каждому из пикселей которого присваивается значение оттенка серого, которое представляет насыщенность цвета соответствующего пикселя кадра; и
на основе изображения в оттенках серого модуль (48) сегментации генерирует, по меньшей мере, одно двоичное изображение, двоичным пикселам которого присваивается первое двоичное значение, если соответствующие значения оттенков серого равны или меньше порогового значения, которое соответствует заданной насыщенности цвета, и двоичным пикселям которых присваивается второе двоичное значение, если соответствующие значения оттенков серого больше порогового значения.
4. Устройство (10) содействия по п. 2 или 3, отличающееся тем, что модуль (50) обнаружения инструмента объединяет множество коллинеарно разнесенных прямолинейных участков контура для формирования сплошной краевой линии, которая представляет собой край инструмента.
5. Устройство (10) содействия по п. 4, отличающееся тем, что для обнаружения целевой структуры модуль (50) обнаружения инструмента соединяет попарно две краевые линии, которые в каждом случае расположены параллельно друг другу.
6. Устройство (10) содействия по п. 5, отличающееся тем, что модуль (50) обнаружения инструмента идентифицирует наконечник инструмента на основании двух сопряженных краевых линий.
7. Устройство (10) содействия по п. 2, отличающееся тем, что модуль (48) сегментации генерирует множество двоичных изображений на основе соответствующего изображения в оттенках серого и использует разные пороговые значения для генерации указанных изображений.
8. Устройство (10) содействия по п. 7, отличающееся тем, что модуль (50) обнаружения инструмента идентифицирует взаимно соответствующие прямолинейные участки на двоичных изображениях, которые были сгенерированы на основе соответствующего кадра, и объединяет эти участки для формирования единственной краевой линии, которая представляет собой край инструмента.
9. Устройство (10) содействия по п. 1, отличающееся тем, что блок (22) обработки изображений включает в себя модуль (46) слежения, который отслеживает целевую структуру, обнаруженную модулем (50) обнаружения инструмента на нескольких последовательных кадрах; и контроллер (26) манипулятора генерирует сигнал управления, относящийся к соответствующему кадру, используя информацию о местоположении целевой структуры с целью приведения в действие манипулятора (14) только в том случае, если указанная целевая структура уже отслежена модулем (46) слежения на нескольких последовательных кадрах.
10. Устройство (10) содействия по п. 9, отличающееся тем, что модуль (46) слежения соотносит средство отслеживания с целевой структурой, которая обнаруживается впервые в соответствующем кадре модулем (50) обнаружения инструмента, и использует средство отслеживания для отслеживания указанной целевой структуры, которая обнаруживается на последующих кадрах.
11. Устройство (10) содействия по п. 1, отличающееся тем, что блок (22) обработки изображений включает в себя модуль (40) потока, который обнаруживает оптический поток последовательности изображений, который представляет информацию о перемещениях, содержащуюся в последовательности изображений.
12. Устройство (10) содействия по п. 9, отличающееся тем, что
модуль (46) слежения содержит первый подмодуль (42), который расположен перед модулем (50) обнаружения инструмента, и второй подмодуль (44), который расположен после модуля (50) обнаружения инструмента;
первый подмодуль (42) учитывает оптический поток, обнаруженный модулем (40) потока, для того, чтобы сделать прогноз относительно информации о местоположении средства отслеживания для следующего кадра, который еще не обработан модулем (50) обнаружения инструмента;
и для следующего указанного кадра, который был обработан модулем (50) обнаружения инструмента, второй подмодуль (44) проверяет предсказание, сделанное первым подмодулем (42) на основе информации о местоположении для обнаруженного средства отслеживания, обнаруженного модулем (50) обнаружения инструмента.
13. Устройство (10) содействия по п. 3, отличающееся тем, что модуль предварительной обработки (36) выполнен с возможностью выполнения настройки баланса белого в соответствующем кадре.
14. Устройство (10) содействия по п. 13, отличающееся тем, что блок (22) обработки изображений включает в себя модуль (38) оптимизации параметров, который асинхронно обрабатывает кадры для модуля (36) предварительной обработки, и генерирует из них информацию о приведении в действие, которая указывает модулю (36) предварительной обработки, должен ли он выполнять настройку баланса белого или нет.
15. Устройство (10) содействия по п. 14, отличающееся тем, что модуль (38) оптимизации параметров задает пороговые значения для модуля (48) сегментации на основе асинхронной обработки кадров.
16. Способ предоставления визуализирующего сопровождения оперирующему хирургу во время хирургической операции с использованием, по меньшей мере, одного медицинского инструмента, в котором
посредством камеры (12) генерируют видеосигнал, который содержит последовательность кадров изображения;
последовательность изображений отображают на блоке (18) отображения на основе видеосигнала;
по меньшей мере, одну целевую структуру, которая представляет собой инструмент, который используется в соответствующем кадре, обнаруживают путем идентификации заданного отличительного признака, и извлекают информацию о местоположении, которая указывает местоположение целевой структуры в кадре, и
сигнал управления генерируют из информации о местоположении и манипулятор (14), который соединен с камерой (12), приводят в действие посредством сигнала управления для перемещения камеры (12);
отличающийся тем, что сегмент изображения идентифицируют в качестве заданного отличительного признака, причем указанный сегмент изображения характеризуется насыщенностью цвета, которая равна или меньше, чем заданная насыщенность цвета, и контуром, который отграничивает сегмент изображения и имеет, по меньшей мере, один прямолинейный участок.
