Нейронная сеть для генерации синтетических медицинских изображений - RU2698997C1

Чертежи

Описание

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[01] Эта заявка испрашивает приоритет предварительной заявки на патент США №62/384,171, поданной 6 сентября 2016, и предварительной заявки на патент США №62/408,676, поданной 14 октября 2016, полные раскрытия которых включены в настоящее описание по ссылке.

ОБЛАСТЬ ИЗОБРЕТЕНИЯ

[02] Это раскрытие в общем относится к генерации синтетических изображений с помощью алгоритмов машинного обучения для использования в радиотерапии. Более конкретно, это раскрытие относится к системам и способам для генерации изображений компьютерной томографии (КТ) из изображений магнитно-резонансной томографии (МРТ) с использованием нейронных сетей.

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

[03] КТ-визуализация традиционно использовалась в качестве основного источника данных изображений в процессе планирования внешней радиотерапии. Изображения КТ дают точное представление геометрии пациента, и значения КТ могут быть непосредственно преобразованы в электронные плотности для вычисления дозы облучения. Однако поскольку традиционные изображения КТ генерируются посредством использования источника излучения для визуализации, использование КТ может подвергать пациента дополнительным дозам облучения. В последние годы возник интерес к замене изображений КТ изображениями МРТ в процессе планирования радиотерапевтического лечения. Это связано с тем, что МРТ не содержит ионизирующего излучения и обеспечивает превосходный контраст мягких тканей для более точного разграничения цели и структуры. МРТ также позволяет получить функциональную информацию о человеческом теле, такую как метаболизм и функциональность тканей. Однако значения интенсивности МРТ напрямую не связаны с электронной плотностью, и традиционные последовательности МРТ не могут получать сигнал МРТ из кости. Поэтому было бы выгодным, если из полученного изображения МРТ могло быть получено «изображение псевдо-КТ» или «синтетическое изображение», такое как псевдо или синтетическое изображение КТ (называемое в настоящем описании «синтетическим изображением КТ»).

[04] Синтетическое изображение КТ, полученное из изображения МРТ, может использоваться для вычисления дозы пациента при планировании радиотерапевтического лечения или для генерации цифровых реконструированных рентгенограмм для визуализационного контроля. Синтетическое изображение КТ также может использоваться для позиционирования пациента во время радиотерапии. Поэтому желательно точно генерировать синтетическое изображение КТ с использованием данных изображения МРТ, чтобы избавить пациентов от дополнительного радиационного облучения, являющегося результатом КТ-визуализации. Предпочтительно, чтобы синтетическое изображение КТ в точности было похоже на «реальное» изображение КТ, которое получается сканером КТ. Другими словами, синтетическая КТ должна быть как можно ближе к реальному изображению КТ, например, с точки зрения относительных значений интенсивности вокселей и признаков контрастности. Генерация точного синтетического изображения КТ является непростой задачей, потому что не существует прямой математической зависимости между значениями интенсивности изображения КТ (числами КТ) и значениями интенсивности МРТ.

[05] Существующие способы для автоматической генерации синтетического изображения КТ условно можно поделить на три категории: подходы на основе классификации тканей, подходы на основе атласа и подходы на основе модели. Способы на основе классификации тканей или сегментации тканей сначала классифицируют изображение МРТ на области с различными типами ткани (например, воздух, жир, мягкая ткань или кость), а затем используют присвоение объемной плотности для присвоения различных КТ-чисел каждому типу ткани. Автоматическая сегментация ткани является сложной проблемой, особенно при использовании традиционных изображений МРТ. Например, кость и воздух неотделимы или неразличимы на традиционных изображениях МРТ. Таким образом, часто необходимы более сложные последовательности МРТ (например, МРТ, способная получать изображения более высокого разрешения) для более точной сегментации тканей. Даже если сегментация тканей возможна, деление анатомии на несколько типов тканей обеспечивает очень грубую аппроксимацию фактической анатомии. Например, как простата, так и мочевой пузырь являются мягкими тканями, но их КТ-интенсивности как правило отличаются.

[06] Подходы на основе атласа также известны как подходы на основе совмещения. В контексте генерации синтетической КТ термин «атлас» часто относится к набору данных, содержащему парные атласные изображения МРТ и КТ. В одном примере спаривание изображений МРТ и КТ может быть выполнено путем совмещения изображений. Для генерации синтетического изображения КТ из данного исходного изображения МРТ способ на основе атласа сначала выставляет каждое атласное изображение МРТ из «атласа» с исходным изображением МРТ посредством вычисления совмещающего преобразования изображения (обычно необходимо деформируемое или нелинейное совмещение изображения вместо простого линейного совмещения). Вычисленное совмещающее преобразование затем может быть применено для картирования соответствующего атласного изображения КТ на исходное изображение МРТ и генерации деформированной атласной КТ. Деформированное атласное изображение КТ обеспечивает оценку реального изображения КТ (например, синтетического изображения КТ).

[07] Обычно для достижения большей точности вычисляется несколько деформированных атласных КТ, и несколько деформированных атласных КТ могут быть объединены вместе, например, путем усреднения, для генерации конечного синтетического изображения КТ, соответствующего исходному изображению МРТ. Однако большинство существующих способов совмещения изображений может обрабатывать только одноканальные изображения МРТ. Кроме того, если используется большое число атласов, поскольку исходное изображение МРТ должно быть совмещено с каждым атласным изображением МРТ, время вычисления может увеличиваться. Это медленный процесс, потому что эти методики требуют непрерывного доступа к полной базе данных атласов, поскольку операции по совмещению изображений включают все (набор атласов может использовать не все изображения) атласные изображения МРТ и атласные изображения КТ. В одном примере может использоваться набор атласов для выбора подмножества всех атласных изображений МРТ и атласных изображений КТ.

[08] Подходы на основе модели или на основе обучения имеют целью создание прогнозной модели на основе доступных обучающих данных. Как только прогнозная модель была обучена, она может быть применена к любому новому изображению МРТ того же самого типа (например, любому новому изображению МРТ, полученному с использованием последовательности МРТ, которая является такой же, как использовалась для получения обучающих данных) для прогнозирования соответствующего изображения КТ. Процесс обучения, как правило, использует алгоритм обучения с учителем. В частности, алгоритм обучения с учителем использует известный набор входных данных и известные ответы или выводы для этих данных, а затем обучает модель генерировать приемлемые прогнозы для ответа на новые данные. Для прогнозирования синтетической КТ необходима модель регрессии (вместо классификации), так как переменные ответа (например, значения КТ) являются вещественными числами. Существующие подходы на основе модели и традиционные алгоритмы обучения также требуют извлечения определенных типов «признаков» для использования в качестве входных данных для модели. Существующие способы отличаются по типу признаков, которые каждый способ может использовать в качестве входных данных для его модели регрессии. Эти существующие способы также требуют вручную сконструированных признаков. Кроме того, существующие способы предсказывают КТ-число одного воксела. Таким образом, эти способы должны применяться в манере «движущегося окна» (например, путем применения модели к серии подобластей изображения) или в повоксельной манере для генерации полного синтетического изображения КТ. Такие подходы с движущимся окном часто требуют значительных вычислительных ресурсов и времени для генерации полного синтетического изображения КТ.

[09] Соответственно, имеется потребность в новых системах и способах, использующих технологии искусственного интеллекта для генерации синтетических изображений КТ из других изображений, таких как изображения МРТ.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[010] В одном аспекте изобретения раскрытие может представлять осуществляемый компьютером способ генерации синтетического изображения анатомической части на основе исходного изображения анатомической части, полученного устройством визуализации с использованием первой модальности визуализации. Способ может включать прием исходного изображения анатомической части, полученного устройством визуализации с использованием первой модальности визуализации, и прием модели сверточной нейронной сети, обученной для прогнозирования синтетического изображения на основе исходного изображения. Способ также может включать в себя преобразование с помощью по меньшей мере одного процессора исходного изображения в синтетическое изображение с помощью модели сверточной нейронной сети. Синтетическое изображение может быть похожим на изображение анатомической части во второй модальности визуализации, при этом вторая модальность визуализации может отличаться от первой модальности визуализации. Первая модальность визуализации может быть магнитно-резонансной томографией, а вторая модальность визуализации может быть компьютерной томографией. Первая модальность визуализации и вторая модальность визуализации выбираются из группы, включающей: магнитно-резонансную томографию, компьютерную томографию, ультразвуковую визуализацию, позитронно-эмиссионную томографию и однофотонную эмиссионную компьютерную томографию. Способ также может включать в себя прием множества обучающих исходных изображений, полученных с использованием первой модальности визуализации, прием множества обучающих целевых изображений, полученных с использованием второй модальности визуализации, при этом каждое обучающее целевое изображение может соответствовать обучающему исходному изображению, определение архитектуры сверточной нейронной сети и обучение модели сверточной нейронной сети с использованием обучающих исходных изображений и соответствующих обучающих целевых изображений. Исходное изображение может быть двухмерным изображением, и синтетическое изображение может быть двухмерным изображением. Исходное изображение может включать в себя стек двухмерных изображений, и синтетическое изображение может включать в себя соответствующий стек двухмерных изображений. Исходное изображение может быть трехмерным объемом, и синтетическое изображение может быть трехмерным объемом. Исходное изображение может быть трехмерным изображением, и причем генерация синтетического изображения может включать в себя выбор множества стеков смежных двухмерных изображений из трехмерного изображения, преобразование каждого стека смежных двухмерных изображений в стек синтетических двухмерных изображений с использованием модели сверточной нейронной сети и определение с помощью по меньшей мере одного процессора синтетического изображения путем объединения стеков синтетических двухмерных изображений. Исходное изображение может быть трехмерным изображением, и причем генерация синтетического изображения может включать в себя создание первого стека двухмерных изображений по первой плоскости трехмерного изображения и второго стека двухмерных изображений по второй плоскости трехмерного изображения, преобразование первого стек и второго стека двухмерных изображений в первый стек и второй стек синтетических двухмерных изображений с использованием модели сверточной нейронной сети и определение синтетического изображения путем объединения первого стека и второго стека синтетических двухмерных изображений. Смежные двухмерные изображения могут находиться в одной и той же плоскости и нести информацию о зависимых структурах по оси, ортогональной этой плоскости. Упомянутое множество стеков смежных двухмерных изображений может частично перекрываться, и объединение стеков синтетических двухмерных изображений, может включать в себя усреднение перекрывающихся синтетических двухмерных изображении. Преобразование первого стека двухмерных изображений в первый стек синтетических двухмерных изображений может использовать первую модель сверточной нейронной сети, а преобразование второго стека двухмерных изображений во второй стек синтетических двухмерных изображений может использовать вторую модель сверточной нейронной сети. Первая модель сверточной нейронной сети и вторая модель сверточной нейронной сети могут соответствовать двум различным анатомическим плоскостям. Исходное изображение может включать в себя многоканальные изображения анатомической части, полученные с использованием различных параметров получения или с использованием различных каналов получения устройства визуализации. Многоканальные изображения могут включать в себя T1-взвешенные магнитно-резонансные изображения и T2-взвешенные магнитно-резонансные изображения. Модель сверточной нейронной сети может включать в себя первый компонент, выполненный с возможностью определения карты признаков исходного изображения, и второй компонент, выполненный с возможностью определения синтетического изображения по карте признаков. Первый компонент может включать в себя множество слоев кодирования и второй компонент включает в себя множество слоев декодирования. Первый компонент может быть выполнен с возможностью уменьшения размера карты признаков посредством субдискретизации и второй компонент может быть выполнен с возможностью увеличения размера карты признаков посредством повышающей дискретизации. Сверточная нейронная сеть может включать в себя множество сверточных слоев, при этом набор параметров модели может включать в себя обучаемые веса фильтрации, используемые множеством сверточных слоев. Сверточная нейронная сеть может включать в себя 10-500 слоев. Модель сверточной нейронной сети может включать в себя преобразование обучающих исходных изображений в синтетические изображения с использованием модели сверточной нейронной сети, определение разницы между синтетическими изображениями и соответствующими обучающими целевыми изображениями и обновление набора параметров модели сверточной нейронной сети на основании этой разницы. Обучение может завершаться, когда разница между синтетическим изображением и целевым изображением становится меньше заданного порога. Разница может быть измерена с помощью функции потерь, вычисленной на основании синтетического изображения и целевого изображения.

[011] В одном аспекте изобретения раскрытие может представлять систему для генерации синтетического изображения анатомической части на основании исходного изображения анатомической части, полученного устройством визуализации с использованием первой модальности визуализации. Система может включать в себя входной интерфейс, выполненный с возможностью приема исходного изображения анатомической части, полученного устройством визуализации с использованием первой модальности визуализации, и приема модели сверточной нейронной сети, обученной для прогнозирования синтетического изображения на основе исходного изображения. Система также может включать в себя по меньшей мере одно устройство хранения, выполненное с возможностью хранения исходного изображения и модели сверточной нейронной сети. Система также может включать в себя процессор для обработки изображений, выполненный с возможностью преобразования исходного изображения в синтетическое изображение с помощью модели сверточной нейронной сети. Синтетическое изображение (например, изображение псевдо-КТ) может быть сохранено в упомянутом по меньшей мере одном устройстве хранения. Синтетическое изображение может быть похожим на изображение анатомической части во второй модальности визуализации, при этом вторая модальность визуализации (например, КТ) может отличаться от первой модальности визуализации. Исходное изображение может включать в себя многоканальные изображения анатомической части, полученные с использованием различных параметров получения или с использованием различных каналов получения устройства визуализации. Первая модальность визуализации может быть магнитно-резонансной томографией, а вторая модальность визуализации может быть компьютерной томографией. Первая модальность визуализации и вторая модальность визуализации выбираются из группы, включающей: магнитно-резонансную томографию, компьютерную томографию, ультразвуковую визуализацию, позитронно-эмиссионную томографию и однофотонную эмиссионную компьютерную томографию. Входной интерфейс может быть дополнительно выполнен с возможностью приема множества обучающих исходных изображений, полученных с использованием первой модальности визуализации, приема множества обучающих целевых изображений, полученных с использованием второй модальности визуализации, при этом каждое обучающее целевое изображение может соответствовать обучающему исходному изображению. Процессор для обработки изображений может быть дополнительно выполнен с возможностью обучения модели сверточной нейронной сети с использованием обучающих исходных изображений и соответствующих обучающих целевых изображений. Исходное изображение может быть двухмерным изображением, и синтетическое изображение может быть двухмерным изображением. Исходное изображение может включать в себя стек двухмерных изображений, и синтетическое изображение может включать в себя соответствующий стек двухмерных изображений. Исходное изображение может быть трехмерным объемом, и синтетическое изображение может быть трехмерным объемом. Исходное изображение может быть 3D-изображением, и процессор для обработки изображений может быть дополнительно выполнен с возможностью выбора множества стеков смежных двухмерных изображений из 3D-изображения, преобразования каждого стека смежных двухмерных изображений в стек синтетических двухмерных изображений с использованием модели сверточной нейронной сети, определения синтетического изображения путем объединения стеков синтетических двухмерных изображений. Смежные двухмерные изображения могут находиться в одной и той же плоскости и могут нести информацию о зависимых структурах по оси, ортогональной этой плоскости. Множество стеков смежных двухмерных изображений может частично перекрываться, и объединение стеков синтетических двухмерных изображений может включать в себя усреднение перекрывающихся синтетических двухмерных изображений. Исходное изображение может быть трехмерным изображением, и процессор для обработки изображений может быть дополнительно выполнен с возможностью создания первого стека двухмерных изображений по первой плоскости трехмерного изображения и второго стека двухмерных изображений по второй плоскости трехмерного изображения, преобразования первого стека и второго стека двухмерных изображений в первый стек и второй стек синтетических двухмерных изображений с использованием модели сверточной нейронной сети и определения синтетического изображения путем объединения первого стека и второго стека синтетических двухмерных изображений. Процессор для обработки изображений может быть выполнен с возможностью преобразования первого стека двухмерных изображений в первый стек синтетических двухмерных изображений с использованием первой модели сверточной нейронной сети, и преобразования второго стека двухмерных изображений во второй стек синтетических двухмерных изображений с использованием второй модели сверточной нейронной сети, при этом первая модель сверточной нейронной сети и вторая модель сверточной нейронной сети могут соответствовать двум различным анатомическим плоскостям. Исходное изображение может включать в себя многоканальные изображения анатомической части, полученные с использованием различных каналов получения устройства визуализации. Многоканальные изображения могут включать в себя T1-взвешенные магнитно-резонансные изображения и T2-взвешенные магнитно-резонансные изображения. Модель сверточной нейронной сети может включать в себя первый компонент, выполненный с возможностью определения карты признаков исходного изображения, и второй компонент, выполненный с возможностью определения синтетического изображения по карте признаков. Первый компонент может включать в себя множество слоев кодирования и второй компонент включает в себя множество слоев декодирования. Первый компонент может быть выполнен с возможностью уменьшения размера карты признаков посредством субдискретизации, а второй компонент может быть выполнен с возможностью увеличения размера карты признаков посредством повышающей дискретизации. Сверточная нейронная сеть может включать в себя множество сверточных слоев, при этом набор параметров модели может включать в себя обучаемые веса фильтрации, используемые множеством сверточных слоев. Сверточная нейронная сеть может включать в себя 10-500 слоев. Процессор для обработки изображений может быть дополнительно выполнен с возможностью преобразования обучающих исходных изображений в синтетические изображения с использованием модели сверточной нейронной сети, определения разницы между синтетическими изображениями и соответствующими обучающими целевыми изображениями и обновления набора параметров модели на основании разницы. Разница может быть измерена с помощью функции потерь, вычисленной на основе синтетических изображений и соответствующих обучающих целевых изображений.

[012] В одном аспекте изобретения раскрытие может представлять невременный машиночитаемый носитель данных, содержащий инструкции, которые, будучи исполняемыми по меньшей мере одним процессором, заставляют упомянутый по меньшей мере один процессор выполнять способ генерации синтетического изображения анатомической части на основе исходного изображения анатомической части, полученного устройством визуализации с использованием первой модальности визуализации. Способ может включать в себя прием исходного изображения анатомической части, полученного устройством визуализации с использованием первой модальности визуализации, и прием модели сверточной нейронной сети, обученной для прогнозирования синтетического изображения на основе исходного изображения. Способ также может включать в себя преобразование исходного изображения в синтетическое изображение с помощью модели сверточной нейронной сети. Синтетическое изображение может быть похожим на изображение анатомической части во второй модальности визуализации, при этом вторая модальность визуализации (например, КТ) может отличаться от первой модальности визуализации. Способ также может включать в себя принем множества обучающих исходных изображений, полученных с использованием первой модальности визуализации, прием множества обучающих целевых изображений, полученных с использованием второй модальности визуализации, причем каждое обучающее целевое изображение соответствует обучающему исходному изображению, определение архитектуры сверточной нейронной сети и обучение модели сверточной нейронной сети с использованием обучающих исходных изображений и соответствующих обучающих целевых изображений. Исходное изображение может быть трехмерным изображением, и причем генерация синтетического изображения дополнительно может включать в себя выбор множества стеков смежных двухмерных изображений из трехмерного изображения, преобразование каждого стека смежных двухмерных изображений в стек синтетических двухмерных изображений с использованием модели сверточной нейронной сети и определение с помощью упомянутого по меньшей мере одного процессора синтетического изображения путем объединения стеков синтетических двухмерных изображений. Смежные двухмерные изображения могут находиться в одной и той же плоскости и нести информацию о зависимых структурах по оси, ортогональной этой плоскости. Упомянутое множество стеков смежных двухмерных изображений может частично перекрываться, и объединение стеков синтетических двухмерных изображений может включать в себя усреднение перекрывающихся синтетических двухмерных изображений. Исходное изображение может быть трехмерным изображением, и генерация синтетического изображения может включать в себя создание первого стека двухмерных изображений по первой плоскости трехмерного изображения и второго стека двухмерных изображений по второй плоскости трехмерного изображения, преобразование первого стека и второго стека двухмерных изображений в первый стек и второй стек синтетических двухмерных изображений с использованием модели сверточной нейронной сети и определение синтетического изображения путем объединения первого стека и второго стека синтетических двухмерных изображений. Преобразование первого стека двухмерных изображений в первый стек синтетических двухмерных изображений может включать в себя использование первой модели сверточной нейронной сети, а преобразование второго стека двухмерных изображений во второй стек синтетических двухмерных изображений может включать в себя использование второй модели сверточной нейронной сети. Первая модель сверточной нейронной сети и вторая модель сверточной нейронной сети могут соответствовать двум различным анатомическим плоскостям. Исходное изображение может включать в себя многоканальные изображения анатомической части, полученные с использованием различных каналов получения устройства визуализации. Многоканальные изображения могут включать в себя T1-взвешенные магнитно-резонансные изображения и T2-взвешенные магнитно-резонансные изображения. Модель сверточной нейронной сети может включать в себя первый компонент, выполненный с возможностью определения карты признаков исходного изображения, и второй компонент, выполненный с возможностью определения синтетического изображения по карте признаков. Первый компонент может включать в себя множество слоев кодирования и второй компонент может включать в себя множество слоев декодирования. Первый компонент может быть выполнен с возможностью уменьшения размера карты признаков посредством субдискретизации, а второй компонент может быть выполнен с возможностью увеличения размера карты признаков посредством повышающей дискретизации. Сверточная нейронная сеть может включать в себя множество сверточных слоев, при этом набор параметров модели может включать в себя обучаемые веса фильтрации, используемые множеством сверточных слоев. Сверточная нейронная сеть может включать в себя 10-500 слоев. Отработка набора параметров модели сверточной нейронной сети может включать в себя преобразование обучающих исходных изображений в синтетические изображения с использованием модели сверточной нейронной сети, определение разницы между синтетическими изображениями и соответствующими обучающими целевыми изображениями и обновление набора параметров модели на основании разницы. Разница может быть измерена с помощью функции потерь, вычисленной на основе синтетических изображений и соответствующих обучающих целевых изображений.

[013] В одном аспекте изобретения раскрытие может представлять осуществляемый компьютером способ генерации модели сверточной нейронной сети для прогнозирования синтетического изображения анатомической части на основе исходного изображения анатомической части, полученного устройством визуализации с использованием первой модальности визуализации. Способ может включать в прием множества обучающих исходных изображений, полученных с использованием первой модальности визуализации. Способ также может включать в себя прием множества обучающих целевых изображений, полученных с использованием второй модальности визуализации, причем каждое обучающее целевое изображение соответствует обучающему исходному изображению. Способ также может включать в себя отработку с помощью по меньшей мере одного процессора набора параметров модели сверточной нейронной сети с использованием обучающих исходных изображений и соответствующих обучающих целевых изображений. Первая модальность визуализации может быть магнитно-резонансной томографией, а вторая модальность визуализации может быть компьютерной томографией. Первая модальность визуализации и вторая модальность визуализации могут быть выбраны из группы, включающей: магнитно-резонансную томографию, компьютерную томографию, ультразвуковую визуализацию, позитронно-эмиссионную томографию и однофотонную эмиссионную компьютерную томографию. Обучающие исходные изображения могут включать в себя многоканальные изображения анатомической части, полученные с использованием различных каналов получения устройства визуализации. Многоканальные изображения могут включать в себя T1-взвешенные магнитно-резонансные изображения и T2-взвешенные магнитно-резонансные изображения. Модель сверточной нейронной сети может включать в себя первый компонент, выполненный с возможностью определения карты признаков исходного изображения, и второй компонент, выполненный с возможностью определения синтетического изображения по карте признаков. Первый компонент может включать в себя множество слоев кодирования, и второй компонент включает в себя множество слоев декодирования. Первый компонент может быть выполнен с возможностью уменьшения размера карты признаков посредством субдискретизации, а второй компонент может быть выполнен с возможностью увеличения размера карты признаков посредством повышающей дискретизации. Сверточная нейронная сеть может включать в себя множество сверточных слоев, и набор параметров модели может включать в себя обучаемые веса фильтрации, используемые множеством сверточных слоев. Сверточная нейронная сеть может включать в себя 10-500 слоев. Отработка набора параметров модели сверточной нейронной сети может включать в себя преобразование обучающих исходных изображений в синтетические изображения с использованием модели сверточной нейронной сети, определение разницы между синтетическими изображениями и соответствующими обучающими целевыми изображениями и обновление набора параметров модели на основании разницы. Разница может быть измерена с помощью функции потерь, вычисленной на основе синтетических изображений и соответствующих обучающих целевых изображений.

[014] Дополнительные цели и преимущества вариантов осуществления частично будут изложены в описании, которое следует ниже, и частично будут очевидны из описания или могут быть поняты при реализации вариантов осуществления на практике. Следует понимать, что и приведенное выше общее описание, и следующее ниже подробное описание являются лишь иллюстративными и пояснительными, а не ограничивающими формулу изобретения.

[015] Предполагается, что в настоящем описании термины «содержит», «содержащий» или любая другая их вариация означают неисключающее включение, так что процесс, способ, изделие или устройство, которое содержит список элементов, включает в себя не только эти элементы, но может включать в себя другие элементы, явно не перечисленные или присущие такому процессу, способу, изделию или устройству.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[016] Прилагаемые чертежи, которые составляют часть и включены в это патентное описание, иллюстрируют раскрытые варианты осуществления и вместе с описанием служат для объяснения раскрытых принципов. На чертежах:

[017] Фиг. 1A изображает примерную радиотерапевтическую систему в соответствии с некоторыми вариантами осуществления настоящего раскрытия.

[018] Фиг. 1B изображает примерную радиотерапевтическую систему, которая может включать в себя выход радиотерапевтического излучения, выполненный с возможностью обеспечения терапевтического пучка.

[019] Фиг. 1C изображает примерную систему, включающую в себя объединенную радиотерапевтическую систему и систему визуализации, такую как система компьютерно-томографической (КТ) визуализации.

[020] Фиг. 1D показывает изображение с частичным вырезом примерной системы, включающей в себя объединенную радиотерапевтическую систему и систему визуализации, такую как система ядерной магнитно-резонансной (MR) визуализации.

[021] Фиг. 2 изображает ортогональный вид примерной конфигурации многолепесткового коллиматора для формирования, направления или модуляции интенсивности радиотерапевтического пучка.

[022] Фиг. 3 изображает примерную радиотерапевтическую систему гамма-ножа.

[023] Фиг. 4A и 4B изображают различия между примерным изображением МРТ и соответствующим изображением КТ.

[024] Фиг. 4C изображает примерные синтетические изображения КТ, генерируемые из полученных изображений МРТ.

[025] Фиг. 5 изображает примерную систему преобразования изображения в соответствии с некоторыми вариантами осуществления настоящего раскрытия.

[026] Фиг. 6 изображает примерный процесс предварительной обработки изображения в соответствии с некоторыми вариантами осуществления настоящего раскрытия.

[027] Фиг. 7A изображает работу примерного сверточного слоя прогнозной модели, показанной на фиг. 5, в соответствии с некоторыми вариантами осуществления настоящего раскрытия.

[028] Фиг. 7B изображает работу примерного стека сверточных слоев прогнозной модели, показанной на фиг. 5, в соответствии с некоторыми вариантами осуществления настоящего раскрытия.

[029] Фиг. 7C изображает работу примерных слоев подвыборки максимального и обратной подвыборки прогнозной модели, показанной на фиг. 5, в соответствии с некоторыми вариантами осуществления настоящего раскрытия.

[030] Фиг. 7D и 7E изображают примерную сверточную нейронную сеть, используемую системой преобразования изображения, показанной на фиг. 5, в соответствии с некоторыми вариантами осуществления настоящего раскрытия.

[031] Фиг. 7F изображает примерные карты признаков, генерируемые выбранными слоями нейронной сети, показанной на фиг. 7D и 7E, в соответствии с некоторыми вариантами осуществления настоящего раскрытия.

[032] Фиг. 8 является блок-схемой последовательности операций, изображающей примерный процесс обучения для обучения модели CNN, в соответствии с некоторыми вариантами осуществления настоящего раскрытия.

[033] Фиг. 9A является блок-схемой последовательности операций, изображающей примерный процесс преобразования изображения с использованием обученной модели CNN, полученной посредством процесса с фиг. 8, в соответствии с некоторыми вариантами осуществления настоящего раскрытия.

[034] Фиг. 9B является блок-схемой последовательности операций, изображающей примерный процесс преобразования 3D-изображения с использованием по меньшей мере одной обученной модели CNN, полученной посредством процесса на фиг. 8, в соответствии с некоторыми вариантами осуществления настоящего раскрытия.

ПОДРОБНОЕ ОПИСАНИЕ

[001] Обратимся теперь к подробностям иллюстративных вариантов осуществления со ссылкой на прилагаемые чертежи. Везде, где это возможно, будут использоваться одинаковые ссылочные позиции на чертежах для обозначения одних и тех же или подобных частей. На фигурах крайняя левая цифра(ы) ссылочной позиции обозначает фигуру, на которой ссылочная позиция появляется впервые. Везде, где это удобно, используются одинаковые ссылочные позиции на чертежах для обозначения одних и тех же или подобных частей. Хотя здесь описаны примеры и признаки раскрытых принципов, возможны модификации, адаптации и другие реализации, не отступая от объема раскрытых вариантов осуществления. Кроме того, предполагается, что слова «содержащий», «имеющий» и «включающий в себя» и другие подобные формы эквивалентны по значению и интерпретируются как открытые, в том смысле, что предмет или предметы после любого из этих слов не являются исчерпывающим перечислением такого предмета или предметов и не ограничены только перечисленным предметом или предметами. И предполагается, что формы единственного числа включают в себя множественное, если контекст явно не говорит обратное. Термин «примерный» используется в смысле «в качестве примера», а не «идеальный».

[035] Раскрытые варианты осуществления используют ограниченные данные для инициализации сверточной нейронной сети с использованием параметров существующих нейронных сетей, обученных для классификации изображений, с использованием принципа переноса обучения. Раскрытые варианты осуществления преимущественно могут не требовать совмещения изображений между пациентами, линейного или деформируемого, а могут напрямую обучаться соответствию между изображениями МРТ и соответствующими изображениями КТ. Раскрытые варианты осуществления преимущественно могут предложить более высокую точность, чем способ на основе атласа, использующий уточнения и слияния участков. Это связано с тем, что способ на основе атласа обычно полагается на сравнение участков для нахождения похожих атласных кандидатов, что также является обычными в других способах на основе атласа или участков, предлагаемых в литературе. Небольшой, локальный участок имеет ограниченную графическую информацию. Поэтому использование интенсивностей необработанного изображения участка в качестве признаков может страдать от большой избыточности в данных и уменьшать мощность распознавания. Напротив, раскрытые варианты осуществления преимущественно могут автоматически получать иерархию признаков изображения на различных масштабах и уровнях сложности из полного изображения.

[036] Один или более способов согласно раскрытым вариантам осуществления были протестированы на 18 пациентах, и результаты сравнения положительны относительно других докладываемых в литературе результатов, таких как результаты, полученные с использованием существующих способов нечеткой кластеризации c-средних, способов, использующих атласы для совмещения, способов, использующих модель регрессии смеси нормальных распределений, и атласного совмещения, сопровождаемого слиянием участков. В дополнение к повышению точности, раскрытые варианты осуществления также приводят к более короткому времени вычисления при развертывании. Например, даже если обучение модели (например, глубокой сверточной нейронной сети (DCNN)) может занять дни, обучение необходимо выполнить лишь один раз, и возможно ускорение процесса обучения посредством использования нескольких GPU, облачных компьютеров или суперкомпьютеров. Применение обученной модели к созданию синтетических изображений для нового пациента может занять лишь несколько секунд на одном GPU. Для сравнения, существующие способы на основе модели или атласа могут занять намного больше времени (например, минуты или часы).

[037] Раскрытый вариант осуществления также может иметь большое количество (сотни пар исходных и конечных изображений) обучающих данных. Нейронные сети могут иметь значительный выигрыш от больших объемов данных благодаря большим возможностям модели. Таким образом, точность раскрытых вариантов осуществления может увеличиваться по мере того, как становятся доступны дополнительные обучающие данные. Увеличение объема обучающих данных может увеличить время обучения, но размер конечной нейронной сети и время генерации синтетического изображения может остаться тем же самым. Напротив, увеличение объема обучающих данных при использовании существующих способов на основе атласа или других способов на основе модели (такие как существующие модели гауссовских процессов) может быть непрактичным, потому что эти существующие способы требуют хранения всех обучающих данных. Кроме того, время вычисления для этих способов часто прямо пропорционально числу используемых атласов. Кроме того, точность способов на основе атласа может быстро насыщаться, и в результате часто требуется процедура выбора атласа, чтобы избежать ухудшения точности при использовании большого количества атласов. Однако использование увеличенного объема обучающих данных может увеличить точность конечного синтетического изображения, генерируемого обученной моделью нейронной сети.

[038]

[039] Фиг. 1A изображает примерную радиотерапевтическую систему 10 для предоставления радиотерапии пациенту. Радиотерапевтическая система 10 включает в себя устройство 12 обработки изображений. Устройство 12 обработки изображений может быть соединено с сетью 20. Сеть 20 может быть соединена с Интернетом 22. Сеть 20 может соединять устройство 12 обработки изображений с одной или более базами 24 данных, больничной базой 26 данных, онкологической информационной системой (ОИС) 28, радиотерапевтическим устройством 30, устройством 32 получения изображений, устройством 34 отображения и пользовательским интерфейсом 36. Устройство 12 обработки изображений выполнено с возможностью генерации планов 16 радиотерапевтического лечения для использования радиотерапевтическим устройством 30.

[040] Устройство 12 обработки изображений может включать в себя запоминающее устройство 16, процессор 14 и интерфейс 18 связи. Запоминающее устройство 16 может хранить исполняемые компьютером инструкции, такие как операционная система 43, планы 42 радиотерапевтического лечения (например, исходные планы лечения, адаптированные планы лечения и т.п.), программно-реализованные программы 44 (например, искусственный интеллект, глубокое обучение, нейронные сети, программное обеспечение планов радиотерапевтического лечения) и любые другие исполняемые компьютером инструкции, которые должны исполняться процессором 14. В одном варианте осуществления программно-реализованные программы 44 могут преобразовывать медицинские изображения одного формата (например, МРТ) в другой формат (например, КТ) путем создания синтетических изображений, таких как изображение псевдо-КТ. Например, программно-реализованные программы 44 могут включать в себя программы обработки изображений для обучения прогнозной модели для преобразования медиального изображения 46 в одной модальности (например, изображения МРТ) в синтетическое изображение другой модальности (например, изображение псевдо-КТ); альтернативно, обученная прогнозная модель может преобразовывать изображение КТ в изображение МРТ. Запоминающее устройство 16 может хранить данные, в том числе медицинские изображения 46, данные пациента 45 и другие данные, необходимые для создания и реализации плана 42 радиотерапевтического лечения.

[041] В дополнение к памяти 16, хранящей программно-реализованные программы 44, предполагается, что программно-реализованные программы 44 могут храниться на съемном компьютерном носителе, таком как жесткий диск, компьютерный диск, CD-ROM, DVD, HD, Blu-Ray DVD, карта флэш-памяти с интерфейсом USB, SD-карта, карта памяти или любой другой подходящий носитель; и программно-реализованные программы 44 при загрузке на устройство 14 обработки изображений могут исполняться процессором 14 для обработки изображений.

[042] Процессор 14 может быть соединен с возможностью связи с запоминающим устройством 16, и процессор 14 может быть выполнен с возможностью исполнения исполнимых компьютером инструкций, сохраненных на нем. Процессор 14 может посылать или принимать медицинские изображения 46 из памяти 16. Например, процессор 14 может принимать медицинские изображения 46 от устройства 32 получения изображений через интерфейс 18 связи и сеть 18 для сохранения в памяти 16. Процессор 14 также может посылать медицинские изображения 46, сохраненные в памяти 16, через интерфейс 18 связи в сеть 20 для сохранения либо в базе 24 данных, либо в больничной базе 26 данных.

[043] Кроме того, процессор 14 может использовать программно-реализованные программы 44 (например, программное обеспечение планирования лечения) вместе с медицинскими изображениями 46 и данными 45 пациента для создания плана 42 радиотерапевтического лечения. Медицинские изображения 46 могут включать в себя информацию, такую как данные визуализации, связанные с анатомической областью пациента, органом или данными сегментации интересующего объема. Данные 45 пациента могут включать в себя такую информацию, как (1) данные моделирования функциональных органов (например, последовательные и параллельные органы, соответствующие модели «доза-эффект» и т.д.); (2) данные о дозе облучения (например, информация гистограммы «доза-объем» (DVH); или (3) другую клиническую информацию о пациенте и курсе лечения (например, другие операции, химиотерапия, предыдущая радиотерапия и т.д.).

[044] Кроме того, процессор 14 может использовать программно-реализованные программы для генерации промежуточных данных, таких как обновленные параметры, которые должны использоваться, например, моделью нейронной сети; или для генерации промежуточного 2D- или 3D-изображения, которое затем может быть сохранено в памяти 16. Процессор 14 затем может передать исполнимый план 42 радиотерапевтического лечения через интерфейс 18 связи в сеть 20 радиотерапевтическому устройству 30, где план радиотерапевтического лечения будет использоваться для лечения пациента с помощью облучения. Кроме того, процессор 14 может исполнять программно-реализованные программы 44 для реализации функций, таких как преобразование изображения, сегментация изображения, глубокое обучение, нейронные сети и искусственный интеллект. Например, процессор 14 может исполнять программно-реализованные программы 44, которые обучаются или контурируют медицинское изображение; такое программное обеспечение 44 при исполнении может обучать детектор границ, использовать словарь форм.

[045] Процессор 14 может быть устройством обработки, включать в себя один или более универсальных устройств обработки, таких как микропроцессор, центральный процессор (CPU), графический процессор (GPU), ускоренный процессор (APU) и т.п. В частности, процессор 14 может быть микропроцессором с полным набором команд (CISC), микропроцессором с сокращенным набором команд (RISC), микропроцессором с командными словами очень большой длины (VLIW), процессором, реализующим другие наборы команд, или процессорами, реализующими комбинацию наборов команд. Процессор 14 также может быть реализован с помощью одного или более устройств обработки специального назначения, таких как специализированная интегральная схема (ASIC), программируемая пользователем вентильная матрица (FPGA), цифровой сигнальный процессор (DSP), система на микросхеме (SoC) и т.п. Как будет понятно специалистам в данной области техники, в некоторых вариантах осуществления процессор 14 может быть процессором специального назначения, а не универсальным процессором. Процессор 14 может включать в себя одно или более известных устройств обработки, таких как микропроцессор семейства Pentium™, Core™, Xeon™ или Itanium® произведства Intel™, семейства Turion™, Athlon™, Sempron™, Opteron™, FX™, Phenom™ производства AMD™ или любой из различных процессоров производства Sun Microsystems. Процессор 14 может также включать в себя графические процессоры, такие как GPU семейства GeForce®, Quadro®, Tesla® производства Nvidia™, семейства GMA, Iris™ производства Intel™ или семейства Radeon™ производства AMD™. Процессор 14 также может включать в себя ускоренные процессоры, такие как десктопные серии A-4(6,8) производства AMD™, семейство Xeon Phi™ производства Intel™. Раскрытые варианты осуществления не ограничиваются каким-либо типом процессора(ов), если они выполнены с возможностью удовлетворять вычислительным потребностям при идентификации, анализе, поддержке, генерации и/или обеспечении больших объемов данных или манипулировании такими данными для выполнения способов, раскрытых в настоящем описании. Кроме того, термин «процессор» может включать в себя более чем один процессор, например, многоядерную архитектуру или множество процессоров, каждый из которых имеет многоядерную архитектуру. Процессор 14 может исполнять последовательности инструкций компьютерной программы, сохраненных в памяти 16, для выполнения различных операций, процессов, способов, которые будут объяснены более подробно ниже.

[046] Запоминающее устройство 16 может хранить медицинские изображения 46. В некоторых вариантах осуществления медицинские изображения 46 могут включать в себя одно или более изображений МРТ (например, 2D МРТ, 3D МРТ, потоковой 2D МРТ, 4D МРТ, объемной 4D МРТ, 4D кино-МРТ и т.д.), изображения функциональной МРТ (например, фМРТ, МРТ с динамическим контрастированием, диффузионной МРТ), изображения компьютерной томографии (КТ) (например, 2D КТ, КТ с коническим пучком, 3D КТ, 4D КТ), ультразвуковые изображения (например, 2D сонография, 3D сонография, 4D сонография), изображения позитронно-эмиссионной томографии (PET), рентгеновские изображения, флуороскопические изображения, радиотерапевтические портальные изображения, изображения однофотонной эмиссионной компьютерной томографии (SPEКТ), генерируемые компьютером синтетические изображения (например, изображения псевдо-КТ) и т.п. Кроме того, медицинские изображения 46 также могут включать в себя данные медицинских изображений, например, изображения для обучения, и контрольные изображения, контурированные изображения. В одном варианте осуществления медицинские изображения 46 могут приниматься от устройства 32 получения изображений. Соответственно, устройство 32 получения изображений может включать в себя устройство МРТ-визуализации, устройство КТ-визуализации, устройство PET-визуализации, устройство ультразвуковой визуализации, флуороскопическое устройство, устройство SPECT-визуализации, интегрированный линейный ускоритель и устройство МРТ-визуализации или другие устройства диагностической визуализации для получения медицинских изображений пациента. Медицинские изображения 46 могут приниматься и сохраняться с любым типом данных или в любом типе формата, которые устройство 12 обработки изображений может использовать для выполнения операций, совместимых с раскрытыми вариантами осуществления. Запоминающее устройство 12 может быть невременным машиночитаемым носителем данных, таким как постоянная память (ROM), оперативная память на фазовых переходах (PRAM), статическая оперативная память (SRAM), флэш-память, оперативная память (RAM), динамическая оперативная память (DRAM), такая как синхронная DRAM (SDRAM), электрически стираемая программируемая постоянная память (EEPROM), статическая память (например, флэш-память, флэш-диск, статическая оперативная память), а также другие типы оперативной памяти, кэш, регистр, компакт-диск, предназначенный только для чтения (CD-ROM), цифровой универсальный диск (DVD) или другое оптическое хранилище, кассетная лента, другое магнитное запоминающее устройство или любой другой невременным носитель данных, который может использоваться для хранения информации, в том числе изображений, данных или исполнимых компьютером инструкций (например, сохраненных в любом формате), к которым может получить доступ процессор 14 или любой другой тип компьютерного устройства. К инструкциям компьютерной программы может осуществлять доступ процессор 14, они могут считываться из ROM или любой другой подходящей памяти и загружаться в RAM для исполнения процессором 14. Например, память 16 может хранить одно или более программных приложений. Программные приложения, сохраненные в памяти 16, могут включать в себя, например, операционную систему 43 для обычных компьютерных систем, а также для управляемых с помощью программного обеспечения устройств. Кроме того, память 16 может хранить все программное приложение или только часть программного приложения, которое исполняется процессором 14. Например, запоминающее устройство 16 может хранить один или более планов 42 радиотерапевтического лечения.

[047] Устройство 12 обработки изображений может осуществлять связь с сетью 20 через интерфейс 18 связи, который соединен с возможностью связи с процессором 14 и памятью 16. Интерфейс 18 связи может обеспечивать коммуникационные соединения между устройством 12 обработки изображений и компонентами радиотерапевтической системы 10 (например, позволяя обмениваться данными с внешними устройствами). Например, интерфейс 18 связи в некоторых вариантах осуществления может иметь соответствующую интерфейсную схему для соединения с пользовательским интерфейсом 36, который может быть аппаратной клавиатурой, кнопочной панелью или сенсорным экраном, посредством которого пользователь может вводить информацию в радиотерапевтическую систему 10.

[048] Интерфейс 18 связи может включать в себя, например, сетевой адаптер, кабельный разъем, разъем последовательного соединения, разъем USB, разъем параллельного соединения, адаптер высокоскоростной передачи данных (например, такой как оптоволокно, USB 3.0, Thunderbolt и т.п.), беспроводной сетевой адаптер (например, такой как адаптер WiFi), телекоммуникационный адаптер (например, 3G, 4G/LTE и т.п.) и т.п. Интерфейс 18 связи может включать в себя одно или более устройств цифровой и/или аналоговой связи, которые позволяют устройству 12 обработки изображений осуществлять связь с другими машинами и устройствами, такими как удаленно расположенные компоненты, через сеть 20.

[049] Сеть 20 может обеспечивать функциональность локальной сети (LAN), беспроводной сети, среды «облачных» вычислений (например, программное обеспечение как сервис, платформу как сервис, инфраструктуру как сервис и т.д.), клиент-сервер, глобальную сеть (WAN) и т.п. Например, сеть 20 может быть LAN или WAN, которая может включать в себя другие системы S1 (38), S2 (40) и S3 (41). Системы S1, S2 и S3 могут быть идентичны устройству 12 обработки изображений или могут быть другими системами. В некоторых вариантах осуществления одна или более из систем в сети 20 могут формировать среду распределенных вычислений/модулирования, которая совместно выполняет варианты осуществления, описанные в настоящем описании. В некоторых вариантах осуществления одна или более систем S1, S2 и S3 могут включать в себя сканер КТ, который получает изображения КТ (например, медицинские изображения 46). Кроме того, сеть 20 может быть соединена с Интернетом 22 для осуществления связи с серверами и клиентами, которые находятся удаленно в сети Интернет.

[050] Поэтому сеть 20 может позволять осуществлять передачу данных между устройством 12 обработки изображений и многими другими различными системами и устройствами, такими как ОИС 28, радиотерапевтическое устройство 30 и устройство 32 получения изображений. Кроме того, данные, генерируемые ОИС 28 и/или устройством 32 получения изображений, могут сохраняться в памяти 16, базе 24 данных и/или больничной базе 26 данных. Данные могут передаваться/приниматься через сеть 20, через интерфейс 18 связи, для получения к ним доступа с помощью процессора 14, когда это требуется.

[051] Устройство 12 обработки изображений может осуществлять связь с базой 24 данных через сеть 20 для отправки/приема множества различных типов данных, хранящихся в базе 24 данных. Например, база 24 данных может включать в себя машинные данные, которые являются информацией, связанной с радиотерапевтическим устройством 30, устройством 32 получения изображений или другими машинами, относящимися к радиотерапии. Информация машинных данных может включать в себя размер пучка излучения, размещение дуги, длительность времени включения и выключения пучка, контрольные точки, сегменты, конфигурацию многолепесткового коллиматора (MLC), скорость гентри, последовательность импульсов МРТ и т.п. База 24 данных может быть устройством хранения. Специалисту в данной области техники будет понятно, что база 24 данных может включать в себя множество устройств, расположенных либо централизованным, либо распределенным образом.

[052] В некоторых вариантах осуществления база 24 данных может включать в себя считываемый процессором носитель данных (не показан). Хотя считываемый процессором носитель данных в одном варианте осуществления может быть одним носителем, термин «считываемый процессором носитель данных» должен включать в себя один носитель или множество носителей (например, централизованную или распределенную базу данных и/или связанные кэши и серверы), которые хранят один или более наборов исполнимых компьютером инструкций или данных. Термин «считываемый процессором носитель данных» также должен включать в себя любой носитель, который имеет возможность хранения или кодирования набора инструкций для исполнения процессором, которые заставляют процессор выполнять любую одну или более методологию по настоящему раскрытию. Термин «считываемый процессором носитель данных» соответственно должен включать в себя, но ограничиваться только этим, твердотельную память, оптические и магнитные носители. Например, считываемый процессором носитель данных может быть одной или более энергозависимыми, невременными или энергонезависимыми материальными машиночитаемыми носителями данных.

[053] Процессор 14 для обработки изображений может осуществлять связь с базой 24 данных для считывания изображений в память 16 или сохранения изображений из памяти 16 в базу 24 данных. Например, база 24 данных может быть выполнена с возможностью сохранения множества изображений (например, 3D МРТ, 4D МРТ, изображений срезов 2D МРТ, изображений КТ, флуороскопических 2D-изображений, рентгеновских изображений, необработанных данных от MR-сканирований или снимков компьютерной томографии, данных стандарта «Формирование и передача цифровых изображений в медицине» (DIMCOM) и т.д.), которые база 24 данных приняла от устройства 32 получения изображений. База 24 данных может хранить данные, которые будут использоваться процессором для обработки изображений 14 при выполнении программно-реализованной программы 44 или при создании планов 42 радиотерапевтического лечения. Устройство 12 обработки изображений может принимать данные 46 визуализации (например, изображения срезов 2D МРТ, изображения КТ, флуороскопические 2D-изображения, рентгеновские изображения, изображения 3D МРТ, изображения 4D МРТ и т.д.) или из базы данных 24, радиотерапевтического устройства 30 (например, МРТ с линейным ускорителем), или/и устройства 32 получения изображений для генерации плана 42 лечения.

[054] В одном варианте осуществления радиотерапевтическая система 100 может включать в себя устройство 32 получения изображений, которое может получать медицинские изображения (например, изображения магнитно-резонансной томографии (МРТ), 3D МРТ, потоковой 2D МРТ, объемной 4D МРТ, изображения компьютерной томографии (КТ), КТ с коническим пучком, изображения позитронно-эмиссионной томографии (PET), изображения функциональной МРТ (например, фМРТ, МРТ DCE и диффузионной МРТ), рентгеновские изображения, флуороскопические изображения, ультразвуковые изображения, радиотерапевтические портальные изображения, изображения однофотонной эмиссионной компьютерной томографии (SPECT) и т.п.) пациента. Устройство 32 получения изображений может быть, например, устройством МРТ-визуализации, устройством КТ-визуализации, устройством PET-визуализации, ультразвуковым устройством, флуороскопическим устройством, устройством SPECT-визуализации или любым другим подходящим устройством диагностической визуализации для получения одного или более медицинских изображений пациента. Изображения, полученные устройством 32 получения визуализации, могут быть сохранены в базе 24 данных как данные визуализации и/или данные диагностики. В качестве примера, изображения, полученные устройством 32 получения визуализации, также могут быть сохранены устройством 12 обработки изображений как данные 46 медицинских изображений в памяти 16.

[055] В одном варианте осуществления, например, устройство 32 получения изображений может быть интегрировано с радиотерапевтическим устройством 30 как единое устройство (например, устройство МРТ, объединенное с линейным ускорителем, также называемым «МРТ с линейным ускорителем». Такой МРТ с линейным ускорителем может использоваться, например, для определения местоположения целевого органа или целевой опухоли в пациенте для точного направления радиотерапии в соответствии с планом 42 радиотерапевтического лечения в заданную цель.

[056] Устройство 32 получения изображений может быть выполнено с возможностью получения одного или более изображений анатомии пациента для представляющей интерес области (например, целевого органа, целевой опухоли или и того и другого). Каждое изображение, как правило, 2D-изображение или срез, может включать в себя один или более параметров (например, толщину 2D-среза, ориентацию, местоположение и т.д.). В одном примере устройство 32 получения изображений может получать 2D-срез с любой ориентацией. Например, ориентация 2D-среза может включать в себя сагиттальную ориентацию, фронтальную ориентацию или аксиальную ориентацию. Процессор 14 может настраивать один или более параметров, таких как толщина и/или ориентация 2D-среза, которые включают в себя целевой орган и/или целевую опухоль. В одном примере 2D-срезы могут определяться из такой информации, как объем 3D МРТ. Такие 2D-срезы могут быть получены устройством 32 получения изображений в «режиме реального времени», пока пациент проходит курс радиотерапевтического лечения, например, с использованием радиотерапевтического устройства 30. «В режиме реального времени» означает получение данных по меньшей мере в пределах миллисекунд или быстрее.

[057] Устройство 12 обработки изображений может генерировать и сохранять планы 42 радиотерапевтического лечения для одного или более пациентов. Планы 42 радиотерапевтического лечения могут обеспечивать информацию о конкретной дозе облучения, которая будет применена к каждому пациенту. Планы 42 радиотерапевтического лечения также могут включать в себя другую информацию о радиотерапии, такую как угловая ширина пучка, информация гистограммы доза-объем, число пучков облучения, которые должны использоваться во время терапии, дозы на пучок и т.п.

[058] Процессор 14 для обработки изображений может генерировать план 42 радиотерапевтического лечения с использованием программно-реализованных программ 44, таких как программное обеспечение планирования лечения, таких как Monaco®, созданное Elekta AB, Стокгольм, Швеция. Для генерации планов 42 радиотерапевтического лечения процессор 14 для обработки изображений может осуществлять связь с устройством 32 получения изображений (например, устройством КТ, устройством МРТ, устройством PET, рентгеновским устройством, ультразвуковым устройством и т.д.) для получения доступа к изображениям пациента и разграничения цели, такой как опухоль. В некоторых вариантах осуществления может требоваться разграничение одного или более органов риска (OAR), таких как здоровая ткань, окружающая опухоль или в непосредственной близости от опухоли. Поэтому может выполняться сегментация OAR, когда OAR близок к целевой опухоли. Кроме того, если целевая опухоль близка к OAR (например, простата в непосредственной близости от мочевого пузыря и прямой кишки), то при сегментации OAR от опухоли устройство 110 планирования лечения может получать распределение дозы не только в цели, но также и в OAR.

[059] Для разграничения целевого органа или целевой опухоли от OAR устройством 32 получения изображений могут быть неинвазивно получены медицинские изображения, такие как изображения МРТ, изображения КТ, изображения PET, изображения фМРТ, рентгеновские изображения, ультразвуковые изображения, радиотерапевтические портальные изображения, изображения SPECT и т.п. пациента, подвергаемого радиотерапии, для выявления внутренней структуры части тела. На основе информация из медицинских изображений может быть получена 3D структура соответствующей анатомической части. Кроме того, во время процесса планирования лечения может быть учтено множество параметров для достижения баланса между эффективной терапией целевой опухоли (например, такой, что целевая опухоль получает достаточную для эффективной терапии дозу облучения) и низким облучением одного или более OAR (например, один или более OAR получают максимально низкую дозу облучения, насколько это возможно). Другие параметры, которые можно рассмотреть, включают в себя местоположение целевого органа и целевой опухоли, местоположение OAR и перемещение цели относительно OAR. Например, может быть получена 3D-структура при контурировании цели или при контурировании OAR в пределах каждого 2D слоя или среза МРТ или изображения КТ и при объединении контура каждого 2D слоя или среза. Контур может генерироваться вручную (например, врачом, дозиметристом или медицинским работником) или автоматически (например, с использованием программы, такой как программное обеспечение для автосегментации на основе атласа, ABAS™, созданное Elekta AB, Стокгольм, Швеция). В некоторых вариантах осуществления 3D-структура целевой опухоли или OAR может генерироваться автоматически программным обеспечением планирования лечения.

[060] После того как местоположение целевой опухоли и одного или более OAR было определено, и они были разграничены, дозиметрист, врач или медицинский работник могут определить дозу облучения, которой будет подвергнута целевая опухоль, а также любые максимальные величины дозы, которые могут быть получены OAR вблизи опухоли (например, левая и правая околоушная железа, зрительные нервы, глаза, хрусталик, внутренние уши, спинной мозг, ствол мозга и т.п.). После того, как доза облучения определена для каждой анатомической структуры (например, целевой опухоли, OAR), может быть выполнен процесс, известный как обратное планирование, для определения одного или более параметров плана лечения, которые достигли бы требуемого распределения дозы облучения. Примеры параметров плана лечения включают в себя параметры разграничения объема (например, которые задают целевые объемы, контурируют чувствительные структуры и т.д.), припуски вокруг целевой опухоли и нескольких OAR, выбор угловой ширины пучка, параметров коллиматора и времени включения пучка. В процессе обратного планирования врач может задать параметры ограничения дозы, которые устанавливают границы того, сколько излучения может получить OAR (например, задавая полную дозу для целевой опухоли и нулевую дозу для любого OAR; задавая 95% дозы для целевой опухоли; задавая, что спинной мозг, ствол мозга и оптические структуры получают ≤ 45Гр, ≤ 55Гр и <54Гр, соответственно). Результатом обратного планирования может являться план 42 радиотерапевтического лечения, который может быть сохранен в памяти 16 или базе 24 данных. Некоторые из этих параметров лечения могут быть коррелированы. Например, настройка одного параметра (например, весовых коэффициентов для различных целей, например, увеличения дозы для целевой опухоли) в попытке изменить план лечения может повлиять на по меньшей мере один другой параметр, что в свою очередь может приводить к разработке другого плана лечения. Таким образом, устройство 12 обработки изображений может генерировать оптимизированный план 42 радиотерапевтического лечения, имеющий эти параметры, для обеспечения радиотерапевтическим устройством 30 радиотерапевтического лечения для пациента.

[061] Кроме того, радиотерапевтическая система 10 может включать в себя устройство отображения 34 и пользовательский интерфейс 36. Устройство отображения 34 может включать в себя один или более экранов дисплея, которые отображают пользователю медицинские изображения, интерфейсную информацию, параметры планирования лечения (например, контуры, дозы, угловую ширину пучков и т.д.), планы лечения, цель, локализацию цели и/или отслеживание цели или любую соответствующую информацию. Пользовательский интерфейс 36 может быть клавиатурой, кнопочной панелью, сенсорным экраном или любым типом устройства, с помощью которого пользователь может вводить информацию в радиотерапевтическую систему 10. Альтернативно, устройство отображения 34 и пользовательский интерфейс 36 могут быть интегрированы в устройство, такое как планшетный компьютер, например, Apple iPad®, Lenovo Thinkpad®, Samsung Galaxy® и т.д.

[062] Кроме того, любой и все компоненты радиотерапевтической системы 10 могут быть реализованы как виртуальная машина (например, VMWare, Hyper-V и т.п.). Например, виртуальная машина может быть программным обеспечением, которое функционирует как аппаратное обеспечение. Поэтому, виртуальная машина может включать в себя по меньшей мере один или более виртуальных процессоров, один или более блоков виртуальной памяти и один или более виртуальных интерфейсов связи, которые вместе функционируют как аппаратное обеспечение. Например, устройство 12 обработки изображений, ОИС 28, устройство 32 получения изображений могут быть реализованы как виртуальная машина. Учитывая вычислительную мощность, память и доступную вычислительную мощность вся радиотерапевтическая система 10 может быть реализована как виртуальная машина.

[063] Фиг. 1B изображает примерное радиотерапевтическое устройство 102, которое может включать в себя источник излучения, такой как источник рентгеновского излучения или линейный ускоритель, многолепестковый коллиматор (не показан), кушетку 116, детектор 114 для визуализации и выход 104 радиотерапевтического излучения. Радиотерапевтическое устройство 102 может быть выполнено с возможностью испускания пучка 108 излучения для обеспечения терапии для пациента. Выход 104 радиотерапевтического излучения может включать в себя один или более аттенюаторов или коллиматоров, таких как многолепестковый коллиматор (MLC), как описано в иллюстративном примере фиг. 2 ниже.

[064] Возвращаясь к фиг. 1B, пациент может быть расположен в области 112 с использованием стола или кушетки 116 для получения дозы радиотерапии в соответствии с планом радиотерапевтического лечения. Выход 104 радиотерапевтического излучения может быть установлен на или прикреплен к гентри 106 или другой механической опоре. Один или более двигателей каркаса (не показаны) могут поворачивать гентри 106 и выход 104 радиотерапевтического излучения вокруг кушетки 116, когда кушетка 116 вставляется в область проведения лечения. В одном варианте осуществления гентри 106 может непрерывно вращаться вокруг кушетки 116, когда кушетка 116 вставляется в область проведения лечения. В другом варианте осуществления гентри 106 может поворачиваться в заданное положение, когда кушетка 116 вставляется в область проведения лечения. Например, гентри 106 может быть выполнено с возможностью вращения выхода 104 терапевтического излучения вокруг оси («A»). Как кушетка 116, так и выход 104 радиотерапевтического излучения могут иметь возможность независимо передвигаться в другие положения вокруг пациента, например, иметь возможность передвигаться в поперечном направлении («T»), иметь возможность передвигаться в боковом направлении («L») или поворачиваться вокруг одной или более других осей, например, поворачиваться вокруг поперечной оси (обозначенной как «R»). Контроллер, соединенный с возможностью связи с одним или более приводами (не показаны), может управлять перемещениями или вращениями кушетки 116 для расположения должным образом пациента в или вне положения пучка 108 излучения в соответствии с планом радиотерапевтического лечения. Поскольку и кушетка 116, и гентри 106 могут передвигаться независимо друг от друга с несколькими степенями свободы, это позволяет расположить пациента так, чтобы пучок 108 излучения был направлен точно на опухоль.

[065] Система координат (включая оси A, T и L), показанная на фиг. 1B, может иметь начало координат, расположенное в изоцентре 110. Изоцентр может быть задан как местоположение, где радиотерапевтический пучок 108 пересекает начало координатной оси, например, для доставки заданной дозы облучения в местоположение на или в пациенте. Например, изоцентр 110 может быть задан как местоположение, где радиотерапевтический пучок 108 пересекает пациента для различных вращательных положений выхода 104 радиотерапевтического излучения при расположении гентри 106 вокруг оси A.

[066] Гентри 106 также может иметь закрепленный детектор 114 для визуализации. Детектор 114 для визуализации предпочтительно расположен напротив источника 104 излучения, и в одном примере детектор 114 для визуализации может быть расположен в пределах области терапевтического пучка 108.

[067] Детектор 114 для визуализации может быть установлен на гентри 106 предпочтительно напротив выхода 104 радиотерапевтического излучения, например, для поддержания выставления с терапевтическим пучком 108. Детектор 114 для визуализации вращается вокруг оси вращения при вращении гентри 106. В одном варианте осуществления детектор 114 для визуализации может быть плоскопанельным детектором (например, прямым детектором или сцинтилляционным детектором). Таким образом, детектор 114 для визуализации может использоваться для мониторинга терапевтического пучка 108, или детектор 114 для визуализации может использоваться для визуализации анатомии пациента, например, портальной визуализации. Схема управления радиотерапевтического устройства 102 может быть интегрирована в систему 100 или быть удаленной, и она функционально представлена устройством 12 обработки изображений, как показано на фиг. 1A.

[068] В одном иллюстративном примере одно или более из кушетки 116, выхода 104 терапевтического излучения или гентри 106 могут позиционироваться автоматически, и выход 104 терапевтического излучения может устанавливать терапевтический пучок 108 в соответствии с указанной дозой для конкретного сеанса терапии. Может быть указана последовательность сеансов терапии в соответствии с планом радиотерапевтического лечения, например, с использованием одной или более различных ориентаций или положений гентри 106, кушетки 116 или выхода 104 терапевтического излучения. Сеансы терапии могут происходить последовательно, но могут пересекаться в требуемом месте терапии на или внутри пациента, например, в изоцентре 110. Таким образом, предписанная суммарная доза терапевтического излучения может быть обеспечена в месте терапии, в то время как повреждение тканей вблизи от места терапии отсутствует или уменьшено.

[069] Фиг. 1C изображает примерное радиотерапевтическое устройство 102, которое может включать в себя объединение линейного ускорителя и системы визуализации, такой как система компьютерно-томографической (КТ) визуализации. Система КТ-визуализации может включать в себя источник 118 рентгеновского излучения для визуализации, например, обеспечивающий рентгеновскую энергию в диапазоне килоэлектронвольтных (кэВ) энергий. Источник 118 рентгеновского излучения для визуализации обеспечивает веерообразный и/или конический пучок 120, направленный к детектору 122 для визуализации, такому как плоскопанельный детектор. Радиотерапевтическая система 102 может быть аналогична системе 102, описанной применительно к фиг. 1B, например, включающей в себя выход 104 радиотерапевтического излучения, гентри 106, платформу 116 и другой плоскопанельный детектор 114. Источник 118 рентгеновского излучения может обеспечивать диагностический пучок рентгеновского излучения сравнительно более низкой энергии для визуализации.

[070] В иллюстративном примере фиг. 1C выход 104 радиотерапевтического излучения и источник 118 рентгеновского излучения могут быть установлены на одном и том же вращающемся гентри 106, разделенные в окружном направлении друг от друга на 90 градусов. В другом примере два или более источников рентгеновского излучения могут быть установлены вдоль периметра гентри 106, например, каждый из которых имеет свой собственное расположение детектора для обеспечения нескольких углов диагностической визуализации одновременно. Аналогично, может быть обеспечено несколько выходов 104 радиотерапевтического излучения.

[071] Фиг. 1D изображает примерную радиотерапевтическую систему 300, которая может включать в себя объединение радиотерапевтического устройства и системы визуализации, такой как система ядерной магнитно-резонансной (MR) визуализации (например, известной в области техники как MR с линейным ускорителем), соответствующую раскрытым вариантам осуществления. Как показано, система 300 может включать в себя кушетку 210, устройство 140 получения изображений и устройство 130 подачи излучения. Система 300 доставляет радиотерапию пациенту в соответствии с планом радиотерапевтического лечения. В некоторых вариантах осуществления устройство 140 получения изображений может соответствовать устройству 32 получения изображений с фиг. 1A, которое может получать исходные изображения первой модальности (например, изображение МРТ, показанное на фиг. 4A) или целевые изображения второй модальности (например, изображение КТ, показанное на фиг. 4B).

[072] Кушетка 210 может поддерживать пациента (не показан) во время сеанса лечения. В некоторых реализациях кушетка 210 может перемещаться вдоль горизонтальной оси перемещения (обозначенной как «I»), так что кушетка 210 может перемещать пациента, лежащего на кушетке 210, в и/или из системы 300. Кушетка 210 также может вращаться вокруг центральной вертикальной оси вращения, поперечной к оси перемещения. Для обеспечения такого перемещения или вращения, кушетка 210 может иметь двигатели (не показаны), позволяющие кушетке перемещаться в различных направлениях и вращаться вдоль различных осей. Контроллер (не показан) может управлять этими перемещениями или вращениями для расположения должным образом пациента в соответствии с планом лечения.

[073] В некоторых вариантах осуществления устройство 140 получения изображений может включать в себя машину МРТ, используемую для получения 2D- или 3D-изображений МРТ пациента до, во время и/или после сеанса лечения. Устройство 140 получения изображений может включать в себя магнит 146 для генерации основного магнитного поля для магнитно-резонансной томографии. Линии магнитного поля, генерируемые при работе магнита 146, могут идти практически параллельно центральной оси I перемещения. Магнит 146 может включать в себя одну или более катушек с осью, которая идет параллельно оси I перемещения. В некоторых вариантах осуществления одна или более катушек в магните 146 могут быть расположены так, что центральное окно 147 магнита 146 не содержит катушек. В других вариантах осуществления катушки в магните 146 могут быть достаточно тонкими или уменьшенной плотности, так что они практически прозрачны для излучения длины волны, генерируемой радиотерапевтическим устройством 130. Устройство 140 получения изображений также может включать в себя одну или более экранирующих катушек, которые могут генерировать магнитное поле вне магнита 146 приблизительно равной величины и противоположной полярности для компенсации или уменьшения какого-либо магнитного поля за пределами магнита 146. Как описано ниже, источник 134 излучения радиотерапевтического устройства 130 может быть расположен в области, где магнитное поле компенсировано по меньшей мере в первом порядке или уменьшено.

[074] Устройство 140 получения изображений также может включать в себя две градиентных катушки 148 и 149, которые могут генерировать градиентное магнитное поле, которое накладывается на основное магнитном поле. Градиентные катушки 148 и 149 могут генерировать градиент в результирующем магнитном поле, что обеспечивает пространственное кодирование протонов, так что может быть определено их местоположение. Градиентные катушки 148 и 149 могут быть расположены вокруг общей центральной оси с магнитом 146 и могут быть смещены вдоль этой центральной оси. Смещение может создавать зазор или окно между катушками 148 и 149. В вариантах осуществления, в которых магнит 146 также включает в себя центральное окно 147 между катушками, эти два окна могут быть выставлены друг с другом.

[075] В некоторых вариантах осуществления устройство 140 получения изображений может быть устройством визуализации помимо МРТ, таким как устройство рентгеновской, КТ, CBCT, спиральной КТ, PET, SPECT, оптической томографии, флуоресцентной визуализации, ультразвуковой визуализации или устройство радиотерапевтической портальной визуализации и т.д. Как будет понятно специалисту в данной области техники, приведенное выше описание устройства 140 получения изображений касается лишь некоторых вариантов осуществления и не является ограничивающим.

[076] Радиотерапевтическое устройство 130 может включать в себя источник 134 радиации, например, источник рентгеновского излучения или линейный ускоритель и многолепестковый коллиматор (MLC) 132 (показанный ниже на фиг. 2). Радиотерапевтическое устройство 130 может быть установлено на каркасе 138. Один или более двигателей каркаса (не показаны) могут поворачивать каркас 138 вокруг кушетки 210, когда кушетка 210 вставлена в область проведения лечения. В одном варианте осуществления каркас 138 может иметь возможность непрерывно вращаться вокруг кушетки 210, когда кушетка 210 вставлена в область проведения лечения. Каркас 138 также может иметь прикрепленный детектор (не показан), предпочтительно расположенный напротив источника 134 излучения и с осью вращения каркаса 138, расположенной между источником 134 излучения и детектором. Кроме того, радиотерапевтическая система 300 может включать в себя схему управления (не показана), используемую для управления, например, одной или более кушетками 210, устройством 140 получения изображений и радиотерапевтическим устройством 130. Схема управления радиотерапевтического устройства 130 может быть интегрирована в радиотерапевтическую систему 300 или может быть удаленной.

[077] Во время сеанса радиотерапевтического лечения пациент может быть расположен на кушетке 210. Система 300 затем может переместить кушетку 210 в область проведения лечения, заданную магнитными катушками 146, 148, 149 и каркасом 138. Схема управления затем может управлять источником 134 излучения, MLC 132 и двигателем(ями) каркаса для доставки излучения пациенту через окно между катушками 148 и 149 в соответствии с планом радиотерапевтического лечения.

[078] Фиг. 1B, фиг. 1C и фиг. 1D в общем изображают примеры радиотерапевтических устройств, выполненных с возможностью обеспечения радиотерапевтического лечения для пациента, в том числе конфигурации, в которых выход радиотерапевтического излучения может вращаться вокруг центральной оси (например, оси «A»). Могут использоваться другие конфигурации выхода радиотерапевтического излучения. Например, выход радиотерапевтического излучения может быть установлен на роботизированной руке или манипуляторе, имеющем несколько степеней свободы. В еще одном примере выход терапевтического излучения может быть фиксированным, например, расположенным в области, отделенной от пациента в боковом направлении, а платформа, поддерживающая пациента, может использоваться для выставления изоцентра радиотерапии с указанным целевым местом в пациенте.

[079] Как обсуждалось выше, радиотерапевтические устройства, описанные на фиг. 1B, фиг. 1C и фиг. 1D, включают в себя многолепестковый коллиматор для придания формы, направления или модулирования интенсивности радиотерапевтического пучка в указанном целевом месте в пациенте. Фиг. 2 изображает примерный многолепестковый коллиматор (MLC) 132, который включает в себя лепестки 132A-132J, которые могут автоматически располагаться для задания отверстия, аппроксимирующего поперечное сечение или проекцию опухоли 140. Лепестки 132A-132J позволяют осуществлять модуляцию радиотерапевтического пучка. Лепестки 132A-132J могут быть сделаны из материала, способного ослаблять или блокировать пучок излучения в областях помимо отверстия в соответствии с планом лучевой терапии. Например, лепестки 132A-132J могут включать в себя металлические пластины, например, содержащие вольфрам, при этом продольная ось пластин ориентирована параллельно направлению пучка, а концы ориентированы ортогонально направлению пучка (как показано в плоскости иллюстрации на фиг. 1B). «Состояние» MLC 132 может настраиваться адаптивным образом в течение курса радиотерапевтического лечения, например, для установки терапевтического пучка, который лучше аппроксимирует форму или местоположение опухоли 140 или другого целевого места. Это в сравнении с использованием конфигурации со статическим коллиматором или в сравнении с использованием конфигурации с MLC 132 определяется исключительно с использованием «офлайновой» методики планирования терапии. Методика радиотерапии с использованием MLC 132 для получения указанного распределения дозы облучения для опухоли или для конкретных областей в пределах опухоли может называться радиотерапией с модулируемой интенсивностью (IMRT).

[080] Фиг. 3 изображает пример другого типа радиотерапевтического устройства 130 (например, гамма-нож Лекселла) в соответствии с некоторыми вариантами осуществления настоящего раскрытия. Как показано на фиг. 3, в сеансе радиотерапевтического лечения на пациента 202 может быть надета координатная рамка 220 для обеспечения стабильности части тела пациента (например, головы) во время операции или радиотерапии. Координатная рамка 220 и система 222 позиционирования пациента могут устанавливать систему пространственных координат, которая может использоваться во время визуализации пациента или во время лучевой хирургии. Радиотерапевтическое устройство 130 может включать в себя защитный кожух 214, охватывающий множество источников 212 излучения. Источники 212 излучения могут генерировать множество пучков излучения (например, составляющих элементарных лучей) через каналы 216 для пучков. Это множество пучков излучения может быть выполнено с возможностью фокусироваться в изоцентре 218 с различных направлений. Хотя каждый отдельный пучок излучения может иметь относительно низкую интенсивность, изоцентр 218 может получать относительно высокий уровень излучения, когда несколько доз от различных пучков излучения суммируются в изоцентре 218. В некоторых вариантах осуществления изоцентр 218 может соответствовать цели, подвергаемой хирургическому вмешательству или терапии, такой как опухоль.

[081] Фиг. 4A и 4B изображают разницу между иллюстративными изображениями, полученными с использованием различных модальностей визуализации, на основе которых используется устройство 32 получения изображений. Например, различные модальности визуализации по-разному характеризуют ткань пациента. В результате изображения, полученные для одного и того же базового объекта с использованием различных модальностей визуализации, часто могут быть не похожими друг на друга по характеристикам изображения. Например, фиг. 4A показывает двумерное (2D) изображение головы пациента, полученное с использование устройства МРТ для получения изображения; а фиг. 4B показывает соответствующее 2D-изображение того же самого объекта, полученное с использованием устройства КТ. Как показано на фиг. 4A и 4B, эти два изображения представляют собой один и тот же объект, но они демонстрируют заметно различные характеристики изображения. Например, на фиг. 4A череп и стекловидное тело имеют примерно одинаковые значения интенсивности, как показано на изображении МРТ. Однако, в противоположность этому, фиг. 4B показывает совсем другие значения интенсивности для черепа и стекловидного тела, как указывает яркость (например, белый контур) черепа, как показано на изображении КТ. Поэтому значения интенсивности изображения МРТ и изображения КТ могут значительно отличаться.

[082] Раскрытые системы и способы направлены на генерацию синтетического изображения (например, изображения псевдо-КТ) из исходного изображения, полученного с использованием первой модальности (например, изображения МРТ, как иллюстративно показано на фиг. 4A), чтобы оно было похожим на целевое изображение (например, изображение КТ, как иллюстративно показано на фиг. 4B), полученное с использованием второй модальности.

[083] Обратимся к фиг. 4C, которая сравнивает изображения MR и КТ головы пациента в трех различных плоскостях и обеспечивает карту ошибок. Например, верхний ряд на фиг. 4C изображает три исходных изображения, полученных с использованием МРТ, в трех различных анатомических плоскостях. Второй ряд изображает синтетические изображения КТ, сгенерированные на основе изображений МРТ, показанных в верхнем ряду, с использованием раскрытых систем и способов преобразования изображения. Третий ряд показывает изображения в трех плоскостях того же самого объекта, полученные с использованием КТ. Четвертый ряд показывает карты ошибок, представляющие собой разницу между синтетическими изображениями КТ (второй ряд) и полученными изображениями КТ (третий ряд). Как показано в четвертом ряду, синтетические изображения КТ обеспечивают значения пикселей, близко похожие на значения КТ в полученных изображениях КТ для большинства частей области головы. В примере на фиг. 4C карты ошибок указывают, что ошибки (например, разница в интенсивности между соответствующими вокселами на синтетическом изображении КТ и соответствующем реальном изображении КТ) минимальны (например, в пределах уровня шума типичного изображения КТ) и ограничиваются границами раздела между различными типами ткани, в частности, вокруг границ костей и воздуха.

[084] Фиг. 5 изображает примерную систему 400 преобразования изображения, соответствующую раскрытым вариантам осуществления. В некоторых вариантах осуществления система 400 преобразования изображения может включать в себя устройство 140 получения изображений, базу 420 данных изображений, блок 440 преобразования изображения, базу 410 данных обучения, хранящую обучающие изображения 412, блок 430 обучения и сеть 460. Система 400 преобразования визуализации может выполнять две функции: (a) обеспечивать блок 430 обучения для обучения прогнозной модели с использованием обучающих изображений 412; (b) обеспечивать блок 440 преобразования изображения, выполненный с возможностью использования обученной прогнозной модели для генерации синтетических изображений. В одном примере устройство 140 получения изображений может соответствовать устройству 32 получения изображений, как показано на фиг. 1A.

[085] Раскрытые системы и способы используют прогнозные модели для генерации синтетических изображений. В соответствии с приведенным выше раскрытием, термин «синтетическое изображение», используемый в настоящем описании, в общем относится к любым генерируемым компьютером данным изображения, представляющим собой или похожим на изображение, полученное в одной модальности (например, изображение КТ), при этом основанное на фактических данных изображения, полученных от устройства визуализации, использующего другую модальность (например, изображение МРТ). Как объясняется ниже, такие синтетические изображения преобразуются из исходных изображений, полученных с использованием первой модальности (например, МРТ) так, чтобы быть похожими на изображения, генерируемые с использованием второй модальности (например, КТ). Прогнозная модель преимущественно может обеспечивать автоматическое преобразование изображений без необходимости в классификации тканей, сравнения с атласом или способах на основе модели, которые требуют созданных вручную признаков.

[086] В некоторых вариантах осуществления раскрытые системы, способы, устройства и процессы относятся к генерации синтетических изображений КТ из изображений, полученных с использованием другой модальности, таких как изображения МРТ. В некоторых аспектах прогнозные модели могут быть нейронными сетями, например, типа сверточных нейронных сетей (CNN) или глубоких нейронных сетей и других типов искусственного интеллекта, известного в данной области техники. Таким образом, генерация синтетических изображений может включать в себя две стадии. На первой стадии может генерироваться прогнозная модель (также известная как «обученная») с использованием обучающих данных, включающих в себя обучающие изображения МРТ и их соответствующие реальные изображения КТ. Процесс обучения может автоматически использовать обучающие данные для получения параметров или весовых коэффициентов прогнозной модели. Эти параметры или весовые коэффициенты могут быть получены итеративно, в соответствии с критерием оптимальности. На второй стадии могут генерироваться синтетические изображения КТ (например, также называемые изображениями псевдо-КТ) из изображений МРТ с использованием прогнозной модели.

[087] «Исходным изображением» может называться изображение, полученное с использованием первой модальности визуализации, такой как ядерная магнитно-резонансная томография (МРТ). «Целевым изображением» может называться изображение, полученное с использованием второй модальности, отличающейся от первой модальности, такой как компьютерная томография (КТ).

[088] Как было описано выше, «синтетическим изображением» может называться изображение, генерируемое из одного или более «исходных изображений», но похожее на «целевое изображение». В некоторых вариантах осуществления синтетическое изображение может называться изображением псевдо-КТ. То есть синтетическое изображение может иметь характеристики целевого изображения. Например, синтетическое изображение КТ («синтетическое изображение»), генерируемое из одного или более изображений МРТ («исходных изображений»), могут иметь характеристики реального изображения КТ, которое получено сканером КТ («целевое изображение»). На протяжении этого раскрытия будут обсуждаться примеры, в которых исходное изображение является изображением МРТ, а целевым изображением является изображение КТ. Но это не является ограничением. Альтернативно, например, исходное изображение может быть изображением КТ, а целевым изображением может быть изображение МРТ. В одном примере, в котором синтетическое изображение КТ может генерироваться из одного или более изображений МРТ, синтетическое изображение КТ может использоваться в процессе планирования радиотерапии, не подвергая пациента действию ионизирующей радиации, как в обычном процессе КТ-визуализации.

[089] В настоящем описании изображение является «похожим» на другое изображение, когда разница между этими двумя изображениями меньше, чем заданный пороговый критерий. В одном примере синтетическое изображение КТ может быть «похожим» на соответствующее изображение КТ, если повоксельные разницы интенсивности между этими двумя изображениями меньше 20 единиц по шкале Хаунсфилда, а в некоторых примерах меньше 100 единиц по шкале Хаунсфилда в среднем. Например, разница может быть определена как карта ошибок, указывающая разность пиксельных значений между этими двумя изображениями. Разница может измеряться с помощью функции потерь, такой как средняя абсолютная ошибка или среднеквадратичная ошибка, вычисленная на основании этих двух изображений. Однако, синтетические изображения (например, изображения псевдо-КТ), соответствующие настоящему раскрытию, как может быть показано, могут быть похожими на целевое изображение при использовании других типов пороговых критериев изображения. Кроме того, системы и способы, соответствующие настоящему раскрытию, не обязательно должны применять какие-либо такие заданные пороговые критерии для того, чтобы целевое изображение было похожим на исходное изображение. Другими словами и как описывается ниже, системы и способы, соответствующие этому раскрытию, могут использовать любые такие заданные пороговые критерии для потенциальной проверки степени сходства между исходным и целевым изображением. Системы и способы, соответствующие настоящему раскрытию, могут генерировать синтетические изображения (например, в том числе изображения псевдо-КТ), которые удовлетворяют заданным пороговым критериям.

[090] Для обучения прогнозной модели блоком 430 обучения могут использоваться обучающие изображения. База 410 данных обучения может быть выполнена с возможностью хранения одного или более наборов обучающих изображений 412, соответствующих раскрытым вариантам осуществления. Каждый набор обучающих изображений может включать в себя одно или более исходных изображений («исходные изображения»), полученных с использованием первой модальности визуализации, и соответствующих целевых изображений («целевые изображения»), полученных во второй модальности визуализации. Одно или более исходных изображений и соответствующие целевые изображения получаются для одного и того же объекта и могут включать в себя соответствующие ракурсы этого объекта (например, изображения одной и той же анатомической части, снятые практически с той же самой ориентацией, но с использованием различных типов модальности визуализации). Как объясняется ниже, исходные изображения и целевые изображения могут быть как 2D, так и 3D-изображениями. В некоторых вариантах осуществления база 410 данных может быть частью онкологической информационной системы, которая управляет планами онкологического лечения для пациентов. В некоторых аспектах база 410 данных может принимать эти наборы изображений из базы данных изображений, имеющей изображения, ранее полученные устройством 140 получения изображений во время одного или более сеансов радиотерапевтического лечения.

[091] База 420 данных изображений может хранить изображения полученные с использованием первой модальности визуализации. В некоторых вариантах осуществления устройство 140 получения изображений может получать изображения, сохраненные в базе 420 данных изображений. Изображения, сохраненные в базе 420 данных изображений, также могут соответствовать изображениям, полученным во время одного или более сеансов радиотерапевтического лечения. Как объясняется ниже, изображения могут быть 2D- и/или 3D-изображениями.

[092] В некоторых аспектах система 400 преобразования изображения может быть выполнена с возможностью выполнения стадии обучения. В некоторых вариантах осуществления блок 430 обучения может быть выполнен с возможностью использования обучающих данных из базы 410 данных обучения для обучения прогнозной модели. Блок 430 обучения может быть реализован с помощью аппаратного обеспечения и/или программного обеспечения, как будет понятно специалисту в данной области техники. Во время стадии обучения блок 430 обучения может быть выполнен с возможностью генерации оценочных синтетических изображений на основе обучающих исходных изображений, принятых из базы 410 данных обучения. Блок 430 обучения также может генерировать карты ошибок путем сравнения оценочных синтетических изображений с обучающими целевыми изображениями (например, изображениями КТ), а затем может настраивать параметры прогнозной модели на основании сгенерированных карт ошибок, которые идентифицируют разницу между синтетическими изображениями и реальными изображениями КТ. Блок 430 обучения может быть выполнен с возможностью продолжать обучение прогнозной модели до тех пор, пока не будут удовлетворены некоторые критерии остановки (контрольная ошибка между прогнозной моделью и реальным изображением КТ, также может обучаться на основе числа итераций обучения, или если ошибка модели меньше порогового значения). В одном примере критерии остановки могут удовлетворяться, когда число итераций обучения превышает пороговое значение (например, когда было более 100 периодов обучения - при обучении нейронной сети один период может быть равен числу итераций для прохождения через все обучающие данные один раз). В одном примере, критерии остановки могут удовлетворяться, если повоксельная разница в интенсивности между этими двумя изображениями меньше порогового значения (например, 20 единиц по шкале Хаунсфилда). Блок 430 обучения затем может сохранить обученную прогнозную модель, которая позже может использоваться блоком 440 преобразования изображения.

[093] В другом аспекте система 400 преобразования изображения также может быть выполнена с возможностью выполнения стадии преобразования. Во время стадии преобразования блок 440 преобразования изображения может быть выполнен с возможностью приема обученной прогнозной модели из блока 430 обучения. В некоторых вариантах осуществления блок 440 преобразования изображения может быть выполнен с возможностью генерации синтетических изображений из исходных изображений 422, принятых из базы 420 данных изображений. Блок 440 преобразования изображения может быть реализован с помощью аппаратного обеспечения и/или программного обеспечения, как будет понятно специалисту в данной области техники. Блок 440 преобразования изображения может быть выполнен с возможностью генерации синтетических изображений с использованием обученной прогнозной модели и принятых исходных изображений 422.

[094] В некоторых вариантах осуществления система 400 преобразования изображения может быть выполнена с возможностью отображения синтетического изображения, к которому необходимо получить доступ с помощью пользовательского интерфейса, например, графического пользовательского интерфейса, предоставляемого компьютером, который может также включать в себя планшет, iPad, мобильное устройство и т.п., сохранения синтетического изображения в базе 420 данных изображений для дальнейшего использования при планировании лечения и предоставления синтетического изображения программному обеспечению 115 планирования лечения. В качестве дополнительного примера, система 400 преобразования изображения может быть выполнена с возможностью сохранения исходного изображения и синтетического изображения в базе 410 данных обучения. Такие сохраненные изображения могут становиться частью обучающих изображений 412. В различных аспектах сохранение исходного изображения и синтетического изображения может быть автоматическим, полуавтоматическим или ручным. Блок 440 преобразования изображения может быть реализован с помощью аппаратного обеспечения и/или программного обеспечения, как будет понятно специалисту в данной области техники.

[095] Устройство 140 получения изображений, как обсуждалось в отношении фиг. 1, может быть выполнено с возможностью получения изображений с использованием одной или более модальностей визуализации (как было описано выше), в том числе МРТ, функциональной МРТ (например, фМРТ, МРТ с динамическим контрастированием и диффузионной МРТ), КТ, CBCT, спиральной КТ, PET, SPECT, рентгеновской, оптической томографии, флуоресцентной визуализации, ультразвуковой визуализации и радиотерапевтической портальной визуализации и т.д. В некоторых вариантах осуществления устройство 140 получения изображений может предоставлять полученные изображения базе 410 данных обучения, базе 420 данных изображений, блоку 430 обучения и блоку 440 преобразования изображения.

[096] Сеть 460 может быть выполнена с возможностью обеспечения связи между компонентами на фиг. 4. Например, сеть 460 может быть любым типом сети (в том числе инфраструктурной), который обеспечивает связь, обмен информацией и/или обеспечивает обмен электронной информацией между одним или более устройствами. В этом отношении сеть 460 может включать в себя проводное соединение (например, LAN или другое проводное соединение), беспроводное соединение (например, WiFi, Bluetooth, ZigBee, NFC, WiMAX, LET и т.п.), компьютерную шину, последовательное соединение, параллельное соединение, соединение Ethernet, локальную сеть или глобальную сеть, интернет-соединение, спутниковое соединение или любое другое подходящее соединение(я), в том числе соединение с услугой «облачных» вычислений, или любую их комбинацию, которая позволяет компонентам системы 400 преобразования изображения посылать и принимать информацию друг от друга в любом формате и в соответствии с любым протоколом связи.

[097] Предполагается, что фиг. 4 изображает только примерную компоновку системы 400 преобразования изображения. В некоторых вариантах осуществления могут быть добавлены дополнительные компоненты, и/или изображенные компоненты могут быть объединены, разделены, изменены или удалены. Например, стадия обучения может выполняться заранее и выполняться отдельно другой системой. Соответственно, система 400 преобразования изображения может не включать в себя базу 410 данных обучения или блок 430 обучения. Кроме того, в некоторых аспектах по меньшей мере один компонент системы 400 преобразования изображения может быть географически удаленным от оставшихся компонентов и может осуществлять связь с оставшимися компонентами через сеть 460. Например, стадия обучения, включающая в себя блок 430 обучения и базу 410 данных обучения, может быть расположена в отделе научно-исследовательских и опытно-конструкторских работ; тогда как стадия преобразования, включающая в себя блок преобразования изображения и исходные изображения, может быть расположена в радиотерапевтической клинике.

[098] В других вариантах осуществления два или более компонентов системы 400 преобразования изображения могут быть реализованы в одном местоположении (например, комнате радиотерапевтического лечения). Кроме того, хотя фиг. 4 показывает различные компоненты системы 400 преобразования изображения как отдельные, система 400 преобразования изображения может реализовывать некоторые из этих компонентов в одном устройстве. Например, база 410 данных и блок 430 обучения могут быть реализованы в пределах одного устройства, такого как планшет, портативный компьютер, настольный компьютер, рабочая станция, сервер или специализированное устройство преобразования изображения. Аналогично, блок 430 обучения и блок 440 преобразования изображения могут быть реализованы в пределах одного устройства.

[099] Фиг. 6 изображает примерный процесс 600 предварительной обработки изображения. Процесс 600 может выполняться блоком 430 обучения как часть стадии обучения или до обработки, выполняемой стадией обучения. Определенный аспект процесса 600 (например, прием исходного изображения 601) также может выполняться блоком 440 преобразования изображения как часть или до стадии преобразования. На этапе 601 система 400 преобразования изображения может принять исходное изображение 422 пациента, которое было получено с использованием первой модальности визуализации. В соответствии с раскрытыми вариантами осуществления исходное изображение 422 может быть принято от устройства 140 получения изображений или, альтернативно, система 400 преобразования изображения может принять обучающее изображение 412 из базы 410 данных обучения. Система преобразования изображения затем обеспечивает исходное изображение, которое должно быть нормализовано.

[0100] На этапе 603 блок 430 обучения может нормализовать исходное изображение 422. Этот процесс нормализации может улучшить точность системы 400 преобразования изображения путем стандартизации входных данных изображения, предоставляемых прогнозной модели. Здесь на этапе 603 блок 430 обучения может применить множество функций обработки к исходному изображению 422 для генерации нормализованного исходного изображения со стандартизированными выставлениями, разрешением и/или распределением значений интенсивности. Например, блок 430 обучения может выставить полученное исходное изображение 422 со стандартным изображением КТ, например, для настройки ориентации объекта на изображении. Блок 430 обучения также может передискретизировать исходное изображение 422 так, чтобы нормализованное исходное изображение имело опорное разрешение и/или опорное поле обзора. Например, исходное изображение может быть подвергнуто повышающей дискретизации с использованием методов интерполяции или понижающей дискретизации (субдискретизации) с использованием методов усреднения или подвыборки максимального. В одном примере исходное изображение может быть подвергнуто повышающей дискретизации или субдискретизации, например, для обеспечения исходного изображения, имеющего такое же пространственное разрешение, как соответствующее целевое изображение.

[0101] Кроме того, блок 430 обучения может скорректировать распределение значений интенсивности исходного изображения 422 для того, чтобы лучше аппроксимировать стандартизированное распределение значений интенсивности. Например, когда исходное изображение 422 является изображением МРТ (например, примерным изображением 611), блок 430 обучения может использовать алгоритм коррекции поля смещения N3, известный в данной области техники, для корректировки неоднородностей интенсивности в исходном изображении. Как известно в данной области техники, могут применяться другие алгоритмы коррекции, такие как совмещение совместных гистограмм, сопоставление опознавательных точек или гистограмм, или динамическое деформирование гистограммы. В конце этапа 603 создается нормализованное исходное изображение и обеспечивается для этапа 605.

[0102] На этапе 605 блок 230 обучения может генерировать двоичную маску (например, иллюстративное изображение 615) из нормализованного исходного изображения. Блок 430 обучения может быть выполнен с возможностью использования двоичной маски для удаления нежелательных частей (например, соответствующих стереотактической рамке для головы) нормализованного исходного изображения 422. Блок 430 обучения может генерировать двоичную маску путем применения пороговой и пространственной фильтрации к нормализованному исходному изображению. Блок 430 обучения может автоматически определять пороги на основании гистограммы значений интенсивности исходного изображения 422 в соответствии со способами, известными специалисту в данной области техники. Например, блок 430 обучения может определять пороговое значение для применения или сравнения с каждым значением интенсивности нормализованного исходного изображения. Блок 430 обучения может сравнивать каждое значение интенсивности нормализованного исходного изображения с пороговым значением. Значение заданного порога может быть значением интенсивности по умолчанию. С помощью этого сравнения блок 430 обучения может создать изображение с двоичной маской, имеющее логические «1» или «0» как значения интенсивности. Значения интенсивности на изображении с двоичной маской зависят от того, достигают или превышают ли пороговое значение соответствующие значения интенсивности исходного изображения. В некоторых реализациях блок 430 обучения также может пространственно фильтровать это полученное изображение с двоичной маской с использованием известных морфологических операций для генерации конечной двоичной маски.

[0103] Блок 430 обучения затем может использовать сгенерированную двоичную маску для удаления стереотактической рамки для головы на исходном изображении. Например, части исходного изображения в пределах двоичной маски могут сохранять свои исходные значения интенсивности. Другие части целевого изображения вне двоичной маски затем могут быть установлены равными заданному значению интенсивности.

[0104] На этапе 607 блок 430 обучения может принять целевое изображение 412 того же самого объекта, полученное с использованием другой модальности визуализации (например, изображение 617 КТ). Целевое изображение 412 может быть принято из базы 410 данных обучения. Это целевое изображение 412 может соответствовать объекту(ам), показанному на исходном изображении 611. Например, исходное изображение 611 может быть изображением МРТ конкретной анатомической части пациента, а целевое изображение 412 может быть соответствующим изображением КТ той же самой анатомической части. Блок 430 обучения может принять целевое изображение 412 от устройства 140 получения изображений или базы 410 данных обучения. Например, когда целевое изображение 412 является изображением КТ, целевое изображение 412 может включать в себя части стереотактической рамки для головы (например, элемент 618a изображения и элемент 618b изображения, которые соответствуют рамке для головы). Как правило, стереотактическая рамка для головы не показывается на соответствующем изображении МРТ (например, исходном изображении 611).

[0105] На этапе 609 блок 430 обучения может нормализировать целевое изображение 412. Нормализация исходного изображения 611 была описана выше в настоящем описании, на этапе 609 нормализация целевого изображения может улучшить точность системы 400 преобразования изображения. Нормализация целевого изображения выполняется путем стандартизации входных данных, предоставленных для обучения прогнозной модели, например, нейронной сети 700, как показано на фиг. 7D, описываемой ниже. Блок 430 обучения может применять множество функций обработки к целевому изображению для генерации нормализованного целевого изображения со стандартизированными выставлением, разрешением и/или распределением значений интенсивности.

[0106] В некоторых аспектах выполняется совмещение изображений или процесс выставления изображений для выставления целевого изображения с исходным изображением для каждой пары обучающих изображений. Это необходимо, потому что целевое и исходные изображения могут быть получены различными устройствами визуализации или в разное временя сканирования, и, следовательно, они могут быть пространственно не выставлены.

[0107] В некоторых аспектах целевое изображение также может сегментироваться с использованием двоичной маски. Например, двоичная маска может соответствовать частям изображения, связанным с пациентом. Другие части целевого изображения вне двоичной маски затем могут быть установлены равными заданному значению интенсивности. Заданное значение может быть значением интенсивности по умолчанию. Например, когда целевое изображение является изображением КТ, части могут быть установленным равными значению -1000 по шкале Хаунсфилда. Таким образом, путем использования двоичной маски части изображения КТ, показывающие, например, стереотактическую рамку для головы, могут быть устранены или уменьшены полностью или частично (например, изображение 619), потому что часть с рамкой для головы была вне двоичной маски.

[0108] Следует отметить, однако, что система 400 преобразования изображения может включать в себя процесс 600 как необязательный этап. В некоторых вариантах осуществления система 400 преобразования изображения не использует каждый аспект процесса 600. Например, система 400 преобразования изображения может обучать прогнозную модель непосредственно используя полученные изображения. Например, если изображения не содержат признаки изображения, такие как рамка для головы, то процесс 600 может не использоваться. Раскрытый способ может быть в состоянии обучить прогнозную модель быть адаптивной к обучающим изображениям без предварительной обработки. Например, система 400 преобразования изображения может все также генерировать высококачественные синтетические изображения, используя прогнозную модель, обученную на обучающих исходных и обучающих целевых изображениях, которые не были предварительно обработаны с использованием функциональности, включенной в процесс 600.

[0109] С или без предварительной обработки блок 430 обучения может использовать обучающие изображения (включающие в себя обучающие исходные изображения и обучающие целевые изображения) для обучения прогнозной модели. В частности, прогнозная модель может быть сверточной нейронной сетью (CNN), которая является известным типом контролируемого машинного обучения. Сверточная нейронная сеть может включать в себя стек отдельных слоев, которые преобразуют входные данные в выходные. Слои могут отличаться по размеру входных данных, размеру выходных данных и взаимосвязи между входными данными и выходными данными для слоя. Каждый слой может быть связан с одним или более восходящими и нисходящими слоями в стеке слоев. Таким образом, производительность сверточной нейронной сети может зависеть от числа слоев, и сложность сверточной нейронной сети может увеличиваться по мере увеличения числа слоев. Сверточная нейронная сеть может рассматриваться как «глубокая», если она имеет более одной стадии нелинейного преобразования признака, что, как правило, означает, что число слоев в сети превышает определенное число. Например, некоторые сверточные нейронные сети могут включать в себя приблизительно 10-30 слоев или в некоторых случаях более нескольких сотен слоев. Примеры моделей сверточной нейронной сети включают в себя AlexNet, VGGNet, GoogLeNet, ResNet и т.д. Эти модели сверточной нейронной сети были разработаны для задач распознавания изображений, и они могут использоваться в кодирующей части полной модели сверточной нейронной сети в раскрытых вариантах осуществления.

[0110] Фиг. 7A-7E изображают структуру и различные компоненты примерных моделей сверточной нейронной сети. Среди прочего, сверточная нейронная сеть, как правило, может включать в себя множество сверточных слоев, слоев обратной свертки, слоев подвыборки (например, субдискретизации), и слоев обратной подвыборки (например, повышающей дискретизации). Фиг. 7A изображает работу примерного сверточного слоя сверточной нейронной сети. Такой сверточный слой может быть выполнен с возможностью выполнения двух- или трехмерной свертки входных данных для сверточного слоя с помощью набора обучаемых функций фильтрации. Обучаемая функция фильтрации может задаваться матрицей весов W, где каждый весовой коэффициент должен применяться к пикселю изображения во время операции свертки, и значением смещения b. Матрица W весов и смещение b являются параметрами модели, которые должны быть получены во время стадии обучения. Сверточный слой может быть выполнен с возможностью дополнительно применять функцию активации к результату этих сверток. Неограничивающие примеры функции активации включают в себя функцию выпрямленного линейного элемента, сигмоидальную функцию, функцию гиперболического тангенса или аналогичную нелинейную функцию. Комбинация функции фильтрации и функции активации может быть выражена в виде:

[0111]

Ур. 1

[0112] Уравнение 1 состоит из двух частей: обучаемой функции фильтрации

и функции активации max(0,⋅). X может быть входными данными для функции фильтрации . В некоторых вариантах осуществления X может быть двумерными данными (например, изображением) или трехмерными данными (например, стеком изображений). Функция активации max(0,⋅) может применяться к выходным данным этой обучаемой функции фильтрации для генерации выходных данных h. Эти выходные данные или карта признаков могут указывать значимость признаков во входных данных. Функция активации max(0,⋅) может быть функцией выпрямленного линейного элемента, которая может действовать как фильтр активации путем обнуления отрицательных величин операции свертки. В некоторых вариантах осуществления может использоваться дополнение нулями, чтобы гарантировать, что пространственный размер для hравен пространственному размеру для X. В качестве неограничивающего примера, когда размер для X равен 1024×1024, может использоваться дополнение нулями, чтобы гарантировать, что пространственный размер для hтакже равен 1024×1024. Когда используется функция фильтрации nxn, может быть добавлено n-1 строк (или столбцов) нулей к краям матрицы X, прежде чем будет получена свертка X с фильтром. В качестве неограничивающего примера, обучаемые функции фильтрации могут быть фильтрами 3×3, в этом случае к X может быть добавлено 2 строки и 2 столбца нулей. Например, строка и столбец нулей могут быть добавлены к каждому краю X.

[0113] В качестве иллюстрации фиг. 7A показывает применение обучаемой функции фильтрации и функции активации к двумерной входной карте признаков в сверточном слое. Здесь иллюстративная функция фильтрации 3×3 (содержащая матрицу 711a весов и значение 711b смещения) и функция активации применяются к примерной входной карте 713a 4×4 признаков для генерации выходной карты 713c 4×4 признаков. Входная карта 713a признаков сначала может быть дополнена 2 строками и 2 столбцами нулей, как показано в виде дополнения 715 нулями. Здесь один столбец (или строка) нулей может быть добавлен к каждому краю входной карты 713a признаков. Но как будет понятно специалисту в данной области техники, количество дополнений нулями может зависеть от размера матрицы 711a весов, и конкретное показанное количество и расположение дополнения нулями не является ограничивающим. После дополнения нулями входная карта 713a признаков становится размером 6×6 и может иметь значения x^n,m в n-й строке m-го столбца (n, m=1, 2,...6). Матрица 711a весов может содержать в общей сложности 9 весовых коэффициентов, например, w^j,k для весового коэффициента в j^й строке k^го столбца матрицы фильтра. В показанном примере значение 711b смещения может быть одним значением смещения. Прогнозная модель может быть выполнена с возможностью выполнения свертки матрицы 711a весов с дополненной нулями входной картой 713a признаков, результат которой показан как промежуточная карта 713b. Для выполнения свертки, в каждой позиции матрица 711a весов будет перекрываться с частью 3×3 дополненной нулями входной карты 713a признаков. Например, как показано на фиг. 7A, матрица 711a весов может перекрываться с частью 3×3 с центром в x^3,5 (входные данные 719a свертки). Соответствующие пиксельные значения входной карты 713a признаков могут быть умножены на соответствующие весовые коэффициенты, перекрывающиеся с ними, и результаты умножения суммируются для получения значения h^2,4в промежуточной карте 713b (выходные данные 719b свертки). Сверточный слой может генерировать выходную карту 713c признаков путем суммирования каждого элемента промежуточной карты 713b со значением 711b смещения и применения функции активации max(0,⋅) к каждой полученной сумме. Например, как показано на фиг. 7A, когда сумма значения 711b смещения и значения h^2,4 меньше нуля, выходные данные 719c функции активации могут быть заданы равными нулю. Другие значения выходной карты 713c признаков могут быть вычислены по мере смещения обучаемого фильтра, чтобы он перекрывался с различными частями входной карты 713a признаков.

[0114] Аналогичным образом сверточный слой может применять обучаемую функцию фильтрации и функцию активации к трехмерной входной карте признаков в сверточном слое. Здесь матрица весов может быть трехмерной. Как и в двумерном случае, прогнозная модель может быть выполнена с возможностью выполнения свертки матрицы весов с дополненной нулями входной картой признаков для генерации промежуточной карты. Но в трехмерном случае матрица весов может перекрываться с объемом дополненной нулями входной карты признаков в каждом местоположении. Например, когда входная карта признаков включает в себя стек из трех изображений, матрица весов может быть размером 3×3×3, и может перекрываться с объемом 3×3×3 дополненной нулями входной карты признаков во время операции свертки. Как и в двумерном случае, соответствующие пиксельные значения входной карты признаков могут умножаться на соответствующие весовые коэффициенты, перекрывающиеся с ними, и результаты умножения могут суммироваться для получения соответствующего значения в трехмерной промежуточной карте. Это соответствующее значение может суммироваться со значением смещения, и к результату может применяться функция активации для генерации трехмерной выходной карты признаков.

[0115] Сверточная нейронная сеть может включать в себя стеки сверточных слоев, содержащих один или более сверточных слоев. В некоторых вариантах осуществления эти стеки могут включать в себя от двух до пяти сверточных слоев. Кроме того, различные стеки сверточных слоев могут содержать различные числа сверточных слоев. Фиг. 7B изображает работу сверточного слоя(ев) 720, примерный стек сверточных слоев. Сверточный слой(и) 720 может быть выполнен с возможностью приема карты(карт) 721a признаков и вывода карты(карт) 721c признаков. Сверточный слой(и) 720 может включать в себя сверточный слой 723a, который может быть выполнен с возможностью генерации карты(карт) 721b признаков с использованием карты(карт) 721a признаков, и сверточный слой 723b, который может быть выполнен с возможностью генерации карты(карт) 721c признаков с использованием карты(карт) 721b признаков. Число карт признаков в каждой карте(ах) 721a признаков, карте(ах) 721b признаков и карте(ах) 721c признаков может быть заданным.

[0116] В некоторых вариантах осуществления карта(ы) 721a признаков может включать в себя одно или более исходных изображений объекта. Например, карта(ы) 721a признаков может включать в себя T1-взвешенное изображение(я) МРТ, T2-взвешенное изображение(я) МРТ и изображение(я) МРТ, генерируемое с использованием контрастного вещества. В качестве дополнительного примера, карта(ы) 721a признаков может содержать различные срезы в стеке 2D-изображений объекта. Эти срезы могут быть смежными. В различных вариантах осуществления карта(ы) 721a признаков может включать в себя стек одной или более карт признаков, сгенерированных другим компонентом прогнозной модели. Например, карта(ы) 721a признаков может содержать стек из шестидесяти четырех карт признаков, сгенерированных предыдущим сверточным слоем прогнозной модели.

[0117] Карта(ы) 721b признаков может включать в себя карты признаков, сгенерированные сверточным слоем 723a. В некоторых вариантах осуществления сверточный слой 723a может генерировать эти карты признаков в соответствии с уравнением 1. Например, сверточный слой 723a может применять обучаемую функцию фильтрации и функцию активации для генерации каждой карты признаков в карте(ах) 721b признаков. Каждая обучаемая функция фильтрации может описываться матрицей весов и значением смещения. Значения матрицы весов и смещения являются параметрами обучаемого фильтра, которые могут быть получены из данных на стадии обучения модели сверточной нейронной сети. Число параметров в матрице весов может зависеть от пространственного размера обучаемой функции фильтрации и числа карт признаков в карте(ах) 721a признаков. Например, когда входная карта(ы) 721a признаков включает в себя l карт признаков, а функция фильтрации имеет пространственный размер

, матрица весов может включать в себя параметров. Когда выходная карта(ы) 721b признаков включает в себя k карт признаков, может использоваться k обучаемых функций фильтрации и, соответственно, общее количество параметров в сверточном слое 723a будет . Как показано на фиг. 7B, карты признаков в карте(ах) 721b признаков и карте(ах) 721a признаков могут быть одинакового пространственного размера. В различных вариантах осуществления число карт признаков в карте(ах) 721a признаков и карте(ах) 721b признаков может отличаться. Например, карта(ы) 721a признаков может включать в себя три карты признаков, в то время как карта(ы) 721b признаков может включать в себя больше или меньше карт признаков.

[0118] Карта(ы) 721b признаков может быть обеспечена как входные данные для следующего сверточного слоя 723b, который генерирует карту(ы) 721c признаков. Аналогично сверточному слою 723a, сверточный слой 723b может генерировать эти карты признаков в соответствии с уравнением 1, включая применение одной или более обучаемых функций фильтрации и функций активации. Опять же, число карт признаков в карте(ах) 721b признаков и карте(ах) 721c признаков может быть одним и тем же, или оно может отличаться. Например, карта(ы) 721b признаков может включать в себя 64 карты признаков, в то время как карта(ы) 721b признаков может включать в себя 128 карт признаков.

[0119] Фиг. 7C изображает работу примерных слоев подвыборки максимального и обратной подвыборки прогнозной модели. Слои подвыборки могут принимать и субдискретизировать входную карту признаков, принятую от сверточного слоя, генерируя выходную карту признаков уменьшенного размера. Эта выходная карта признаков может иметь более низкое пространственное разрешение, чем входная карта признаков, и последующие сверточные слои затем могут получать признаки изображения с большей пространственной протяженностью или большей пространственной инвариантностью, чем признаки изображения, полученные предыдущим сверточным слоем при более высоком пространственном разрешении. Таким образом, прогнозная модель может использовать слои подвыборки, чтобы получать признаки на разных уровнях пространственного разрешения, улучшая точность преобразования. Например, слой подвыборки может использовать окно 2×2 с шагом в два значения входных признаков (то есть, неперекрывающееся окно) для субдискретизации карты признаков в два раза в каждом измерении. Предполагается, что шаг может отличаться, и используемое окно может иметь любой другой подходящий размер, например, 3×3, 4×4, 8×8, 16×16, 32×32 и т.д.

[0120] В некоторых вариантах осуществления, как показано на фиг. 7C, слой подвыборки может быть слоем подвыборки максимального, который выбирает одно значение, равное максимальному значению в пределах окна подвыборки. В примере на фиг. 7C окно подвыборки является окном 2×2. Предполагается, что возможны другие подходящие размеры для окна подвыборки. Фиг. 7C изображает часть слоя 731a подвыборки, показывая значения в пределах окна 733a подвыборки. Прогнозная модель может быть выполнена с возможностью вывода наибольшего значения в пределах окна 733a подвыборки (то есть 0,8) в соответствующее местоположение в карте 735a признаков после субдискретизации, как обозначено с помощью стрелки, соединеняющей слой 731a подвыборки и карту 735a признаков после субдискретизации. Прогнозная модель также может быть выполнена с возможностью сохранения местоположения максимальных значений в пределах слоя 731a подвыборки. Например, прогнозная модель может быть выполнена с возможностью сохранения таких местоположений в двоичной маске 737, как обозначено с помощью стрелки, соединяющей слой 731a подвыборки и двоичную маску 737. Двоичная маска 737 может быть такого же размера, что и слой 731a подвыборки, и может указывать, какие входные признаки имели максимальное значение в пределах каждого окна. Пиксельное значение «1» (или «Истина») в двоичной маске 737 может указывать, что соответствующий пиксель слоя 731a подвыборки содержит максимальное значение в пределах окна, а пиксельное значение «0» (или «Ложь») аналогично может указывать, что соответствующий пиксель карты признаков не содержит это максимальное значение в пределах окна. Как показано на фиг. 7C, пиксели двоичной маски 737, соответствующие пиксельным значениям 0,3, 0,6 и 0,1 в окне 733a подвыборки, имеют пиксельное значение «0», потому что эти пиксельные значения не являются максимальным пиксельным значением в окне 733a подвыборки, в то время как пиксель двоичной маски 737, соответствующий пиксельному значению 0,8 в окне 733a подвыборки, имеет пиксельное значение «1», потому что 0,8 было максимальным пиксельным значением в окне 733a подвыборки. Прогнозная модель может быть выполнена с возможностью предоставления этой информации относительно местоположений максимального значения слоям обратной подвыборки, как обозначено с помощью стрелки, соединяющей двоичную маску 737 и слой 731b обратной подвыборки.

[0121] Слои обратной подвыборки могут увеличивать размер входной карты признаков путем повышающей дискретизации. Эта повышающая дискретизация может увеличивать пространственное разрешение карты признаков, увеличивая возможность системы 400 преобразования изображения точно изображать подробности высокого разрешения на синтетическом изображении. В некоторых вариантах осуществления каждый слой обратной подвыборки может использовать размер окна обратной подвыборки, равный 2×2, соответствующий окну 2×2 подвыборки, используемому в соответствующем слое подвыборки. Таким образом, слой обратной подвыборки может вызывать увеличение размера карты признаков в два раза в каждом измерении. Предполагается, что возможны другие подходящие размеры для окна обратной подвыборки.

[0122] В некоторых вариантах осуществления, как показано на фиг. 7C, прогнозная модель может быть выполнена с возможностью установления соответствия пиксельного значение в карте 735b признаков перед повышающей дискретизацией пиксельному значению в слое 731b обратной подвыборки. Как показано на фиг. 7C, пиксель в карте 735b признаков перед повышающей дискретизацией может соответствовать окну 733b обратной подвыборки в слое 731b обратной подвыборки. Двоичная маска может дополнительно задавать соответствие между пикселями в карте 735b признаков перед повышающей дискретизацией и пикселями в слое 731b обратной подвыборки. Эта двоичная маска могла быть сгенерирована соответствующим слоем подвыборки. Например, двоичная маска 737, сгенерированная соответствующим слоем 731a подвыборки, может использоваться слоем 731b обратной подвыборки. Как было описано выше, двоичная маска 737 может указывать, какие пиксельные значения слоя 731a подвыборки были сохранены в карте 735a признаков после субдискретизации. Как показано на фиг. 7C, пиксель в карте 735b признаков перед повышающей дискретизацией с пиксельным значением 0,7 может соответствовать верхнему правому пикселю в окне 733b обратной подвыборки, потому что верхнее правое значение соответствующей части двоичной маски 737 имеет значение, равное «1». Прогнозная модель может быть выполнена с возможностью задания этого соответствующего пикселя в слое 731b обратной подвыборки равным пиксельному значению пикселя в карте 735b признаков перед повышающей дискретизацией, как обозначено с помощью стрелки, соединяющей карту 735b признаков перед повышающей дискретизацией и слой 731b обратной подвыборки. Оставшиеся элементы окна 733b обратной подвыборки могут быть заданы равными заданному значению, например, нулю.

[0123] Фиг. 7D и 7E изображают нейронную сеть 700, примерную реализацию прогнозной модели, используемой системой 400 преобразования изображения, соответствующей раскрытым вариантам осуществления. Нейронная сеть 700 может быть выполнена с возможностью преобразования цифровых изображений, представленных матрицами значений, каждое значение которой соответствует пикселю на изображении. Размер матрицы может соответствовать пространственному размеру изображения. Например, матрица 1024×1024 может соответствовать изображению пространственного размера 1024×1024. Матрица, представляющая собой исходное изображение, и сгенерированная матрица, представляющая собой синтетическое изображение, могут иметь один и тот же размер (или пространственное разрешение). В отличие от традиционных способов, которые предсказывают синтетическое изображение попиксельно (одно значение матрицы за раз), раскрытый способ предсказывает целиком синтетическое изображение такого же пространственного размера, что и исходное изображение (все значения матрицы сразу).

[0124] Как было описано в настоящем описании, нейронная сеть 700 может содержать вход 741 и выход 751. В некоторых вариантах осуществления пространственный размер (или пространственное разрешение) на входе 741 и выходе 751 может быть одинаковым. Например, вход 741 может принимать по меньшей мере одно исходное изображение 1024×1024 пикселей, и выход 751 может выводить по меньшей мере одно вычисленное синтетическое изображение 1024×1024 пикселей. Однако нейронная сеть 700 может обрабатывать данные изображения других пространственных размеров.

[0125] Вход 741 нейронной сети 700 может быть выполнен с возможностью приема одного или более исходных изображений. При обучении нейронной сети 700 для преобразования 3D-изображений точность нейронной сети 700 может быть увеличена, когда вход 741 принимает стек смежных изображений, поскольку смежные 2D-изображения могут содержать информацию о зависимых структурах. Информация о зависимых структурах может включать в себя пространственно-зависимые взаимосвязи между анатомическими структурами, показанными в стеке смежных 2D-изображений. Эти пространственно-зависимые взаимосвязи могут быть вдоль оси, ортогональной анатомической плоскости 2D-изображений. В качестве неограничивающего примера, форма и тип анатомической структуры, представленной первым набором пикселей на первом изображении стека, также могут быть представлены вторым набором пикселей на втором изображении, смежном с первым изображением. Это связано с тем, что первое и второе изображения пространственно граничат с друг другом вдоль оси, ортогональной анатомической плоскости. В результате эти два изображения будут иметь некоторую зависимость или непрерывность анатомических структур, показанных на этих изображениях. Поэтому форма, размер и/или тип анатомической структуры на одном изображении может обеспечивать дополнительную информацию о форме, размере и/или типе анатомической структуры на другом смежном изображении вдоль той же самой плоскости. Эффект информации о зависимых структурах может зависеть от различных факторов, таких как число смежных изображений в стеке, анатомические структуры, изображенные на изображениях, и/или модальность визуализации, используемой для получения изображения.

[0126] В некоторых вариантах осуществления вход 741 также может быть выполнен с возможностью приема многоканальных изображений МРТ. Например, один или более первых каналов входа 741 могут быть выполнены с возможностью приема T1-взвешенных изображений МРТ, и один или более вторых каналов входа 741 могут быть выполнены с возможностью приема T2-взвешенных изображений МРТ. Как известно в данной области техники, T1 является константой продольной релаксации, а T2 является константой поперечной релаксации, определяющими скорость, с которой возбужденные протоны в ткани возвращаются к равновесию. Эти константы скорости отличаются друг от друга и отличаются между тканями. В зависимости от параметров визуализации МРТ контраст и яркость ткани на изображении МРТ может определяться преимущественно константой скорости T1 (T1-взвешенное изображение МРТ) или константой скорости T2 (T2-взвешенное изображение МРТ). Таким образом, T1-взвешенные изображения МРТ и T2-взвешенные изображения МРТ передают различную информацию об отображаемом объекте. Нейронная сеть 700 может быть выполнена с возможностью использования дополнительной информации, обеспеченной посредством использования первого канала T1-взвешенных изображений МРТ и другого канала T2-взвешенных изображений МРТ, для улучшения точности преобразования. Дополнительно или альтернативно, могут быть выделены каналы изображениям, связанным с другими параметрами тканей, известными в области техники, например, спиновой плотностью, или изображениям МРТ, полученным с использованием контрастных веществ.

[0127] Как показано на фиг. 7D и 7E, данные изображения могут проходить от входа 741 до выхода 751 через стадию 740 кодирования и стадию 750 декодирования. Стадия 740 кодирования может быть выполнена с возможностью извлечения карты признаков из входного изображения. В некоторых реализациях стадия 740 кодирования может не включать в себя полносвязные слои. Полносвязный слой - это, в общем случае, слой, в котором каждый пиксель входной карты признаков вносит вклад в каждый пиксель выходной карты признаков. Как известно в данной области техники, полносвязные слои требуют очень большого числа параметров и генерируют признаки, подходящие для задач классификации изображений. Такие признаки обеспечивают небольшое преимущество в этой заявке, и исключение полносвязных слоев может уменьшить число параметров, требуемых для обучения сверточной нейронной сети. Стадия 750 декодирования может быть выполнена с возможностью преобразования карт признаков на выходе стадии 740 кодирования в синтетическое изображение с тем же самым пространственным разрешением, что и исходное изображение.

[0128] Как показано на фиг. 7D и 7E, нейронная сеть 700 может содержать стеки сверточных слоев (например, сверточный слой(и) 743a и сверточный слой(и) 753a), слои подвыборки (например, слой 745a подвыборки) и слои обратной подвыборки (например, слой 755a обратной подвыборки). Как было описано на фиг. 7A и 7B, стеки сверточных слоев могут быть выполнены с возможностью генерации выходных карт признаков на основании входных карт признаков (или исходных изображений). Как было описано на фиг. 7C, слои подвыборки могут быть выполнены с возможностью субдискретизации карт признаков, а слои обратной подвыборки могут быть выполнены с возможностью повышающей дискретизации карт признаков.

[0129] Как показано на фиг. 7D и 7E, нейронная сеть 700 может быть организована в виде иерархии уровней с различным пространственным разрешением. Пять таких уровней изображены на фиг. 7D и 7E, но нейронная сеть 700 может включать в себя дополнительные уровни или меньше уровней. Каждый уровень может иметь секцию кодирования и декодирования (которые при объединении для всех уровней образуют стадию 740 кодирования и стадию 750 декодирования). Каждый уровень пространственного разрешения в иерархии может быть связан с картами признаков некоторого пространственного размера, в зависимости от пространственного размера входного изображения. За исключением самого низкого уровня, выходные данные секции кодирования для каждого уровня могут подаваться на вход секции кодирования для следующего уровня. Например, выходные данные сверточного слоя(ев) 743a на самом высоком уровне могут подаваться на вход слоя 745a подвыборки на следующем более низком уровне. За исключением самого высокого уровня, выходные данные секции декодирования могут подаваться на вход секции декодирования для следующего более высокого уровня. Например, выходные данные сверточного слоя(ев) 753d на втором после низшего уровне могут подаваться на вход слоя 755c обратной подвыборки на следующем более высоком уровне.

[0130] Кроме того, один или более слоев в стадии 740 кодирования могут быть напрямую связаны с соответствующим слоем в стадии 750 декодирования. Например, конечный слой в сверточном слое(ях) 743a может выводить одну или более карт признаков для стадии 750 декодирования. Эта карта(ы) признаков может объединяться (например, укладываться в стек) с выходной картой признаков слоя 755b обратной подвыборки для генерации входных данных для сверточного слоя 753b. На фиг. 7D и 7E указаны такие прямые связи между сверточным слоем(ями) 743a - сверточным слоем(ям) 743d и слоем 755a обратной подвыборки - слоем 755d обратной подвыборки соответственно. Обеспеченные карты признаков обозначены на фиг. 7D и 7E как пунктирные части слоя 755a обратной подвыборки - слоя 755d обратной подвыборки. Прямые связи между стадией 740 кодирования и стадией 750 декодирования могут обеспечивать использование на стадии 750 декодирования признаков с высоким разрешением, полученных на стадии 740 кодирования. Это может обеспечивать или улучшать способность стадии 750 декодирования генерировать более точные синтетические изображения. Такие прямые связи также могут улучшать гибкость нейронной сети 700. Например, нейронная сеть 700 может быть обучена назначать небольшой весовой коэффициент признакам с меньшим пространственным разрешением, когда признаки с более высоким разрешением, обеспеченные посредством прямых связей, достаточны для генерации точных синтетических изображений.

[0131] Самый высокий уровень нейронной сети 700 может включать в себя вход 741, сверточный слой(и) 743a, слой 755a обратной подвыборки, сверточный слой(и) 753a и выходной слой 759. В некоторых вариантах осуществления сверточный слой(и) 743a, сверточный слой(и) 753a и выходной слой 759 могут быть стеками из одного или более сверточных слоев. Например, сверточный слой(и) 743a и сверточный слой(и) 753a могут каждый включать в себя два-пять сверточных слоев. Альтернативно, выходной слой 759 может включать в себя один сверточный слой. Как обсуждалось в отношении фиг. 7A и 7B, эти сверточные слои могут генерировать выходные карты признаков путем применения одной или более обучаемых функций фильтрации к их соответствующим входным картам признаков. Например, один или более сверточных слоев, содержащих сверточный слой(и) 743a и сверточный слой(и) 753a, могут каждый применять между 50 и 100 (например, 64) обучаемых функций фильтрации для генерации соответствующего числа выходных карт признаков.

[0132] Следующий более низкий уровень нейронной сети 700 может включать в себя слой 745a подвыборки, сверточный слой(и) 743b, слой 755b обратной подвыборки и сверточный слой(и) 753b. В некоторых вариантах осуществления сверточный слой(и) 743b и сверточный слой(и) 753b могут быть стеками из одного или более сверточных слоев. Например, сверточный слой(и) 743b и сверточный слой(и) 753b могут каждый включать в себя два-пять сверточных слоев. Как обсуждалось в отношении фиг. 7A и 7B, эти сверточные слои могут генерировать выходные карты признаков путем применения одной или более обучаемых функций фильтрации к их соответствующим входным картам признаков. Например, один или более сверточных слоев, содержащих сверточный слой(и) 743b и сверточный слой(и) 753b, могут каждый применять между 100 и 200 (например, 128) обучаемых функций фильтрации для генерации соответствующего числа выходных карт признаков. Слой 745a подвыборки может соответствовать слою 755a обратной подвыборки в следующем более высоком уровне. Например, слой 745a подвыборки может быть выполнен с возможностью генерации двоичной маски, указывающей местоположения максимальных значений в ее входном слое признаков, и предоставления этих указаний слою 755a обратной подвыборки. Слой 755a обратной подвыборки может быть выполнен с возможностью использования двоичной маски при повышающей дискретизации его входной карты признаков.

[0133] Следующий более низкий уровень нейронной сети 700 может включать в себя слой 745b подвыборки, сверточный слой(и) 743c, слой 755c обратной подвыборки и сверточный слой(и) 753c. В некоторых вариантах осуществления сверточный слой(и) 743c и сверточный слой(и) 753c могут быть стеками из одного или более сверточных слоев. Например, сверточный слой(и) 743c и сверточный слой(и) 753c могут каждый включать в себя два-шесть сверточных слоев. Как обсуждалось в отношении фиг. 7A и 7B, эти сверточные слои могут генерировать выходные карты признаков путем применения одной или более обучаемых функций фильтрации к их соответствующим входным картам признаков. Например, один или более сверточных слоев, содержащих сверточный слой(и) 743c и сверточный слой(и) 753c, могут каждый применять между 150 и 300 (например, 256) обучаемых функций фильтрации для генерации соответствующего числа выходных карт признаков. Слой 745b подвыборки может соответствовать слою 755b обратной подвыборки в следующем более высоком уровне. Например, слой 745b подвыборки может быть выполнен с возможностью генерации указаний местоположений максимальных значений в его входной карте признаков и предоставления этих указаний слою 755b обратной подвыборки. Слой 755b обратной подвыборки может быть выполнен с возможностью использования этих указаний при повышающей дискретизации карты признаков.

[0134] Следующий более низкий уровень нейронной сети 700 может включать в себя слой 745c подвыборки, сверточный слой(и) 743d, слой 755d обратной подвыборки и сверточный слой(и) 753d. В некоторых вариантах осуществления сверточный слой(и) 743d и сверточный слой(и) 753d могут быть стеками из одного или более сверточных слоев. Например, сверточный слой(и) 743d и сверточный слой(и) 753d могут каждый включать в себя два-шесть сверточных слоев. Как обсуждалось в отношении фиг. 7A и 7B, эти сверточные слои могут генерировать выходные карты признаков путем применения одной или более обучаемых функций фильтрации к их соответствующим входным картам признаков. Например, один или более сверточных слоев, содержащих сверточный слой(и) 743d и сверточный слой(и) 753d, могут каждый применять между 300 и 600 (например, 512) обучаемых функций фильтрации для генерации соответствующего числа выходных карт признаков. Слой 745c подвыборки может соответствовать слою 755c обратной подвыборки в следующем более высоком уровне. Например, слой 745c подвыборки может быть выполнен с возможностью генерации указаний местоположений максимальных значений в его входном слое признаков и предоставления этих указаний слою 755c обратной подвыборки. Слой 755c обратной подвыборки может быть выполнен с возможностью использования этих указаний при повышающей дискретизации карты признаков.

[0135] Самый низкий уровень нейронной сети 700 может включать в себя слой 745d подвыборки, сверточный слой(и) 743e и сверточный слой(и) 753e. В некоторых вариантах осуществления сверточный слой(и) 743e и сверточный слой(и) 753e могут быть стеками сверточных слоев. Например, сверточный слой(и) 743e и сверточный слой(и) 753e могут каждый включать в себя два-пять сверточных слоев. Как обсуждалось в отношении фиг. 7A и 7B, эти сверточные слои могут генерировать выходные карты признаков путем применения одной или более обучаемых функций фильтрации к их соответствующим входным картам признаков. Например, один или более сверточных слоев, содержащих сверточный слой(и) 743e и сверточный слой(и) 753e, могут каждый применять между 800 и 1200 (например, 1024) обучаемых функций фильтрации для генерации соответствующего числа выходных карт признаков. Слой 745d подвыборки может соответствовать слою 755d обратной подвыборки в следующем более высоком уровне. Например, слой 745d подвыборки может быть выполнен с возможностью генерации указаний местоположений максимальных значений в его входном слое признаков и обеспечения этих указаний слою 755d обратной подвыборки. Слой 755d обратной подвыборки может быть выполнен с возможностью использованиях этих указаний при повышающей дискретизации карты признаков.

[0136] Как было описано в отношении фиг. 7D и 7E, могут быть обеспечены одно или более исходных изображений (например, исходное изображение 761) на вход 741 нейронной сети 700. Нейронная сеть 700 может быть выполнена с возможностью проведения входных данных 741 через стадию 740 кодирования и стадию 750 декодирования для генерации одного или более целевых изображений (например, целевого изображения 769) в качестве выходных данных 751. Фиг. 7F изображает примерные карты признаков, генерируемые выбранными слоями нейронной сети 700 во время этапов процессов кодирования и декодирования. В частности, фиг. 7F изображает карты признаков, сгенерированные во время каждого этапа стадии 740 кодирования, начиная с исходного изображения 761 и заканчивая картой 763e признаков. Как показано, относительный пространственный размер этих примерных карт признаков уменьшается во время стадии кодирования (увеличенные версии карты 763d признаков и карты 763e признаков обеспечены для простоты понимания). Эти карты признаков также изображают увеличивающуюся пространственную протяженность признаков на каждой карте, и уменьшающееся пространственное разрешение каждой карты. Фиг. 7E также изображает карты признаков, генерируемые во время каждого этапа стадии 750 декодирования, начиная с карты 773e признаков и заканчивая целевым изображением 779. Как показано, относительный пространственный размер этих примерных карт признаков увеличивается во время стадии декодирования (увеличенные версии карты 773e признаков и карты 773d признаков обеспечены для простоты понимания). Эти карты признаков также изображают уменьшающуюся пространственную протяженность признаков на каждой карте, и увеличивающееся пространственное разрешение каждой карты.

[0137] В качестве первого этапа кодирования, сверточный слой(и) 743a может быть выполнен с возможностью приема одного или более исходных изображений и генерации карты признаков. Как было описано выше в отношении фиг. 7C, сверточный слой(и) 743a может содержать стек из одного или более сверточных слоев. В некоторых вариантах осуществления сверточный слой(и) 743a может быть выполнен с возможностью приема одного или более исходных изображений, таких как исходное изображение 761, и вывода карт признаков, таких как карта 763a признаков. Как было описано выше, раскрытые системы и способы не ограничиваются изображениями конкретного пространственного размера. Например, в некоторых вариантах осуществления пространственный размер одного или более исходных изображений может быть больше 128×128 пикселей, например, 1024×1024 пикселей. В некоторых вариантах осуществления одно или более исходных изображений могут включать в себя по меньшей мере одно T1-взвешенное изображение МРТ, T2-взвешенное изображение МРТ и изображение МРТ, генерируемое с использованием контрастного вещества. В качестве дополнительного примера, одно или более исходных изображений могут включать в себя различные срезы в стеке 2D-изображений. В некоторых вариантах осуществления сверточный слой(и) 743a может быть выполнен с возможностью вывода карты признаков для следующего более низкого уровня стадии 740 кодирования. Этот следующий более низкий уровень стадии 740 кодирования может включать в себя слой 745a подвыборки и сверточный слой(и) 743b. Сверточный слой(и) 743a также может быть выполнен с возможностью вывода карты признаков напрямую стадии 750 декодирования.

[0138] В качестве второго этапа кодирования слой 745a подвыборки может быть выполнен с возможностью субдискретизации карт признаков, принятых от сверточного слоя(ев) 743a, генерируя субдискретизированные карты признаков с меньшим пространственным размером. Сверточный слой(и) 743b может быть выполнен с возможностью приема этих субдискретизированных карт признаков и генерации выходных карт признаков, таких как карта 763b признаков. Как показано, карта 763b признаков может иметь меньший пространственный размер, чем карта 763a признаков. В некоторых аспектах пространственный размер карты 763b признаков может быть вдвое меньше пространственного размера карты 763a признаков по меньшей мере в одном измерении. В некоторых вариантах осуществления сверточный слой(и) 743b может быть выполнен с возможностью вывода карты признаков следующему более низкому уровню стадии 740 кодирования. Этот следующий более низкий уровень стадии 740 кодирования может включать в себя слой 745b подвыборки и сверточный слой(и) 743c. Сверточный слой(и) 743b также может быть выполнен с возможностью предоставления выходных карт признаков напрямую стадии 750 декодирования.

[0139] В качестве третьего этапа кодирования слой 745b подвыборки может быть выполнен с возможностью субдискретизации карт признаков, принятых от сверточного слоя(ев) 743b, генерируя субдискретизированные карты признаков с меньшим пространственным размером. Сверточный слой(и) 743c может быть выполнен с возможностью приема этих субдискретизированных карт признаков и генерации выходных карт признаков, таких как карта 763c признаков. Как показано, карта 763c признаков может иметь меньший пространственный размер, чем карта 763b признаков. В некоторых аспектах пространственный размер карты 763c признаков может быть вдвое меньше пространственного размера карты 763b признаков по меньшей мере в одном измерении. В некоторых вариантах осуществления сверточный слой(и) 743c может быть выполнен с возможностью вывода карты признаков следующему более низкому уровню стадии 740 кодирования. Этот следующий более низкий уровень стадии 740 кодирования может включать в себя слой 745c подвыборки и сверточный слой(и) 743d. Сверточный слой(и) 743c также может быть выполнен с возможностью предоставления выходных карт признаков напрямую стадии 750 декодирования.

[0140] В качестве четвертого этап кодирования слой 745c подвыборки может быть выполнен с возможностью субдискретизации карт признаков, принятых от сверточного слоя(ев) 743c, генерируя субдискретизированные карты признаков с меньшим пространственным размером. Сверточный слой(и) 743d может быть выполнен с возможностью приема этих субдискретизированных карт признаков и генерации выходных карт признаков, таких как карта 763d признаков. Как показано, карта 763d признаков может иметь меньший пространственный размер, чем карта 763c признаков. В некоторых аспектах пространственный размер карты 763d признаков может быть вдвое меньше пространственного размера карты 763c признаков по меньшей мере в одном измерении. В некоторых вариантах осуществления сверточный слой(и) 743d может быть выполнен с возможностью вывода карты признаков самому низкому уровню стадии 740 кодирования. Этот самый низкий уровень стадии 740 кодирования может включать в себя слой 745d подвыборки и сверточный слой(и) 743e. Сверточный слой(и) 743d также может быть выполнен с возможностью предоставления выходных карт признаков напрямую стадии 750 декодирования.

[0141] В качестве пятого этапа кодирования слой 745d подвыборки может быть выполнен с возможностью субдискретизации карт признаков, принятых от сверточного слоя(ев) 743d, генерируя субдискретизированные карты признаков с меньшим пространственным размером. Сверточный слой(и) 743e может быть выполнен с возможностью приема этих субдискретизированных карт признаков и генерации выходных карт признаков, таких как карта 763e признаков. Как показано, карта 763e признаков может иметь меньший пространственный размер, чем карта 763d признаков. В некоторых аспектах пространственный размер карты 763e признаков может быть вдвое меньше пространственного размера карты 763d признаков по меньшей мере в одном измерении. В некоторых вариантах осуществления сверточный слой(и) 743e может быть выполнен с возможностью предоставления этих выходных карт признаков самому низкому уровню стадии 750 декодирования.

[0142] На первом этапе декодирования сверточный слой(и) 753e может быть выполнен с возможностью использования карт признаков, принятых от сверточного слоя(ев) 743e, для генерации выходных карт признаков, таких как карта 773e признаков. В некоторых вариантах осуществления сверточный слой(и) 753e может быть выполнен с возможностью предоставления этих выходных карт признаков более высокому уровню стадии 750 декодирования. Этот более высокий уровень стадии 750 декодирования может включать в себя слой 755d обратной подвыборки и сверточный слой(и) 753d.

[0143] На втором этапе декодирования слой 755d обратной подвыборки может быть выполнен с возможностью повышающей дискретизации карт признаков, принятых от сверточного слоя(ев) 753e, генерируя подвергнутые повышающей дискретизации карты признаков, с увеличенным пространственным размером. Как было описано выше в отношении фиг. 7C, слой 755d обратной подвыборки может использовать двоичные маски, сгенерированные слоем 745d подвыборки, для присваивания значений на картах признаков, принятых от сверточного слоя(ев) 753e, соответствующим подвергнутым повышающей дискретизации картам признаков. Сверточный слой(и) 753d может быть выполнен с возможностью использования подвергнутых повышающей дискретизации карт признаков, принятым от слоя 755d обратной подвыборки, для генерации выходных карт признаков, таких как карта 773d признаков. В некоторых аспектах сверточный слой(и) 753d также может использовать карты признаков, принятые от сверточного слоя(ев) 743d для генерации выходных карт признаков. Например, сверточный слой(и) 753d может быть выполнен с возможностью применения одной или более обучаемых функций фильтрации к стеку карт признаков, содержащему карты признаков, принятые от сверточного слоя(ев) 743d, и подвергнутые повышающей дискретизации карты признаков, принятые от слоя 755d обратной подвыборки. В некоторых вариантах осуществления выходные карты признаков, генерируемые сверточным слоем(ями) 753d, могут предоставляться сверточным слоем(ями) 753d более высокому уровню стадии 750 декодирования. Этот более высокий уровень стадии 750 декодирования может включать в себя слой 755c обратной подвыборки и сверточный слой(и) 753c.

[0144] На третьем этапе декодирования слой 755c обратной подвыборки может быть выполнен с возможностью повышающей дискретизации карт признаков, принятых от сверточного слоя(ев) 753d, генерируя подвергнутые повышающей дискретизации карты признаков с увеличенным пространственным размером. Как было описано выше в отношении фиг. 7C, слой 755c обратной подвыборки может использовать двоичные маски, сгенерированные слоем 745c подвыборки, для присваивания значений на картах признаков, принятых от сверточного слоя(ев) 753d, соответствующим подвергнутым повышающей дискретизации картам признаков. Сверточный слой(и) 753c может быть выполнен с возможностью использования подвергнутых повышающей дискретизации карт признаков, принятых от слоя 755c обратной подвыборки, для генерации выходных карт признаков, таких как карта 773c признаков. В некоторых аспектах сверточный слой(и) 753c также может использовать карты признаков, принятые от сверточного слоя(ев) 743c, для генерации выходных карт признаков. Например, сверточный слой(и) 753c может быть выполнен с возможностью применения одной или более обучаемых функций фильтрации к стеку карт признаков, содержащему карты признаков, принятые от сверточного слоя(ев) 743c, и подвергнутые повышающей дискретизации карты признаков, принятые от слоя 755c обратной подвыборки. В некоторых вариантах осуществления выходные карты признаков, сгенерированные сверточным слоем(ями) 753c, могут предоставляться сверточным слоем(ями) 753c более высокому уровню стадии 750 декодирования. Этот более высокий уровень стадии 750 декодирования может включать в себя слой 755b обратной подвыборки и сверточный слой(и) 753b.

[0145] На четвертом этапе декодирования слой 755b обратной подвыборки может быть выполнен с возможностью повышающей дискретизации карт признаков, принятых от сверточного слоя(ев) 753c, генерируя подвергнутые повышающей дискретизации карты признаков с увеличенным пространственным размером. Как было описано выше в отношении фиг. 7C, слой 755b обратной подвыборки может использовать двоичные маски, сгенерированные слоем 745b подвыборки, для присваивания значений на картах признаков, принятых от сверточного слоя(ев) 753c, соответствующим подвергнутым повышающей дискретизации картам признаков. Сверточный слой(и) 753b может быть выполнен с возможностью использования подвергнутых повышающей дискретизации карт признаков, принятых от слоя 755b обратной подвыборки, для генерации выходных карт признаков, таких как карта 773b признаков. В некоторых аспектах сверточный слой(и) 753b также может использовать карты признаков, принятые от сверточного слоя(ев) 743b, для генерации выходных карт признаков. Например, сверточный слой(и) 753b может быть выполнен с возможностью применения одной или более обучаемых функции фильтрации к стеку карт признаков, содержащему карты признаков, принятые от сверточного слоя(ев) 743b, и подвергнутые повышающей дискретизации карты признаков, принятые от слоя 755b обратной подвыборки. В некоторых вариантах осуществления выходные карты признаков, генерируемые сверточным слоем(ями) 753b, могут предоставляться сверточным слоем(ями) 753b самому высокому уровню стадии 750 декодирования. Этот самый высокий уровень стадии 750 декодирования может включать в себя слой 755a обратной подвыборки, сверточный слой(и) 753a и выходной слой 759.

[0146] На пятом этапе декодирования слой 755a обратной подвыборки может быть выполнен с возможностью повышающей дискретизации карт признаков, принятых от сверточного слоя(ев) 753b, генерируя подвергнутые повышающей дискретизации карты признаков с увеличенным пространственным размером. Как было описано выше в отношении фиг. 7C, слой 755a обратной подвыборки может использовать двоичные маски, сгенерированные слоем 745a подвыборки, для присваивания значений на картах признаков, принятых от сверточного слоя(ев) 753b, соответствующим подвергнутым повышающей дискретизации картам признаков. Сверточный слой(и) 753a может быть выполнен с возможностью использования подвергнутых повышающей дискретизации карт признаков, принятых от слоя 755a обратной подвыборки, для генерации выходных карт признаков, таких как карта 773a признаков. В некоторых аспектах сверточный слой(и) 753a также может использовать карты признаков, принятые от сверточного слоя(ев) 743a, для генерации выходных карт признаков. Например, сверточный слой(и) 753a может быть выполнен с возможностью применения одной или более обучаемых функций фильтрации к стеку карт признаков, содержащему карты признаков, принятые от сверточного слоя(ев) 743a, и подвергнутые повышающей дискретизации карты признаков, принятые от слоя 755a обратной подвыборки. В некоторых вариантах осуществления выходной слой 759 может быть выполнен с возможностью использования выходных карт признаков, принятых от сверточного слоя(ев) 753a, для генерации по меньшей мере одного целевого изображения, такого как целевое 779 изображение. В некоторых вариантах осуществления по меньшей мере одно целевое изображение может обеспечиваться на выход 751.

[0147] В примерном варианте осуществления, показанном на фиг. 7D и 7E, нейронная сеть 700 может включать в себя 27 сверточных слоев с более чем 30 миллионами параметров для преобразования трехканального изображения. Эта примерная конструкция не является ограничивающей. Например, число слоев в нейронной сети 700 между стадией 740 кодирования и стадией 750 декодирования может варьироваться от примерно 10 до нескольких сотен (например, 500). По мере увеличения числа слоев также увеличивается число параметров модели, обеспечивая более высокую точность прогнозирования. Однако большое число слоев также может привести к увеличению вычислительных затрат, особенно во время стадии обучения. Подходящее число слоев может измениться по мере роста вычислительной мощности процессоров. Аналогично, нейронная сеть 700 может включать в себя больше или меньше уровней пространственного разрешения. В некоторых вариантах осуществления может использоваться различное число входных каналов, или может использоваться различный размер изображений.

Фиг. 8 является блок-схемой последовательности операций, изображающей примерный процесс 800 обучения для обучения нейронной сети 700, соответствующей раскрытым вариантам осуществления. В некоторых вариантах осуществления процесс 800 обучения может выполняться блоком 430 обучения, описанным выше, для получения параметров

модели нейронной сети 700. Процесс 800 обучения может начинаться, когда блок 430 обучения принимает набор обучающих изображений (этап 810). Как было описано выше, набор обучающих изображений может включать в себя одно или более исходных изображений, полученных с использованием первой модальности визуализации, и соответствующих целевых изображений полученных с использованием второй модальности визуализации. Например, обучающие изображения могут включать в себя одно- или многоканальные изображения МРТ анатомической области пациента, такой как голова, туловище, брюшная полость и/или конечности. В некоторых вариантах осуществления соответствующие целевые изображения могут получаться с помощью КТ-сканирования той же самой или аналогичной анатомической области пациента.

[0148] Как показано на фиг. 8, блок 430 обучения может инициализировать прогнозную модель на этапе 812. Например, блок 430 обучения может инициализировать индекс итерации для обучения модели CNN, например, нулем. В некоторых вариантах осуществления блок 430 обучения может также инициализировать параметры нейронной сети 700. Например, весовые коэффициенты сверточных слоев могут быть инициализированы случайными значениями, и/или смещения сверточных слоев могут быть инициализированы нулями. В некоторых вариантах осуществления блок 430 обучения может инициализировать параметры стадии 730 кодирования с использованием параметров из предварительно обученных моделей. Например, блок 430 обучения может взять весовые коэффициенты из моделей, обученных для других задач, таких как классификация изображений. Это может позволить системе 400 преобразования изображения использовать перенос обучения, свойственный нейронным сетям, для ускорения сходимости на приемлемом решении.

[0149] Этапы 814-822 могут выполняться итеративно до тех пор, пока не будут удовлетворены один или более критериев остановки (например, итеративный процесс сходится в соответствии с заданными критериями). На каждой итерации может случайным образом выбираться новый пакет обучающих данных и использоваться для обучения модели CNN до тех пор, пока не будет достигнуто максимальное число итераций. В некоторых вариантах осуществления каждый пакет может включать в себя 30-60 наборов обучающих изображений. Например, каждый пакет может включать в себя приблизительно 50 пар исходных изображений и целевых изображений.

[0150] На этапе 814 блок 430 обучения может быть выполнен с возможностью выбора пакета обучающих данных. В некоторых вариантах осуществления эти обучающие данные могут выбираться случайным образом из обучающих данных, сохраненных в базе 410 данных. Блок 430 обучения необязательно может быть выполнен с возможностью предварительной обработки обучающих данных. Например, блок 430 обучения может быть выполнен с возможностью приема одного или более обучающих изображений 412 из базы 410 данных и их обработки для удаления некоторых признаков изображения в соответствии с процессом 600, описанным выше. На этапе 816 блок 430 обучения может быть выполнен с возможностью вычисления синтетического изображения в соответствии с текущими параметрами нейронной сети 700 для каждого набора обучающих изображений. На этапе 818 блок 430 обучения может быть выполнен с возможностью генерации карты ошибок (например, как было описано выше в отношении фиг. 2) на основании вычисленного синтетического изображения и обучающих данных. Например, когда обучающие данные включают в себя исходное изображение и соответствующее целевое изображение, блок 430 обучения может быть выполнен с возможностью генерации карты ошибок как разницы между синтетическим изображением и целевым изображением.

[0151] На этапе 820 блок 430 обучения может быть выполнен с возможностью определения или обновления параметров нейронной сети 700 на основании карты ошибок, сгенерированной на этапе 818. Например, могут использоваться алгоритмы обратного распространения, известные специалистам в данной области техники, для определения или обновления параметров нейронной сети 700. В некоторых вариантах осуществления алгоритм обратного распространения может быть выполнен с возможностью минимизации функции потерь относительно параметров нейронной сети 700. Например, алгоритм обратного распространения может обновлять параметры

модели для уменьшения значения функции потерь. Специалисту в данной области техники известны различные функции потерь, которые может реализовывать блок 430 обучения, такие как средняя абсолютная погрешность (MAE) прогнозирования модели, которая может быть определена следующим образом:

[0152]

Ур. 2

[0153] где

указывает вычисленное значение интенсивности КТ в каждом вокселе синтетического изображения, Z_iобозначает значение интенсивности КТ в каждом вокселе целевого изображения (например, истинное значение), n является общим числом вокселов изображения, и представляет собой MAE. Использование MAE в качестве функции потерь может улучшить обучение, делая процесс обучения устойчивым к выбросам, таким как шумы и артефакты в обучающих данных. Альтернативно, блок 430 обучения может быть выполнен с возможностью использования среднеквадратической ошибки (MSE) прогнозирования модели, которая может быть определена следующим образом:

[0154]

Ур. 3

[0155] Здесь

представляет собой MSE.

[0156] Алгоритм обратного распространения может использоваться для вычисления градиента функции потерь относительно параметров

модели, таких как весовые коэффициенты W_k сверточных фильтров и значений b смещения. Параметры модели затем могут итеративно обновляться с использованием алгоритма стохастического градиентного спуска. В некоторых вариантах осуществления может выполняться пакетная нормализация после каждого сверточного слоя для уменьшения внутреннего ковариантного сдвига.

[0157] Также может выполняться простое расширение обучающего множества для искусственного увеличения числа обучающих данных во время обучения модели. В таком расширении обучающего множества могут создаваться новые пары исходного и целевого изображений посредством случайного сдвига пикселей или зеркального отражения изображений в каждом пространственном измерении для каждой пары изображений MR и КТ. При использовании такого расширения обучающего множества иллюстративные варианты осуществления, соответствующие раскрытию, могут увеличивать количество обучающих данных и, таким образом, генерировать более хорошо обученную прогнозную модель в блоке 430 обучения, приводя к генерации моделью более точных синтетических изображений.

[0158] На этапе 822 блок 430 обучения может быть выполнен с возможностью определения того, были ли удовлетворены критерии остановки. Могут использоваться различные критерии остановки, такие как заданное максимальное число итераций или заданный показатель качества изображения (например, значение функции потерь, указывающее, что разница между оценочным синтетическим изображением и целевым изображением достаточно мала). Например, блок 430 обучения может быть выполнен с возможностью определения того, равен или больше ли индекс, чем заданное максимальное число итераций. Дополнительно или альтернативно, блок 430 обучения может быть выполнен с возможностью определения того, равна ли или превышает точность синтетического изображения ожидаемую точность, например, путем определения, меньше ли функция потерь некоторого порогового критерия. Если блок 430 обучения определяет, что критерии остановки не были удовлетворены, процесс 800 обучения может вернуться к этапу 814. Если блок 430 обучения определяет, что критерии остановки были удовлетворены, процесс 800 обучения может перейти к этапу 824. На этапе 824 блок 430 обучения может быть выполнен с возможностью сохранения обновленной версии нейронной сети 700 для последующего использования блоком 440 преобразования изображения.

[0159] Фиг. 9A является блок-схемой последовательности операций, изображающей примерный процесс 900A преобразования изображения с использованием обученной сверточной нейронной сети (например, нейронной сети 700), полученной с помощью процесса 800 с фиг. 8, в соответствии с некоторыми вариантами осуществления настоящего раскрытия. Процесс 900A преобразования изображения может выполняться блоком 440 преобразования изображения. В одном варианте осуществления блок 440 преобразования изображения может быть выполнен с возможностью генерации синтетических изображений из исходных изображений, полученных с использованием той же самой модальности визуализации, что и обучающие изображения. Например, когда нейронная сеть 700 обучена на изображениях МРТ, блок 440 преобразования изображения может быть выполнен с возможностью генерации синтетических изображений на основе изображений МРТ. Аналогично, когда нейронная сеть 700 обучена на одноканальных изображениях МРТ, блок 440 преобразования изображения может быть выполнен с возможностью использования того же типа одноканальных изображений МРТ (например, T1-взвешенных изображений). Когда нейронная сеть 700 обучена на многоканальных изображениях МРТ, блок 440 преобразования изображения может быть выполнен с возможностью использования того же типа многоканальных изображений МРТ.

[0160] Как показано на фиг. 9A, процесс 900A может начинаться, когда блок 440 преобразования изображения принимает одно или более исходных изображений на этапе 912. В некоторых аспектах блок 440 преобразования изображения может быть выполнен с возможностью приема одного или более исходных изображений из базы 420 данных изображений, другого компонента системы 400 преобразования изображения или другой системы. На этапе 914 блок 440 преобразования изображения может быть необязательно выполнен с возможностью предварительной обработки одного или более исходных изображений в соответствии с процессом 600, описанным выше, для удаления артефактов, связанных с исходными изображениями, для увеличения точности процесса преобразования.

[0161] Блок 440 преобразования изображения может быть выполнен с возможностью приема нейронной сети 700 на этапе 918. В некоторых аспектах нейронная сеть 700 может приниматься из блока 430 обучения, другого компонента системы 400 преобразования изображения или другой системы. Блок 440 преобразования изображения может быть выполнен с возможностью вычисления одного или более синтетических изображений с использованием нейронной сети 700 на этапе 920. Блок 440 преобразования изображения затем может вывести на этапе 922 одно или более синтетических изображений. Выведение может включать в себя отображение представления одного или более синтетических изображений для дальнейшего анализа или просмотра, сохранения одного или более синтетических изображений на невременном носителе данных, или предоставления одного или более синтетических изображений компьютерному процессу, программе и/или приложению. Невременный носитель данных и компьютерный процесс, программа и/или приложение могут находиться в удаленной системе.

[0162] Процесс 900A может выполняться для преобразования исходных как 2D, так и 3D-изображений. В случае преобразования 3D-изображений нейронная сеть 700 может быть модифицирована для генерации синтетических 3D-изображений. Как было описано выше, вход 731 нейронной сети 700 может быть выполнен с возможностью приема стека смежных 2D-изображений, выбранных из исходного 3D-изображения. Аналогично, выходной слой 749 нейронной сети 700 может быть выполнен с возможностью генерации соответствующего числа смежных синтетических изображений, которые могут быть собраны в синтетическое 3D-изображение. В некоторых вариантах осуществления исходное 3D-изображение может быть разбито на стеки исходных 2D-изображений. В некоторых вариантах осуществления стеки исходных изображений могут перекрываться. Например, первый стек может включать в себя с первого по третье изображения срезов, второй стек может включать в себя со второго по четвертое изображения срезов, и третий стек может включать в себя с третьего по пятое изображения срезов. Блок 440 преобразования изображения затем может быть выполнен с возможностью преобразования этих стеков исходных изображений в соответствующие стеки синтетических изображений. Например, когда стек изображений включает в себя три изображения, блок 440 преобразования изображения может быть выполнен с возможностью генерации также трех синтетических изображения, соответствующих каждому из трех исходных изображений в стеке. Стеки синтетических изображений также могут перекрываться в соответствии со стеком исходных изображений. В результате для данного среза в синтетических 3D-изображениях могут генерироваться несколько синтетических 2D-изображений. Эти несколько синтетических изображений могут подвергаться слиянию для получения одного синтетического изображения для среза. Могут использоваться различные правила для слияния. Например, несколько изображений могут быть усредняться, или могут использоваться медианные значения и т.д.

[0163] Фиг. 9B изображает примерную блок-схему последовательности операций, изображающую процесс 900B преобразования 3D-изображения, соответствующий раскрытым вариантам осуществления. В некоторых вариантах осуществления процесс 900B может выполняться блоком 440 преобразования изображения. Процесс 900B начинается с этапа 928, на котором блок 440 преобразования изображения выполнен с возможностью приема одного или более исходных 3D-изображений. Эти 3D-изображения могут приниматься из базы 420 данных изображений или из другого компонента системы 400 преобразования изображения. Эти 3D-изображения могут включать в себя изображения головы, туловища, брюшной полости, конечностей или любой другой анатомической области пациента, частично или полностью.

[0164] На этапе 930 блок 440 преобразования изображения может быть выполнен с возможностью выбора анатомической плоскости принятого исходного 3D-изображения. На этапе 932 блок 440 преобразования изображения может быть выполнен с возможностью генерации одного или более стеков исходных 2D-изображений на основании принятого 3D-изображения и выбранной плоскости. Например, блок 440 преобразования изображения может быть выполнен с возможностью выбора из трех анатомических плоскостей, включая аксиальную плоскость, сагиттальную плоскость и фронтальную плоскость. Блок 440 преобразования изображения может быть выполнен с возможностью генерации исходных 2D-изображений из принятого исходного 3D-изображения вдоль выбранной анатомической плоскости. В некоторых аспектах блок 440 преобразования изображения может быть выполнен с возможностью генерации последовательности отдельных исходных изображений или последовательности стеков исходных изображений.

[0165] На этапе 934 блок 440 преобразования изображения может быть выполнен с возможностью приема нейронной сети (например, нейронной сети 700). Принятая нейронная сеть может соответствовать выбранной анатомической плоскости. Например, принятая нейронная сеть могла быть обучена с помощью изображений (или стеков изображений) вдоль выбранной анатомической плоскости. Такие изображения (или стеки изображений) вдоль выбранной анатомической плоскости в совокупности могут содержать информацию о зависимых структурах для оси, ортогональной выбранной анатомической плоскости. Поскольку принятая нейронная сеть была обучена с использованием изображений вдоль выбранной анатомической плоскости, эта нейронная сеть может быть способна использовать эту информацию о зависимых структурах для повышения эффективности преобразования. Например, параметры или весовые коэффициенты принятой нейронной сети могут отражать эту информацию о зависимых структурах. В ответ на изменение выбранной анатомической плоскости (например, с сагиттальной на фронтальную) блок 440 преобразования изображения может быть выполнен с возможностью приема другой нейронной сети, соответствующей вновь выбранной анатомической плоскости. Например, блок 440 преобразования изображения может принять аксиальную нейронную сеть, фронтальную нейронную сеть или сагиттальную нейронную сеть в соответствии с выбранной плоскостью. Точно так же, как ранее принятая нейронная сеть была способна использовать информацию о зависимых структурах для оси, ортогональной ранее выбранной анатомической плоскости, для повышения эффективности преобразования, вновь принятая нейронная сеть может быть способна использовать информацию о зависимых структурах для оси, ортогональной вновь выбранной анатомической плоскости, для повышения эффективности преобразования. В некоторых вариантах осуществления блок 440 преобразования изображения может быть выполнен с возможностью приема нейронной сети, обученной с помощью изображений (или стеков изображений) вдоль нескольких плоскостей (например, нескольких анатомических плоскостей, так что стек может включать в себя фронтальные изображения, сагиттальные изображения; или стек может включать в себя аксиальные изображения и сагиттальные изображения и т.д.). Соответственно, блок 440 преобразования изображения может быть выполнен с возможностью использования этой нейронной сети для генерации синтетических изображений из исходных изображений вдоль любой выбранной анатомической плоскости или нескольких анатомических плоскостей.

[0166] На этапе 936 блок 440 преобразования изображения может быть выполнен с возможностью генерации соответствующих синтетических изображений или стеков синтетических изображений с использованием принятой нейронной сети. Как было описано выше, эффективность преобразования может быть повышена при использовании нейронных сетей, обученных с использованием изображений (или стеков изображений) вдоль конкретной анатомической плоскости, поскольку эти сети могут использовать информацию о зависимых структурах, соответствующих этой конкретной анатомической плоскости. Блок 440 преобразования изображения может повторять этап 936 до тех пор, пока все выбранные исходные изображения или выбранные стеки исходных изображений не будут преобразованы в синтетические изображения.

[0167] В некоторых вариантах осуществления блок 440 преобразования изображения может выполнять этап 930 после этапа 934. Например, обученная нейронная сеть, принятая блоком 440 преобразования изображения, может быть обучена с использованием исходных 2D-изображений вдоль нескольких плоскостей (например, всех трех плоскостей). В таком случае блок 440 преобразования изображения может быть выполнен с возможностью итеративно выбирать каждую из различных плоскостей и генерировать исходные 2D-изображения вдоль выбранной плоскости. Эти исходные 2D-изображения вдоль этих трех плоскостей могут независимо подаваться на вход нейронной сети 700 для генерации синтетических изображений вдоль соответствующих плоскостей. Например, аксиальные исходные 2D-изображения могут подаваться на вход нейронной сети 700, которая выводит аксиальные синтетические изображения. Сагиттальные исходные 2D-изображения могут подаваться на вход нейронной сети 700, результатом чего являются сагиттальные синтетические изображения. И наконец, фронтальные исходные 2D-изображения могут подаваться на вход нейронной сети 700, результатом чего являются фронтальные синтетические изображения. Альтернативно, исходные 2D-изображения всех трех плоскостей могут объединяться в одну последовательность (например, аксиальные исходные 2D-изображения, за которыми следуют сагиттальные исходные 2D-изображения, затем фронтальные исходные 2D-изображения) и подаваться на вход одной и той же нейронной сети 700, которая обучена с использованием изображений, уложенных в стек из трех плоскостей.

[0168] На этапе 938 блок 440 преобразования изображения может быть выполнен с возможностью объединения полученных синтетических 2D-изображений в синтетическое 3D-изображение. Такое объединение может включать в себя укладку в стек синтетических изображений вдоль оси, ортогональной выбранной плоскости, для получения синтетического 3D-изображения.

[0169] На этапе 940 блок 440 преобразования изображения может определить, были ли обработаны все плоскости исходного 3D-изображения. Например, блок 440 преобразования изображения может продолжать обработку каждой плоскости до тех пор, пока не будет обработан заранее заданный объем 3D-изображения. Альтернативно, блок 440 преобразования изображения может продолжать обработку до тех пор, пока не будет обработано заранее заданное число плоских 2D-изображений. Если все плоскости были обработаны согласно критериям, используемым на этапе 940, то процесс 900B переходит к этапу 942. Если не все плоскости были обработаны, блок 440 преобразования изображения может быть выполнен с возможностью возврата к этапу 930 и выбора другой плоскости изображения для обработки.

[0170] Поскольку синтетическое 3D-изображение каждой плоскости обеспечивает пиксельное значение для любого данного пикселя на 3D-изображении, каждый пиксель может иметь три различных пиксельных значения. Поэтому эти синтетические 3D-изображения могут быть объединены для определения конечного синтетического 3D-изображения. На этапе 942 блок 440 преобразования изображения может быть выполнен с возможностью определения конечного синтетического 3D-изображения. Блок 440 преобразования изображения может быть выполнен с возможностью определения конечного синтетического 3D-изображения путем объединения (например, известного в области техники как «слияние») синтетических 3D-изображений, соответствующих каждой выбранной плоскости (например, аксиальной, сагиттальной и фронтальной плоскостям). В некоторых вариантах осуществления значение воксела подвергнутого слиянию синтетического 3D-изображения может быть средним значением. Например, если три подвергнутых слиянию синтетических 3D-изображения имели КТ-значения 70, 80 и 30 соответственно, то воксел может иметь среднее КТ-значение, равное 60. В качестве другого примера может использоваться медианное значение воксела, например, 70 в приведенном выше примере. Могут использоваться другие способы объединения значений вокселов, и приведенный выше пример не является ограничивающим. Таким образом, информация о зависимых структурах, соответствующая каждой анатомической плоскости, может быть включена в конечное синтетическое 3D-изображение.

[0171] В настоящем описании описаны различные операции или функции, которые могут быть реализованы или заданы как программный код или инструкции. Такое содержание может быть непосредственно исполнимым («объектная» или «исполнимая» форма), исходным кодом или разностным кодом (кодом «корректировки» или «исправления»). Программные реализации вариантов осуществления, описанных в настоящем описании, могут быть обеспечены в виде изделия с кодом или инструкциями, сохраненными в нем, или посредством способа работы интерфейса связи для отправки данных через этот интерфейс связи.

[0172] Машина или машиночитаемый носитель данных могут включать в себя один или более невременных носителей данных (например, централизованную или распределенную базу данных и/или соответствующие кэши и серверы). Такая машина или машиночитаемый носитель данных могут хранить исполняемые компьютером инструкции или данные, которые могут заставлять машину выполнять описанные функции или операции. Такая машина или машиночитаемый носитель данных могут включать в себя любой механизм, который сохраняет информацию в форме, доступной для машины (например, вычислительного устройства, электронной системы и т.п.), такую как носитель с возможностью/без возможности записи (например, постоянную память (ROM), оперативную память (RAM), носитель данных на магнитных дисках, оптический носитель данных, устройства с флэш-памятью и т.п.). Например, подразумевается, что термин «машиночитаемый носитель данных» включает в себя, но не ограничивается только этим, твердотельную память, оптические и магнитные носители.

[0173] Интерфейс связи может включать в себя любой механизм, который взаимодействует с любым проводным, беспроводным, оптическим и носителем для осуществления связи с другим устройством, таким как интерфейс шины памяти, интерфейс процессорной шины, интернет-соединение, дисковый контроллер и т.п. Интерфейс связи может конфигурироваться путем обеспечения конфигурационных параметров и/или путем отправки сигналов для подготовки интерфейса связи для обеспечения сигнала данных, описывающего содержание программного обеспечения. Доступ к интерфейсу связи можно получить с помощью одной или более команд или сигналов, отправляемых интерфейсу связи.

Реферат

Группа изобретений относится к генерации синтетических изображений с помощью алгоритмов машинного обучения для использования в радиотерапии, а именно к системам и способам для генерации изображений компьютерной томографии (КТ) из изображений магнитно-резонансной томографии (МРТ) с использованием нейронных сетей. Осуществляемый компьютером способ генерации синтетического изображения анатомической части на основе исходного изображения анатомической части, полученного устройством визуализации с использованием первой модальности визуализации, содержит прием исходного изображения анатомической части, полученного устройством визуализации с использованием первой модальности визуализации, прием модели сверточной нейронной сети, обученной для прогнозирования синтетического изображения на основе исходного изображения и преобразование процессором исходного изображения в синтетическое изображение с помощью модели сверточной нейронной сети, причем синтетическое изображение является похожим на изображение анатомической части во второй модальности визуализации, при этом вторая модальность визуализации отличается от первой модальности визуализации. Система для генерации синтетического изображения анатомической части на основе исходного изображения анатомической части, полученного устройством визуализации с использованием первой модальности визуализации, содержит входной интерфейс, устройство хранения и процессор для обработки изображений. Невременный машиночитаемый носитель данных, содержит инструкции, которые, будучи исполняемыми процессором, заставляют процессор выполнять способ генерации синтетического изображения анатомической части на основе исходного изображения анатомической части, полученного устройством визуализации с использованием первой модальности визуализации. Использование группы изобретений позволяет расширить арсенал средств для генерации синтетических изображений КТ из других изображений, таких как изображения МРТ. 3 н. и 25 з.п. ф-лы, 9 ил.

Формула