Способ и система расположения двухмерных изображений - RU2593741C2

Чертежи

Показать все 33 чертежа(ей)

Описание

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу визуализации и моделирования зубного ряда пациента. В частности, настоящее изобретение относится к формированию трехмерной (3D) виртуальной модели зубного ряда пациента. Данный способ по меньшей мере частично является программно реализованным.

Уровень техники

Визуализация и моделирование или проектирование зубов известны в области зубного протезирования.

При необходимости установки пациенту стоматологического протеза, такого как коронка, мост, опорная головка или имплантат, осуществляется препарирование зуба, например посредством стачивания до состояния, при котором на него может быть приклеена коронка. Другим способом зубопротезирования является вставка в челюсть пациента имплантатов, например титановых винтов, и установка на них коронок или мостов. После препарирования зубов или вставки имплантата может быть сделан отпечаток верхней челюсти, нижней челюсти и может быть осуществлена регистрация прикуса или может быть сделан единый отпечаток при помощи двухсторонней оттискной ложки. Отпечатки передаются зубным техникам для изготовления стоматологических протезов, например моста. На первом этапе изготовления протеза на основе отпечатков верхней и нижней челюстей обычно отливаются верхняя и нижняя зубные модели соответственно. Как правило, для имитационного моделирования реального прикуса и жевательных движений модели изготавливаются из гипса и выравниваются в артикуляторе согласно данным регистрации прикуса. Для моделирования эстетичного внешнего вида зубного ряда и обеспечения функциональности прикуса протез встраивается в артикулятор.

Технология автоматизированного производства стоматологических протезов стремительно развивается и позволяет улучшить качество, уменьшить расходы и расширить возможности изготовления необходимых продуктов, не доступных для производства иными средствами. На первой стадии технологического процесса автоматизированного проектирования создается виртуальная трехмерная (здесь и далее для обозначения парадигмы слова «трехмерный» также используется аббревиатура «3D», от англ. 3-dimensional - трехмерный) модель зубов пациента. Для этого обычно используется 3D-сканирование одной или обеих гипсовых зубных моделей. 3D-копии зубов импортируются в программу системы автоматизированного проектирования (САПР), в которой создается окончательная виртуальная 3D-модель стоматологических протезов, например мост. Далее, изготавливается окончательная физическая 3D-модель стоматологических протезов, например на фрезерном станке, 3D-принтере, оборудовании для быстрого прототипирования или другом производственном оборудовании. Изготовление стоматологических протезов характеризуется очень жесткими требованиями к точности их исполнения для обеспечения внешней привлекательности, достижения точного соответствия протеза замещаемому зубу, а также предотвращения болевых ощущений и инфекционных заболеваний.

В документе WO 10031404 A описано изобретение, относящееся к инструментам в системе проектирования индивидуализированных трехмерных моделей стоматологических протезов для их последующего изготовления, причем к стоматологическим протезам относятся опорные головки, колпачки, коронки, восковые модели, мостовые конструкции. Кроме того, изобретение относится к компьютерному носителю информации для реализации такой системы на компьютере.

Визуализация и моделирование зубов пациента также известны из области ортодонтии.

В документе US 2D06127836 A описаны ортодонтические системы и способы определения перемещения зубной модели из первой позиции во вторую позицию путем идентификации одного или нескольких общих признаков на зубной модели; обнаружения положения общих признаков на зубной модели в первой позиции; обнаружения положения общих признаков на зубной модели во второй позиции; и определения разницы между положениями каждого общего признака в первой и второй позициях.

Таким образом, ортодонтия занимается исправлением положения зубов, при котором определяется желаемая позиция зуба или зубов, и на основе текущего положения этого зуба или этих зубов рассчитывается корректирующее перемещение из текущего положения в желаемое положение. Следовательно, в рамках ортодонтических процедур желаемое или конечное положение зуба или зубов известно до планирования манипуляций по перемещению зуба или зубов.

Создание усовершенствованного способа и системы, обеспечивающих эстетичный внешний вид и/или физиологически удовлетворительные результаты при моделировании зубов и применимых в областях зубопротезирования, имплантации, ортодонтии и др., является актуальной задачей.

Раскрытие изобретения

Предложен способ проектирования стоматологического протеза для пациента, состоящий в следующем:

- получение одного или нескольких двухмерных (здесь и далее для обозначения парадигмы слова «двухмерный» также используется аббревиатура «2D», от англ. 2-dimensional - двухмерный) изображений, по меньшей мере одно из которых содержит часть лица;

- получение виртуальной 3D-модели по меньшей мере части ротовой полости пациента;

- расположение по меньшей мере одного из 2D-изображений относительно виртуальной 3D-модели в виртуальном трехмерном пространстве таким образом, что 2D-изображение и виртуальная 3D-модель визуализированы в трехмерном пространстве и выровнены при рассмотрении из точки обзора; и

- моделирование стоматологического протеза по виртуальной 3D-модели, причем данный протез соответствует части лица, имеющейся на одном или нескольких 2D-изображениях.

Используемые в данном документе слова «проектирование» и «моделирование» (с учетом их парадигм) являются взаимозаменяемыми и обозначают манипуляции, производимые с протезом для приведения его в соответствие индивидуальным особенностям пациента. Пользователь, например зубной техник, может осуществлять цифровое проектирование или моделирование стоматологического протеза по виртуальной 3D-модели.

Преимущество настоящего изобретения состоит в том, что трехмерное моделирование виртуальной 3D-модели средствами САПР основывается на цифровом 2D-изображении, при этом 2D-изображение задает или определяет подходящий вид моделирования, причем слово «подходящий» (с учетом его парадигмы) может обозначать соответствие в психологическом аспекте, с позиции эстетичности или с точки зрения внешней привлекательности. Таким образом, 2D-изображение используется для осуществления корректного проектирования 3D-модели, при этом 2D-изображение выполняет функции отправной точки или критерия, которые обуславливают возможный вид моделирования и возможный порядок моделирования в рамках, устанавливаемых 2D-изображением. Таким образом, решение о проектировании виртуальной 3D-модели принимается на основе одного или нескольких 2D-изображений, равно как и сам процесс ее проектирования осуществляется на основе одного или нескольких 2D-изображений, то есть проектирование виртуальной 3D-модели основывается на визуализации 2D-изображения.

В ротовой полости пациента может находиться по меньшей мере его исходный зубной ряд, в том числе препарированные зубы и непрепарированные зубы, а также, возможно, десны. Если у пациента отсутствуют зубы, в его ротовой полости могут находиться только десны.

2D-изображение(я) может(гут) представлять собой цифровое(ые) изображение(ия). Используемые в данном документе словосочетания «цифровое 2D-изображение» и «2D-изображение», а также «цифровое двухмерное изображение» и «двухмерное изображение» (с учетом парадигм слов) являются взаимозаменяемыми.

Преимущество настоящего изобретения состоит в том, что манипуляции могут производиться с одним или несколькими 2D-изображениями. При наличии нескольких 2D-изображений одно из них может использоваться для выравнивания относительно виртуальной 3D-модели, а другое может использоваться для проектирования протеза. Кроме того, даже при наличии нескольких 2D-изображений одно и то же 2D-изображение может использоваться как для выравнивания, так и для проектирования протеза. Остальные 2D-изображения при этом могут использоваться только для визуализации и графического представления модели и т.п. При наличии только одного 2D-изображения оно используется как для выравнивания с виртуальной 3D-моделью, так и для проектирования стоматологического протеза.

Таким образом, 2D-изображение, содержащее части лица, может быть обозначено как первое 2D-изображение, а 2D-изображение, используемое для выравнивания относительно виртуальной 3D-модели, может быть обозначено как второе 2D-изображение. При наличии только одного 2D-изображения первое 2D-изображение совпадает со вторым 2D-изображением. При наличии нескольких 2D-изображений первое 2D-изображение может совпадать со вторым 2D-изображением, но также в качестве первого и второго 2D-изображений могут использоваться два различных 2D-изображения.

Протез может изготавливаться различными средствами, например путем фрезерования, печати и т.д. После механообработки протезы могут винироваться, например путем установки керамических пластинок на их поверхность. После окончания изготовления протеза он может быть установлен во рту пациента.

Преимущество настоящего изобретения состоит в том, что 2D-изображение и виртуальная 3D-модель выравниваются при рассмотрении из одной точки обзора, при этом пользователь или оператор системы, осуществляющий данный способ, может видеть из определенной точки обзора выровненные 2D-изображение и 3D-модель, что упрощает процесс проектирования 3D-модели на основе 2D-изображения и делает его более удобным. Выравнивание 2D-изображения и 3D-модели при рассмотрении из точки обзора обозначает, что одна или несколько структур 2D-изображения и 3D-модели при рассмотрении из определенной точки обзора совпадают. Таким образом, 2D-изображение и 3D-модель могут быть не выровненными при рассмотрении из разных точек обзора, при этом может существовать единственная точка обзора, при рассмотрении из которой 2D-изображения и 3D-модели выровнены.

Кроме того, преимущество настоящего изобретения состоит в том, что при расположении 2D-изображения и 3D-модели они остаются независимыми блоками представляемых данных, которые не сливаются и не смешиваются друг с другом при визуализации. Сохранение независимости блоков представляемых данных позволяет сэкономить время, уменьшить время обработки и высвободить вычислительные ресурсы. Таким образом, 2D-изображение не накладывается на виртуальную 3D-модель, и не происходит слияния представляемых данных в один блок. В известных изобретениях описывается, например, добавление к 3D-модели данных цветного изображения, при этом данные о цвете изображения переносятся на 3D-модель, в результате чего формируется единый блок представляемых данных, то есть цветная 3D-модель. Создание таких моделей требует больше времени и значительных вычислительных затрат на обработку данных.

Таким образом, преимущество настоящего способа состоит в большем быстродействии по сравнению с известными способами соответствующего уровня техники.

Данный способ может применяться при фактическом моделировании зубов, а также может широко использоваться при обучении студентов учебных заведений стоматологического отделения, изучающих теоретические и прикладные аспекты технологии моделирования зубов.

Проектирование зубов представляет собой моделирование одного или нескольких стоматологических протезов, моделирование одного или нескольких имплантатов, моделирование ортодонтических перемещений по исправлению положения одного или нескольких зубов, моделирование одного или нескольких зубов в искусственной челюсти, например в постоянной или съемной зубной челюсти, для создания эстетичного внешнего вида зубного ряда и т.п.

Таким образом, проектирование зубов может заключаться в моделировании стоматологических протезов, в ортодонтическом проектировании и/или в ортодонтических манипуляциях, в моделировании имплантатов, в моделировании искусственных челюстей и т.п. Если при проектировании средствами САПР моделируются, например, стоматологические протезы, то виртуально моделируемые стоматологические протезы, скажем коронки и мосты, могут быть изготовлены средствами автоматизированного производства, после чего полученные стоматологические протезы могут быть установлены зубным врачом в ротовой полости пациента.

Расположение, размещение и позиционирование цифрового 2D-изображения на виртуальной 3D-модели выполняется в цифровом виде на компьютере и отображается средствами цифрового интерфейса пользователя, например на экране, при этом пользователь или оператор получает визуальное представление 2D-изображения и 3D-модели в одном поле зрения с возможностью осуществления последующего моделирования при одновременном отображении 2D-изображения и 3D-модели, а не при раздельном или совмещенном отображении 2D-изображения и/или 3D-модели.

Для удобства расположения 2D-изображения и 3D-модели относительно друг друга может выполняться обнаружение контуров, при котором автоматически регистрируются контуры зубов на 2D-изображении и/или на 3D-модели. Обнаружение контуров может осуществляться логическими программными средствами. Контуром является совокупность точек на границе между двумя областями изображения, таким образом, контур может быть определен как множество точек на изображении, характеризующееся резким переходом или резким изменением интенсивности цвета. Таким образом, контур зубов может быть распознан по резкому переходу между фрагментами изображения, представляющими зубы и десны.

В рамках раскрываемого способа манипуляции могут совершаться с одним или несколькими 2D-изображениями, причем 2D-изображения могут показывать лицо пациента с различных точек просмотра; показывать части лица пациента, например губы, глаза или нос, для определения линий лица; показывать различные варианты новых зубов, на которые внешне могут быть похожи зубы 3D-модели, показывать зубы пациента до их препарирования с целью формирования стоматологических протезов и после их препарирования; и т.п.

В некоторых вариантах осуществления изобретения стоматологический протез проектируется на одном или нескольких препарированных зубах в виртуальной 3D-модели.

В некоторых вариантах осуществления изобретения 2D-изображение и 3D-модель выравниваются по одному или нескольким непрепарированным зубам.

В некоторых вариантах осуществления изобретения препарированный зуб в виртуальной 3D-модели является результатом физического препарирования зуба пациента.

В некоторых вариантах осуществления изобретения препарированный зуб в виртуальной 3D-модели является результатом виртуального препарирования зуба, смоделированного по виртуальной 3D-модели.

В некоторых вариантах осуществления изобретения виртуальная 3D-модель содержит один или несколько препарированных зубов.

В некоторых вариантах осуществления изобретения виртуальная 3D-модель не содержит препарированных зубов и представляет собой виртуальную 3D-модель ротовой полости пациента до препарирования одного или нескольких зубов.

В некоторых вариантах осуществления изобретения способ включает создание двух виртуальных 3D-моделей, причем первая из этих моделей содержит один или несколько препарированных зубов, а вторая не содержит препарированных зубов, при этом первая и вторая виртуальные 3D-модели выровнены.

В некоторых вариантах осуществления изобретения 2D-изображение и вторая виртуальная 3D-модель, не содержащая препарированных зубов, выровнены.

В некоторых вариантах осуществления изобретения 2D-изображение и первая виртуальная 3D-модель, содержащая один или несколько препарированных зубов, выровнены на основе выравнивания первой и второй виртуальных 3D-моделей и на основе выравнивания 2D-изображения и второй виртуальной 3D-модели.

При выравнивании 2D-изображения и 3D-модели 2D-изображение может представлять собой двухмерное изображение непрепарированного зуба пациента, так как 2D-изображение и 3D-модель проще выровнять, если зубы на 2D-изображении не препарированы. При моделировании стоматологического протеза, например новых зубов на 3D-модели, 2D-изображение может представлять собой двухмерное изображение препарированных зубов пациента, при этом стоматологические протезы обычно моделируются после препарирования зубов путем удаления части зубов с целью установки коронок и т.п. на препарированные части зубов.

2D-изображение препарированных зубов может выравниваться по 2D-изображению непрепарированных зубов до проектирования/моделирования стоматологического протеза на 3D-модели на основе 2D-изображения с препарированными зубами, при этом выравнивание 2D-изображения препарированных или непрепарированных зубов, например с использованием губ и других частей лица или зубов, может быть проще осуществимо, нежели выравнивание 2D-изображения препарированных зубов по 3D-модели, так как в этом случае поиск соответствующих частей на них может представлять трудность.

Однако настоящий способ также может применяться до препарирования зуба или зубов, например чтобы показать пациенту, как может выглядеть его зубной ряд после установки стоматологического протеза на один или несколько зубов.

Способ может применяться при проектировании диагностической восковой модели с целью визуализации конечного стоматологического протеза до выполнения ее непосредственной обработки.

При проектировании диагностической восковой модели могут быть сформированы виртуальная краевая линия и виртуальный препарированный зуб даже при отсутствии фактически препарированного зуба.

Способ может применяться для проектирования временной конструкции, которую пациент может носить по завершении процедуры препарирования зуба и до момента изготовления и установки конечного стоматологического протеза на препарированный зуб.

Стоматологический протез может проектироваться, например автоматически, путем выбора зуба на 2D-изображении, скажем в положении установки стоматологического протеза или другого зуба, соответствующего эстетическим предпочтениям. На 2D-изображении выбранный зуб виден только из одной точки обзора, при этом могут быть видны только его передняя сторона, ширина и высота. Таким образом, обратная сторона зуба не видна. Типичная модель зуба может выбираться из библиотеки, причем эта модель зуба может иметь форму, совпадающую с формой выбранного зуба на 2D-изображении. Модели зуба или стоматологическому протезу может придаваться форма, совпадающая с формой выбранного зуба на поверхностях, видимых на 2D-изображении. Оставшейся части модели зуба или стоматологического протеза может придаваться форма, соответствующая стандартной форме зуба, находящегося в соответствующем месте ротовой полости. Например, обратная сторона или дистальная поверхность центрального резца, как правило, может быть плоской, в то время как дистальная поверхность клыка, как правило, может иметь треугольную форму, а дистальная поверхность моляра, как правило, может внешне походить на мезиальную поверхность зуба. Кроме того, для конфигурирования поверхностей стоматологических протезов, данные о которых не могут быть получены по 2D-изображению, может использоваться дистальная поверхность соседних зубов или соответствующих зубов на другой стороне относительно средней линии рта. Стоматологический протез может проектироваться по виртуальной 3D-модели, а часть стоматологического протеза, контактирующая, например с препарированным зубом, при автоматическом проектировании может соответствовать форме препарированного зуба.

Стоматологический протез может представлять собой коронку, мост, опорную головку, имплантат, искусственную челюсть, например постоянную или съемную искусственную челюсть, полную искусственную челюсть или частичную искусственную челюсть, диагностическую восковую модель, временную конструкцию и т.д.

Проектирование стоматологического протеза может представлять собой проектирование по меньшей мере части препарированного зуба, проектирование по меньшей мере части десны, окружающей препарированный зуб во рту пациента, и т.п.

Преимущество настоящего изобретения состоит в том, что стоматологический протез проектируется с учетом соответствия части лица, приведенной на одном или нескольких 2D-изображениях, при этом стоматологический протез выглядит внешне естественно и/или эстетично, например симметрично. Правила проектирования зубов, математические и алгоритмические правила и/или правила придания эстетического вида могут быть занесены в программные средства или использованы программными средствами или способом проектирования стоматологического протеза, чтобы он соответствовал частям лица, причем на основе этих правил стоматологический протез может проектироваться, например отчасти автоматически. Зубной врач или зубной техник могут использовать свой опыт в сфере эстетической стоматологии и свои знания о соответствующих технологиях, а также могут пользоваться правилами проектирования и определения соответствия стоматологического протеза части лица пациента по изображению пациента, или по шаблонному изображению лица, или по стандартному изображению лица.

Проектирование стоматологического протеза с учетом его соответствия частям лица на 2D-изображении может основываться на самых общих правилах проектирования стоматологических протезов. Однако проектирование стоматологического протеза с учетом его соответствия частям лица на 2D-изображении в ином случае и/или дополнительно может основываться на субъективном мнении и обуславливаться субъективным выбором зубного техника или зубного врача.

В некоторых вариантах осуществления изобретения части лица имеются на изображении пациента и/или на типовом изображении человека.

В некоторых вариантах осуществления изобретения частью лица являются одна или обе губы, один или несколько зубов и/или форма и/или размер лица.

В некоторых вариантах осуществления изобретения части лица содержат одну или несколько воображаемых линий лица, предназначенных для распознавания на 2D-изображении, например среднюю линию, горизонтальную линию и/или зрачковую линию.

Если 2D-изображение представляет собой по меньшей мере часть лица пациента, то части лица, используемые для проектирования стоматологического протеза, могут представлять собой губы пациента, линию улыбки на лице пациента, линии симметрии на лице пациента, среднюю линию лица пациента, горизонтальную линию лица пациента, передние зубы пациента и т.д. Таким образом, стоматологический протез может проектироваться с учетом соответствия губам пациента, соответствия линии улыбки пациента, соответствия передним зубам пациента и т.д.

Если 2D-изображение является, например, рисунком или шаблонным изображением человека, то частями лица, используемыми для проектирования стоматологического протеза, могут являться линии симметрии шаблона лица, формы и размеры зубов на шаблоне лице.

При проектировании стоматологического протеза с учетом его соответствия частям лица между краем верхней губы и режущим краем передних зубов, например центральных резцов, при естественной улыбке пациента может иметься определенное расстояние; и/или некоторая часть центральных резцов может быть видна при улыбке.

Кроме того, при проектировании стоматологического протеза с учетом его соответствия частям лица может приниматься во внимание форма лица пациента, пол пациента, фенотипические черты пациента, например связанные с его принадлежностью к монголоидной расе, негроидной расе, европеоидной расе и т.п. Например, для представителей монголоидной расы характерны более мелкие зубы; мужчины, как правило, имеют более крупные зубы, нежели женщины; зубы овальной формы обычно соответствуют овальному лицу и т.д.

Кроме того, если у одного пациента имеется неширокая зубная дуга или челюсть, то расстояние между клыками обычно меньше, и, следовательно, передние зубы должны быть уже, нежели у другого пациента, имеющего широкую зубную дугу и большее расстоянием между клыками.

В некоторых вариантах осуществления изобретения стоматологический протез представляет собой коронку, мост, опорную головку, имплантат, искусственную челюсть, диагностическую восковую модель и/или временную конструкцию.

В некоторых вариантах осуществления изобретения при проектировании стоматологического протеза автоматически обеспечивается его соответствие частям лица по меньшей мере одного цифрового 2D-изображения.

В некоторых вариантах осуществления изобретения стоматологический протез проектируется путем выбора зуба на 2D-изображении и моделирования стоматологического протеза, форма которого совпадает с формой выбранного зуба.

В некоторых вариантах осуществления изобретения виртуальная 3D-модель формируется путем сканирования физической модели зубов пациента, путем сканирования отпечатка зубов пациента и/или путем непосредственного сканирования зубов пациента. Если у пациента отсутствуют зубы, для формирования 3D-модели ротовой полости могут сканироваться десны, модель или отпечаток десен.

При 3D-сканировании производится анализ объекта и сбор данных о его форме. Полученные данные затем могут использоваться для создания цифровых трехмерных моделей. При 3D-сканировании обычно формируется облако точек геометрических участков на поверхности объекта. Далее по этим точкам может экстраполироваться форма объекта.

В некоторых вариантах осуществления изобретения одно или несколько цифровых 2D-изображений содержит индивидуализированное изображение по меньшей мере части лица пациента.

Преимущество настоящего изобретения состоит в том, что моделирование может основываться на изображении пациента, при этом моделирование может выполняться с учетом частей лица, влияющих на внешний вид или наружность пациента, или с учетом некоторых, одного или нескольких, специфических частей лица пациента, например губ.

В некоторых вариантах осуществления изобретения одно или несколько цифровых 2D-изображений содержат типовое изображение по меньшей мере части лица человека.

Преимущество настоящего изобретения состоит в том, что моделирование может основываться на шаблонном изображении, то есть параметры моделирования обуславливаются не индивидуальными особенностями лица пациента, а параметрами шаблонного изображения, например частями лица могут являться некоторые визуально привлекательные зубы другого человека или частью лица может являться рисунок неких идеальных зубов и т.п.

В некоторых вариантах осуществления изобретения одно или несколько цифровых 2D-изображений получаются из библиотеки, содержащей множество изображений зубов.

Преимущество настоящего изобретения состоит в том, что 2D-изображение, например шаблонное изображение, может быть выбрано из библиотеки, содержащей допустим несколько изображений зубов, при этом пациент может, например, выбрать из этой библиотеки желаемый зубной ряд. Данная библиотека также может представлять собой так называемую библиотеку улыбок, содержащую изображения зубов и/или ртов с улыбками, так как визуально привлекательные зубы могут являться важнейшей частью улыбки, и при улыбке обнажается большинство зубов.

Изображения зубов в указанной библиотеке могут представлять собой фотографии зубов, рисунки зубов и т.п., таким образом, части лица при этом являются зубами.

В некоторых вариантах осуществления изобретения 2D-изображение содержит крест для визуализации симметричных зон, который может потребоваться для проектирования стоматологического протеза.

В некоторых вариантах осуществления изобретения одно или несколько 2D-изображений являются шаблоном, служащим вспомогательным средством при проектировании зубов пациента.

Преимущество настоящего изобретения состоит в том, что если 2D-изображение является шаблоном, то с его помощью оператор может располагать и моделировать зубы с целью получения визуально привлекательных результатов моделирования. Таким образом, шаблон может содержать части лица в виде направляющих линий, заготовок для расположения зубов и т.д.

Части лица в виде воображаемых линий, например средней линии, горизонтальной линии, зрачковой линии и т.п., могут использоваться для определения будущего внешнего вида восстанавливаемого зуба, то есть части лица, например линии, могут применяться для проектирования стоматологического(их) протеза(ов).

В некоторых вариантах осуществления изобретения шаблон содержит часть лица в виде средней линии лица.

В некоторых вариантах осуществления изобретения шаблон содержит часть лица в виде горизонтальной линии, проходящей вдоль передних зубов.

В некоторых вариантах осуществления изобретения шаблон содержит часть лица в виде окклюзионной плоскости лица.

Преимущество вариантов осуществления изобретения, в которых шаблон содержит некоторые части лица, например среднюю линию лица, горизонтальную линию, окклюзионную плоскость и т.д., состоит в том, что эти части могут использоваться в качестве вспомогательных средств как при расположении 2D-изображения и 3D-модели относительно друг друга, так и при моделировании стоматологического протеза по 3D-модели.

В некоторых вариантах осуществления изобретения шаблон содержит часть лица в виде прямоугольников, соответствующих центральным резцам, боковым резцам и клыкам.

Преимущество такого варианта осуществления изобретения состоит в том, что упрощается моделирование стоматологических протезов различных передних зубов с целью придания им привлекательного внешнего вида. Например, длина боковых резцов может составлять предпочтительно 2/3 от длины центральных резцов, а клыки могут быть предпочтительно несколько уже центральных резцов.

В некоторых вариантах осуществления изобретения шаблон содержит часть лица в виде одной или нескольких продольных осей передних зубов.

Преимущество такого варианта осуществления изобретения состоит в том, что продольные оси могут использоваться в качестве вспомогательных средств для проектирования стоматологического протеза и обозначения расположения зубов и/или вертикального направления зубов.

В некоторых вариантах осуществления изобретения часть лица в виде продольных осей по меньшей мере верхних передних зубов сходится к режущему краю или кромке резцов.

Преимущество этого варианта осуществления изобретения состоит в том, что схождение продольных осей по меньшей мере верхних передних зубов к режущему краю способствует визуальной привлекательности зубов.

В некоторых вариантах осуществления изобретения шаблон содержит часть лица в виде контура зубов.

В некоторых вариантах осуществления изобретения указанный контур соответствует виду спереди одного или нескольких зубов.

Преимущество варианта осуществления изобретения в отношении указанного контура зубов состоит в том, что использование визуально привлекательного контура некоторых подходящих зубов способствует простоте и легкости моделирования восстанавливаемых зубов по 3D-модели.

В некоторых вариантах осуществления изобретения шаблон содержит часть лица в виде кривой.

Преимущество этого варианта осуществления изобретения состоит в том, что при помощи указанной кривой могут быть измерены и просмотрены расстояния и углы. Например, расстояние может измеряться от центра кривой, и в одном из вариантов оператор может измерить расстояние в миллиметрах от определенной точки на кривой, и на этом расстоянии может быть размещен некий объект, скажем точка на дистальной поверхности бокового резца. Кроме того, указанная кривая может являться кривой симметрии для обеспечения симметричности моделируемого восстанавливаемого зуба.

В некоторых вариантах осуществления изобретения часть лица в виде кривой содержит дугу, повторяющую линию верхних и/или нижних передних зубов, при рассмотрении их спереди и сверху.

В некоторых вариантах осуществления изобретения часть лица в виде кривой содержит линию улыбки, повторяющую линию нижней губы при естественной улыбке и режущие края верхних зубов.

В некоторых вариантах осуществления изобретения шаблон содержит часть лица в виде одной или нескольких кривых, обозначающих положение ткани десны.

Преимущество этих вариантов осуществления изобретения в отношении кривых одного или нескольких зубов и/или рта и губ состоит в том, что использование некоторых видов кривой(ых) может способствовать простоте и легкости моделирования восстанавливаемых зубов по 3D-модели.

В некоторых вариантах осуществления изобретения на одном или нескольких цифровых 2D-изображениях приведено по меньшей мере некоторое количество передних зубов.

Преимущество настоящего изобретения состоит в том, что наличие части лица в виде передних зубов может являться удобной отправной точкой при моделировании других восстанавливаемых зубов.

В некоторых вариантах осуществления изобретения одно или несколько цифровых 2D-изображений представляют собой фотографию по меньшей мере части лица в виде губ пациента и фронтального изображения зубов.

Преимущество этого варианта осуществления изобретения состоит в том, что при наличии на 2D-изображении губ и имеющихся зубов пациента моделирование восстанавливаемых зубов может осуществляться с учетом внешнего вида губ и необрабатываемых зубов пациента, за счет чего обеспечивается визуально привлекательный результат моделирования.

В некоторых вариантах осуществления изобретения способ далее включает виртуальное удаление по меньшей мере части зубов на одном или нескольких цифровых 2D-изображениях, на которых содержатся зубы, причем по меньшей мере губы на цифровых 2D-изображениях остаются видны.

Преимущество этого варианта осуществления изобретения состоит в том, что когда на 2D-изображении видны губы, а также видны или не видны некоторые зубы, упрощаются визуализация моделируемых восстанавливаемых зубов по 3D-модели с губами пациента и оценка адекватности результатов моделирования восстанавливаемых зубов. Удаление зубов с 2D-изображения может осуществляться в цифровом виде или виртуально, при этом информация о зубах на 2D-изображении удаляется, стирается, делается невидимой и т.п.

Если между зубами имеются свободные пространства, например между верхними и нижними зубами на 2D-изображении, это свободное пространство также может быть удалено с 2D-изображения, при этом удаляется все, что находится в области, ограниченной краем губ, и в этой области становится видна 3D-модель. Предпочтительно, что сами губы не удаляются, так как их присутствие при проектировании восстанавливаемых зубов желательно для внешнего соответствия восстанавливаемых зубов губам пациента, типовым губам, шаблону губ, модели губ на шаблонном 2D-изображении.

Виртуальное удаление зубов с 2D-изображения может осуществляться путем сегментирования на нем губ и зубов. Сегментирование может осуществляться зубным техником путем ручной обводки краев или линий губ и/или зубов при помощи цифрового средства для рисования. Сегментирование также может осуществляться на основе анализа цветового контраста на 2D-изображении с учетом того, что зубы обычно имеют желтый, белый или серый цвет, а губы обычно имеют красный, розовый или телесный цвет. Сегментирование также может осуществляться путем задания одной или нескольких моделей губ или моделей зубов с последующим поиском по 2D-изображению частей, подходящих моделям губ и/или моделям зубов.

Край губ может быть обозначен средствами обработки изображения, цифровыми средствами для рисования, например ручными инструментами, полуавтоматическими инструментами, полностью автоматическими инструментами, стандартными средствами обработки изображения, сочетанием различных средств для рисования и т.д.

Одно из 2D-изображений может представлять собой 2D-изображение пациента, на котором за губами видны зубы, например видно максимально возможное количество зубов, скажем на изображении пациента с естественной улыбкой.

Преимущество настоящего изобретения может состоять в том, что имеющиеся зубы пациента могут быть видны на 2D-изображении, что может быть использовано при проектировании стоматологического протеза. В частности, может быть использована информация о том, как выглядят имеющиеся у пациента зубы и губы или как они расположены относительно друг друга при улыбке.

Другое из 2D-изображений может представлять собой 2D-изображение пациента, на котором не видно зубов, и губы, например, сомкнуты.

В некоторых вариантах осуществления изобретения 3D-модель видна за губами.

Преимущество этого варианта осуществления изобретения состоит в том, что 3D-модель может быть видна за губами, таким образом при моделировании восстанавливаемых зубов могут быть видны губы, что способствует лучшему контролю процесса моделирования.

В некоторых вариантах осуществления изобретения способ включает удаление части 2D-изображения, находящегося в области, ограниченной краем губ.

В некоторых вариантах осуществления изобретения область, ограниченная краем губ, обозначается на 2D-изображении.

В некоторых вариантах осуществления изобретения область, ограниченная краем губ, обозначается вручную при помощи цифровых средств для рисования.

В некоторых вариантах осуществления изобретения область, ограниченная краем губ, обозначается цифровой кривой сплайна.

В некоторых вариантах осуществления изобретения область, ограниченная краем губ, обозначается полуавтоматическими средствами для рисования.

Если необходимо, чтобы присутствовали или были видимыми одновременно часть 2D-изображения и часть виртуальной 3D-модели, для просмотра могут быть выбраны, например, пиксели, относящиеся к губам на 2D-изображении, и пиксели, относящиеся к зубам на виртуальной 3D-модели, при этом 2D-изображение и виртуальная 3D-модель могут быть скомбинированы для просмотра.

Альтернативный способ удаления зубов на 2D-изображении состоит в том, что они могут быть сделаны невидимыми, при этом вместо них могут быть видны зубы на 3D-модели. Невидимость зубов на 2D-изображении аналогична результату удаления этих зубов, причем зубы могут быть сделаны невидимыми, например, путем выбора нескольких пикселей для просмотра, при том, что другие пиксели остаются недоступными для просмотра.

В некоторых вариантах осуществления изобретения на одном или нескольких цифровых 2D-изображениях приведено лицо пациента, причем части лица в виде линий лица, таких как средняя линия и зрачковая линия, могут быть распознаны.

Преимущество этого варианта осуществления изобретения состоит в том, что линии лица задают геометрические параметры лица пациента, и чтобы результат моделирования характеризовался привлекательным внешним видом, зубы должны соответствовать всем этим геометрическим параметрам.

В некоторых вариантах осуществления изобретения одно или несколько цифровых 2D-изображений могут представлять собой рентгеновский снимок зубов пациента.

Преимущество этого варианта осуществления изобретения состоит в том, что при использовании или применении рентгеновского снимка зубов пациента зубы могут просматриваться целиком, включая корни, находящиеся в десне, и при этом могут быть обнаружены поврежденные или слабые зубы или корни. Например, таким образом может рассчитываться необходимое и достаточное усилие для установки имплантатов на неповрежденные или крепкие зубы и корни, а не на поврежденные и слабые зубы и корни.

В некоторых вариантах осуществления изобретения способ далее включает создание снимка лица пациента, полученного в результате компьютерной 3D-томографии, для упрощения процесса выравнивания одного или нескольких 2D-изображений и 3D-модели и/или для проектирования виртуальной 3D-модели.

В некоторых вариантах осуществления изобретения одно или несколько цифровых 2D-изображений представляют собой стоп-кадр видеозаписи.

В некоторых вариантах осуществления изобретения одно или несколько цифровых 2D-изображений представляют собой снимок, сформированный в результате 3D-сканирования лица.

Снимок, сформированный в результате 3D-сканирования лица, при отображении на экране может быть просмотрен из некоей точки, на основе чего может быть получена его определенная двухмерная проекция. Таким образом, 2D-изображение может быть получено по двухмерной проекции снимка, сформированного в результате 3D-сканирования лица.

В некоторых вариантах осуществления изобретения способ далее включает получение снимка пациента, сформированного в результате 3D-сканирования лица, для упрощения процесса выравнивания одного или нескольких 2D-изображений и 3D-модели и/или для проектирования виртуальной 3D-модели.

Снимок, сформированный в результате 3D-сканирования лица, может быть получен путем особого расположения и/или комбинирования нескольких снимков лица меньшего размера, например снимков, сделанных с разных углов.

Кроме того, как минимум несколько таких снимков меньшего размера могут частично накладываться друг на друга.

Снимок лица также может содержать текстуру, например текстуру типа «плетение», причем для получения текстуры на снимке, сформированном в результате 3D-сканирования лица, или 3D-модели как минимум часть текстур меньшего размера как минимум части снимков меньшего размера могут характеризоваться отрегулированной цветностью и/или цветовой интерполяцией.

При сканировании лица пациента по меньшей мере часть волос пациента может быть обработана отражающим порошком.

Кроме того, для визуальной аппроксимации корпуса из множества снимков меньшего размера могут быть извлечены и последовательно наложены друг на друга несколько контуров.

Текстура, например цвет, на 2D-изображении или снимке лица может быть перенесена на виртуальную 3D-модель и/или перенесена на стоматологический протез.

Если стоматологический протез подобен исходному восстанавливаемому зубу, использование текстуры, например цвета на 2D-изображении, может являться преимуществом. Но если стоматологический протез не подобен исходному зубу или исходный зуб отсутствует, текстура, например цвет на 2D-изображении, не может быть перенесена на стоматологический протез.

При проектировании стоматологического протеза перенос текстуры, например цвета, с 2D-изображения на виртуальную 3D-модель и/или стоматологический протез может являться преимуществом, так как может, скажем, способствовать заданию цвета стоматологического протеза и/или других текстурных характеристик стоматологического протеза.

Зубы и ткани, например ткань десны, на 3D-модели могут быть по меньшей мере частично сегментированы. Сегментирование может быть выполнено при помощи компьютерного алгоритма, например алгоритма поиска кратчайшего пути, применительно к 3D-матрице, описывающей кривизну поверхности зуба.

В ином случае или дополнительно сегментирование может по меньшей мере частично основываться на информации о цвете на 3D-модели.

В некоторых вариантах осуществления изобретения снимок лица пациента позволяет определить расстояние, на которое перемещается верхняя и/или нижняя губа при улыбке пациента, и данное расстояние используется для измерения идеальной длины по меньшей мере нескольких зубов.

Преимущество этого варианта осуществления изобретения состоит в том, что по меньшей мере длина передних зубов является важной характеристикой для определения внешнего вида зубов.

В некоторых вариантах осуществления изобретения способ далее включает придание по меньшей мере одному или нескольким цифровым 2D-изображениям свойства как минимум частичной прозрачности, при этом виртуальная 3D-модель видима сквозь цифровое 2D-изображение.

Прозрачность может означать полную прозрачность, например полную невидимость, частичную прозрачность или проницаемость, скажем частичную прозрачность графических элементов, например аналогично эффекту цветного стекла. Частичная прозрачность до определенной степени может быть достигнута путем имитационного моделирования посредством смешения цветов.

Если часть 2D-изображения или все 2D-изображение и/или часть виртуальной 3D-модели или вся виртуальная 3D-модель планируется сделать прозрачными, то, например, некоторые выбранные пиксели, скажем каждый второй, могут отображаться на 2D-изображении, и некоторые другие выбранные пиксели, скажем каждый второй, могут не отображаться на 3D-модели, при этом 2D-изображение и 3D-модель могут быть скомбинированы для просмотра так, что один или оба данных объекта становятся прозрачными, например равноценно прозрачными.

Аналогично прозрачности может применяться плавное нарастание яркости и плавное убывание яркости, например посредством отображения определенных выбранных пикселей и не отображения других выбранных пикселей.

В некоторых вариантах осуществления изобретения у одного или нескольких цифровых 2D-изображений может плавно нарастать и плавно убывать яркость.

Преимущество этого варианта осуществления изобретения состоит в том, что при плавном нарастании или убывании яркости цифрового 2D-изображения оно изменяется от совершенно не видимого до частично видимого, затем снова до не видимого и наоборот. Таким образом, 2D-изображение может отображаться или не отображаться по желанию пользователя. Плавное нарастание яркости и плавное убывание яркости могут быть постепенными.

В некоторых вариантах осуществления изобретения способ далее включает придание по меньшей мере части виртуальной 3D-модели свойства как минимум частичной прозрачности, при этом по меньшей мере одно или несколько цифровых 2D-изображений видимы сквозь виртуальную 3D-модель.

В некоторых вариантах осуществления изобретения способ включает плавное нарастание яркости до полноценной видимости 3D-модели и плавное убывание яркости до исчезновения 3D-модели из вида.

В некоторых вариантах осуществления изобретения яркость 2D-изображения и 3D-модели может убывать до исчезновения из вида и нарастать до полноценной видимости поочередно.

В некоторых вариантах осуществления изобретения 2D-изображение может характеризоваться яркостью, при которой оно полноценно видно, в то время как яркость 3D-модели минимальна, и наоборот.

В некоторых вариантах осуществления изобретения яркость 2D-изображения и яркость виртуальной 3D-модели могут убывать и нарастать независимо друг от друга.

В некоторых вариантах осуществления изобретения 3D-модель содержит зубной ряд пациента.

В некоторых вариантах осуществления изобретения 2D-изображение и виртуальная 3D-модель выравниваются путем масштабирования, переноса и/или поворота 2D-изображения и/или 3D-модели относительно друг друга.

В некоторых вариантах осуществления изобретения вид 2D-изображения зафиксирован, а виртуальная 3D-модель масштабируется, и/или переносится, и/или поворачивается относительно 2D-изображения.

В некоторых вариантах осуществления изобретения способ включает выбор точки обзора виртуальной 3D-модели, которая характеризуется оптимальным соответствием цифровому 2D-изображению.

В некоторых вариантах осуществления изобретения артикуляция верхних и нижних зубов в виртуальной 3D-модели может быть скорректирована и тем самым приведена в соответствие артикуляции верхних и нижних зубов на 2D-изображении.

В некоторых вариантах осуществления изобретения способ включает масштабирование одного или нескольких цифровых 2D-изображений и виртуальной 3D-модели, в результате чего по меньшей мере часть зубов отображается в одном масштабе.

Преимущество этого варианта осуществления изобретения состоит в том, что оптимальный процесс моделирования подразумевает отображение 2D-изображения и 3D-модели в одном масштабе. Масштабирование может представлять собой автоматическое изменение размеров, например изменение размеров виртуальной 3D-модели по размерам цифрового 2D-изображения или наоборот.

В ином случае масштабирование может заключаться в изменении размеров как 2D-изображения, так и 3D-модели для приведения их в соответствие заранее заданным размерам.

В некоторых вариантах осуществления изобретения способ далее включает выравнивание одного или нескольких цифровых 2D-изображений и виртуальной 3D-модели.

Преимущество этого варианта осуществления изобретения состоит в том, что после выравнивания 2D-изображения и 3D-модели процесс моделирования стоматологического протеза упрощается, и достигаются лучшие результаты. Выравнивание может быть определено как коррекция расположения объекта относительно другого объекта с целью совпадения их фрагментов. Таким образом, похожие или подобные фрагменты 2D-изображения и 3D-модели могут быть выровнены относительно друг друга.

В некоторых вариантах осуществления изобретения для выравнивания 2D-изображения и 3D-модели используются контуры режущих краев по меньшей мере верхних передних зубов на одном или нескольких 2D-изображениях и на виртуальной 3D-модели.

Преимущество этого варианта осуществления изобретения состоит в том, что во многих случаях режущие края верхних передних зубов видны и на 2D-изображении, и на 3D-модели, следовательно, данные режущие края могут являться предпочтительными физическими опорными точками при выравнивании.

В некоторых вариантах осуществления изобретения способ далее включает проецирование плоскости одного или нескольких 2D-изображений на виртуальную 3D-модель.

Преимущество этого варианта осуществления изобретения состоит в том, что при проецировании плоскости 2D-изображения на виртуальную 3D-модель или плоскость 3D-модели, 3D-модель и 2D-изображение могут рассматриваться в одной плоскости, что может являться преимуществом при моделировании восстанавливаемых зубов. Организация просмотра 3D-модели и 2D-изображения в одной плоскости иным образом может быть трудно реализуема.

В некоторых вариантах осуществления изобретения способ далее включает изменение перспективного вида одного или нескольких цифровых 2D-изображений и/или виртуальной 3D-модели для получения единого перспективного вида.

Преимущество этого варианта осуществления изобретения состоит в том, что при просмотре 2D-изображения и 3D-модели в едином перспективном виде моделирование стоматологического протеза упрощается.

Для выравнивания 2D-изображения и 3D-модели может быть создана двухмерная проекция 3D-модели. Данная проекция может быть перспективной, параллельной, например ортогональной, и т.д.

На 2D-изображении и на 3D-модели могут быть выбраны соответствующие точки, на плоскость 2D-изображения может быть сделана проекция 3D-модели, и расстояние между упомянутыми соответствующими точками на двухмерной проекции 3D-модели и на 2D-изображении может минимизироваться до тех пор, пока соответствующие точки не совпадут или не окажутся предельно близки. При выравнивании 3D-моделей расстояние между точками может минимизироваться путем итерационного алгоритма, например итерационным методом поиска ближайших точек ICP (от англ. iterative closest point).

В некоторых вариантах осуществления изобретения способ далее включает исправление искажений перспективного вида одного или нескольких 2D-изображений для визуального выравнивания 2D-изображения и виртуальной 3D-модели.

Исправление искажений может потребоваться, если 2D-изображение рта пациента получено, например, сверху, снизу и/или сбоку под углом, но при этом желательно, чтобы на 2D-изображении рот пациента было виден спереди, так как при этом данное 2D-изображение проще использовать с целью проектирования стоматологических протезов для зубов пациента.

Деформация или исправление искажений может использоваться для устранения искажений изображения. Деформация или исправление искажений может представлять собой точечное преобразование и может основываться на любой математической функции отображения плоскости (или ее части) на плоскость.

Таким образом, преимущество этого варианта осуществления изобретения состоит в том, что при исправлении искажений или коррекции 2D-изображения в перспективном виде над ним цифровым способом производятся манипуляции, в результате чего точки изображения в перспективном виде могут быть перенесены в точки на 3D-модели или на ее плоскости. После исправления искажений или коррекции перспективного вида 2D-изображения 3D-модель может быть выровнена заново, в результате чего 2D-изображение и 3D-модель будут повторно выровнены относительно друг друга.

Таким образом, исправление искажений может осуществляться путем проецирования 2D-изображения или зубов с 2D-изображения на виртуальную 3D-модель. Так как 3D-модель может содержать только зубы пациента, для выравнивания 2D-изображения и виртуальной 3D-модели может использоваться модель лица, например модель собственного лица пациента или модель шаблона лица. При этом заново сформированный перспективный вид виртуальной 3D-модели может быть использован для извлечения из него нового 2D-изображения. Это новое 2D-изображение может представлять собой исправленный недеформированный вид исходного искаженного 2D-изображения.

В некоторых вариантах осуществления изобретения масштабирование, выравнивание, проецирование на плоскость, исправление искажений перспективных видов и изменение перспективы определяются как виртуальные действия по расположению и выравниванию.

В некоторых вариантах осуществления изобретения одно или несколько виртуальных действий по расположению представляют собой повороты или переносы влево/вправо и вперед/назад одного или нескольких цифровых 2D-изображений и/или виртуальной 3D-модели.

Преимущество такого варианта осуществления изобретения состоит в том, что осуществление поворотов, переносов и т.д. позволяет выполнять различные перемещения 2D-изображения и/или 3D-модели для упрощения масштабирования, выравнивания, изменения перспективы и моделирования зубов в целом.

В некоторых вариантах осуществления изобретения способ далее включает следующие стадии:

- обнаружение анатомических точек на зубах, причем анатомические точки присутствуют и могут быть распознаны как на одном или нескольких цифровых 2D-изображениях, так и на виртуальной 3D-модели, и

- выполнение виртуальных действий по расположению согласно этим анатомическим точкам соответствия.

Преимущество такого варианта осуществления изобретения состоит в том, что использование общих анатомических точек соответствия на 2D-изображении и 3D-модели может обеспечивать простой способ осуществления выравнивания 2D-изображения и 3D-модели, после чего может быть выполнено моделирование восстанавливаемых зубов.

Для правильного выравнивания 2D-изображения и виртуальной 3D-модели количество точек соответствия на 2D-изображении и 3D-модели может приближаться к числу степеней свободы при перемещении 2D-изображения и 3D-модели относительно друг друга или совпадать с ним. Число степеней свободы может равняться, например, семи; при этом для выполнения правильного выравнивания 2D-изображения и виртуальной 3D-модели может потребоваться семь точек соответствия.

Для определения числа степеней свободы может быть рассчитана модель камеры. Модель камеры может содержать некоторое количество внутренних параметров и некоторое количество внешних параметров. К внутренним параметрам могут относиться увеличение и перспективная проекция или искажение. К внешним параметрам могут относиться расположение и ориентация камеры относительно объекта, например набора зубов.

Степени свободы могут представлять собой переносы в пространстве в трех направлениях и повороты в пространстве вокруг трех осей.

Для уменьшения числа степеней свободы и, следовательно, для уменьшения, например количества точек соответствия на 2D-изображении и 3D-модели можно допустить, что все зубы лежат в одной плоскости. В этом случае к внутренним параметрам будет относиться только увеличение, а не перспективная проекция или искажение. Таким образом, в расчет принимается параллельная проекция и в ином случае и/или дополнительно может, например, считаться, что 2D-изображение лица пациента представляет собой фронтальный снимок.

Если зубы пациента сфотографированы с расстояния около 1 метра, что может быть характерно для съемки зубов при использовании настоящего способа, предположение о параллельной проекции может быть допустимым.

В некоторых случаях может быть обосновано допущение, что все зубы лежат в одной плоскости, однако в ряде случаев такое допущение может не быть верным, и выравнивание 2D-изображения и виртуальной 3D-модели с таким допущением может представлять трудность или даже быть неосуществимым.

На практике выравнивание может выполняться путем фиксации 2D-изображения в определенном положении с последующим перемещением виртуальной 3D-модели относительно зафиксированного 2D-изображения посредством контроллера трехмерного движения, устройства трехмерной навигации, устройства с шестью степенями свободы или 3D-манипулятора типа «мышь», например шарового манипулятора.

Если 3D-модель может быть упрощена до 2D-модели, то 2D-изображение и данная 2D-модель могут быть выровнены по трем точкам, при этом выравнивание может состоять в увеличении или масштабировании, переносе в одном направлении и повороте вокруг одной оси.

Стадия выравнивания 2D-изображения и виртуальной 3D-модели посредством поворота может представлять трудность, при этом перенос и масштабирование или увеличение могут являться более простыми для выполнения манипуляциями.

Перспективная проекция может быть активирована программной средой, в которой проектируется стоматологический протез. После активизации перспективной проекции 2D-изображение и/или виртуальная 3D-модель могут характеризоваться большей глубиной.

Перспектива может являться параметром, настраиваемым, активируемым, фиксируемым (и т.п.) в программной среде, в которой осуществляется настоящий способ.

В некоторых вариантах осуществления изобретения для выполнения виртуальных действий по расположению выбирается по меньшей мере одна анатомическая точка соответствия.

Преимущество этого варианта осуществления изобретения состоит в том, что одной общей точки на 2D-изображении и 3D-модели может быть достаточно для расположения 2D-изображения и 3D-модели относительно друг друга. Однако в других случаях для расположения 2D-изображения и 3D-модели относительно друг друга необходимо использовать больше точек, например две, три или четыре. В общем случае достаточно трех точек. Четыре точки могут использоваться в более сложных случаях или для более точного расположения 2D-изображения и 3D-модели относительно друг друга.

В некоторых вариантах осуществления изобретения способ далее включает следующие стадии:

- использование виртуальной измерительной шкалы; и

- выполнение виртуальных действий по расположению одного или нескольких цифровых 2D-изображений и/или виртуальной 3D-модели путем их подстройки по виртуальной измерительной шкале.

Преимущество этого варианта осуществления изобретения состоит в том, что виртуальная измерительная шкала упрощает и ускоряет процесс выполнения виртуальных действий по расположению, например при масштабировании, при котором размеры 2D-изображения и 3D-модели приводятся в соответствие друг другу.

В некоторых вариантах осуществления изобретения способ далее включает выполнение пользователем виртуальных действий по расположению одного или нескольких цифровых 2D-изображений и/или виртуальной 3D-модели с визуальным контролем геометрических параметров.

Преимущество этого варианта осуществления изобретения состоит в том, что оператор может быстро и точно расположить 2D-изображение и 3D-модель относительно друг друга или создать приблизительную исходную конфигурацию для последующей уточняющей корректировки путем обычного визуального контроля.

В некоторых вариантах осуществления изобретения анатомические точки представляют собой верхние и/или нижние точки на дистальных и/или мезиальных частях некоторых конкретных передних зубах.

Преимущество этого варианта осуществления изобретения состоит в том, что анатомические точки на верхних и/или нижних дистальных и/или мезиальных частях передних зубов обычно легко найти и на 2D-изображении, и на 3D-модели.

В некоторых вариантах осуществления изобретения проектирование 3D-модели на основе одного или нескольких 2D-изображений выполняется автоматически.

Преимущество этого варианта осуществления изобретения состоит в том, что пользователю не требуется выполнять проектирование 3D-модели на экране вручную - моделирование происходит в полностью автоматическом режиме. Однако при выполнении автоматического моделирования пользователь может проверить результаты и, при необходимости, внести некоторые коррективы.

В некоторых вариантах осуществления изобретения способ далее включает автоматический выбор одного или нескольких цифровых 2D-изображений, которые оптимально сочетаются с виртуальной 3D-моделью или предельно точно к ней подходят.

Преимущество этого варианта осуществления изобретения состоит в том, что может автоматически выбираться 2D-изображение, характеризующееся оптимальным, хорошим или наилучшим соответствием 3D-модели или сочетанием с ней, при этом может достигаться хороший результат моделирования стоматологического протеза и, кроме того, может быть уменьшена продолжительность моделирования стоматологического протеза, так как пользователю не приходится тратить время на просмотр большого массива 2D-изображений в поисках требуемого. 2D-изображение может выбираться из библиотеки цифровых 2D-изображений или из любого источника, содержащего ряд изображений зубов и улыбок. Библиотека может содержать шаблоны, фотографии, рисунки и прочие объекты, на которых имеются части лица.

В некоторых вариантах осуществления изобретения для обеспечения эстетичного или привлекательного внешнего вида оптимальное соответствие или сочетание определяется на основе некоторых параметров.

Преимущество этого варианта осуществления изобретения состоит в том, что оптимальное, наилучшее или приемлемое соответствие или сочетание может определяться на основе различных параметров, например фактических размеров зубов пациента, на основе кривых фактического зубного ряда пациента, и т.п. Новые зубы слишком большого размера могут не подходить человеку, зубы которого всегда были маленькими, или человеку с тонкими губами. Аналогично, новый зубной ряд, характеризующийся отклонением дистальных поверхностей зубов наружу относительно средней линии лица, может не подходить человеку, зубной ряд которого характеризовался отклонением дистальных поверхностей зубов внутрь относительно средней линии лица, или человеку с полными губами и т.п. Таким образом, на основе имеющихся частей лица, например структуры, особенностей, формы и прочих характеристик зубов пациента, новые зубы, выглядящие естественно и подходящие пациенту, могут быть заданы, например, по библиотеке шаблонов с фотографиями, рисунками и т.п.

В некоторых вариантах осуществления изобретения выравнивание по меньшей мере одного 2D-изображения и 3D-модели выполняется автоматически.

В некоторых вариантах осуществления изобретения 3D-модель и два или более 2D-изображений выравниваются относительно друг друга при наличии нескольких 2D-изображений.

В некоторых вариантах осуществления изобретения 3D-модель и каждое 2D-изображение выравниваются относительно друг друга.

Преимущество состоит в том, что 3D-модель выравнивается непосредственно по каждому из 2D-изображений, причем при наличии сдвига между разными 2D-изображениями правильное выравнивание 3D-модели относительно выбранного 2D-изображения может автоматически отображаться в интерфейсе пользователя.

В некоторых вариантах осуществления изобретения различные варианты расположения 3D-модели, выровненной относительно двух и более 2D-изображений, сохраняются в памяти данных.

В некоторых вариантах осуществления изобретения при выборе конкретного 2D-изображения для просмотра из памяти данных извлекается вариант расположения 3D-модели, выровненной относительно этого 2D-изображения.

В некоторых вариантах осуществления изобретения два и более 2D-изображения представляют собой 2D-изображения по меньшей мере части лица пациента, видимой из разных точек.

В некоторых вариантах осуществления изобретения способ далее включает разбиение на части по меньшей мере двух и более зубов на 3D-модели и/или на одном и более 2D-изображениях.

В некоторых вариантах осуществления изобретения 2D-изображение и 3D-модель могут располагаться и/или просматриваться из одной или нескольких точек обзора перспективного вида.

Перспективные виды могут представлять собой виды спереди, сзади, сбоку, сверху, снизу или любое сочетание этих видов. Опорная точка для перспективных видов на 3D-модели и/или на 2D-изображении может задаваться видимой или не видимой точкой, например центральной точкой, линией, например центральной линией, или областью, например центральной областью.

В некоторых вариантах осуществления изобретения способ включает задание угла одного или нескольких перспективных видов.

Этот угол может представлять собой угол относительно центральной точки 2D-изображения и/или 3D-модели. Этот угол может представлять собой угол относительно горизонтальной плоскости и/или вертикальной плоскости (и т.д.), которая виртуально пересекает зубы на 2D-изображении и/или на 3D-модели.

В некоторых вариантах осуществления изобретения способ включает задание угла одного или нескольких перспективных видов.

В некоторых вариантах осуществления изобретения по меньшей мере одно или несколько 2D-изображений представляют собой кадры из видеопотока 2D-изображений.

В некоторых вариантах осуществления изобретения 2D-изображения из такого видеопотока представляют собой изображения различных перспективных видов.

В некоторых вариантах осуществления изобретения 3D-модель может быть выровнена относительно одного или нескольких 2D-изображений из упомянутого видеопотока.

В некоторых вариантах осуществления изобретения выравнивание 3D-модели и одного или нескольких 2D-изображений для одного или нескольких перспективных видов выполняется посредством интерполяции и/или экстраполяции других перспективных видов.

Преимущество состоит в том, что ранее определенные перспективные виды могут использоваться для выравнивания других перспективных видов. Перспективные виды могут присутствовать или располагаться на виртуальной траектории или кривой и/или на виртуальной сфере обзора. Таким образом, если два перспективных вида уже определены, то третий перспективный вид, расположенный между ними, может быть определен путем интерполяции или экстраполяции, а 3D-модель и 2D-изображение могут быть выровнены относительно него или на основе его. Перспективные виды или углы могут быть получены путем смещения углов, направлений обзора и т.п., а смещения могут быть сглаженными и непрерывными или дискретными.

В некоторых вариантах осуществления изобретения способ включает изменение масштаба просмотра по меньшей мере одного или нескольких 2D-изображений и 3D-модели.

В некоторых вариантах осуществления изобретения изменение масштаба просмотра 2D-изображения и 3D-модели может производиться одновременно.

Преимущество состоит в том, что изменение масштаба просмотра 2D-изображения и 3D-модели может производиться одновременно, и/или совместно, и/или последовательно, и/или синхронно. Таким образом, увеличение или уменьшение размеров 2D-изображения и 3D-модели могут быть синхронизированы, при этом 2D-изображение и 3D-модель могут повторять движения друг друга при изменении масштаба, а центральные точки или центральные области масштабирования 2D-изображения и 3D-модели могут совпадать.

В некоторых вариантах осуществления изобретения изменение масштаба просмотра может осуществляться в одном или нескольких перспективных видах.

В некоторых вариантах осуществления изобретения изменение масштаба просмотра может осуществляться с одного или нескольких заданных углов.

В некоторых вариантах осуществления изобретения перспективные виды определяются заданными углами.

В некоторых вариантах осуществления изобретения способ включает получение заданных углов путем дискретного изменения ракурса.

В некоторых вариантах осуществления изобретения способ включает получение заданных углов путем непрерывного изменения ракурса.

В некоторых вариантах осуществления изобретения правильно выровненные 2D-изображение и 3D-модель совместно фиксируются или закрепляются в этой конфигурации.

Преимущество состоит в том, что при рассмотрении, например, 2D-изображения в перспективе сбоку, оно автоматически фиксируется или закрепляется под правильным углом относительно 3D-модели.

По окончании выравнивания 2D-изображения и виртуальной 3D-модели найденная конфигурация может быть сохранена, и в случае последующего очередного перемещения 2D-изображения и 3D-модели относительно друг друга сохраненная конфигурация, при которой 2D-изображение выровнено относительно 3D-модели, может использоваться для повторной совместной фиксации или повторного совместного закрепления 2D-изображения и виртуальной 3D-модели в этой конфигурации.

В некоторых вариантах осуществления изобретения совместная фиксация 2D-изображения и 3D-модели выполняется автоматически.

В некоторых вариантах осуществления изобретения каждое 2D-изображение (одно или несколько) может фиксироваться с 3D-моделью в конфигурации, при которой 2D-изображение правильно выровнено относительно 3D-модели.

В некоторых вариантах осуществления изобретения 2D-изображение и 3D-модель выровнены по одному или нескольким непрепарированным зубам, если таковые имеются на 3D-модели.

В некоторых вариантах осуществления изобретения 2D-изображение и 3D-модель выровнены по зубам в верхней челюсти.

Преимущество состоит в том, что выравнивание выполняется по верхним зубам, так как они обычно лучше остальных элементов видны на 2D-изображении, в частности передние зубы верхней челюсти обычно видны лучше всех, поэтому при использовании данных зубов в процессе выравнивания конечный результат может быть улучшен.

В ином случае и/или дополнительно, также для обеспечения необходимого выравнивания могут перемещаться, например, вниз, зубы нижней челюсти на 3D-модели.

В некоторых вариантах осуществления изобретения угол, под которым первоначально видны 3D-модель и 2D-изображение, определяется перспективным видом 2D-изображения.

Данный угол также может задавать требуемый вид, точку обзора, перспективный вид и т.д.

В некоторых вариантах осуществления изобретения угол обзора 3D-модели и 2D-изображения может изменяться относительно перспективного вида 2D-изображения.

Данный угол также может задавать требуемый вид, точку обзора, перспективный вид и т.д.

В некоторых вариантах осуществления изобретения вид 3D-модели может изменяться относительно перспективного вида второго 2D-изображения при замене первого 2D-изображения этим вторым 2D-изображением.

Преимущество состоит в том, что вид может автоматически меняться при выборе второго 2D-изображения для просмотра, выравнивания и т.д.

В некоторых вариантах осуществления изобретения способ далее включает создание 3D-изображения путем комбинирования по меньшей мере трех 2D-изображений.

В некоторых вариантах осуществления изобретения способ далее включает улучшение наглядного представления 3D-модели.

Преимущество состоит в том, что выполняется улучшение наглядного представления зубов на 3D-модели, например фотореалистичная визуализация, с целью придания 3D-модели более реалистичного и привлекательного внешнего вида. В исходном виде 3D-модель может иметь, например, желтый или серый цвет, а в результате улучшения наглядного представления зубы на 3D-модели можно сделать, скажем белее, чтобы они выглядели реалистичнее и привлекательнее.

Улучшение наглядного представления может осуществляться известными способами с применением известных компьютерных программ.

В некоторых вариантах осуществления изобретения способ далее включает нанесение на 3D-модель текстурных частей.

Преимущество состоит в том, что на 3D-модели создаются текстурные части с целью придания зубам на 3D-модели более реалистичного внешнего вида. Текстурные части зубов могут быть получены по 2D-изображению имеющихся зубов пациента, могут быть получены из стандартного шаблона, могут быть созданы специально для определенной 3D-модели на основе размера, формы и прочих характеристик зубов.

Кроме того, с целью придания зубам на 3D-модели более реалистичного и, возможно, более эстетичного внешнего вида с 3D-моделью могут быть соотнесены другие параметры, например тень, геометрические параметры, точка обзора, освещение, информация об оттенках.

В некоторых вариантах осуществления изобретения текстура из 2D-изображения переносится на виртуальную 3D-модель и/или стоматологический протез.

В некоторых вариантах осуществления изобретения улучшение наглядного представления является фотореалистичной визуализацией.

В общем случае преимущество способа и вариантов осуществления изобретения состоит в том, что он(и) позволяет(ют) специалистам зуботехнических лабораторий в процессе проектирования накладывать изображения улыбок на фактическое лицо пациента, что позволяет непосредственно изготавливать оптимальные по эстетическим характеристикам и индивидуальным особенностям стоматологические протезы. Указанные специалисты могут демонстрировать пациентам зубных врачей, как именно новый стоматологический протез изменит их улыбку и какой при этом создастся эффект. Визуализация улыбки осуществима с высокой степенью наглядности, так как может сопровождаться демонстрацией изготавливаемой 3D-модели, а не только манипуляциями с 2D-изображением.

Индивидуализированные конструкции с накладыванием персонифицированных 2D-изображений могут формироваться путем импортирования 2D-изображений губ, зубов и улыбки пациента для проектирования стоматологических протезов, наиболее точно соответствующих внешнему виду конкретного пациента. В качестве базиса при индивидуализированном проектировании стоматологических протезов для обработки зубов путем наложения масок могут использоваться средства обработки изображений, а для совмещения губ и вновь спроектированных зубов могут применяться средства выравнивания.

Эстетический эффект достигается путем наложения типичных 2D-изображений с применением библиотек 2D-изображений даже без использования изображений фактической улыбки пациента. Настоящий способ позволяет осуществить выбор из множества вариантов улыбок и шаблонных проектов с целью воссоздания целостных конфигураций улыбок для применения при проектировании стоматологических протезов.

Визуализация «до и после» может быть осуществлена, например, посредством непрерывного чередования видов обрабатываемых изображений путем постепенного увеличения и уменьшения их яркости, при этом зубные техники, стоматологи и пациенты могут с легкостью видеть малейшие изменения и детали улыбки с целью выбора оптимального варианта.

Настоящее изобретение относится к различным аспектам, в том числе к способу, описанному выше и далее по тексту, а также к соответствующим способам, устройствам, системам, используемым средствам и/или продуктам, каждый(ая, -ое) из которых характеризуется одним или несколькими преимуществами или пользой, описанными в связи с первым упомянутым аспектом, и каждый(ая, -ое) из которых имеет один или несколько вариантов осуществления, описанных в связи с первым упомянутым аспектом и/или прилагаемыми пунктами формулы изобретения.

В частности, в данном документе описана система проектирования стоматологического протеза для пациента, причем система содержит следующее:

- средства для создания одного или нескольких 2D-изображений, по меньшей мере одно из которых содержит часть лица;

- средства для создания виртуальной 3D-модели по меньшей мере части ротовой полости пациента;

- средства для расположения по меньшей мере одного из 2D-изображений относительно виртуальной 3D-модели в виртуальном трехмерном пространстве таким образом, что 2D-изображение и виртуальная 3D-модель визуализированы в трехмерном пространстве и выровнены при рассмотрении из точки обзора; и

- средства для моделирования стоматологического протеза по виртуальной 3D-модели, причем данный протез соответствует части лица, имеющейся на одном или нескольких 2D-изображениях.

Кроме того, настоящее изобретение относится к компьютерному программному продукту, содержащему средства программного кода для осуществления вышеуказанного способа системой обработки данных, причем указанные средства программного кода выполняются системой обработки данных, и к компьютерному программному продукту, согласно вышеприведенному пункту, содержащему считываемый компьютером носитель информации, на котором хранятся средства выполнения программного кода.

Другой аспект настоящего изобретения состоит в том, что предложен программно реализованный способ визуализации, проектирования и моделирования зубного ряда пациента, причем способ включает следующие стадии:

- получение одного или нескольких цифровых 2D-изображений;

- получение виртуальной 3D-модели по меньшей мере части ротовой полости пациента;

- расположение по меньшей мере одного из 2D-изображений относительно виртуальной 3D-модели в трехмерном пространстве, при котором данное 2D-изображение и указанная виртуальная 3D-модель визуализированы в трехмерном пространстве и выровнены при рассмотрении из точки обзора; и

- моделирование виртуальной 3D-модели на основе по меньшей мере одного или нескольких цифровых 2D-изображений.

Краткое описание чертежей

Указанные и/или дополнительные объекты, особенности и преимущества настоящего изобретения далее разъяснены посредством последующих иллюстрационных материалов и ничем не ограничиваемого подробного описания вариантов осуществления настоящего изобретения со ссылками на нижеследующие прилагаемые чертежи.

Фиг.1 показывает пример блок-схемы способа визуализации и моделирования зубного ряда пациента.

Фиг.2 показывает примеры совместной визуализации 2D-изображения и 3D-модели.

Фиг.3 показывает пример визуализации и расположения 2D-изображения и 3D-модели.

Фиг.4 показывает примеры расположения 2D-изображения и 3D-модели относительно друг друга.

Фиг.5 показывает примеры шаблонов 2D-изображений.

Фиг.6 показывает примеры выполнения виртуальных действий по расположению 2D-изображения и 3D-модели.

Фиг.7 показывает пример визуализации и расположения 2D-изображения и 3D-модели.

Фиг.8 показывает пример расположения 3D-модели на 2D-изображении или наложения 2D-изображения на 3D-модель.

Фиг.9 показывает пример визуализации «до и после».

Фиг.10 показывает пример улучшения наглядного представления 3D-модели зубов, особым образом расположенной относительно 2D-изображения.

Фиг.11 показывает пример выравнивания 2D-изображения и виртуальной 3D-модели относительно друг друга; удаления с 2D-изображения рта и зубов для доступа к обзору виртуальной 3D-модели, которая будет видна на месте зубов; проектирования стоматологического протеза на виртуальной 3D-модели на основе 2D-изображения.

Осуществление изобретения

Ниже приведено описание со ссылками на соответствующие чертежи, которые иллюстрируют вариант осуществления изобретения.

На фиг.1 показан пример блок-схемы способа проектирования стоматологического протеза для пациента.

На стадии 101 формируются одно или несколько 2D-изображений, причем одно или несколько 2D-изображений содержат по меньшей мере одну часть лица. 2D-изображение может представлять собой фотографию по меньшей мере части лица пациента, шаблон зубов, рисунок зубов, фотографию или изображение эстетичного ряда зубов и т.п. Цифровое 2D-изображение может отображаться в интерфейсе пользователя, например на экране компьютера.

На стадии 102 формируется виртуальная 3D-модель ротовой полости пациента, содержащая зубной ряд пациента (если в нем имеются зубы). 3D-модель зубного ряда пациента может быть сформирована путем сканирования физической модели зубов пациента, путем сканирования отпечатка зубов пациента и/или путем непосредственного сканирования зубов пациента. Если у пациента отсутствуют зубы, для формирования 3D-модели ротовой полости могут сканироваться десны, модель или отпечаток десен. Виртуальная 3D-модель может отображаться в интерфейсе пользователя, например на экране компьютера.

На стадии 103 цифровое 2D-изображение располагается или позиционируется относительно виртуальной 3D-модели с целью ее визуализации относительно цифрового 2D-изображения. Расположение или позиционирование является виртуальным и осуществляется в цифровом виде при помощи программных средств, при этом 2D-изображение и 3D-модель могут просматриваться совместно. Цифровое 2D-изображение и виртуальная 3D-модель визуализированы в трехмерном пространстве и выровнены при рассмотрении из точки обзора. Пользователь программы может применять цифровые средства для выравнивания 2D-изображения и виртуальной 3D-модели вручную, или 2D-изображение и виртуальная 3D-модель могут быть выровнены автоматически при помощи средств цифровой обработки, или при выравнивании 2D-изображения и виртуальной 3D-модели могут быть задействованы как ручные средства, так и автоматические. 2D-изображение, используемое для выравнивания с виртуальной 3D-моделью, может быть тем же 2D-изображением, которое содержит части лица, или может быть другим 2D-изображением.

На стадии 104 проектируется виртуальная 3D-модель стоматологического протеза, который должен соответствовать части лица на одном или нескольких 2D-изображениях. Таким образом, часть виртуальной 3D-модели зубного ряда пациента, содержащей стоматологический протез, моделируется или проектируется виртуально или в цифровом виде на основе визуализации расположения 2D-изображения, содержащего часть лица. Так, 3D-модель имеющихся зубов пациента проектируется средствами САПР, при этом проектирование может включать моделирование стоматологических протезов, ортодонтические манипуляции и/или процедуры, протезирование, разработку съемных искусственных челюстей и т.д. Виртуально смоделированные стоматологические протезы, например коронки или мосты, могут быть изготовлены средствами автоматизированного производства, а полученные стоматологические протезы затем могут быть установлены зубным врачом на зубы пациента.

На фиг.2 показаны примеры совместной визуализации 2D-изображения и 3D-модели.

На фиг.2a) показан снимок экрана, на котором одновременно видны 2D-изображение 201 и 3D-модель 202. 2D-изображение 201 представляет собой фотографию фрагмента лица, на котором видны части лица в виде рта с губами 203 и находящимися за ними зубами 204. На фотографии может быть изображен сам пациент или другой человек. Использование фотографии пациента может являться преимуществом, если зубы пациента были сломаны, и пациенту необходимо восстановить их внешний вид до прежнего, соответствующего неповрежденному состоянию зубов. Использование фотографии другого человека может быть оправданно желанием пациента при восстановлении своих зубов заменить их новыми и/или произвести с ними ортодонтические процедуры, чтобы они выглядели и/или были расположены иначе, нежели на текущий момент.

3D-модель 202 зубов пациента содержит десну 208 и зубы 207.

На фиг.2b) показан пример, в котором 2D-изображение 201 представляет собой рентгеновский снимок зубов пациента. На рентгеновском снимки видны части лица в виде зубов 204 пациента. Так как на рентгеновском снимке зубы выстроены приблизительно по прямым линиям, то есть не по кривым, как в реальности, по меньшей мере часть плоскости рентгеновского снимка может быть изменена в отношении перспективы, деформирована, спроецирована и/или изогнута для расположения относительно 3D-модели 202 с зубами 207.

На фиг.3 показан пример визуализации и расположения 2D-изображения и 3D-модели.

На фиг.3a) показан снимок экрана, на котором одновременно видны 2D-изображение 301 и 3D-модель 302 зубов. 2D-изображение 301 представляет собой фотографию или рисунок частей лица в виде пары губ 303 и контура находящихся за ними зубов 304. На 2D-изображение 301 нанесены вертикальная линия 305 и горизонтальная линия 306, которые также могут использоваться в качестве направляющих линий для моделирования стоматологического протеза.

На фиг.3d) показан снимок экрана, на котором 2D-изображение особым образом расположено и выровнено относительно 3D-модели 302. На 3D-модели 302 между губами 303 видны зубы 307 и контур зубов 304 2D-изображения 301. Расположение особым образом и выравнивание 2D-изображения относительно 3D-модели упрощает процесс моделирования стоматологического протеза по 3D-модели. На фиг.3d) также видны вертикальная линия 305 и горизонтальная линия 306.

На фиг.3c) показан эскиз 2D-изображения 301 и 3D-модели 302 в перспективном виде, иллюстрирующем расположение при рассмотрении из точки обзора.

2D-изображение 301 и 3D-модель на этом чертеже показаны в перспективном виде сбоку, которым демонстрируется, что при их рассмотрении из данной точки обзора 2D-изображение и 3D-модели не выровнены. На других чертежах, например на фиг.3b), 2D-изображение и 3D-модель показаны спереди, и при этом они выровнены. Как показано на фиг.3c), между 2D-изображением и 3D-моделью имеется расстояние, чем иллюстрируется, что 2D-изображение и 3D-модель являются отдельными блоками представляемых данных, а не единым блоком представляемых данных, содержащим объединенную информацию двух блоков представляемых данных. Расстояние может варьироваться и может, например, быть больше или меньше приведенного на чертеже.

Стрелка, обозначенная символом «X», указывает направление вида спереди, при котором 2D-изображение и 3D-модель выровнены, как показано на фиг.3b).

Стрелка, обозначенная символом «Y», указывает направление вида снизу, при котором 2D-изображение и 3D-модель видны снизу и, как показано на данном чертеже, не выровнены при рассмотрении из точки обзора Y.

Начало стрелки в виде окружности с крестом, обозначенной символом «Z», указывает направление вида сбоку, и, как пояснено выше в отношении перспективного вида сбоку, 2D-изображение и 3D-модель при рассмотрении из данной точки обзора не выровнены.

На фиг.4 показаны примеры расположения 2D-изображения и 3D-модели относительно друг друга.

На фиг.4a)-4c) показаны различные примеры расположения 3D-моделей 402 относительно 2D-изображения 401. На фиг.4a)-4c) видно, что зубы 407 на 3D-модели 402 перемещены относительно губ 403 на 2D-изображении 401. После того, как подходящее расположение 3D-модели 402 относительно 2D-изображения 401 найдено, может быть выполнено фактическое моделирование зубов 407 на 3D-модели 402.

На фиг.5 показаны примеры шаблонов 2D-изображений, содержащих части лица.

На фиг.5а) показан пример цифрового 2D-изображения 501, являющегося базисом для расположения зубов пациента и/или для моделирования стоматологического протеза. В данном базисе имеется шаблон 509 для верхних передних зубов, содержащий части лица в виде средней линии 505 лица и горизонтальной линии 506, проходящей через режущий край передних зубов.

Шаблон 509 содержит части лица в виде прямоугольников, соответствующих центральным резцам 510, боковым резцам 511 и клыкам 512. Длина боковых резцов 511 может составлять предпочтительно 2/3 от длины центральных резцов 510, а клыки 512 могут быть предпочтительно несколько уже центральных резцов 510.

На фиг.5b) показан пример, в котором 2D-изображение 501 представляет собой шаблон 509, содержащий части лица в виде продольных осей 513 центральных резцов 510, боковых резцов 511 и клыков 512. Продольные оси 513 сходятся к режущему краю, обозначенному горизонтальной линией 506.

На фиг.5c) показан пример, в котором 2D-изображение 501 представляет собой шаблон 509, на котором приведены части лица в форме контура 514 передних зубов при виде спереди.

На фиг.5d) показан пример, в котором на 2D-изображении 501 имеется шаблон 509, содержащий части лица в виде кривой 515 линии улыбки, которая может повторять контур края нижней губы при естественной улыбке и режущие края верхних передних зубов 510, 511, 512 при виде спереди.

На фиг.5e) показан пример, в котором на 2D-изображении 501 имеется шаблон, содержащий части лица в виде трех кривых 516, обозначающих контуры тканей десен.

На фиг.5f) показан пример, в котором 2D-изображение 501 содержит или представляет собой шаблон 509, содержащий кривую в виде дуги 517, повторяющей линию верхних зубов при виде сверху.

На фиг.5g) показан пример, в котором 2D-изображение 501 содержит или представляет собой шаблон 509, содержащий кривую 518, повторяющую линию верхних зубов при виде сверху.

Дуга 517 и кривая 518 также могут обозначать требуемую часть лица.

На фиг.6 показаны примеры выравнивания или выполнения виртуальных действий по расположению 2D-изображения и 3D-модели относительно друг друга.

Виртуальные действия по расположению могут быть следующими:

- масштабирование цифрового 2D-изображения и виртуальной 3D-модели, чтобы при этом по меньшей мере части зубов на каждом из них при рассмотрении имели одинаковый размер;

- выравнивание цифрового 2D-изображения и виртуальной 3D-модели;

- проецирование виртуальной 3D-модели на плоскость цифрового 2D-изображения;

- изменение перспективного вида цифрового 2D-изображения и/или виртуальной 3D-модели для получения одинакового перспективного вида 2D-изображения и виртуальной 3D-модели при визуализации и позиционировании;

- исправление искажений перспективного вида виртуальной 3D-модели для визуального выравнивания 2D-изображения и виртуальной 3D-модели.

Виртуальные действия по расположению могут быть выполнены путем поворотов или переносов в левую, правую, верхнюю и нижнюю части цифрового 2D-изображения и/или виртуальной 3D-модели.

В одном примере (не показан) для выравнивания 2D-изображения и 3D-модели используется контур режущего края по меньшей мере верхних передних зубов на 2D-изображении и на виртуальной 3D-модели.

На фиг.6a) показаны примеры, в которых выравнивание или виртуальные действия по расположению 2D-изображения и 3D-модели, например выравнивание, выполняются при помощи распознавания анатомических точек 619 соответствия на зубах на цифровом 2D-изображении 601 и на зубах на виртуальной 3D-модели 602.

Анатомические точки 619, показанные на фиг.6a), находятся у верхних передних зубов. Одна анатомическая точка располагается на режущем крае с дистальной стороны левого бокового резца, причем левая сторона находится слева на чертеже, но для пациента соответствует его или ее правой стороне лица. Другая анатомическая точка располагается на режущем крае между левым и правым центральными резцами. Третья анатомическая точка располагается на десне между правым боковым резцом и правым клыком, причем правая сторона находится справа на чертеже, но для пациента соответствует его или ее левой стороне лица.

После обнаружения анатомических точек 619 соответствия и, например, их обозначения и на 2D-изображении 601, и на 3D-модели 602, как показано на чертеже, 2D-изображение 601 и 3D-модель 602 могут быть расположены и выровнены относительно друг друга таким образом, чтобы обеспечивалось совместное наложение, перекрытие, совмещение или совпадение анатомических точек 619 соответствия на 2D-изображении 601 и на 3D-модели 602.

На фиг.6b) показан пример, в котором виртуальное действие по расположению 2D-изображения и 3D-модели, например масштабирование, выполняется при помощи виртуальной измерительной шкалы 62D, которая видна как на 2D-изображении 601, так и на 3D-модели 602. На 2D-изображении 601 длина измерительной шкалы 62D соответствует длине отрезка, проходящего по двум верхним центральным резцам 610 и двум верхним боковым резцам 611. При этом на 3D-модели длина измерительной шкалы 62D соответствует длине отрезка, проходящего по двум верхним центральным резцам 610, двум верхним боковым резцам 611 и двум верхним клыкам 612. Таким образом, для получения соответствующих размеров 2D-изображения 601 и 3D-модели 602 последняя должна быть увеличена и приведена в соответствие с размером 2D-изображения.

В ином случае и/или дополнительно пользователь может выполнять виртуальные действия по расположению цифрового 2D-изображения и/или виртуальной 3D-модели с визуальным контролем геометрических параметров.

На фиг.7 показан пример визуализации и расположения 2D-изображения и 3D-модели.

На фиг.7 показан снимок экрана из интерфейса пользователя, в котором одновременно видны 2D-изображение 701 и 3D-модель 702 зубов. 2D-изображение 701 представляет собой фотографию фрагмента лица пациента, содержащего части лица в виде губ 703 пациента и находящихся за ними существующих верхних зубов 704 пациента. Вместо нижних зубов на 2D-изображении располагается 3D-модель, содержащая нижние зубы 707.

3D-модель 702 особым образом расположена и выровнена относительно 2D-изображения 701.

Стоматологический протез на 3D-модели может быть смоделирован для соответствия частям лица на 2D-изображении, например губам пациента, верхним передним зубам и т.п.

На фиг.8 показан пример расположения 3D-модели на 2D-изображении или наложения 2D-изображения на 3D-модель.

На фиг.8 показан снимок экрана из интерфейса пользователя, на котором видно 2D-изображение 801, представляющее собой фотографию фрагмента лица пациента, содержащее губы 803 пациента и имеющиеся верхние зубы 804 пациента, находящиеся за губами.

При необходимости расположения 3D-модели зубов вместо нижних зубов область нижних зубов на 3D-изображении может быть отмечена и скрыта или удалена при помощи непрозрачной области 830. Отмеченная область 830 может быть обозначена путем нанесения линии 831 вдоль границы между верхними зубами и нижней губой. Нанесение линии 831 может выполняться автоматически посредством автоматического распознавания контура и/или цвета на 2D-изображении. В ином случае и/или дополнительно, нанесение линии 831 или обозначение области 830 другим способом может быть осуществлено оператором.

Сказанное в равной степени относится к случаю замены большего или меньшего количества зубов, например всех зубов, на 2D-изображении зубами 3D-модели.

На фиг.9 показан пример визуализации «до и после».

Визуализация «до и после» может быть осуществлена посредством непрерывного чередования видов обрабатываемых изображений путем постепенного увеличения и уменьшения их яркости, при этом зубные техники, стоматологи и пациенты с легкостью могут видеть малейшие изменения и детали улыбки с целью выбора оптимального варианта.

На фиг.9 показан пример, в котором одновременно видны часть 2D-изображения 901 и часть 3D-модели 902 зубов. 2D-изображение 901 представляет собой фотографию фрагмента лица пациента, содержащего части лица в виде губ 903 пациента и имеющихся зубов 904 пациента, находящихся за губами. Вместо нижних и верхних зубов в левой стороне рта пациента (для пациента это правая сторона) видна 3D-модель, содержащая зубы 907.

3D-модель 902 особым образом расположена и выровнена относительно 2D-изображения 901.

Существующие зубы 904 на 2D-изображении 901 соответствуют состоянию до восстановления одного или нескольких зубов. 3D-модель 902 с восстановленными зубами 907 соответствует возможному состоянию после восстановления зубов. Так как виды «до» и «после» могут чередоваться, например путем постепенного увеличения и уменьшения яркости изображений, рекомендуемые изменения могут быть четко видны и проанализированы.

На фиг.10 показан пример улучшения наглядного представления 3D-модели зубов, особым образом расположенной относительно 2D-изображения.

На фиг.10 показан пример, в котором одновременно видны 2D-изображение 1001 и 3D-модель 1002 зубов. 2D-изображение 1001 представляет собой фотографию фрагмента лица пациента, содержащего губы 1003 пациента. Вместо зубов с 2D-изображения на фотографии расположена 3D-модель, содержащая смоделированные восстановленные зубы 1007, наглядное представление которых улучшено. Наглядное представление восстановленных зубов 1007 на 3D-модели было улучшено, например, путем фотореалистичной визуализации.

На фиг.11 показан пример выравнивания 2D-изображения и виртуальной 3D-модели относительно друг друга; удаления с 2D-изображения рта и зубов для доступа к обзору виртуальной 3D-модели, которая будет видна на месте зубов; и проектирования стоматологического протеза на виртуальной 3D-модели на основе 2D-изображения.

На фиг.11 показано несколько стадий, которые могут быть осуществлены при проектировании стоматологического протеза, однако не следует понимать, что при проектировании стоматологического протеза должны быть осуществлены все эти стадии. В некоторых случаях расположение 2D-изображения и виртуальной 3D-модели может быть выполнено иным образом, нежели показано на фиг.11, и в некоторых случаях рот и зубы не удаляются с 2D-изображения, как показано на фиг.11.

На фиг.11a) показана виртуальная 3D-модель 1102 зубного ряда пациента. Разработан первый проект стоматологического протеза 1140 в виде моста, содержащего три зуба. Стоматологический протез белого цвета, в то время как исходные зубы на 3D-модели, как показано на чертеже, коричневого/серого цвета.

На фиг.11b) показана 3D-модель 1102 со стоматологическим протезом 1140. В правом нижнем углу показано меню 1141, при помощи которого пользователь может выбрать 2D-изображения для его наложения на 3D-модель 1102.

На фиг.11c) показано 2D-изображение 1101 нижней части лица пациента, на которой виден рот с губами 1103 и имеющимися зубами 1104. Кроме того, в правом нижнем углу также видно меню 1141.

На фиг.11d) показаны 2D-изображение 1101 с губами 1103 и зубами 1105 и виртуальная 3D-модель 1102 со стоматологическим протезом 1140. 2D-изображение 1101 сделано частично прозрачным, чтобы были видны и 2D-изображение, и виртуальная 3D-модель. Для регулировки прозрачности 2D-изображения и/или 3D-модели можно изменять положение ползунка шкалы в правом нижнем углу в меню 1141.

На фиг.11e) показано 2D-изображение 1101 и виртуальная 3D-модель, причем 2D-изображение сделано частично прозрачным, чтобы были видны и 2D-изображение, и виртуальная 3D-модель. 2D-изображение и виртуальная 3D-модель выровнены, при этом видно, что режущие края трех передних зубов 1142, 1143 и 1144 на 2D-изображении и виртуальной 3D-модели почти совпадают.

Кроме того, видно, что проект стоматологического протеза 1140 разработан таким образом, что новые зубы в нем немного короче исходных зубов на 2D-изображении.

Пациенту может потребоваться установить стоматологический протез 114f), если его или ее исходный зуб сломан, поврежден, выпал, создает препятствия нормальной окклюзии, травмирует десны и т.д.

На фиг.110 показаны 2D-изображение 1101 и виртуальная 3D-модель 1102, при этом 2D-изображение характеризуется меньшей степенью прозрачности, нежели на фиг.11e). На фиг.11f) 2D-изображение менее прозрачно, чем на фиг.11e). Прозрачность может регулироваться посредством ползунка на шкале в меню 1141.

На фиг.11g, 11h, 11i показан пример виртуального удаления зубов на 2D-изображении.

На фиг.11g) показано 2D-изображение 1101 нижней части лица пациента, на которой видны губы 1103 и зубы 1104. Нанесена линия 1131, проходящая вдоль губ 1103, посредством чего выделяется вся область 1130, ограниченная губами.

На фиг.11h) показано 2D-изображение 1101, на котором удалено содержимое области 1130, ограниченной губами 1103, то есть данное содержимое заменено на пустое пространство или ничего не содержащую область и т.п. Таким образом, зубы 1104 в области 1130 удалены из вида, стерты, не видны и т.п. Область 1130 сделана прозрачной, при этом в ней видна виртуальная 3D-модель, расположенная за 2D-изображением.

На фиг.11i) показана область 1130, являющаяся фрагментом 2D-изображения 1101, ограниченная линией 1131, проходящей по губам. Таким образом, зубы 1104 видны на вырезанном фрагменте 2D-изображения.

На фиг.11j) показано 2D-изображение 1101 с вырезанной вдоль линии 1131 губ 1103 областью 1130, при этом в вырезанной области 1130 2D-изображения теперь видна виртуальная 3D-модель 1102. Виден стоматологический протез 1140 на 3D-модели 1102, и видно, что он еще не окончательно доработан, так как между верхними центральными резцами имеется довольно большой зазор, причем левый центральный резец (при рассмотрении со стороны наблюдателя, в то время как речь идет о правом центральном резце пациента) является частью стоматологического протеза 1140.

На фиг.11k) показано, что стоматологический протез 1140 окончательно доработан, при этом устранен большой зазор между верхними центральными резцами. Таким образом, стоматологический протез 1140 спроектирован на основе и с целью соответствия частям лица, видимым на 2D-изображении, например губам 1103.

В этом случае, то есть при формировании стоматологического протеза для трех верхних передних зубов, стоматологический протез также частично разрабатывается с учетом его симметрии относительно соответствующих зубов с другой стороны верхней челюсти. Однако в случаях, когда, например стоматологический протез представляет собой целую искусственную челюсть или предназначен для восстановления всех передних зубов, скажем в верхней челюсти, новые зубы в стоматологическом протезе могут проектироваться с учетом соответствия частям лица пациента, как видно на 2D-изображении, при этом сам протез может разрабатываться без учета его симметрии относительно каких-либо имеющихся зубов во рту пациента.

Несмотря на то что приведены подробные описания и чертежи некоторых вариантов осуществления изобретения, настоящее изобретение не ограничивается некоторыми описанными и подробно изображенными вариантами его осуществления, настоящее изобретение может также быть осуществлено в других вариантах в рамках объекта изобретения, определенного в нижеприведенной формуле изобретения. В частности, подразумевается, что могут быть использованы другие варианты осуществления изобретения и могут быть внесены структурные и функциональные изменения без выхода за рамки настоящего изобретения.

В формуле изобретения приведен перечень нескольких средств, причем некоторые из этих средств могут быть осуществлены одним и тем же аппаратным блоком. Сам факт того, что некоторые действия перечислены в различных взаимозависимых пунктах формулы или описаны в различных вариантах осуществления, не указывает на то, что сочетание этих действий не может быть полезным.

Следует отметить, что парадигмы слов «включает», «включающий», «содержит», «содержащий», используемые в данном описании, указывают на наличие заявленных признаков, целочисленных значений, стадий или компонентов, но не исключают наличия или добавления одного или нескольких других признаков, целочисленных значений, стадий, компонентов или их групп.

Следует отметить, что используемое в формуле словосочетание «по одному из предшествующих пунктов» может пониматься в значении «по одному или нескольким предшествующим пунктам».

Признаки вышеописанного способа в дальнейшем могут быть применены в программных средствах и могут распространяться на систему обработки данных или иное обрабатывающее средство, запущенное выполнением инструкций, отрабатываемых компьютером. В качестве инструкций могут выступать средства программных кодов, загруженные в память, например ОЗУ, с носителя информации или с другого компьютера, подключенного к вычислительной сети. В ином случае описанные признаки могут быть применены аппаратно подключенной схемой без использования программных средств или в сочетании с программными средствами.

Реферат

Группа изобретений относится к медицине, а именно к стоматологии, и предназначена для проектирования стоматологического протеза. Получают один или несколько двухмерных (2D) изображений, по меньшей мере одно из которых содержит часть лица. Получают виртуальную 3D-модель по меньшей мере части ротовой полости пациента. Располагают по меньшей мере одно из 2D-изображений относительно виртуальной 3D-модели в виртуальном трехмерном пространстве таким образом, что 2D-изображение и виртуальная 3D-модель визуализированы в трехмерном пространстве и выровнены при рассмотрении из точки обзора. Моделируют стоматологический протез по виртуальной 3D-модели, причем данный протез соответствует части лица, имеющейся на одном или нескольких 2D-изображениях. Изобретения, за счет проектирования виртуальной 3D-модели на основе одного или нескольких 2D-изображений, позволяют сформировать виртуальный зубной ряд пациента, основываясь на изображении пациента, при этом моделирование может выполняться с учетом частей лица, влияющих на внешний вид или наружность пациента, или с учетом некоторых, одного или нескольких, специфических частей лица пациента, например губ. 2 н. и 19 з.п. ф-лы, 11 ил.

Формула