Формирование изображений при структурированном освещении с пространственным выбором угла рисунка - RU2740206C1
Код документа: RU2740206C1
Чертежи
Описание
Перекрестная ссылка на родственные заявки
Настоящая заявка испрашивает приоритет предварительной заявки на патент США №62/618,059, поданной 16 января 2018 г. под названием «Формирование изображений при структурированном освещении с пространственным выбором угла рисунка», а также приоритет заявки на патент Нидерландов № N 2020620, поданной 20 марта 2018 г. под названием «Формирование изображений при структурированном освещении с пространственным выбором угла рисунка». Содержание каждой из упомянутых выше заявок в полном объеме включено в настоящий документ посредством ссылки.
Уровень техники
Микроскопия структурированного освещения (SIM, от англ. Structured Illumination Microscopy) представляет собой технологию, при которой пространственно структурированный (то есть, со сформированным рисунком) свет может быть использован для получения изображений образца с целью увеличения латерального разрешения микроскопа в два или более раз. В некоторых случаях, во время отображения образца, получают три изображения интерференционных рисунков образца с различными фазами рисунка (например, 0°, 120° и 240°), так что каждый участок образца подвергается воздействию различных интенсивностей освещения; причем данную процедуру повторяют, поворачивая и меняя ориентацию рисунка вокруг оптической оси на три отдельных угла (например, 0°, 60° и 120°). Захваченные изображения (например, девять изображений) могут быть собраны в одно изображение, имеющее расширенную полосу пространственных частот, которое может быть преобразовано в действительное пространство для создания изображения, имеющего более высокое разрешение, по сравнению с изображениями, захваченными посредством традиционного микроскопа.
В некоторых существующих системах SIM, линейно поляризованный световой пучок направляется через оптический делитель пучка, который делит пучок на два или более отдельных порядка, которые могут объединяться и проецироваться на отображаемый образец в виде рисунка интерференционных полос с синусоидальным изменением интенсивности. Примером делителей пучка являются дифракционные решетки, которые могут создавать пучки с высокой степенью когерентности и устойчивыми углами распространения. При сведении двух таких пучков, их интерференция может привести к созданию равномерного, регулярно повторяющегося интерференционного рисунка, в котором шаг зависит от различных факторов, в том числе от угла между интерферирующими пучками. При сведении более двух пучков, результирующий рисунок, как правило, имеет сочетание различных шагов интерференционных полос, так что разность между максимальной и минимальной интенсивностями (также известная как «глубина модуляции») снижается, что делает такие системы менее пригодными для технологии SIM.
В некоторых существующих системах SIM, ориентацией спроецированного рисунка управляют посредством поворота расщепляющего пучок элемента вокруг оптической оси, при этом фаза рисунка регулируется перемещением указанного элемента в боковом направлении поперек оси. В таких системах дифракционная решетка, как правило, устанавливается на столик поступательного перемещения, который, в свою очередь, устанавливается на столик вращения. Дополнительно, в таких системах часто применяется линейный поляризатор для поляризации света, излучаемого источником света, перед его приемом на решетке.
Раскрытие изобретения
Раскрытые здесь варианты реализации относятся к системам и способам структурированного освещения.
В первом наборе вариантов реализации, система формирования изображений SIM может быть реализована в виде многоплечевой системы формирования изображений SIM, причем каждое плечо системы содержит излучатель света и делитель пучка (например, пропускающую дифракционную решетку), имеющий конкретную, фиксированную ориентацию относительно оптической оси системы.
В одном из вариантов реализации многоплечевой системы формирования изображений SIM, указанная система содержит: первое оптическое плечо, в том числе: первый излучатель света для излучения света; и первый делитель пучка для деления света, излучаемого первым излучателем света, для проецирования первого множества интерференционных полос на плоскость образца;
и второе оптическое плечо, в том числе: второй излучатель света для излучения света; и второй делитель пучка для деления света, излучаемого вторым излучателем света, для проецирования второго множества интерференционных полос на плоскость образца. В данном варианте реализации, система также может содержать оптический элемент для объединения оптических путей первого плеча и второго плеча. Дополнительно, система может содержать датчик изображений для сбора света, излучаемого образцом. В некоторых вариантах реализации, образец может содержать множество характерных элементов, регулярно сформированных в виде прямоугольного массива или шестиугольного массива.
В некоторых вариантах реализации, первый делитель пучка содержит первую пропускающую дифракционную решетку, а второй делитель пучка содержит вторую пропускающую дифракционную решетку. В некоторых вариантах реализации, первый делитель пучка содержит первую отражательную дифракционную решетку, а второй делитель пучка содержит вторую отражательную дифракционную решетку. В некоторых вариантах реализации, каждый из первого и второго делителей пучка содержит светоделительный кубик или пластинку.
В некоторых вариантах реализации, первый и второй излучатели света излучают неполяризованный свет, причем первая и вторая пропускающие дифракционные решетки предназначены для дифракции неполяризованного света, излучаемого соответствующим первым или вторым излучателем света.
В некоторых вариантах реализации, оптический элемент для объединения оптический путей первого множества дифракционных полос и второго множества дифракционных полос содержит зеркало с отверстиями, причем зеркало предназначено для отражения света, дифрагированного первой дифракционной решеткой, а отверстия выполнены с возможностью пропускания по меньшей мере первых порядков света, дифрагированного второй дифракционной решеткой. В некоторых вариантах реализации, оптический элемент для объединения оптических путей первого плеча и второго плеча содержит поляризационный делитель пучка, причем первая дифракционная решетка преломляет вертикально поляризованный свет, а вторая дифракционная решетка преломляет горизонтально поляризованный свет.
В некоторых вариантах реализации, многоплечевая система формирования изображений SIM содержит один или более оптических элементов для сдвига фазы первого множества интерференционных полос и второго множества интерференционных полос.
В некоторых вариантах реализации, указанный один или более оптических элементов для сдвига фазы первого множества интерференционных полос и второго множества интерференционных полос включают в себя первое вращающееся оптическое окно для сдвига фазы первого множества интерференционных полос и второе вращающееся оптическое окно для сдвига фазы второго множества оптических интерференционных полос. В некоторых вариантах реализации, указанный один или несколько оптических элементов для сдвига фазы первого множества интерференционных полос и второго множества интерференционных полос включают в себя первый столик линейного перемещения для поступательного перемещения первой дифракционной решетки и второй столик линейного перемещения для поступательного перемещения второй дифракционной решетки. В некоторых вариантах реализации, указанный один или несколько оптических элементов для сдвига фазы первого множества интерференционных полос и второго множества интерференционных полос включают в себя единственное вращающееся оптическое окно, причем указанное единственное вращающееся оптическое окно расположено за зеркалом с отверстиями на оптическом пути до образца.
В некоторых вариантах реализации, ось вращения единственного вращающегося оптического окна смещена примерно на 45 градусов от оптической оси каждой из решеток.
В некоторых вариантах реализации, первое множество интерференционных полос смещено в угловом направлении от второго множества интерференционных полос на плоскости образца примерно на 90 градусов.
В некоторых вариантах реализации, система также содержит: линзу объектива для проецирования каждого из первого множества интерференционных полос и второго множества интерференционных полос на образец.
В некоторых вариантах реализации, система также содержит: один или более оптических блокираторов пучка для блокировки нулевых порядков света, излучаемого каждой из первой и второй дифракционных решеток. В конкретных вариантах реализации, указанные один или более оптических блокираторов пучка содержат брэгговскую решетку.
В одном из вариантов реализации многоплечевой системы формирования изображений SIM, способ включает: включение первого оптического плеча системы структурированного освещения, причем первое оптическое плечо содержит первый излучатель света для излучения света и первую дифракционную решетку для дифракции света, излучаемого первым излучателем света, с целью проецирования первого множества интерференционных полос, ориентированных в конкретном направлении, на плоскость образца; захват первого множества фазовых изображений образца, причем во время захвата первого множества изображений, положения первого множества интерференционных полос сдвигаются на плоскости образца; включение второго оптического плеча системы структурированного освещения, причем второе оптическое плечо содержит второй излучатель света для излучения света и вторую дифракционную решетку для дифракции света, излучаемого вторым излучателем света, с целью проецирования второго множества интерференционных полос на плоскость образца, причем второе множество интерференционных полос сдвигается в угловом направлении от первого множества интерференционных полос на плоскости образца; и захват второго множества фазовых изображений образца, освещенного посредством второго множества интерференционных полос, причем во время захвата второго множества интерференционных полос, положения второго множества интерференционных полос сдвигаются на плоскости образца. В вариантах реализации данного способа, первая дифракционная решетка и вторая дифракционная решетка представляют собой пропускающие дифракционные решетки, причем система структурированного освещения содержит зеркало с отверстиями для отражения света, дифрагированного первой дифракционной решеткой, и для пропускания по меньшей мере первых порядков света, дифрагированного второй дифракционной решеткой.
В различных вариантах реализации, способ дополнительно включает: использование по меньшей мере первого множества захваченных фазовых изображений и второго множества захваченных фазовых изображений для реконструкции с помощью вычислений одного или нескольких изображений, имеющих более высокое разрешение, чем каждое из первого и второго множеств захваченных фазовых изображений. В различных вариантах реализации, первое множество интерференционных полос смещено в угловом направлении от второго множества интерференционных полос на плоскости образца примерно на угол 90 градусов.
В различных вариантах реализации, первое множество интерференционных полос и второе множество интерференционных полос сдвинуты по фазе посредством вращения единственного оптического окна, расположенного на оптическом пути между образцом и каждой из первой и второй решеток, причем ось вращения единственного вращающегося оптического окна смещена от оптической оси каждой из решеток.
В различных вариантах реализации способа, первое оптическое плечо отключают, а второе оптическое плечо системы структурированного освещения включают после захвата первого множества фазовых изображений.
В различных вариантах реализации способа, первая дифракционная решетка и вторая дифракционная решетка механически закреплены во время захвата изображений.
Во втором наборе вариантов реализации, система формирования изображений SIM может быть реализована в виде системы формирования изображений SIM слайдового типа с множеством делителей пучка, в которой один столик линейного перемещения оснащается множеством делителей пучка, имеющих соответствующую, фиксированную ориентацию относительно оптической оси системы.
В одном из вариантов реализации системы формирования изображений SIM слайдового типа с множеством делителей пучка, указанная система содержит: излучатель света для излучения света, столик линейного перемещения, оснащенный первым делителем пучка и вторым делителем пучка, причем первый делитель пучка предназначен для деления света, излучаемого излучателем света, с целью проецирования первого множества интерференционных полос на плоскость образца, а второй делитель пучка предназначен для деления света, излучаемого излучателем света, с целью проецирования второго множества интерференционных полос на плоскость образца, и датчик изображений для собирания света, излучаемого образцом. В различных вариантах реализации, столик линейного перемещения представляет собой одноразмерный столик линейного перемещения, причем столик линейного перемещения выполнен с возможностью поступательного перемещения вдоль одного размера для оптического соединения каждого из первого делителя пучка и второго делителя пучка с излучателем света, причем первый делитель пучка примыкает ко второму делителю пучка вдоль указанного одного размера. В различных вариантах реализации, первое множество интерференционных полос смещено в угловом направлении от второго множества интерференционных полос на плоскости образца примерно на 90 градусов.
В различных вариантах реализации, первый делитель пучка содержит первую пропускающую дифракционную решетку, а второй делитель пучка содержит вторую пропускающую дифракционную решетку. Первая дифракционная решетка и вторая дифракционная решетка могут быть смещены в угловом направлении от указанного одного размера (например, повернуты вокруг направления распространения света). В конкретных вариантах реализации, первая дифракционная решетка и вторая дифракционная решетка смещены в угловом направлении от указанного одного размера примерно на ±45 градусов.
В некоторых вариантах реализации, первая дифракционная решетка и вторая дифракционная решетка могут быть интегрированы в один оптический элемент, установленный на столике линейного перемещения. В вариантах реализации, в которых дифракционные решетки интегрированы в один оптический элемент, этот единственный оптический элемент может иметь первую сторону, на которой сформирована первая дифракционная решетка, и вторую сторону, примыкающую к первой стороне, на которой сформирована вторая дифракционная решетка.
В некоторых вариантах реализации, система может дополнительно содержать: один или более оптических блокираторов пучка для блокировки нулевых порядков света, излучаемого посредством каждой из первой и второй дифракционных решеток.
В некоторых вариантах реализации, система дополнительно может содержать: проекционную линзу на оптическом пути между столиком линейного перемещения и линзой объектива. Проекционная линза может быть предназначена для проецирования результата преобразования Фурье каждой из первой дифракционной решетки и второй дифракционной решетки во входной зрачок объектива.
В некоторых вариантах реализации, система может дополнительно содержать рисунок выравнивания, сформированный на компоненте, установленном на столике линейного перемещения, причем указанный рисунок выравнивания разделяет свет, излучаемый излучателем света, с целью проецирования рисунка на плоскость образца для выравнивания изображений. Рисунок выравнивания может быть сформирован на подложке, содержащей по меньшей мере одну из первой дифракционной решетки и второй дифракционной решетки. Спроецированный рисунок может содержать линии, имеющие более низкую частоту, чем спроецированное первое множество интерференционных полос и второе множество интерференционных полос.
В некоторых вариантах реализации, система может дополнительно содержать: оптический фазовый модулятор для сдвига фазы первого множества интерференционных полос и второго множества интерференционных полос, которые проецируются на плоскость образца. В таких вариантах реализации, оптический фазовый модулятор может представлять собой компонент, выполненный отдельно от столика линейного перемещения.
В одном варианте реализации системы формирования изображений SIM слайдового типа с множеством делителей пучка, способ включает: включение излучателя света системы формирования изображений при структурированном освещении, причем указанная система формирования изображений при структурированном освещении содержит одноразмерный столик линейного перемещения, оснащенный первой дифракционной решеткой и второй дифракционной решеткой, причем столик линейного перемещения выполнен с возможностью поступательного перемещения вдоль одного размера; поступательное перемещение столика линейного перемещения вдоль указанного одного размера для сдвига фазы первого множества интерференционных полос, спроецированных посредством первой дифракционной решетки на образец; поступательное перемещение столика линейного перемещения для оптического соединения второй дифракционной решетки с излучателем света; и после оптического соединения второй дифракционной решетки с излучателем света, поступательное перемещение столика линейного перемещения вдоль указанного одного размера для сдвига фазы второго множества интерференционных полос, спроецированных посредством второй дифракционной решетки на образец. Первая дифракционная решетка и вторая дифракционная решетка могут представлять собой пропускающие дифракционные решетки, причем они могут быть смещены в угловом направлении от указанного одного размера поступательного перемещения. Например, первая дифракционная решетка и вторая дифракционная решетка могут быть смещена в угловом направлении от указанного одного размера примерно на 45 градусов.
В различных вариантах реализации, способ дополнительно может включать: поступательное перемещение столика линейного перемещения вдоль указанного одного размера несколько раз для сдвига фазы, несколько раз, первого множества интерференционных полос, спроецированных посредством первой дифракционной решетки на образец; и после оптического соединения второй дифракционной решетки с излучателем света, поступательное перемещение столика линейного перемещения вдоль указанного одного размера несколько раз для сдвига фазы, несколько раз, второго множества интерференционных полос, спроецированных посредством второй дифракционной решетки на образец.
В различных вариантах реализации, способ дополнительно может включать: захват изображения образца каждый раз после того, как столик линейного перемещения совершит поступательное перемещение для сдвига фазы первого множества интерференционных полос, и захват изображения образца каждый раз после того, как столик линейного перемещения совершит поступательное перемещение для сдвига фазы второго множества интерференционных полос. Захваченные изображения могут быть использованы для реконструкции с помощью вычислений изображения, имеющего более высокое разрешение, по сравнению с каждым из захваченных изображений.
В различных вариантах реализации способа, столик линейного перемещения поступательно перемещается примерно на одинаковое расстояние вдоль указанного одного размера каждый раз, когда первое множество интерференционных полос или второе множество интерференционных полос сдвигается по фазе на образце.
В конкретных вариантах реализации, столик линейного перемещения поступательно перемещается на расстояние примерно от 10 мм до 15 мм, когда вторая дифракционная решетка оптически соединяется с излучателем света.
В третьем наборе вариантов реализации, система формирования изображений SIM может быть реализована в виде системы формирования изображений SIM с пространственным выбором угла рисунка, причем фиксированная двухмерная дифракционная решетка используется в сочетании с диском пространственного фильтра для проецирования одноразмерных интерференционных рисунков на образце.
В одном из вариантов реализации системы формирования изображений SIM с пространственным выбором угла рисунка, указанная система содержит: излучатель света для излучения света; двухмерную дифракционную решетку для дифракции света, излучаемого указанным излучателя света, с целью проецирования первого множества интерференционных полос, ориентированных в первом направлении, на плоскость образца, и с целью проецирования второго множества интерференционных полос, ориентированных во втором направлении, перпендикулярном к первому направлению, на плоскость образца; и диск пространственного фильтра для пропускания дифрагированного света, принятого от двухмерной дифракционной решетки в соответствующем первом или втором направлении, и блокировки света в соответствующем первом или втором направлении, причем диск пространственного фильтра содержит первое множество отверстий и второе множество отверстий, ортогональных к первому множеству отверстий. Первое множество отверстий может быть предназначено для пропускания света, дифрагированного посредством двухмерной дифракции в первом направлении, а второе множество отверстий может быть предназначено для пропускания света, дифрагированного посредством двухмерной дифракции во втором направлении.
В некоторых вариантах реализации, система дополнительно содержит: блокирующий пучки элемент для блокировки света нулевого порядка, переданного двухмерной дифракционной решеткой. В конкретных вариантах реализации, блокирующий пучки элемент содержит дифракционный оптический элемент со сформированным рисунком для отражения света, нормального к указанному элементу, и для пропускания света под другими углами.
В некоторых вариантах реализации, диск пространственного фильтра выполнен с возможностью отражения света, принятого от двухмерной дифракционной решетки, с порядками дифракции, при которых свет не проходит через диск пространственного фильтра.
В некоторых вариантах реализации, двухмерная дифракционная решетка представляет собой пропускающую дифракционную решетку. Пропускающая дифракционная решетка может быть расположена над или сформирована на поверхности твердотельного оптического устройства, которое принимает свет от излучателя света. Углы рассеяния пропускающей дифракционной решетки могут быть упорядочены так, что свет нулевого порядка блокируется на дальней стороне твердотельного оптического устройства. В некоторых вариантах реализации, твердотельное оптическое устройство содержит наклонные поверхности для дифракции и вывода первых порядков света, дифрагированного двухмерной пропускающей дифракционной решеткой. В конкретных вариантах реализации, наклонные поверхности содержат фокусирующую линзу. В некоторых вариантах реализации, проекционная линза принимает свет на выходе из твердотельного оптического устройства.
В некоторых вариантах реализации, двухмерная дифракционная решетка представляет собой двухмерную отражательную дифракционную решетку. Двухмерная отражательная дифракционная решетка может быть расположена над или сформирована на поверхности твердотельного оптического устройства напротив апертуры твердотельного оптического устройства, которое принимает свет от излучателя света. Твердотельное оптическое устройство может содержать отражательные внутренние поверхности для отражения и вывода первых порядков света, дифрагированного двухмерной отражательной дифракционной решеткой, через выпускные поверхности твердотельного оптического устройства. В конкретных вариантах реализации, выпускные поверхности содержат дифракционную фокусирующую линзу. В некоторых вариантах реализации, проекционная линза предназначена для приема света, исходящего от твердотельного оптического устройства.
В некоторых вариантах реализации, система дополнительно содержит: один или более оптических элементов для сдвига фазы первого множества интерференционных полос и второго множества интерференционных полос. В конкретных вариантах реализации, один или более оптических элементов для сдвига фазы первого множества интерференционных полос и второго множества интерференционных полос содержат параллельную оптическую пластину, наклоненную в двух перпендикулярных направлениях.
В одном варианте реализации системы формирования изображений SIM с пространственным выбором угла рисунка, способ предусматривает: включение излучателя света системы формирования изображений при структурированном освещении, причем система формирования изображений при структурированном освещении содержит двухмерную дифракционную решетку; прием света, излучаемого излучателем света, на двухмерной дифракционной решетке для вывода первого дифрагированного света, ориентированного в первом направлении, и второго дифрагированного света, ориентированного во втором направлении, перпендикулярном к первому направлению; прохождение первого дифрагированного света через первое множество отверстий диска пространственного фильтра, и блокировку второго дифрагированного света на диске пространственного фильтра; проецирование первого дифрагированного света, прошедшего через первое множество отверстий, в виде первого множества интерференционных полос, на плоскости образца; и захват первого множества фазовых изображений света, излучаемого образцом, причем во время захвата первого множества изображений, первое множество интерференционных полос сдвигается по фазе на плоскости образца. Первое множество интерференционных полос может быть сдвинуто по фазе за счет перемещения образца (например, с помощью столика перемещения), за счет перемещения спроецированных интерференционных полос, или за счет перемещения и образца, и спроецированных интерференционных полос.
В различных вариантах реализации, способ дополнительно включает: вращение диска пространственного фильтра так, что он проводит второй дифрагированный свет через второе множество отверстий диска пространственного фильтра и блокирует первый дифрагированный свет на диске пространственного фильтра; проецирование второго дифрагированного света, который проходит через второе множество отверстий, в виде второго множества интерференционных полос, ортогональных к первому множеству интерференционных полос, на плоскость образца; и захват второго множества фазовых изображений света, излучаемого образцом, причем во время захвата второго множества изображений, второе множество интерференционных полос сдвигается по фазе на плоскости образца.
В конкретных вариантах реализации способа, двухмерная дифракционная решетка представляет собой двухмерную пропускающую дифракционную решетку, сформированную или расположенную над поверхностью твердотельного оптического устройства, причем способ дополнительно включает: блокировку света нулевого порядка на выходе из пропускающей дифракционной решетки на стороне твердотельного оптического устройства, напротив пропускающей дифракционной решетки; и дифракцию и вывод, от наклонных поверхностей твердотельного оптического устройства, первых порядков света, дифрагированного двухмерной пропускающей дифракционной решеткой.
В конкретных вариантах реализации способа, двухмерная дифракционная решетка представляет собой двухмерную отражательную дифракционную решетку, сформированную на или расположенную над поверхностью твердотельного оптического устройства, напротив отверстия твердотельного оптического устройства, которое принимает свет от излучателя света, причем способ дополнительно включает: отражение, на поверхностях твердотельного оптического устройства, первых порядков света, дифрагированного двухмерной отражательной дифракционной решеткой.
Другие признаки и аспекты раскрытой здесь технологии станут очевидными из нижеследующего подробного описания, в сочетании с прилагаемыми чертежами, на которых проиллюстрированы, в качестве примера, признаки некоторых раскрытых здесь вариантов реализации заявленной технологии. Краткое описание не предназначено для ограничения объема любого из раскрытых здесь изобретений, которые заданы формулой изобретения и ее эквивалентами.
Следует понимать, что все комбинации приведенных выше концепций (при условии, что такие концепции не являются взаимно несовместимыми) рассматриваются как часть объекта изобретения, раскрытого в настоящем описании. В частности, все комбинации заявленного объекта изобретения, встречающиеся в конце данного описания, рассматриваются как часть раскрытого здесь объекта изобретения.
Краткое описание чертежей
Настоящее изобретение, в соответствии с одним или несколькими вариантами реализации, подробно раскрыто со ссылкой на прилагаемые чертежи. Чертежи приведены исключительно в иллюстративных целях и просто изображают примерные варианты реализации. Кроме того, следует отметить, что для лучшего понимания и простоты иллюстрации, различные элементы на чертежах не обязательно приведены в масштабе.
На некоторых из включенных в настоящее описание чертежей проиллюстрированы различные варианты реализации заявленной технологии под различными углами обзора. Хотя сопроводительный поясняющий текст может ссылаться на такие виды, как виды «сверху», «снизу» или «сбоку», такие отсылки являются исключительно описательными и не предполагают или не требуют, чтобы раскрытая здесь технология была реализована или использована с конкретной пространственной ориентацией, если явным образом не указано иное.
На фиг. 1 показана система формирования изображений при структурированном освещении, которая освещает образец пространственно структурированным светом, в соответствии с некоторыми раскрытыми здесь вариантами реализации.
На фиг. 2 показана оптическая диаграмма, иллюстрирующая одну примерную оптическую конфигурацию двухплечевой системы формирования изображений с использованием микроскопии структурированного освещения (SIM), в соответствии с некоторыми раскрытыми здесь вариантами реализации.
На фиг. 3 показана оптическая диаграмма, иллюстрирующая другую примерную оптическую конфигурацию двухплечевой системы формирования изображений SIM, в соответствии с некоторыми раскрытыми здесь вариантами реализации.
На фиг. 4 показана оптическая диаграмма, иллюстрирующая другую примерную оптическую конфигурацию двухплечевой системы формирования изображений SIM, в соответствии с некоторыми раскрытыми здесь вариантами реализации.
На фиг. 5 показана рабочая блок-схема, иллюстрирующая примерный способ, который может быть осуществлен посредством многоплечевой системы формирования изображений SIM во время одного цикла формирования изображений для использования структурированного света с целью создания изображения с высоким разрешением, в соответствии с некоторыми раскрытыми здесь вариантами реализации.
На фиг. 6 упрощенно показаны интерференционные рисунки освещения, которые проецируются на плоскость образца посредством вертикальной решетки и горизонтальной решетки двухплечевой системы формирования изображений SIM во время захвата изображений, в соответствии с некоторыми раскрытыми здесь вариантами реализации.
На фиг. 7 показана примерная экспериментальная конструкция двухплечевой системы формирования изображений SIM, в которой применен поляризационный делитель пучка для освещения вертикальной решетки вертикально поляризованным светом и горизонтальной решетки горизонтально поляризованным светом, в соответствии с некоторыми раскрытыми здесь вариантами реализации.
На фиг. 8А показано изображение афокального зеркала и изображение флуоресцентного слайда, захваченные с использованием примерной системы формирования изображений SIM с фиг. 7, с помощью микроскопа 20×/0,75 NA.
На фиг. 8В показаны измерения модуляции интерференционных полос, полученные с использованием системы с фиг. 7 с проточной кюветой с шариками. График демонстрирует типичные изменения интенсивности изображения характерных элементов во время цикла фазового регулирования в данном примере, при изменении угла параллельной пластины W2 с фиг. 7.
На фиг. 9 показана другая примерная оптическая конфигурация двухплечевой системы формирования изображений SIM в соответствии с некоторыми раскрытыми здесь вариантами реализации.
На фиг. 10А представлена структурная схема, иллюстрирующая примерную оптическую конфигурацию системы формирования изображений SIM слайдового типа с двумя оптическими решетками в первом положении дифракционной решетки, в соответствии с некоторыми раскрытыми здесь вариантами реализации.
На фиг. 10В показана структурная схема, иллюстрирующая примерную оптическую конфигурацию системы формирования изображений SIM слайдового типа с двумя оптическими решетками с фиг. 10А во втором положении дифракционной решетки, в соответствии с некоторыми раскрытыми здесь вариантами реализации.
На фиг. 11 показана рабочая блок-схема, иллюстрирующая примерный способ, который может быть осуществлен посредством системы формирования изображений SIM слайдового типа с несколькими оптическими решетками во время одного цикла формирования изображений для использования структурированного света с целью создания изображения с высоким разрешением, в соответствии с некоторыми раскрытыми здесь вариантами реализации.
На фиг. 12 упрощенно показаны интерференционные рисунки освещения, которые проецируются на плоскость образца посредством первой дифракционной решетки и второй дифракционной решетки системы формирования изображений SIM слайдового типа с двумя оптическими решетками во время захвата изображения, в соответствии с некоторыми раскрытыми здесь вариантами реализации.
На фиг. 13 показана схема, иллюстрирующая примерную конфигурацию системы формирования изображений SIM слайдового типа с двумя оптическими решетками, в соответствии с некоторыми раскрытыми здесь вариантами реализации.
На фиг. 14 показана структурная схема, иллюстрирующая примерную оптическую конфигурацию системы формирования изображений SIM с пространственным выбором угла рисунка, в соответствии с некоторыми раскрытыми здесь вариантами реализации.
На фиг. 15 показана структурная схема, иллюстрирующая другую примерную оптическую конфигурацию системы формирования изображений SIM с пространственным выбором угла рисунка, в соответствии с некоторыми раскрытыми здесь вариантами реализации.
На фиг. 16 показана структурная схема, иллюстрирующая другую примерную оптическую конфигурацию системы формирования изображений SIM с пространственным выбором угла рисунка, в соответствии с некоторыми раскрытыми здесь вариантами реализации.
На фиг. 17 показан один пример рисунка выравнивания, который может быть использован в некоторых вариантах реализации система формирования изображений SIM слайдового типа с несколькими оптическими решетками.
На фиг. 18 показан образец, который может быть сформирован над узлом датчика изображения системы формирования изображений SIM, в соответствии с некоторыми раскрытыми здесь вариантами реализации.
На фиг. 19 показаны некоторые компоненты примерной системы формирования изображений SIM слайдового типа с двумя оптическими решетками в соответствии с некоторыми раскрытыми здесь вариантами реализации.
Данные чертежи не являются исчерпывающими и не ограничивают настоящее изобретение точной описанной здесь формой.
Подробное описание изобретения
Понятия «порядок» или «порядковый номер», используемые здесь в отношении света, дифрагированного посредством дифракционной решетки, призваны обозначать целое число длин волн, которое отражает разность длин пути света от смежных щелей или структур дифракционной решетки для усиливающей интерференции. Интерференция пучка падающего света на повторяющиеся группы решетчатых структур или другие расщепляющие пучок структуры может перенаправить или преломить части светового пучка в ожидаемых угловых направлениях от исходного пучка. Понятие «нулевой порядок» или «максимум нулевого порядка» относятся к центральной светлой интерференционной полосе, излучаемой посредством дифракционной решетки, в которой отсутствует дифракция. Понятие «первый порядок» относится к двум светлым интерференционным полосам, дифрагированным к любой стороне интерференционной полосы нулевого порядка, причем разность длин пути составляет ±1 длины волн. Более высокие порядки преломляются под большими углами от исходного пучка. Свойства решетки можно регулировать для управления тем, какая величина интенсивности пучка направляется в различные порядки. Например, фазовая решетка может быть изготовлена так, чтобы увеличить до максимума передачу ±1 порядков и минимизировать передачу пучка нулевого порядка.
Понятие «характерный элемент», используемое здесь в отношении образца, призвано обозначать точку или область в рисунке, которая может отличаться от других точек или областей в соответствии с относительным местоположением. Отдельно взятый характерный элемент может содержать одну или несколько молекул конкретного типа. Например, характерный элемент может содержать единственную целевую молекулу нуклеиновой кислоты, имеющую конкретную последовательность, или характерный элемент может содержать несколько молекул нуклеиновой кислоты, имеющих одинаковую последовательность (и/или комплементарную последовательность).
Понятие «плоскость ху», используемое в настоящем описании, призвано обозначать двухмерную область, заданную прямыми линиями, относящимися к осям х и у в декартовой системе координат. Если оно используется в отношении детектора и объекта, исследуемого посредством детектора, то область может быть дополнительно определена как проходящая ортогонально к оси пучка, или как направление наблюдения между детектором и обнаруженным объектом.
Используемое здесь понятие «координата Z» призвано обозначать информацию, которая определяет местоположение точки, линии или области вдоль оси, которая проходит ортогонально к плоскости ху. В конкретных вариантах реализации, ось z проходит ортогонально к области объекта, исследуемого посредством детектора. Например, направление фокусировки для оптической системы может быть определено вдоль оси z.
Используемое здесь понятие «оптически соединенный» относится к одному элементу, выполненному с возможностью передачи света к другому элементу напрямую или косвенно.
Как упомянуто выше, существующие системы SIM предусматривают установку дифракционной решетки на столик поступательного перемещения, который, в свою очередь, установлен на столик вращения. Дополнительно, в таких системах часто применяется линейный поляризатор для поляризации источника света, перед его приемом на решетке. Эти существующие конструкции обладают целым рядом недостатков, которые не позволяют применять их в высокопроизводительных системах микроскопии. Во-первых, поскольку столик вращения должен поворачивать решетку несколько раз во время получения набора изображений (например, три раза), скорость инструмента снижается, что отрицательно сказывается на его устойчивости. Обычно, самые быстрые столики для решетки могут поворачиваться со скоростью порядка десятков миллисекунд (мс), что накладывает механические ограничения производительности на скорость формирования изображений. Во-вторых, существующие конструкции имеют слабую воспроизводимость, поскольку механические допуски столика вращения ограничивают воспроизводимость рисунков структурированного освещения от одного набора полученных изображений к следующему набору. Это также приводит к увеличению затрат на систему SIM, поскольку она требует наличия высокоточного столика вращения.
В-третьих, существующие конструкции SIM не являются самыми надежными для применения в высокопроизводительных системах микроскопии, ввиду количества срабатываний, которые осуществляются для вращения решетки. Например, если каждую секунду получают один набор изображений SIM, то столик вращения может потребовать от миллиона до десятков миллионов срабатываний в год. В-четвертых, существующие конструкции SIM имеют низкую оптическую эффективность, поскольку линейный поляризатор блокирует по меньшей мере 50% света, принимаемого на решетке.
В этой связи, варианты реализации раскрытой здесь технологии относятся к усовершенствованным системам и способам SIM.
В соответствии с первым набором вариантов реализации раскрытой здесь технологии, система формирования изображений SIM может быть реализована в виде многоплечевой системы формирования изображений SIM, причем каждое плечо системы содержит излучатель света и делитель пучка (например, пропускающую дифракционную решетку), имеющий конкретную, фиксированную ориентацию относительно оптической оси системы. В соответствии с этими вариантами реализации, делители пучка в системе формирования изображений SIM закреплены с возможностью вращения (то есть, не требуют механического вращения), что может обеспечить повышение скорости, надежности и воспроизводимости системы. Для систем, в которых отображаемые объекты ориентированы, в основном, вдоль 2 перпендикулярных осей (то есть, вертикальной и горизонтальной), можно обеспечить повышенное пространственное разрешение, используя 2 угла рисунка, вместо 3 углов, обычно используемых для объектов с произвольной ориентацией. В конкретных вариантах реализации, система может быть реализована в виде двухплечевой системы формирования изображений SIM, содержащей фиксированную вертикальную решетку и фиксированную горизонтальную решетку для проецирования соответствующих интерференционных рисунков на отображаемом образце. Возможно применение других пар ортогональной решетки и углов рисунка, при условии, что они выровнены относительно ориентации объектов образца. Кроме того, система может содержать зеркало с отверстиями для объединения без потерь двух плеч на оптическом пути.
В соответствии со вторым набором вариантов реализации раскрытой здесь технологии, система формирования изображений SIM может быть реализована в виде системы формирования изображений SIM слайдового типа с несколькими делителями пучка, причем один столик линейного перемещения оснащен множеством делителей пучка (например, дифракционными решетками), имеющих соответствующую, фиксированную ориентацию относительно оптической оси системы. В конкретных вариантах реализации, система формирования изображений SIM может быть реализована в виде системы формирования изображений SIM слайдового типа с двумя оптическими решетками, причем все фазовые сдвиги или вращения рисунка решетки, спроецированного на отображаемый образец, могут быть выполнены в ходе линейного поступательного перемещения столика перемещения вдоль единственной оси перемещения, для выбора одной из двух решеток или для воздействия на фазовый сдвиг рисунка, созданного выбранной решеткой. В таких вариантах реализации, для освещения образца требуется только одно оптическое плечо, имеющее единственный излучатель и единственный столик линейного перемещения, что может обеспечить такие преимущества системы, как уменьшение количества подвижных частей системы для улучшения скорости, а также снижения уровня сложности и затрат. Кроме того, в таких вариантах реализации, отсутствие поляризатора может обеспечить преимущество, заключающееся в высокой оптической эффективности.
В соответствии с третьим набором вариантов реализации раскрытой здесь технологии, система формирования изображений SIM может быть реализована в виде системы формирования изображений SIM с пространственным выбором угла рисунка, причем фиксированная двухмерная дифракционная решетка используется в сочетании с диском пространственного фильтра для проецирования двухмерных дифракционных решеток на образец. В таких вариантах реализации, первичные оптические компоненты системы формирования изображений могут оставаться неподвижными, что может повысить устойчивость оптической системы (и рисунка освещения) и минимизировать вес, вибрации на выходе и затраты на изготовление подвижных элементов системы.
Перед раскрытием различных вариантов реализации систем и способов согласно настоящему изобретению, целесообразно описать примерную среду, с помощью которой возможна реализация описанной здесь технологии. Одной из таких примерных сред является система 100 формирования изображений при структурированном освещении, показанная на фиг. 1, которая освещает образец пространственно структурированным светом. Например, система 100 может представлять собой систему флуоресцентной микроскопии со структурированным освещением, в которой используется пространственно структурированный свет возбуждения для формирования изображений биологического образца.
В примере с фиг. 1, излучатель 150 света выполнен с возможностью вывода светового пучка, который коллимируется посредством коллиматорной линзы 151. Коллимированный свет структурирован (со сформированным рисунком) посредством оптического оборудования 155 для структурирования света и направляется посредством дихроичного зеркала 160 через линзу 142 объектива на образец контейнера 110 для образцов, который расположен на столике 170 перемещения. В случае флуоресцирующего образца, образец флуоресцирует под воздействием структурированного света возбуждения, при этом получаемый в результате свет собирается линзой 142 объектива и направляется к датчику изображений системы 140 съемочной камеры для обнаружения флуоресценции.
Оптическое оборудование 155 для структурирования света в различных вариантах реализации, которые будут дополнительно раскрыты ниже, содержит одну или несколько оптических дифракционных решеток или других расщепляющих пучок элементов (например, светоделительный кубик или пластинку) для создания рисунка света (например, интерференционных полос, как правило, синусоидальных), который проецируется на образцы в контейнере 110 для образцов. Дифракционные решетки могут представлять собой одномерные или двухмерные пропускающие или отражательные решетки. Дифракционные решетки могут представлять собой синусоидальные амплитудные решетки или синусоидальные фазовые решетки.
Как будет подробно раскрыто ниже со ссылкой на конкретные варианты реализации, в системе 100 дифракционные решетки не требуют наличия столика вращения, как в типовой системе микроскопии структурированного освещения в рассмотренных выше существующих системах. В некоторых вариантах реализации, дифракционные решетки могут быть зафиксированы во время работы системы формирования изображений (то есть, не требуют вращательного или линейного перемещения). Например, в одном конкретном варианте реализации, который подробно раскрыт ниже, дифракционные решетки могут содержать две фиксированные одномерные пропускающие дифракционные решетки, ориентированные перпендикулярно друг к другу (например, горизонтальную дифракционную решетку и вертикальную дифракционную решетку).
Как показано в примере с фиг. 1, оптическое оборудование 155 для структурирования света выдает первые порядки дифрагированных световых пучков (например, m = ±1 порядки), при этом блокирую или сводя к минимуму все другие порядки, в том числе нулевые порядки. Однако, в альтернативных вариантах реализации, дополнительные порядки света могут быть спроецированы на образец.
Во время каждого цикла формирования изображений, в системе 100 формирования изображений используется оптическое оборудование 155 для структурирования света с целью получения множества изображений с различными фазами, при этом интерференционный рисунок перемещается в сторону, в направлении модуляции (например, в плоскости х-у, перпендикулярно к интерференционным полосам), причем данную процедуру повторяют один или несколько раз, поворачивая и меняя ориентацию рисунка вокруг оптической оси (то есть, относительно плоскости х-у образца). Захваченные изображения могут быть далее восстановлены с помощью вычислений для создания изображения с более высоким разрешением (например, изображения, имеющего разрешение, примерно в два раза превышающее боковое пространственное разрешение отдельно взятых изображений).
В системе 100, излучатель 150 света может представлять собой излучатель некогерентного света (например, он излучает световые пучки, исходящие от одного или нескольких диодов возбуждения), или излучатель когерентного света, такой как излучатель света, исходящего от одного или нескольких лазеров или лазерных диодов. Как показано в примере системы 100, излучатель 150 света содержит оптическое волокно 152 для направления оптического пучка для его вывода. Однако, возможно использование других конфигураций излучателя 150 света. В вариантах реализации, в которых используется структурированное освещение в многоканальной системе формирования изображений (например, многоканальном флуоресцентном микроскопе, использующем множество длин волн света), оптическое волокно 152 может быть оптически соединено с множеством различных источников света (не показаны), причем каждый источник света излучает свет различной длины волны. Хотя показано, что система 100 имеет единственный излучатель 150 света, в некоторых вариантах реализации, может быть предусмотрено несколько излучателей 150 света. Например, множество излучателей света может быть предусмотрено в случае применения системы формирования изображений при структурированном освещении, в которой используется несколько плеч, что подробно будет рассмотрено далее.
В некоторых вариантах реализации, система 100 может содержать проекционную линзу 156, которая может иметь элемент линзы, выполненный с возможностью поворота вдоль оси z для регулирования формы и пути структурированного пучка. Например, компонент проекционной линзы может поворачиваться для учета различных значений толщины образца (например, различной толщины покровного стекла) образца в контейнере 110.
В примере системы 100, модуль или устройство 190 подачи текучей среды может направлять поток реагентов (например, флуоресцентно меченых нуклеотидов, буферов, ферментов, реагентов для расщепления, и т.д.) к (или через) контейнеру 110 для образцов и сливному клапану 120. Контейнер 110 для образцов может содержать одну или несколько подложек, на которых располагают образцы. Например, в случае применения системы для анализа большого количество различных последовательностей нуклеиновой кислоты, контейнер 110 для образцов может содержать одну или несколько подложек, на которых связывают, закрепляют или соединяют нуклеиновые кислоты, подлежащие секвенированию. Подложка может представлять собой любую инертную подложку или матрицу, к которой могут быть прикреплены нуклеиновые кислоты, например, это могут быть стеклянные поверхности, пластмассовые поверхности, латекс, декстран, полистирольные поверхности, полипропиленовые поверхности, полиакриламидные гели, золотые поверхности, и кремниевые пластины. В некоторых сферах применения, подложка находится внутри канала или другой области на множестве участков, сформированных в виде матрицы или массива в пределах контейнера 110 для образцов. Система 100 также может содержать исполнительный механизм 130 станции для температурных измерений и/или нагреватель/охладитель 135, который может опционально регулировать температуру условий текучих сред внутри контейнера 110 для образцов.
В конкретных вариантах реализации, контейнер 110 для образцов может быть реализован в виде проточной кюветы со сформированным рисунком, содержащей полупрозрачную покровную пластину, подложку, и жидкость, находящуюся между ними, причем биологический образец может быть расположен на внутренней поверхности полупрозрачной покровной пластины или внутренней поверхности подложки. Проточная кювета может содержать большое количество (например, тысячи, миллионы или миллиарды) лунок или областей, которые структурированы в отчетливо-выраженный массив (например, шестиугольный массив, прямоугольный массив, и т.д.) в подложке. Каждая область может образовывать кластер (например, моноклональный кластер) биологического образца, например, ДНК, РНК, или другой геномный материал, который может быть секвенирован, например, в ходе секвенирования посредством синтеза. Проточная кювета может быть дополнительно разделена на множество отстоящих друг от друга полос (например, восемь полос), причем каждая из полос содержит шестиугольный массив кластеров. Примерные проточные кюветы, которые могут быть использованы в вариантах реализации, раскрытых в настоящем изобретении, описаны в патенте США №8778848.
Контейнер 110 для образцов может быть установлен на предметный столик 170 для обеспечения перемещения и выравнивания контейнера 110 для образцов относительно линзы 142 объектива. Предметный столик может иметь один или несколько исполнительных механизмов для обеспечения возможности его перемещения в любом из трех измерений. Например, в контексте системы декартовых координат, исполнительные механизмы могут быть предусмотрены для обеспечения возможности перемещения столика в направлении X, Y и Z относительно линзы объектива. Благодаря этому можно расположить один или несколько участков образца на контейнере 110 для образцов с оптической центровкой относительно линзы 142 объектива. Перемещение предметного столика 170 относительно линзы 142 объектива может быть обеспечено за счет перемещения самого предметного столика, линзы объектива, некоторого другого компонента системы формирования изображений, или комбинации перечисленных элементов. В некоторых вариантах реализации, перемещение предметного столика 170 может быть реализовано во время формирования изображений при структурированном освещении для перемещения интерференционных полос структурированного освещения относительно образца для изменения фаз. Другие варианты реализации также могут предусматривать перемещение всей системы формирования изображений над неподвижным образцом. Альтернативно, контейнер 110 для образцов может быть зафиксирован во время формирования изображений.
В некоторых вариантах реализации, может быть предусмотрен компонент 175 фокусировки (ось z) для управления позиционированием оптических компонентов относительно контейнера 110 для образцов в направлении фокусировки (как правило, именуемом как ось z, или направление z). Компонент 175 фокусировки может содержать один или несколько исполнительных механизмов, физически соединенных с оптическим столиком или предметным столиком, или с обоими, для перемещения контейнера 110 для образцов на предметном столике 170 относительно оптических компонентов (например, линзы 172 объектива) для обеспечения надлежащей фокусировки для операции формирования изображений. Например, исполнительный механизм может быть физически соединен с соответствующим столиком, например, посредством механического, магнитного, гидравлического или другого крепления или может контактировать напрямую или косвенно со столиком. Один или несколько исполнительных механизмов могут быть выполнены с возможностью перемещения столика в z-направлении, удерживая, при этом, предметный столик в одной и той же плоскости (например, сохраняя ровное или горизонтальное положение, перпендикулярное к оптической оси). Один или несколько исполнительных механизмов также могут быть выполнены с возможностью наклонения столика. Например, это может быть реализовано так, чтобы контейнер 110 для образцов мог быть динамически выровнен для учета любого уклона на его поверхности.
Следует понимать, что, хотя на фиг. 1 проиллюстрировано применение линзы 142 объектива для объединения и проецирования порядков двух пучков на отображаемый образец в виде интерференционного рисунка на образце, другие подходящие средства также могут быть использованы для сведения двух пучков и/или проецирования интерференционного рисунка на образец. Любое средство, обеспечивающее перенаправление пучков, может оказаться достаточным (например, с использованием зеркал), при условии, что длина пути, пройденного пучками, находится в пределах длины временной когерентности пучков. Кроме того, в некоторых вариантах реализации, порядки двух пучков могут автоматически накладываться на расстояние вне делителя пучка (например, дифракционной решетки). В таких вариантах реализации, интерференционный рисунок может появиться рядом с решеткой, что исключает требование наличия дополнительной проекционной системы, если дифракционная решетка находится достаточно близко к образцу. При этом, следует понимать, что варианты реализации для раскрытой здесь технологии SIM могут быть применены в отношении систем, в которых не задействуются системы линз объектива для проецирования интерференционных рисунков.
Испускание структурированного света исследуемым образцом в некотором месте образца, изображение которого получают, может быть направлено через дихроичное зеркало 160 к одному или нескольким детекторам системы 140 съемочной камеры. В некоторых вариантах реализации, может быть предусмотрен узел 165 переключения фильтра с одним или несколькими эмиссионными фильтрами, причем указанный один или несколько эмиссионных фильтров могут быть использованы для пропускания конкретных длин волн излучения и блокировки (или отражения) других длин волн излучения. Например, указанный один или несколько эмиссионных фильтров могут быть использованы для переключения между различными каналами системы формирования изображений. В одном конкретном варианте реализации, эмиссионные фильтры могут быть реализованы в виде дихроичных зеркал, которые направляют излучаемый свет различных длин волн к различным датчикам изображений системы 140 съемочной камеры.
Система 140 съемочной камеры может содержать один или несколько датчиков изображений для контроля и отслеживания формирования изображений (например, секвенирования) контейнера 110 для образцов. Система 140 съемочной камеры может быть реализована, например, в виде камеры датчика изображений устройства с зарядовой связью (CCD, от англ. Charge-Coupled Device), но также возможно использование других технологий датчика изображений, например, активно-пиксельные датчики (например, датчики изображения с комплементарной структурой металл-оксид-полупроводник (CMOS, от англ. Complementary Metal-Oxide-Semiconductor)). В некоторых вариантах реализации, в системе 100 формирования изображений при структурированном освещении может использоваться датчик изображений (например, активно-пиксельный датчик) в активной плоскости образца. В таких вариантах реализации, отображаемый образец может иметь нанесенный рисунок и/или может быть выровнен над датчиком изображений.
Выводимые данные (например, изображения) из системы 140 съемочной камеры могут быть переданы в модуль анализа данных в реальном времени (не показан), который может быть реализован в виде программного приложения, которое, как будет подробно раскрыто далее, может восстановить изображения, захваченные во время каждого цикла формирования изображений для создания изображения, имеющего более высокое пространственное разрешение. Альтернативно, выводимые данные могут быть сохранены для восстановления позднее.
Хотя это и не показано на чертежах, может быть предусмотрен контроллер для управления ориентацией системы 100 формирования изображений при структурированном освещении, в том числе, синхронизации различных оптических компонентов системы 100. Контроллер может быть выполнен с возможностью управления различными аспектами работы системы, например, конфигурацией оптического узла 155 для структурирования света (например, выбора и/или линейного поступательного перемещения дифракционных решеток), перемещением проекционной линзы 156, фокусировкой, перемещением столика, операциями формирования изображений. В различных вариантах реализации, контроллер может быть реализован с использованием аппаратного обеспечения, алгоритмов (например, машиноисполняемых инструкций), или комбинации перечисленных средств. Например, в некоторых вариантах реализации, контроллер может содержать один или несколько ЦП или процессоров с ассоциативной памятью. В другом примере, контроллер может содержать аппаратное обеспечение или другую электрическую схему для управления функционированием, например, процессор вычислительной машины и энергонезависимый машиночитаемый носитель данных с машиночитаемыми инструкциями, которые в нем хранятся. Например, такая электрическая схема может содержать одно или несколько из следующих устройств: программируемую пользователем вентильную матрицу (FPGA, от англ. Field Programmable Gate Array), специализированную интегральную микросхему (ASIC, от англ. Application Specific Integrated Circuit), программируемое логическое устройство (PLD, от англ. Programmable Logic Device), сложное программируемое логическое устройство (CPLD, от англ. Complex Programmable Logic Device), программируемую логическую матрицу (PLA, от англ. Programmable Logic Array), программируемую матричную логику (PAL, от англ. Programmable Array Logic) или другое схожее обрабатывающее устройство или схему. В еще одном примере, контроллер может содержать комбинацию этой электрической схемы с одним или несколькими процессорами.
Многоплечевая система формирования изображений с использованием микроскопии структурированного освещения
В соответствии с некоторыми вариантами реализации раскрытой здесь технологии, система формирования изображений SIM может быть реализована в виде многоплечевой системы формирования изображений SIM, причем каждое плечо системы содержит излучатель света и решетку, имеющую конкретную, фиксированную ориентацию относительно оптической оси системы.
На фиг. 2 показана оптическая диаграмма, иллюстрирующая одну примерную оптическую конфигурацию двухплечевой системы 200 формирования изображений SIM в соответствии с некоторыми раскрытыми здесь вариантами реализации. Первое плечо системы 200 содержит излучатель 210A света, оптический коллиматор 220А для коллимации света, исходящего от излучателя 210A света, дифракционную решетку 230А с первой ориентацией относительно оптической оси, вращательное окно 240А, и проекционную линзу 250А. Второе плечо системы 200 содержит излучатель 210В света, оптический коллиматор 220В для коллимации света, исходящего от излучателя 210В света, дифракционную решетку 230В со второй ориентацией относительно оптической оси, вращательное окно 240В и проекционную линзу 250В. Хотя в данном примере показаны дифракционные решетки, в других вариантах реализации, другие расщепляющие пучок элементы, такие как светоделительный кубик или пластинка, могут быть использованы для разделения света, принимаемого на каждом плече системы 200 формирования изображений SIM.
Каждый излучатель 210А-210В света может представлять собой излучатель некогерентного света (например, он излучает световые пучки, исходящие от одного или нескольких светоизлучающих диодов (LED, от англ. Light Emitting Diode)), или излучатель когерентного света, например, излучатель света, исходящего от одного или нескольких лазеров или лазерных диодов. В примере системы 200, каждый излучатель 210А-210В света представляет собой оптическое волокно, которое выводит оптический пучок, коллимированный соответствующим коллиматором 220А-220В.
В некоторых вариантах реализации, каждое оптическое волокно может быть оптически соединено с соответствующим источником света (не показан), например, лазером. Во время формирования изображений, каждое оптическое волокно может быть включено или отключено с помощью высокоскоростного затвора (не показан), расположенного на оптическом пути между волокном и источником света, или за счет пульсации соответствующего источника света волокна с предварительно заданной частотой во время формирования изображений. В некоторых вариантах реализации, каждое оптическое волокно может быть оптически соединено с одним и тем же источником света. В таких вариантах реализации, делитель пучка или другой подходящий оптический элемент может быть использован для направления света от источника света в каждое из оптических волокон. В таких примерах, каждое оптическое волокно может быть включено или отключено с помощью высокоскоростного затвора (не показан), расположенного на оптическом пути между волокном и делителем света.
В примерной системе 200 формирования изображений SIM, первое плечо содержит фиксированную вертикальную решетку 230А для проецирования рисунка решетки с первой ориентацией (например, вертикального интерференционного рисунка) на образец, а второе плечо содержит фиксированную горизонтальную решетку 230В для проецирования рисунка решетки со второй ориентацией (например, горизонтального интерференционного рисунка) на образец 271. В отличие от существующих систем формирования изображений SIM, дифракционные решетки системы 200 формирования изображений SIM не требуют их механического вращения или поступательного перемещения, что, в свою очередь, может обеспечить повышение скорости системы, надежности и воспроизводимости.
Как показано в примере с фиг. 2, решетки 230А-230В могут представлять собой пропускающие дифракционные решетки, в том числе множество дифракционных элементов (например, параллельных щелей или канавок), образованных в стеклянной подложке или другой подходящей поверхности. Решетки могут быть реализованы в виде фазовых решеток, которые обеспечивают периодическое изменение показателя преломления материала решетки. Шаг канавок или характерных элементов можно выбрать так, чтобы получать дифракцию света под подходящими углами, и регулировать его до минимального разрешимого размера характерного элемента отображаемых образцов для работы системы 200 формирования изображений SIM. В других вариантах реализации, решетки могут представлять собой отражательные дифракционные решетки.
В примере системы 200 формирования изображений SIM, вертикальные и горизонтальные рисунки смещены примерно на 90 градусов. В других вариантах реализации, другие ориентации решеток могут быть использованы для создания смещения на примерно 90 градусов. Например, решетки могут быть ориентированы так, что они проецируют изображения, которые смещены на ±45 градусов от плоскости х или у образца 271. Данная конфигурация примерной системы 200 формирования изображений SIM может быть особенно целесообразной в случае образца 271 с равномерно сформированным рисунком и с характерными элементами на прямоугольной сетке, поскольку можно получить повышенное структурированное разрешение с использованием только двух перпендикулярных решеток (например, вертикальной и горизонтальной решеток).
Решетки 230А-230В, в примере системы 200, выполнены с возможностью дифракции входных пучков на множество порядков (например, 0 порядок, ±1 порядки, ±2 порядки, и т.д.), среди которых ±1 порядки могут проецироваться на образец 271. Как показано в данном примере, вертикальная решетка 230А обеспечивает дифракцию коллимированного светового пучка на дифрагированные пучки первого порядка (±1 порядки), с распространением первых порядков на плоскости страницы, причем горизонтальная решетка 230В обеспечивает дифракцию коллимированного светового пучка на дифрагированные пучки первого порядка, с распространением порядков выше и ниже плоскости страницы (то есть, в плоскости, перпендикулярной к странице). Для повышения эффективности системы, пучки нулевого порядка и все другие пучки более высоких порядков (то есть, ±2 порядков или выше) могут быть заблокированы (то есть, отфильтрованы из рисунка освещения, спроецированного на образец 271). Например, блокирующий пучки элемент (не показан), а именно, фильтр порядков может быть вставлен в оптический путь после блокировки каждой дифракционной решеткой пучка нулевого порядка и пучков более высоких порядков. В некоторых вариантах реализации, дифракционные решетки 230А-230В могут быть выполнены с возможностью дифракции пучков только на первые порядки, причем нулевой порядок (недифрагированный пучок) может быть заблокирован посредством некоторого блокирующего пучки элемента.
Каждое плечо содержит оптический фазовый модулятор или фазовращатель 240А-240В для сдвига фазы дифрагированного света, исходящего от каждой из решеток 230. Например, во время структурированного формирования изображений, оптическая фаза каждого дифрагированного пучка может быть сдвинута на некоторую долю (например, 1/2, 1/3, 1/4, и т.д.) шага (λ) каждой интерференционной полосы структурированного рисунка. В примере с фиг. 2, фазовые модуляторы 240А и 240В реализованы в виде вращательных окон, в которых возможно использование гальванометра или другого вращательного исполнительного механизма для вращения и модуляции длины оптического пути каждого дифрагированного пучка. Например, окно 240А может вращаться вокруг вертикальной оси для сдвига изображения, спроецированного посредством вертикальной решетки 230А на образец 271, влево или вправо, причем окно 240В может вращаться вокруг горизонтальной оси для сдвига изображения, спроецированного горизонтальной решеткой 230В на образец, вверх или вниз.
В других вариантах реализации, которые будут более подробно раскрыты далее, возможно использование других фазовых модуляторов, которые меняют длину оптического пути дифрагированного света (например, столики линейного поступательного перемещения, клинья, и т.д.). Кроме того, хотя на чертежах показано, что оптические фазовые модуляторы 240А-240В расположены за решетками 230А-230В, в других вариантах реализации, они могут быть расположены в других местах в осветительной системе. В некоторых вариантах реализации, единственный фазовый модулятор может работать в двух различных направлениях для различных интерференционных рисунков, или единственный фазовый модулятор может использовать одно перемещение для регулирования обеих из длин путей, как раскрыто ниже.
В примерной системе 200, зеркало 260 с отверстиями 261 без потерь объединяет два плеча в оптический путь (например, без существенных потерь оптической мощности, за исключением небольшого поглощения в отражательном покрытии). Зеркало 260 может быть расположено так, что дифрагированные порядки от каждой из решеток имеют пространственное разрешение, при этом нежелательные порядки могут быть заблокированы. Зеркало 260 проводит первые порядки света, исходящего от первого плеча через отверстия 261. Зеркало 260 отражает первые порядки света, исходящего от второго плеча. При этом, рисунок структурированного освещения может переключаться с вертикальной ориентации (например, решетка 230А) на горизонтальную ориентацию (например, решетка 230В) путем включения или отключения каждого излучателя или путем открытия и закрытия оптического затвора, который направляет свет от источника света через оптоволоконный кабель. В других вариантах реализации, рисунок структурированного освещения может переключаться за счет использования оптического переключателя для изменения плеча, который освещает образец.
В примерной системе 200 формирования изображений также показана проекционная линза 265, полуотражательное зеркало 280, объектив 270 и съемочная камера 290. Проекционная линза 265 может быть использована в сочетании с линзой 250А для проецирования результата преобразования Фурье решетки 230А во входной зрачок линзы 270 объектива. По аналогии, проекционная линза 265 может быть использована в сочетании с линзой 250В для проецирования результата преобразования Фурье решетки 230В во входной зрачок линзы 270 объектива. Проекционная линза 265 также может быть выполнена с возможностью поворота вдоль оси z для регулирования фокусировки решетки на плоскости образца. Полуотражательное зеркало 280 может представлять собой дихроичное зеркало для отражения света структурированного освещения, принятого от каждого плеча, вниз в объектив 270 для проецирования на образец 271, и пропускания света, излучаемого образцом 271 (например, флуоресцентного света, который излучается с различными длинами волн, отличными от возбуждения) на съемочную камеру 290.
Следует отметить, что пример системы 200 может обеспечить высокую оптическую эффективность благодаря отсутствию поляризатора. Кроме того, использование неполяризованного света может не оказывать существенное влияние на контраст рисунка в зависимости от численных настроек апертуры объектива 270.
Следует отметить, что, для упрощения, оптические компоненты системы 200 формирования изображений SIM могут быть исключены из нижеследующего описания. Кроме того, хотя система 200 показана в данном примере в виде одноканальной системы, в других вариантах реализации, она может быть реализована в виде многоканальной системы (например, с использованием двух различных съемочных камер и источников света, которые излучают с двумя различными длинами волн).
На фиг. 3 показана оптическая диаграмма, иллюстрирующая другую примерную оптическую конфигурацию двухплечевой системы 300 формирования изображений SIM в соответствии с другими раскрытыми здесь вариантами реализации. В системе 300, большое, вращательное оптическое окно 310 может быть расположено за зеркалом 260 с отверстиями 261. В данном случае, окно 310 может использовано вместо окон 240А и 240В для модуляции фаз обоих наборов дифрагированных пучков, исходящих от вертикальной и горизонтальной дифракционных решеток. Вместо параллельности относительно оптической оси одной из решеток, ось вращения для вращательного окна 310 может быть смещена на 45 градусов (или с другим угловым смещением) от оптической оси каждой из вертикальной и горизонтальной решеток для обеспечения фазового сдвига в обоих направлениях вдоль одной общей оси вращения окна 310. В некоторых вариантах реализации, вращательное окно 310 может быть заменено клиновидным оптическим устройством, вращающимся вокруг номинальной оси пучка.
На фиг. 4 показана оптическая диаграмма, иллюстрирующая другую примерную оптическую конфигурацию двухплечевой системы 400 формирования изображений SIM в соответствии с некоторыми раскрытыми здесь вариантами реализации. В системе 400, решетки 230А и 230В установлены на соответствующих столиках 410 и 410В линейного перемещения, которые могут поступательно перемещаться для изменения длины оптического пути (и, соответственно, фазы) света, излучаемого решетками 230А и 230В. Ось перемещения столиков 410А-410В линейного перемещения может проходить перпендикулярно или может быть иным образом смещена относительно ориентации их соответствующей решетки для реализации поступательного перемещения рисунка решетки вдоль образца 271. В различных вариантах реализации, каждый из столиков 410А и 410В может использовать перекрестные роликовые подшипники, линейный двигатель, высокоточный линейный кодировщик, и/или другие технологии для обеспечения точных линейных поступательных перемещений решеток для фазового сдвига спроецированных изображений.
На фиг. 5 показана рабочая блок-схема, иллюстрирующая примерный способ 500, который может быть осуществлен посредством многоплечевой системы формирования изображений SIM во время одного цикла формирования изображений для использования структурированного света с целью создания изображения с высоким разрешением в соответствии с некоторыми раскрытыми здесь вариантами реализации. В различных вариантах реализации, способ 500 может быть осуществлен для формирования изображений всего образца или заданного участка более крупного образца. Способ 500 будет описан со ссылкой на фиг. 6, на которой упрощенно показаны рисунки интерференционных полос освещения, которые могут быть спроецированы на плоскость образца 271 посредством вертикальной решетки и горизонтальной решетки двухплечевой системы формирования изображений SIM во время захвата изображений. Например, в системе 200 формирования изображений SIM может использоваться вертикальная решетка 230А и горизонтальная решетка 230В для создания горизонтальных и вертикальных рисунков освещения, показанных на фиг. 6, при этом модуляторы 230А и 230В могут быть установлены в трех разных положениях для обеспечения трех фазовых сдвигов, показанных на чертеже.
В ходе операции 510, первое плечо, соответствующее первой ориентации решетки, включается для начала процесса создания рисунков освещения с использованием первого плеча. Например, в варианте реализации системы 200 формирования изображений, высокоскоростной затвор, расположенный на пути между оптическим волокном 210А и источником света, может быть открыт или иным образом задействован так, чтобы источник света не блокировался. Альтернативно, один или несколько источников света могут быть включены или отключены (например, возбуждены импульсами), или оптический переключатель может быть использован для направления света от источника света через оптический путь первого плеча (например, через один из первого или второго излучателя). В некоторых примерах, операция 510 может также предусматривать включение источника света (например, в случае первого цикла формирования изображений).
Когда первое плечо включается, в ходе операции 520 первый рисунок решетки может быть спроецирован на образец, и изображение может быть захвачено. Например, как показано на фиг. 6, вертикальная решетка 230А может проецировать интерференционные полосы освещения первого порядка на образец 271. Любой свет, излучаемый образцом, может быть захвачен съемочной камерой 290, и первое фазовое изображение первого рисунка (например, вертикального рисунка) может быть захвачено. Например, флуоресцирующие красители, находящиеся на различных характерных элементах образца 271, могут флуоресцировать, при этом полученный в результате свет может быть собран линзой 270 объектива и направлен в датчик изображений съемочной камеры 290 для обнаружения флуоресценции.
Если необходимо захватить дополнительные изображения с фазовым сдвигом (решение 530), то в ходе операции 540 рисунок, спроецированный посредством решетки, может быть сдвинут по фазе для захвата следующего фазового изображения рисунка. Например, в варианте реализации системы 200, фаза рисунка, спроецированного посредством вертикальной решетки 230А, может быть сдвинута по фазе путем вращения оптического окна 240А. Альтернативно, для сдвига фазы могут быть использованы другие оптические фазовые модуляторы, например, столики поступательного перемещения или вращательные оптические клинья. Например, как показано в примере с фиг. 6, фаза может быть сдвинута на 1/3 шага (λ) интерференционного рисунка так, что рисунок, спроецированный на образец, смещен на 1/3λ от предыдущего изображения, которое было захвачено ранее. В некоторых вариантах реализации, рисунок, спроецированный посредством решетки, может быть сдвинут по фазе путем перемещения образца (например, с использованием столика перемещения), в то время как спроецированные интерференционные полосы остаются неподвижными. В некоторых вариантах реализации, рисунок, спроецированной посредством решетки, может быть сдвинут по фазе путем перемещения и образца, и спроецированных интерференционных полос. Операции 520-540 можно повторять до тех пор, пока фазовые изображения первого рисунка не будут захвачены (например, три сдвинутых по фазе изображения вертикального рисунка в случае фиг. 6).
После захвата всех фазовых изображений рисунка, в ходе операции 560, может быть включено второе плечо, соответствующее второй ориентации решетки системы формирования изображений SIM. Например, в варианте реализации системы 200 формирования изображений, высокоскоростной затвор, расположенный на пути между оптическим волокном 210В и источником света, может быть открыт или иным образом задействован так, чтобы источник света не блокировался. Альтернативно, один или несколько источников света могут быть включены или отключены (например, возбуждены импульсами), или оптический переключатель может быть использован для направления света от источника света через оптический путь второго плеча. Кроме того, другое плечо может быть отключено. Затем, может быть захвачен набор фазовых изображений для следующего плеча в ходе повторения операций 520-540. Например, как показано на фиг. 6, горизонтальная решетка 230В может проецировать интерференционные полосы освещения первого порядка на образец 271, причем спроецированные интерференционные полосы могут быть сдвинуты в положении на 1/3λ для захвата трех фазовых изображений горизонтального рисунка. В другом примере, рисунок, спроецированный посредством решетки, может быть сдвинут по фазе путем перемещения образца (например, с использованием столика перемещения), при этом спроецированные интерференционные полосы остаются неподвижными, или путем перемещения и образца, и спроецированных интерференционных полос.
После захвата всех изображений для цикла формирования изображений, в ходе операции 570, из захваченных изображений может быть создано изображение с высоким разрешением. Например, изображение с высоким разрешением может быть восстановлено из шести изображений, показанных на фиг. 6. Подходящие алгоритмы могут быть использованы для объединения этих различных изображений и синтезирования единственного изображения образца со значительно более высоким пространственным разрешением по сравнению с отдельно взятыми изображениями компонентов.
Следует отметить, что хотя способ 500 описан, главным образом, в контексте одноканального формирования изображений (например, формирования изображений образца с использованием источника света, имеющего одну длину волны), в некоторых вариантах реализации способ 500 может быть адаптирован для многоканального формирования изображений (например, формирования изображений образца с использованием источников света, имеющих различные длины волн). В таких вариантах реализации, способ 500 можно повторять для каждого канала системы формирования изображений (например, последовательно или параллельно) для создания изображений с высоким разрешением для каждого канала.
Хотя раскрытые здесь варианты реализации двухплечевой системы 200 формирования изображений SIM были описаны в контексте системы 200, в которой используется зеркало 260 с отверстиями 261 для того, чтобы без потерь объединить оптические пути двух плеч; в альтернативном варианте реализации, два изображения горизонтальной и вертикальной решеток 230А-230В могут быть без потерь объединены за счет использования поляризационного делителя пучка вместо зеркала с отверстиями и для освещения вертикальной решетки вертикально поляризованным светом и горизонтальной решетки горизонтально поляризованным светом. В таких вариантах реализации, рисунок структурированного освещения может переключаться с горизонтального на вертикальный за счет включения и отключения соответствующих источников поляризационного освещения.
В качестве примера, на фиг. 7 показана примерная экспериментальная конструкция двухплечевой системы 700 формирования изображений SIM, в которой используется поляризационный делитель пучка для объединения оптических путей плеч, и которая освещает вертикальную решетку вертикально поляризованным светом и горизонтальную решетку горизонтально поляризованным светом. В варианте реализации с фиг. 7, горизонтальная и вертикальная решетки обозначены как G1 и G2, горизонтальное и вертикальное вращательные окна обозначены как W1 и W2, а поляризационный делитель пучка для объединения изображений горизонтальной и вертикальной решеток обозначен как PBS2. Выход многомодового лазера со связанными волокнами и с модовым скремблером обозначен как «Волокно 1».
На фиг. 8А показано изображение афокального зеркала и изображение флуоресцентного слайда, захваченные с помощью примерной системы 700 формирования изображений SIM, с использованием микроскопа 20×/0,75 NA. Изображение афокального зеркала имеет контрастность полос 84%. Изображение флуоресцентного слайда имеет контрастность полос 6,6%.
На фиг. 8В показаны результаты измерения модуляции интерференционных полос, полученных с помощью системы 700 с проточной кюветой с шариками. График иллюстрирует типичные изменения интенсивности изображения характерных элементов во время цикла регулирования фаз, при изменении угла параллельной пластины W2 с фиг. 7.
На фиг. 9 показана другая примерная оптическая конфигурация двухплечевой системы 900 формирования изображений SIM в соответствии с некоторыми раскрытыми здесь вариантами реализации. Первое плечо системы 900 содержит излучатель 910А света (например, оптическое волокно), оптический коллиматор 920А для коллимации света, исходящего от излучателя 910А света, дифракционную решетку 930А с первой ориентацией относительно оптической оси, и оборачивающую линзу 940А. Второе плечо системы 900 содержит излучатель 910В света, оптический коллиматор 920В для коллимации света, исходящего от излучателя 910В света, дифракционную решетку 930В со второй ориентацией относительно оптической оси, и оборачивающую линзу 940В.
Система 900 также содержит элемент 950 для сведения пучков, предназначенный для объединения двух плеч оптической системы. Как показано на чертежах, элемент 950 для сведения пучков содержит призму 45° с отверстиями для проведения структурированного света от второго плеча системы и зеркальную поверхность для отражения структурированного света, принятого от первого плеча. Перед вхождением в элемент 950 для сведения пучков, каждый структурированный световой пучок проходит через пространственный фильтр, имеющий пару отверстий для проведения ±1 порядков и блокировки других порядков. Структурированный свет, выходящий из первого плеча в первой плоскости, может быть направлен посредством отражательного оптического устройства 945 в элемент 950 для сведения пучков. В системе 900, параллельный пластинчатый оптический элемент 960 служит в качестве регулятора фазы и может поворачиваться для сдвига структурированного света в любой ориентации за элементом 950 для сведения пучков.
Хотя раскрытые здесь варианты реализации были описаны в контексте двухплечевой системы формирования изображений при структурированном освещении, которая содержит две решетки, ориентированные под двумя различными углами, следует отметить, что в других вариантах реализации, могут быть реализованы системы с более чем двумя плечами. В случае образца с равномерно сформированным рисунком и с характерными элементами на прямоугольной сетке, можно получить повышенное разрешение только с двумя перпендикулярными углами (например, вертикальной решеткой и горизонтальной решеткой), как раскрыто выше. С другой стороны, для повышения разрешения изображения во всех направлениях для других образцов (например, образца с шестиугольным рисунком), можно использовать три угла решетки. Например, трехплечевая система может содержать три излучателя света и три фиксированные дифракционные решетки (одна на плечо), причем каждая дифракционная решетка ориентирована вокруг оптической оси системы для проецирования рисунка с соответствующей ориентацией на образце (например, рисунок 0°, рисунок 120°, или рисунок 240°). В таких системах, дополнительные зеркала с отверстиями могут быть использованы для объединения без потерь дополнительных изображений дополнительных решеток в систему. Альтернативно, такие системы могут использовать один или несколько поляризационных делителей пучка для объединения изображений каждой из решеток.
Система формирования изображений с использованием микроскопии структурированного освещения слайдового типа с множеством оптических решеток
В соответствии с некоторыми вариантами раскрытой здесь технологии, система формирования изображений SIM может быть выполнена в виде системы формирования изображений SIM слайдового типа с множеством оптических решеток, в которой один столик линейного перемещения оснащен множеством дифракционных решеток (или других расщепляющих пучки оптических элементов), имеющих соответствующую фиксированную ориентацию относительно оптической оси системы.
На фиг. 10А-10В представлены структурные схемы, иллюстрирующие примерную оптическую конфигурацию системы 1000 формирования изображений SIM слайдового типа с двумя оптическими решетками в соответствии с некоторыми раскрытыми здесь вариантами реализации. Как более подробно раскрыто ниже, в данной конфигурации системы 1000, все изменения рисунка решетки, спроецированного на образец 1070 (например, фазовые сдвиги или вращения рисунка) могут быть осуществлены посредством линейного поступательного перемещения столика 1030 перемещения вдоль единственной оси перемещения, для выбора решетки 1031 или 1032 (например, выбора ориентации решетки) или для фазового сдвига одной из решеток 1031-1032.
Система 1000 содержит излучатель 1010 света (например, оптическое волокно, оптически соединенное с источником света), первый оптический коллиматор 1020 (например, коллиматорную линзу) для коллимации света, исходящего от излучателя 1010 света, столик 1030 линейного перемещения, оснащенный первой дифракционной решеткой 1031 (например, горизонтальной решеткой) и второй дифракционной решеткой 1032 (например, вертикальной решеткой), проекционную линзу 1040, полуотражательное зеркало 1050 (например, дихроичное зеркало), объектив 1060, образец 1070, и съемочную камеру 1080. Для упрощения, оптические компоненты системы 1000 формирования изображений SIM могут быть исключены из фиг. 10А. Кроме того, хотя система 1000 показана в данном примере в виде одноканальной системы, в других вариантах реализации, она может быть реализована в виде многоканальной системы (например, за счет использования различных съемочных камер и источников света, которые испускают с двумя различными длинами волн).
Как показано на фиг. 10А, решетка 1031 (например, горизонтальная дифракционная решетка) может обеспечивать дифракцию коллимированного светового пучка в дифрагированные световые пучки первого порядка (на плоскости страницы). Как показано на фиг. 10В, дифракционная решетка 1032 (например, вертикальная дифракционная решетка) может обеспечить дифракцию пучка на первые порядки (выше и ниже плоскости страницы). В данной конфигурации, для формирования изображений образца 1070 необходимо только одно оптическое плечо, имеющее один излучатель 1010 (например, оптическое волокно) и один столик линейного перемещения, что позволяет получить такие преимущества системы, как снижение количества подвижных частей системы для увеличения скорости, снижение уровня сложности и затрат. Кроме того, в системе 1000, отсутствие поляризатора может обеспечить упомянутое выше преимущество, заключающееся в высокой оптической эффективности. Конфигурация примерной системы 200 формирования изображений SIM может быть особенно целесообразной в случае образца 1070 с равномерно сформированным рисунком и с характерными элементами на прямоугольной сетке, поскольку она позволяет получить высокое структурированное разрешение с использованием только двух перпендикулярных решеток (например, вертикальной решетки и горизонтальной решетки).
Для повышения эффективности системы, пучки нулевого порядка и все другие дифрагированные пучки более высоких порядков (то есть, ±2 порядков или выше), исходящие от каждой решетки, могут быть заблокированы (то есть, отфильтрованы из рисунка освещения, спроецированного на образец 1070). Например, в оптический путь за столиком 1030 перемещения может быть вставлен блокирующий пучки элемент (не показан), например, фильтр порядков. В некоторых вариантах реализации, дифракционные решетки 1031-1032 могут быть выполнены с возможностью дифракции пучков только в первые порядки, при этом нулевой порядок (недифрагированный пучок) может быть заблокирован некоторым блокирующим пучки элементом.
В примере системы 1000, две решетки могут быть расположены примерно под углом ±45° от оси перемещения (или с некоторым другим угловым сдвигом от оси перемещения, например, примерно +40°/-50°, примерно +30°/-60°, и т.д.), что позволяет реализовать фазовый сдвиг для каждой решетки 1031-1032 вдоль единственной оси линейного перемещения. В некоторых вариантах реализации, две решетки могут быть объединены в один физический оптический элемент. Например, одна сторона физического оптического элемента может иметь рисунок решетки с первой ориентацией, а смежная сторона физического оптического элемента может иметь рисунок решетки со второй ориентацией, ортогональной к первой ориентации.
Столик 1030 линейного перемещения с единственной осью может содержать один или несколько исполнительных механизмов для обеспечения его перемещения вдоль оси X относительно плоскости образца, или вдоль оси Y относительно плоскости образца. Во время функционирования, столик 1030 линейного перемещения может обеспечить достаточный ход (например, примерно 12-15 мм) и точность (например, с воспроизводимостью примерно менее 0,5 микрометра) для обеспечения возможности проецирования рисунков освещения для эффективной реконструкции изображения. В вариантах реализации, в которых столик 1030 перемещения применяется в автоматической системе формирования изображений, например, во флуоресцентном микроскопе, он может быть выполнен с возможностью получения высокой скорости работы, возбуждения минимальных вибраций и обеспечения продолжительного срока службы. В различных вариантах реализации, столик 1030 линейного перемещения может содержать перекрестные роликовые подшипники, линейный двигатель, высокоточный линейный кодировщик, и/или другие компоненты. Например, столик 1030 перемещения может быть реализован в виде высокоточного шагового двигателя или пьезостолика перемещения, который может поступательно перемещаться с помощью контроллера.
На фиг. 11 показана рабочая блок-схема, иллюстрирующая примерный способ 1100, который может быть осуществлен посредством системы формирования изображений SIM слайдового типа с множеством оптических решеток во время одного цикла формирования изображений для использования структурированного света с целью создания изображения высокого разрешения в соответствии с некоторыми раскрытыми здесь вариантами реализации. В зависимости от варианта реализации, способ 1100 может быть осуществлен для формирования изображений всего образца или некоторого участка на более крупном образце. Способ 1100 раскрыт со ссылкой на фиг. 12, на которой упрощенно показаны интерференционные рисунки освещения, которые могут быть спроецированы на плоскость образца 1070 посредством первой дифракционной решетки и второй дифракционной решетки системы формирования изображений SIM слайдового типа с двумя оптическими решетками во время захвата изображений. Например, в системе 1000 формирования изображений SIM может использоваться первая дифракционная решетка 1031 и вторая дифракционная решетка 1032 для создания рисунков освещения, показанных на фиг. 12. Как показано в примере с фиг. 12, две решетки проецируют перпендикулярные интерференционные рисунки на поверхность образца 1070, которые расположены примерно под углом ±45° от оси перемещения столика 1030 линейного перемещения.
В ходе операции 1110, включается источник света. Например, оптический затвор может быть задействован для оптического соединения оптического волокна излучателя 1010 света с источником света. В другом примере, источник света может быть возбужден импульсами или оптический переключатель может быть использован для направления света от источника света через оптический путь излучателя света. В ходе операции 1120, первый рисунок решетки может быть спроецирован на образец и может быть захвачено изображение. Например, как показано на фиг. 12, первая решетка (например, решетка 1031) может проецировать интерференционные полосы освещения первого порядка на образец 1070. Любой свет, излучаемый образцом, может быть захвачен съемочной камерой 1080, и может быть захвачено первое фазовое изображение первого рисунка (например, +45° рисунок). Например, флуоресцентные красители, находящиеся на различных характерных элементах образца 1070, могут флуоресцировать, причем полученный в результате свет может быть собран линзой 1060 объектива и направлен к датчику изображений съемочной камеры 1080 для обнаружения флуоресценции.
Для захвата дополнительных сдвинутых по фазе изображений, в ходе операции 1140 рисунок, спроецированный посредством решетки, может быть сдвинут по фазе посредством поступательного перемещения столика линейного перемещения. В примере с фиг. 12, эти перемещения для фазового сдвига проиллюстрированы на этапах 1 и 2. Перемещения для фазового сдвига могут обеспечить небольшие (например, примерно от 3 до 5 микрометров или меньше) движения решеток для незначительного сдвига интерференционного рисунка, спроецированного на решетке.
В качестве конкретного примера, представим случай, когда шаг λ интерференционных полос на образце с фиг. 11 составляет 2100 нм. В данном случае, на образце захвачено три сдвинутых по фазе изображения, что требует фазовых сдвигов спроецированных интерференционных полос в λ/3, или 700 нм. Если допустить, что увеличение освещения объектива составляет 10Х, этапы фазового сдвига (линейные поступательные перемещения), требуемые для столика линейного перемещения с единственной осью, могут быть вычислены как 700 нм * 10 * sqrt(2) (квадратный корень из числа 2), или примерно 9,9 мкм. В данном случае, квадратный корень из числа 2 (sqrt(2)) учитывает 45-градусный сдвиг между ориентацией решетки и осью перемещения столика перемещения. В частности, длина поступательного перемещения столика линейного перемещения во время каждого этапа фазового сдвига в данной примерной конфигурации может быть описана как
После захвата всех сдвинутых по фазе изображений для дифракционной решетки (решение 1130), в ходе операции 1160 система может переключать дифракционные решетки путем поступательного перемещения столика линейного перемещения для оптического соединения другой дифракционной решетки с источником света системы формирования изображений (например, переход с фиг. 10А к фиг. 10В). Это перемещение проиллюстрировано в виде этапа 3 в примере с фиг. 12. В случае изменения дифракционной решетки, столик линейного перемещения может обеспечить относительно большое поступательное перемещение (например, порядка 12-15 мм).
Далее, повторяя операции 1120-1140, можно захватить набор фазовых изображений для следующей решетки. Например, как показано на фиг. 12, вторая дифракционная решетка может проецировать интерференционные полосы освещения первого порядка на образец 271, причем спроецированные интерференционные полосы могут быть сдвинуты в положении на λ/3 за счет поступательного перемещения столика линейного перемещения для захвата трех фазовых изображений рисунка решетки (например, этапы 4 и 5 на фиг. 12).
После захвата всех изображений для цикла формирования изображений, в ходе операции 1170, из захваченных изображений может быть реконструировано изображение с высоким разрешением. Например, изображение с высоким разрешением можно реконструировать из шести изображений, показанных схематично на фиг. 12. Как показано в приведенном выше примере, система формирования изображений SIM слайдового типа с множеством оптических решеток предпочтительно может переключаться между углами и фазами интерференционных полос с помощью единственного линейного исполнительного механизма, тем самым, сокращая затраты и снижая уровень сложности системы формирования изображений при структурированном освещении.
На фиг. 13 показана схема, иллюстрирующая примерную конфигурацию 1300 системы формирования изображений SIM слайдового типа с двумя оптическими решетками. Как показано на чертеже, конфигурация 1300 может содержать оптическое волокно 1310 для излучения света, коллиматор 1320, столик 1330 линейного перемещения, оснащенный первой и второй дифракционными решетками 1331-1332, проекционную линзу 1340, и оборачивающее зеркало 1350. В данном примере, решетки 1331-1332 внедрены в один и тот же объект, с прилеганием друг к другу вдоль оси перемещения столика 1330. Другие компоненты, не показанные на чертеже, могут быть аналогичны тем, что показаны на фиг. 10А, например, дихроичное зеркало 1050, объектив 1060 и образец 1070.
В некоторых вариантах реализации, столик линейного перемещения или слайд системы формирования изображений SIM слайдового типа с двумя оптическими решетками может быть оснащен одним или несколькими дополнительными низкочастотными рисунками для содействия выравниванию интерференционного рисунка, который проецируется на образец посредством решеток формирования изображений (например, двух решеток, расположенных под углом ±45° от оси перемещения столика линейного перемещения). Например, столик 1030 линейного перемещения с фиг. 10А-10В может быть оснащен дополнительным рисунком выравнивания, или столик 1330 линейного перемещения с фиг. 13 может быть оснащен дополнительным рисунком выравнивания. В примерах, в которых две решетки формирования изображений внедрены в одну и ту же подложку, как показано на фиг. 13, решетка выравнивания также может быть добавлена в эту же подложку, или она может быть встроена в отдельную подложку. Рисунок выравнивания может быть расположен между двумя решетками формирования изображений или в некотором другом подходящем положении на столике перемещения.
Рисунок выравнивания, после освещения, может обеспечить проецирование рисунка, имеющего пониженную частоту и/или больший шаг, на образец. Благодаря этим характеристикам, можно обеспечить грубое выравнивание решеток относительно образца. Рисунок выравнивания может быть реализован в виде параллельных линий, ортогональных линий, и/или решетки, имеющей пониженную частоту щелей, чем остальные решетки. В некоторых вариантах реализации, возможно использование нескольких рисунков выравнивания. На фиг. 17 показан один из примеров рисунка выравнивания, который может быть использован в вариантах реализации настоящего изобретения. Как показано в данном примере, отметка 1605 рисунка выравнивания выполнена на той же самой подложке, что и решетка 1615, за пределами незатененной апертуры 1625. В данном примере, рисунок выравнивания выполнен в виде двух наборов ортогональных линий. С помощью этого варианта реализации, можно проверить наклон решетки. В некоторых вариантах реализации, проиллюстрированный рисунок выравнивания может быть выполнен в нескольких областях (например, в четырех углах подложки).
Во время использования, рисунок выравнивания может быть освещен для проецирования рисунка. Рисунок выравнивания может быть применен во время изготовления системы формирования изображений SIM, после установки на объекте, или во время проверки инженером по выездному обслуживанию. В некоторых вариантах реализации, рисунок выравнивания может быть применен во время эксплуатации системы формирования изображений SIM слайдового типа с двумя оптическими решетками. Например, рисунок выравнивания может быть освещен для проецирования рисунка выравнивания перед началом формирования изображений образца.
В некоторых вариантах реализации системы формирования изображений SIM слайдового типа с двумя оптическими решетками, оптический фазовый модулятор (например, вращательное окно), который представляет собой компонент, отдельный от столика линейного перемещения, может быть использован для фазовой настройки. В таких вариантах реализации, оптический фазовый модулятор может быть использован для фазовой настройки вместо столика линейного перемещения (например, столик линейного перемещения может быть использован только для переключения между двумя решетками). Благодаря таким вариантам реализации, скорость, точность и/или надежность системы потенциально могут быть повышены за счет по существу уменьшения количества поступательных перемещений, требуемых со временем столику перемещения, и за счет исключения необходимости в применении столика перемещения для совершения малых поступательных перемещений (например, порядка мкм) для выбора фазы.
Оптический фазовый модулятор может быть расположен на световом пути между источником света и образцом, за решетками (например, непосредственно за столиком перемещения). На фиг. 19 показаны некоторые компоненты одной примерной системы 1900 формирования изображений SIM слайдового типа с двумя оптическими решетками в соответствии с такими вариантами реализации. Как показано на чертеже, система 1900 содержит излучатель 1910 света (например, оптическое волокно, оптически соединенное с источником света), первый оптический коллиматор 1920 (например, коллиматорную линзу) для коллимации света, исходящего от излучателя 1910 света, столик 1930 линейного перемещения, оснащенный первой дифракционной решеткой 1931 (например, горизонтальной решеткой) и второй дифракционной решеткой 1932 (например, вертикальной решеткой), и оптический фазовый модулятор 1940 для фазового сдвига дифрагированного света, исходящего от каждой решетки.
Система формирования изображений с использованием микроскопии структурированного освещения с пространственным выбором угла рисунка
В соответствии с некоторыми вариантами реализации раскрытой здесь технологии, система формирования изображений SIM может быть реализована в виде системы формирования изображений SIM с пространственным выбором угла рисунка, в которой фиксированная двухмерная дифракционная решетка используется в комбинации с диском пространственного фильтра для проецирования одномерных дифракционных рисунков на образце.
На фиг. 14 показана структурная схема, иллюстрирующая примерную оптическую конфигурацию системы 1400 формирования изображений SIM с пространственным выбором угла рисунка в соответствии с некоторыми раскрытыми здесь вариантами реализации. Для упрощения, оптические компоненты системы 1400 формирования изображений SIM могут быть исключены из фиг. 14. Кроме того, хотя система 1400 проиллюстрирована в данном примере в виде одноканальной системы, в других вариантах реализации, она может быть реализована в виде многоканальной системы (например, с использованием двух различных съемочных камер и источников света, которые излучают с двумя различными длинами волн).
Как показано на чертежах, система 1400 содержит излучатель 1410 света (например, оптическое волокно), коллиматор 1420 для коллимации света, излучаемого излучателем 1410, двухмерную решетку 1430, блокиратор 1440 пучка нулевого порядка, оптический фазовый модулятор 1450, проекционную линзу 1460, диск 1470 пространственного фильтра, дихроичное зеркало 1480, объектив 1490, образец 1491, и съемочную камеру 1495.
В данной примерной конфигурации, решетка 1430 представляет собой двухмерную пропускающую дифракционную решетку, выполненную с возможностью дифракции входного пучка на множество порядков (например, 0 порядок, ±1 порядки, ±2 порядки, и т.д.) в двух перпендикулярных направлениях. Для повышения эффективности и производительности системы, пучки нулевого порядка и все другие пучки более высоких порядков (то есть, ±2 порядков и выше) могут быть заблокированы (то есть, отфильтрованы из рисунка освещения, спроецированного на образец 1491). В то время как более высокие порядки могут преломляться под более широкими углами, при которых возможна их фильтрация с использованием различных фильтрующих элементов, компонент нулевого порядка проходит по прямой через решетку по траектории пучка к образцу. Для блокировки компонента нулевого порядка, блокирующий пучки элемент 1440 может быть вставлен в оптический путь за двухмерной дифракционной решеткой 1430. Например, блокирующий пучки элемент 1440 может представлять собой объемную брэгговскую решетку (VBG, от англ. Volume Bragg Grating), дифракционный оптический элемент, который может быть структурирован для отражения света, нормального к элементу (например, света нулевого порядка), и проводит свет под другими углами, например, +1 и -1 порядки. После удаления нулевого порядка, для фокусировки +1 и -1 порядков до объективной линзы могут быть использованы меньшие и более компактные оптические устройства.
Оптический фазовый модулятор 1450 (например, вращательное окно) может быть использован для изменения фазы падающего света для регулирования положения по фазе рисунка на образце 1491. Например, оптический фазовый модулятор 1450 может содержать разнообразные подвижные оптические элементы, в том числе параллельное пластинчатое оптическое устройство, наклоненное под переменным углом к оптической оси, клиновидное оптическое устройство, вращающееся вокруг оптической оси, зеркало, наклоненное для поступательного перемещения пучка, электрооптические элементы, или акустооптические элементы. В одном конкретном варианте реализации, оптический фазовый модулятор 1450 может быть реализован в виде параллельного пластинчатого оптического устройства, наклоненного в двух перпендикулярных направлениях для регулирования фазы двух различных угловых рисунков решетки. Альтернативно, в некоторых вариантах реализации, положение по фазе рисунка можно регулировать перемещением образца (например, с помощью столика перемещения), при этом спроецированный рисунок остается неподвижным, или перемещением и образца, и спроецированного рисунка.
В примере системы 1400, вращающийся диск 1470 пространственного фильтра может содержать множество отверстий, ориентированных в двух перпендикулярных направлениях (например, вертикальный набор отверстий 1471 и горизонтальный набор отверстий 1472) для выбора изображения вертикальной решетки или изображения горизонтальной решетки для проецирования на образец 1491. Например, за счет вращения диска пространственного фильтра, +/-1 порядки одного из рисунков решеток могут проходить через один из наборов отверстий для создания горизонтального или вертикального интерференционного рисунка на образце 1491. В различных вариантах реализации, диск 1470 пространственного фильтра может быть реализован в виде легковесной маски или пространственного фильтра (например, вращающегося диска, содержащего множество портов или отверстий).
В конфигурации системы 1400, первичные оптические компоненты системы 1400 могут оставаться неподвижными, что может повысить устойчивость оптической системы (и рисунка освещения) и свести к минимуму вес, вибрации на выходе и расходы на подвижные элементы. Поскольку часть интенсивности пучка (например, до 50%) следует отфильтровать в любой ориентации диска 1470 пространственного фильтра, в некоторых вариантах реализации, пространственный фильтр может быть выполнен с возможностью отражения ненужных пучков (например, порядков рисунка дифракционной решетки, которые не прошли через него) в поглотитель пучка для надлежащего регулирования теплообмена.
На фиг. 15 показана структурная схема, иллюстрирующая другую примерную оптическую конфигурацию системы 1500 формирования изображений SIM с пространственным выбором угла рисунка в соответствии с некоторыми раскрытыми здесь вариантами реализации. В примерной системе 1500 формирования изображений, функции двухмерной пропускающей решетки и блокирующего пучки элемента могут быть интегрированы в твердотельное оптическое устройство 1510. Кроме того, функция проекционной линзы может быть интегрирована в твердотельное оптическое устройство 1510. В данной примерной реализации, двухмерная пропускающая решетка 1511 изготовлена или иным образом расположена над поверхностью оптического устройства 1510, которое принимает коллимированный свет от излучателя 1410 (вход оптического устройства 1510). Углы рассеивания решетки 1511 могут быть упорядочены так, что свет нулевого порядка может быть заблокирован на дальней стороне оптического устройства. Требуемые +1 и -1 порядки, в обоих направлениях, могут выходить из оптического элемента 1510 через наклонные поверхности 1512 (выход оптического элемента 1510), которые преломляют +1 и -1 порядки в оптически требуемом направлении. Эти выходные поверхности могут содержать дифракционные фокусирующие линзы. Альтернативно, в качестве проекционной линзы для фокусировки пучков на объектив 1490 может быть использован отдельный оптический элемент. В системе 1500, также возможно применение фазовращателя 1450 и вращающейся маски 1470 пространственного фильтра в соответствии с приведенным выше описанием.
На фиг. 16 показана структурная схема, иллюстрирующая другую примерную оптическую конфигурацию системы 1600 формирования изображений SIM с пространственным выбором угла рисунка в соответствии с некоторыми раскрытыми здесь вариантами реализации. В примерной системе 1600 формирования изображений, твердотельное оптическое устройство 1610 снова может быть использовано для интегрирования функций двухмерной решетки и блокирующего пучки элемента. Кроме того, оно может выполнять функцию проекционной линзы. В отличие от примерной системы 1600 формирования изображений, входом твердотельного оптического устройства 1610 является впускное окно или апертура 1614, которая направляет принятый свет к двухмерной отражательной решетке 1611. Поскольку решетка 1611 является в данном примере отражательной, свет нулевого порядка может быть отражен обратно через впускное окно 1614. Требуемые +1 и -1 порядки дифрагированного света, в каждом из перпендикулярных направлений, могут отражаться от соответствующих внутренних поверхностей 1613 с отражающим покрытием оптического элемента 1610, и выходить через выпускные поверхности 1612. В различных вариантах реализации, эти выпускные поверхности могут содержать дифракционные фокусирующие линзы. Альтернативно, для фокусировки пучков на объектив 1490 может быть использовано отдельное оптическое устройство 1615 проекционной линзы. В системе 1600, возможно применение фазовращателя 1450 и вращающейся маски 1470 пространственного фильтра в соответствии с приведенным выше описанием.
Хотя некоторые варианты реализации настоящего изобретения проиллюстрированы на чертежах в контексте систем формирования изображений SIM, которые используют одно или несколько оптических устройств для повторного формирования изображений собранного света возбуждения (например, света, повторно собранного посредством объектива) на датчик изображений (например, датчик CCD съемочной камеры), следует понимать, что различные раскрытые здесь варианты реализации могут быть применены в отношении систем формирования изображений SIM, в которых используется датчик изображений (например, датчик CMOS), расположенный в активной плоскости отображаемого образца. В качестве иллюстративного примера, на фиг. 18 показан образец 1710, который может быть сформирован над узлом 1740 датчика изображений системы формирования изображений SIM, в соответствии с некоторыми раскрытыми здесь вариантами реализации. Например, характерные элементы образца могут быть фотолитографически выровнены с пикселями датчика изображений. Любой свет, излучаемый образцом 1710, имеющим сформированный рисунок, под воздействием структурированного освещения, собирается узлом 1470 датчика изображений, который в данном примере расположен непосредственно под образцом 1710. Расположение образца 1710 над узлом 1740 датчика изображений может обеспечить преимущество, состоящее в том, что нанесенные в виде рисунка характерные элементы 1711 образца 1710 остаются выровненными относительно конкретных светочувствительных сенсоров (например, пикселей) узла 1740 датчика изображений во время формирования изображений.
На образец 1710 может быть нанесен рисунок, причем он выровнен с узлом 1740 датчика изображений так, что каждый датчик света (например, пиксель) датчика 1740 изображений имеет один или несколько характерных элементов 1711, сформированных и/или установленных над ним. Как показано на фиг. 18, образец 1710 имеет нанесенный рисунок над узлом 1740 датчика изображений так, что один характерный элемент 1711 сформирован над каждым пикселем массива пикселей узла 1740 датчика изображений. В других вариантах реализации, над каждым пикселем может быть предусмотрено более одного характерного элемента.
В случае флуоресцентного образца, например, освещенные характерные элементы 1711 образца могут флуоресцировать под воздействием структурированного света 1760 возбуждения, причем полученный в результате свет 1761, излучаемый характерными элементами 1711, может быть собран фоточувствительными сенсорами (например, пикселями) узла 1740 датчика изображений для обнаружения флуоресценции. Например, как показано на фиг. 18, пиксели (1,1) и (1,3) узла 1740 датчика изображений могут собирать свет 1761, излучаемый характерным элементом 1711 образца, который расположен или сформирован над ним. В некоторых вариантах реализации, слой (не показан) может обеспечить изоляцию между образцом 1710 и узлом 1740 датчика изображений (например, для экранирования узла датчика изображений от текучей среды образца). В других вариантах реализации, образец 1710 может быть установлен и выровнен над узлом 1740 датчика изображений.
Следует отметить, что, хотя на фиг. 18 показано примерное представление системы формирования изображений SIM, в которой интерференционные полосы SIM расположены на одной линии с характерными элементами образца с правильной ориентацией; на практике этот случай не является обязательным или типичным для формирования изображений SIM. Например, во времени и/или в пространстве, они могут отклоняться в пределах расстояния между смежными интерференционными полосами, по фазе или углу рисунка структурированного освещения, и/или ориентации интерференционного рисунка относительно освещенного образца. Благодаря таким вариациям в параметрах SIM, в некоторых примерах некоторые освещенные характерные элементы могут быть «включены» на 80%, в то время как остальные характерные элементы могут быть «включены» на 60%, а другие характерные элементы могут быть «включены» на 20%. При этом, следует понимать, что в таких системах, для учета этих вариаций параметров процесса во время реконструкции изображения могут быть использованы алгоритмы формирования изображений SIM. Например, для учета этих колебаний, вариации в параметрах структурированного освещения могут быть оценены и/или спрогнозированы во времени.
Используемое в настоящем описании понятие «модуль» может описывать заданную единицу функциональности, которая может быть осуществлена в соответствии с одним или несколькими вариантами реализации настоящего изобретения. Используемое здесь понятие «модуль» может быть реализовано с использованием любой формы аппаратного обеспечения, программного обеспечения, или их комбинации. Например, для изготовления модуля может быть применен один или несколько процессоров, контроллеров, устройств ASIC, PLA, PAL, CPLD, FPGA, логических компонентов, программных маршрутов или других механизмов. В данном варианте реализации, различные раскрытые здесь модули могут быть выполнены в виде дискретных модулей или функций, причем описанные элементы могут совместно использоваться частично или полностью одним или несколькими модулями. Другими словами, как будет очевидно специалисту в данной области техники после прочтения данного описания, различные элементы и раскрытые здесь функциональные возможности могут быть реализованы в любой заданной области применения и могут быть воплощены в одном или нескольких отдельных или совместно используемых модулях в различных комбинациях и перестановках. Даже несмотря на то, что различные свойства или элементы функциональных возможностей могут быть индивидуально описаны или заявлены в виде отдельных модулей, специалисту в данной области техники будет понятно, что эти свойства и функциональные возможности могут совместно использоваться одним или несколькими общими программными и аппаратными средствами, причем такое описание не требует или подразумевает, что отдельно взятые программные или аппаратные компоненты применяются для реализации таких свойств или функциональных возможностей.
В данном документе, понятия «машиночитаемый носитель», «носитель, пригодный для использования на компьютере» и «компьютерный программный носитель» применяются, главным образом, для обозначения энергонезависимого носителя, с разрушением информации при выключении питания или с сохранением информации при выключении питания, такого как, например, память, блок памяти или среда передачи данных. Эти и другие различные формы компьютерного программного носителя или носителя, пригодного для использования на компьютере, могут быть задействованы для передачи одной или нескольких последовательностей одной или нескольких инструкций в обрабатывающее устройство для исполнения. Такие инструкции, воплощенные на носителе, именуются, в основном, как «компьютерный программный код» или «компьютерный программный продукт» (который может быть сгруппирован в форме компьютерных программ или других объединений).
Следует понимать, что хотя различные признаки, аспекты и функциональные возможности, описанные в одном или нескольких вариантах реализации, раскрыты выше в отношении различных примерных вариантов реализации и осуществления, их применимость не ограничивается конкретным вариантом реализации, в котором они описаны; но вместо этого они могут быть применены, отдельно или в различных комбинациях, в отношении одного или нескольких других вариантов реализации заявки, независимо от того, описаны или нет такие варианты реализации, а также независимо от того, представлены или нет такие признаки в качестве части рассмотренного варианта реализации. Таким образом, объем защиты и сущность настоящей заявки не ограничиваются каким-либо из описанных выше примерных вариантов реализации.
Следует понимать, что все комбинации приведенных выше концепций (при условии, что такие концепции не являются противоречащими друг другу) рассматриваются как часть раскрытого здесь объекта изобретения. В частности, все комбинации заявленного объекта изобретения, фигурирующие в конце данного описания, рассматриваются как часть раскрытого здесь объекта изобретения.
Понятия «по существу» и «примерно», используемые в настоящем описании, в том числе в формуле изобретения, применяются для описания и принятия во внимание небольших отклонений, например, связанных с изменениями в обработке. Например, они могут быть меньше или могут равняться ±5%, например, они могут быть меньше или могут равняться ±2%, например, они могут быть меньше или могут равняться ±1%, например, они могут быть меньше или могут равняться ±0,5%, например, они могут быть меньше или могут равняться ±0,2%, например, они могут быть меньше или могут равняться ±0,1%, например, они могут быть меньше или могут равняться ±0,05%.
В применимой степени, понятия «первый», «второй», «третий», и т.д. используются здесь исключительно для демонстрации соответствующих объектов, описанных этими понятиями, как отдельных субъектов, причем они не предназначены для обозначения хронологической последовательности, если явным образом не указано иное.
Понятия и фразы, используемые в данном описании, а также их вариации, если явным образом не указано иное, следует толковать как допускающие изменения, нежели ограничивающие. В качестве примера вышесказанного: понятие «включающий в себя» следует толковать как «включающий в себя, без ограничения» и т.д.; понятие «пример» используется для предоставления некоторых примеров рассматриваемого объекта, не исчерпывающий или ограничивающий их перечень; понятия «некоторый» или «какой-либо» следует толковать как «по меньшей мере один», «один или несколько», и т.д., а такие определения как «общепринятый», «традиционный», «нормальный», «стандартный», «известный» и понятия схожего значения не следует рассматривать как ограничивающие описанный объект заданным периодом времени или объектом, существующим в данный момент времени, но вместо этого их следует толковать как охватывающее общепринятые, традиционные, нормальные или стандартные технологии, которые могут существовать или являются известными в данный момент времени или в любой момент времени в будущем. По аналогии, если данный документ ссылается на технологии, которые будут очевидными или известными специалисту в данной области техники, то такие технологии охватывают технологии, очевидные или известные специалисту в данной области техники в данный момент времени или в любой другой момент времени в будущем.
Наличие расширяющих слов и фраз, таких как «один или несколько», «по меньшей мере», «помимо прочего» или других схожих фраз в некоторых примерах не следует толковать как обозначающее, что в случае отсутствия таких расширяющих фраз подразумевается или требуется более «узкий» случай. Применение понятия «модуль» не подразумевает, что компоненты или функциональные возможности, описанные или заявленные в качестве части модуля, все скомпонованы в общем пакете. На самом деле, любой или все различные компоненты модуля, относятся ли они к логике управления или к другим компонентам, могут быть объединены в один пакет или могут храниться отдельно, а также могут быть распределены во множество групп или пакетов или в нескольких местах.
Кроме того, различные варианты реализации, изложенные в настоящем документе, раскрыты на основании примерных блок-схем, структурных схем или других иллюстраций. Как будет очевидно специалисту в данной области техники после прочтения данного документа, проиллюстрированные варианты реализации и их различные альтернативы можно осуществить, не ограничиваясь проиллюстрированными примерами. Например, блок-схемы и их сопроводительное описание не следует рассматривать как устанавливающее конкретную архитектуру или конфигурацию.
Хотя выше были раскрыты различные варианты реализации настоящего изобретения, следует понимать, что они представлены исключительно в качестве примера, и не несут ограничительный характер. По аналогии, различные схемы могут изображать примерную архитектуру или другую конфигурацию для описания, что сделано для облегчения понимания признаков и функциональных возможностей, которые могут быть включены в настоящее изобретение. Настоящее изобретение не ограничивается проиллюстрированными примерными архитектурами или конфигурациями, при этом требуемые признаки могут быть реализованы с использованием разнообразных альтернативных архитектур и конфигураций. В действительно, специалисту в данной области техники будет очевидно, как альтернативные функциональные, логические или физические разделения и конфигурации могут быть осуществлены для реализации требуемых признаков настоящего изобретения. Кроме того, большое количество различных названий составляющих модуля, отличных от показанных в настоящем документе, могут быть применены в отношении различных разделов. Более того, что касается блок-схем, описаний функционирования и пунктов, относящихся к способу, то порядок, в котором здесь представлены этапы, не устанавливает, что различные варианты реализации должны быть реализованы для осуществления изложенных функциональных возможностей в том же самом порядке, если из контекста явным образом не следует иное.
Реферат
Система формирования изображений при структурированном освещении содержит излучатель света; двухмерную дифракционную решетку для дифракции света от излучателя света для проецирования первого и второго множества интерференционных полос, ориентированных в первом направлении на плоскость образца, и втором направлениях, перпендикулярном к первому направлению, на плоскость образца, и диск пространственного фильтра для пропускания дифрагированного света, принятого от двухмерной дифракционной решетки в соответствующем первом или втором направлении, и блокировки света в соответствующем первом или втором направлении. Диск пространственного фильтра содержит первое множество отверстий и второе множество отверстий, ортогональных к первому множеству отверстий. Технический результат - повышение скорости, надежности и воспроизводимости системы. 2 н. и 19 з.п. ф-лы, 21 ил.
