Устройство и способ для извлечения физиологической информации - RU2651070C2

Чертежи

Описание

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к устройству и способу для извлечения физиологической информации из дистанционно детектируемого электромагнитного излучения, испускаемого или отраженного объектом изучения, при этом физиологическая информация вложена в поток данных, содержащий последовательность отсчетов сигнала, представляющих область интереса, проявляющую непрерывный или дискретный характеристический сигнал, включающий в себя физиологическую информацию, указывающую на по меньшей мере один, по меньшей мере, частично периодический сигнал жизнедеятельности.

УРОВЕНЬ ТЕХНИКИ

Документ US 2011/0251493 A1 раскрывает способ измерения физиологических параметров, содержащий следующие этапы:

- записывают последовательность изображений лица человека;

- идентифицируют местоположение лица в кадре записанных изображений и установление области интереса, включающей в себя лицо;

- разделяют пиксели в области интереса в кадре на, по меньшей мере, двухканальные значения, формирующие исходные кривые с течением времени;

- разлагают исходные кривые на по меньшей мере два независимых сигнала источников; и

- обрабатывают по меньшей мере один из сигналов источников для получения физиологического параметра.

Документ дополнительно раскрывает несколько усовершенствований способа. В частности, рассматривается применение дистанционных фотоплетизмографических (PPG) анализов. Фотоплетизмография является общеизвестным методом оптических измерений, который можно применить для обнаружения изменений объема крови в микрососудистом русле ткани контролируемого объекта изучения. Обычные методы PPG включают в себя, так называемую, контактную PPG. Контактная PPG нуждается в измерительных компонентах (например, источниках света и фотоприемниках), которые, по существу, должны прикрепляться к коже объекта изучения. Следовательно, стандартная фотоплетизмография содержит причиняющие беспокойство измерения, например, из-за приемопередающего блока, прикрепленного к мочке уха или кончику пальца объекта изучения. Поэтому, дистанционное PPG измерение часто создает неприятные ощущения.

Обычно, стандартное (или контактное) PPG устройство включает в себя искусственные источники света, которые должны непосредственно закрепляться к показательной поверхности, например, участку кожи, объекта изучения, подлежащего наблюдению. Таким образом достигается устранение или ослабление неблагоприятных влияний. Например, можно справиться с проблемой потенциально возмущающего падающего излучения, создаваемого другими (или внешними) источниками света и нежелательным движением объекта относительно источника света. Соответственно, приемник или детектор, например по меньшей мере один фотодиод, также плотно закреплен к участку интереса кожи объекта изучения. В случае, если приемопередающий блок слишком плотно закреплен к объекту изучения, чтобы исключить перемещение объекта изучения относительно оборудования, качество сигнала также может ухудшаться, например, вследствие нежелательного сжатия ткани.

В последнее время предложены методы дистанционной PPG с применением измерений, не причиняющих неудобств. По существу, дистанционная фотоплетизмография использует источники света или, в общем, источники излучения, расположенные дистанционно от представляющего интерес объекта изучения. В предпочтительном варианте, для некоторых применений используют даже общедоступные существующие (внешние) источники света вместо заданных специализированных источников света. Например, можно использовать искусственные источники света и/или естественные источники света. Следовательно, в окружающих условиях дистанционной PPG следует ожидать, что, вследствие широкого изменения условий освещения, детектируемые сигналы обеспечивают, как правило, очень низкое отношение сигнала к шуму. Аналогично, детектор, например, камера, также может располагаться на удалении от представляющего интерес объекта изучения при дистанционных PPG измерениях. Поэтому, системы и устройства дистанционной фотоплетизмографии считаются не причиняющими неудобства и могут быть приспособлены и особенно подходящими для ежедневного применения. Область применения может содержать ненавязчивый мониторинг стационарных пациентов и амбулаторных пациентов и даже применения во время отдыха и занятий физкультурой. В этом отношении, полагают полезным, что наблюдаемые объекты изучения могут иметь некоторую степень свободы перемещения во время дистанционного PPG измерения.

Следовательно, в сравнении со стандартной (причиняющей неудобства) фотоплетизмографией, дистанционная (ненавязчивая) фотоплетизмография намного более подвержена влиянию искажений и шумов. Нежелательное движение объекта изучения относительно детектора и/или источника излучения может излишне влиять на детектирование сигнала. В частности, дистанционные фотоплетизмографические устройства часто подвергаются воздействию изменения общих условий освещения. Поэтому, приходится ожидать, что детектируемые сигналы почти всегда испорчены шумами и искажениями.

Кроме того, дистанционные PPG измерения могут испытывать вредное влияние, так называемых, зеркальных отражений в области интереса, содержащей, по меньшей мере, участок кожной ткани объекта изучения. По существу, зеркальное отражение считается «зеркальным» отражением падающего излучения на поверхности. Зеркальные отражения могут также иметь место на поверхности кожи живого существа. Это относится, в частности, к участкам жирной кожи и, в общем, к объектам изучения, имеющим достаточно темную кожу (с высоким содержанием меламина). Поскольку участки кожи, которые подвержены зеркальным отражениям, по существу, до некоторой степени зеркально отражают излучение, падающее на поверхность кожи, то отраженное излучение содержит только как часть излучение, которое получается в результате проникновения к кожную ткань. Поэтому, излучение с зеркально-отраженными частями считают непрямо указывающим на искомые сигналы жизнедеятельности.

Таким образом, пока считается, что перед дистанционной PPG еще стоят серьезные задачи детектирования сигналов и обработки сигналов. Поскольку записанные данные, например, записанное отраженное или испускаемое электромагнитное излучение (например, записанные кадры изображения), всегда содержат, помимо искомого сигнала, подлежащего извлечению из записанных данных, дополнительные компоненты сигнала, получающиеся из-за общих помех, например, шума, вследствие изменяющихся условий освещения (включая зеркальные отражения) и перемещения наблюдаемого объекта изучения относительно принимающего датчика, то считается, что для подробного точного извлечения искомых сигналов еще требуется решить серьезные проблемы существующих методов детектирования сигналов и алгоритмов обработки данных.

В качестве средства решения проблем, заявка US 2011/0251493 A1 предлагает обрабатывать полученные канальные данные, которые соответствуют, например, каждому каналу длин волн, обеспечиваемому схемой RGB видеодетектирования (видеодетектирования в основных цветах), посредством анализа независимых компонент (ICA), с помощью которого получают, в результате, отдельные компоненты сигнала. В раскрытом примере существует три компоненты сигнала. Одна из упомянутых компонент сигнала содержит искомую информацию, относящуюся, например, к основным показателям состояния организма, подлежащим детектированию. Однако результат, которая из компонент сигнала содержит искомую информацию, может изменяться от случая к случаю. Чтобы выбрать правильную компоненту сигнала, предлагается идентифицировать компоненту сигнала по периодической характеристике сигнала. Данная характеристика дополнительно анализируется преобразованием зависящей от времени компоненты сигнала в частотную область для анализа спектра мощности.

Кроме потребности в больших вычислительных ресурсах, представленный способ дополнительно нуждается в значительной длительности сигнала до одной минуты, чтобы иметь возможность обеспечивать эффективную идентификацию правильной компоненты сигнала посредством упомянутого преобразования в частотную область. Кроме того, представленный способ действует на основе допущения, что только периодическая компонента сигнала после выполнения ICA является искомой компонентой сигнала, содержащей данные основных показателей состояния организма. Однако возможны ситуации, в которых, например, вышеупомянутое зеркальное отражение может давать, в результате, периодическую компоненту сигнала. Это возможно, например, в случае применения, когда объект изучения, который следует контролировать, периодически перемещается, например, на устройстве для занятий физкультурой в спортивном зале. В данной примерной обстановке, представленный способ сталкивается с затруднениями при выборе правильной компоненты сигнала после выполнения ICA и будет выдавать ошибочные данные основных показателей состояния организма.

Заявка US 2012/0195486 A1 раскрывает способ и систему для получения первого сигнала для анализа, чтобы охарактеризовать по меньшей мере одну его периодическую компоненту. Способ включает в себя получение по меньшей мере двух вторых сигналов, представляющих интенсивности записанного электромагнитного излучения, соответствующих, каждый, соответствующему отличающемуся частотному диапазону излучения. Первый сигнал является по меньшей мере выводимым из выходного сигнала, получаемого применением преобразования ко вторым сигналам таким образом, что любое значение выходного сигнала основано на значениях из каждого соответствующего второго сигнала в соответствующие моменты времени. Способ дополнительно включает в себя получение по меньшей мере одного значения по меньшей мере одного переменного параметра, определяющего влияния по меньшей мере компонент соответствующих вторых сигналов на выходной сигнал, когда записываются сигналы, соответствующие вторым сигналам, и применяется преобразование.

Заявка US 2011/0311119 A1 раскрывает способ обработки изображений по меньшей мере одного живого существа для получения физиологической информации. В частности, следует выбирать область интереса части изображения, соответствующего человеку.

Работа W. Verkruijsse et al.: «A novel biometric signature: multi-site, remote (> 100 m) photo-pletysmography using ambient light», Technical Note PR-TN 2010/00097, March 2010, раскрывает биометрическую сигнатуру, основанную на принципе многоместной фотоплетизмографии (PPG). Формы сигналов PPG в нескольких местах тела используются совместно для формирования однозначно идентифицирующей сигнатуры.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Следовательно, целью настоящего изобретения является создание устройства и способа для извлечения физиологической информации из дистанционно детектируемого электромагнитного излучения, испускаемого или отраженного объектом изучения, которое/ый является более эффективным и требует меньше времени и ресурсов и, предпочтительно, дополнительно является более детерминированным при выборе правильной компоненты сигнала, с исключением, тем самым, ошибок детектирования.

В первом аспекте настоящего изобретения предлагается устройство для извлечения физиологической информации из дистанционно детектируемого электромагнитного излучения, испускаемого или отраженного объектом изучения, содержащее:

- интерфейс для приема потока данных, получаемого из детектируемого электромагнитного излучения, при этом поток данных содержит по меньшей мере одну последовательность отсчетов сигнала, представляющих область интереса, проявляющую непрерывный или дискретный характеристический сигнал, включающий в себя физиологическую информацию, указывающую на по меньшей мере один, по меньшей мере, частично периодический сигнал жизнедеятельности, и состоящих из по меньшей мере двух компонент длин волн,

- преобразующий блок, выполненный с возможностью определения и обеспечения по меньшей мере одной компоненты коэффициентов из по меньшей мере двух компонент длин волн по меньшей мере одной последовательности отсчетов сигнала, причем упомянутая по меньшей мере, одна компонента коэффициентов пригодна для получения по меньшей мере одной компоненты сигнала посредством применения к по меньшей мере одной последовательности отсчетов сигнала,

- блок выбора коэффициентов для выбора одной компоненты коэффициентов из по меньшей мере одной компоненты коэффициентов, определенной и обеспеченной преобразующим блоком,

- блок компонент сигнала для обеспечения компоненты сигнала на основании выбранной компоненты коэффициентов и по меньшей мере одной последовательности отсчетов сигнала, и

- блок обработки сигналов для обеспечения искомой физиологической информации из компоненты сигнала.

Термин «компонента длин волн» применяется в контексте настоящего изобретения для описания компоненты по меньшей мере одной последовательности отсчетов сигнала, представляющих некоторую длину волны или диапазон длин волн. Общеизвестными неограничивающими примерами являются три компоненты длин волн в сигналах RGB (основных цветов). Однако можно выбрать любой другой формат сигналов, который содержит по меньшей мере две компоненты длин волн.

Термин «компонента сигнала» применяется в контексте настоящего изобретения для описания последовательности отсчетов сигнала, которая основывается на и далее является компоненте/ой по меньшей мере одной последовательности отсчетов сигнала потока данных, принимаемого интерфейсом, в последующем также входной последовательности отсчетов сигнала. Примерные способы обеспечения упомянутой «компоненты сигнала» могут состоять в использовании весовых коэффициентов или векторов коэффициентов, применяемых к входной последовательности отсчетов сигнала. Упомянутые компоненты коэффициентов могут основываться на входной последовательности самих отсчетов сигнала и могут, например, обеспечиваться способами слепого разделения источников (BSS). Упомянутые способы BSS заключают в себе, например, анализ независимых компонент (ICA) или анализ главных компонент (PCA).

Термин «компонента коэффициентов» применяется в контексте настоящего изобретения для описания коэффициента или вектора коэффициентов, который, при применении к входной последовательности отсчетов сигнала, обеспечивает соответствующую компоненту сигнала. Упомянутая «компонента коэффициентов» может быть обеспечена в виде набора компонент коэффициентов с помощью способов типа упомянутых для примера способов BSS и применяется в настоящей заявке в дальнейшем для обеспечения искомых компонент сигнала. Однако, в пределах объема настоящего изобретения, упомянутую компоненту коэффициентов можно также определять как единственный коэффициент (вектор) вместо автоматического обеспечения набора компонент коэффициентов, как определяется, например, в случае широко известных способов BSS.

Несмотря на упоминание выше по отдельности, преобразующий блок и блок выбора коэффициентов можно также реализовать в виде единого (комбинированного) блока.

В дополнительном аспекте настоящего изобретения предлагается способ извлечения физиологической информации из дистанционно детектируемого электромагнитного излучения, испускаемого или отраженного объектом изучения, содержащий следующие этапы:

- принимают поток данных, получаемый из детектируемого электромагнитного излучения, при этом поток данных содержит последовательность отсчетов сигнала, представляющих область интереса, проявляющую непрерывный или дискретный характеристический сигнал, включающий в себя физиологическую информацию, указывающую на по меньшей мере один, по меньшей мере, частично периодический сигнал жизнедеятельности, и состоящих из по меньшей мере двух компонент длин волн,

- определяют и обеспечивают по меньшей мере одну компоненту коэффициентов из по меньшей мере двух компонент длин волн, причем упомянутая по меньшей мере, одна компонента коэффициентов пригодна для получения по меньшей мере одной компоненты сигнала посредством применения к по меньшей мере одной последовательности отсчетов сигнала,

- выбирают одну компоненту коэффициентов из по меньшей мере одной определенной и обеспеченной компоненты коэффициентов,

- обеспечивают компоненту сигнала на основании выбранной компоненты коэффициентов и последовательности отсчетов сигнала, и

- обеспечивают физиологическую информацию на основании компоненты сигнала.

При рассмотрении блока выбора коэффициентов или этапа выбора одной компоненты коэффициентов, само собой разумеется, что, в случае только одной присутствующей компоненты коэффициентов, вышеупомянутый блок или этап реализуется автоматически, так как выбираться автоматически будет только одна компонента коэффициентов вследствие отсутствия вариантов выбора. Однако блок выбора коэффициентов может отвечать за оценку упомянутой одной компоненты коэффициентов в отношении ее пригодности.

При обеспечении компоненты сигнала, которую можно использовать для получения искомой физиологической информации, подобной искомым основным показателям состояния организма, посредством выбора соответствующей компоненты коэффициентов, общий процесс обеспечения физиологической информации становится более эффективным. Это обусловлено минимизацией необходимых вычислений. В то время, как способы в соответствии с вышеупомянутой заявкой US 2011/0251493 A1 требуют обеспечения по меньшей мере двух, например, трех (полных) компонент сигнала для выполнения выбора, настоящее изобретение переводит этап выбора к процессу идентификации компонент(ы) коэффициентов. По сравнению со способом, описанным в заявке US 2011/0251493 A1, выбор будет переведен на этапы выполнения BSS, с исключением, тем самым, этапов вычисления даже ненужных компонент сигнала, требующих больших затрат времени и вычислительных ресурсов.

Как также описано в дальнейшем, упомянутый перевод дополнительно допускает, чтобы не приходилось вычислять даже все возможные компоненты коэффициентов, что делает способ еще более эффективным и дополнительно исключает расходование вычислительных ресурсов.

Предпочтительные варианты осуществления изобретения определены в зависимых пунктах формулы изобретения. Следует понимать, что заявленные способы и заявленная компьютерная программа могут иметь предпочтительные варианты осуществления, сходные с заявленным устройством и определенные в зависимых пунктах формулы изобретения.

В варианте осуществления устройства в соответствии с настоящим изобретением блок выбора коэффициентов дополнительно выполнен с возможностью оценки по меньшей мере одной компоненты коэффициентов на основании фиксированного и предварительно заданного базисного вектора.

В варианте осуществления способа в соответствии с настоящим изобретением способ дополнительно содержит оценку по меньшей мере одной компоненты коэффициентов на основании фиксированного и предварительно заданного базисного вектора.

Посредством использования фиксированного и предварительно заданного базисного вектора, выбор компоненты коэффициентов и, тем самым, обеспечение соответствующей компоненты сигнала, содержащей, например, искомые данные основных показателей состояния организма, может выполняться надежно, даже несмотря на то, что в конце могут возникать другие периодические компоненты сигнала. Кроме того, при выборе, основанном на оценке компонент(ы) коэффициентов, можно исключить вычисления и расчеты, требующие больших затрат времени и ресурсов, например, Фурье-преобразование на компонентах сигнала. Приведенное решение ускоряет, в общем, обеспечение искомых данных, то есть, является более быстрым и нуждается в укороченных периодах детектирования, предпочтительно, в диапазоне всего нескольких секунд. Суммарным результатом является детерминированный, а не эвристический метод.

Предварительно заданный вектор может быть общим предварительно заданным вектором для каждого объекта изучения, но может также выбираться индивидуально, например, после первоначальной калибровки.

В другом варианте осуществления устройства в соответствии с настоящим изобретением преобразующий блок дополнительно выполнен с возможностью определения и обеспечения одной компоненты коэффициентов, и блок выбора коэффициентов дополнительно сконфигурирован так, что компонента коэффициентов, обеспеченная преобразующим блоком, оценивается относительно фиксированного и предварительно заданного базисного вектора, при этом преобразующий блок, предпочтительно, дополнительно сконфигурирован так, что полученная определением и обеспеченная компонента коэффициентов является компонентой коэффициентов, которая дает в результате компоненту сигнала с наибольшим колебанием.

В другом варианте осуществления способа в соответствии с настоящим изобретением одна компонента коэффициентов определяется и обеспечивается и дополнительно оценивается относительно фиксированного и предварительно заданного базисного вектора, при этом полученная определением и обеспеченная компонента коэффициентов является, предпочтительно, компонентой коэффициентов, которая дает в результате компоненту сигнала с наибольшим колебанием.

Определение только одной компоненты коэффициентов, по меньшей мере, в первую очередь, сокращает число обычно необходимых вычислительных этапов до минимума и, следовательно, повышает эффективность устройства и способа в соответствии с настоящим изобретением. Затем обеспеченная компонента сигнала может оцениваться, то есть, проверяться на ее пригодность при обеспечении компоненты сигнала, которая содержит искомую информацию о физиологических данных. В предположении, что физиологические данные обеспечивают наиболее значительный и устойчивый вклад в изменения принимаемой входной последовательности отсчетов сигнала, компонента сигнала с наибольшим колебанием содержит искомую физиологическую информацию. Соответственно, определение и обеспечение сначала компоненты коэффициентов, дающей в результате компоненту сигнала с наибольшим колебанием, будет достаточно для получения искомой физиологической информации в большинстве случаев и, следовательно, повышает эффективность, поскольку можно не выполнять определения и обеспечения остальных компонент коэффициентов.

Например, и аналогично упомянутым способам BSS, приведенное решение можно реализовать посредством определения собственных значений ковариационной матрицы входной последовательности отсчетов сигнала и определения/обеспечения собственного вектора, который соответствует компоненте коэффициентов, с наибольшим собственным значением.

В другом варианте осуществления устройства в соответствии с настоящим изобретением блок выбора коэффициентов спроектирован так, что оценка проводится на основе угла между обеспеченной компонентой коэффициентов и базисным вектором, и дополнительно так, что компонента коэффициентов выбирается, если угол меньше, чем 45°.

В другом варианте осуществления способа в соответствии с настоящим изобретением этап оценки одной компоненты коэффициентов содержит следующие этапы:

- определяют угол между компонентой коэффициентов и фиксированным предварительно заданным базисным вектором, и

- выбирают компоненту коэффициентов, если абсолютное значение угла относительно фиксированного предварительно заданного базисного вектора меньше, чем 45°.

В предположении, что все компоненты коэффициентов или вектора компонент коэффициентов, которые могут быть получены настоящим способом, не зависят друг от друга, то есть, являются ортогональными, приведенный критерий можно использовать для оценки пригодности полученной компоненты коэффициентов. Если угол относительно фиксированного предварительно заданного базисного вектора меньше, чем 45°, то не может существовать никакой другой компоненты коэффициентов, которая будет иметь меньший угол относительно базисного вектора, вследствие ортогональности компонент коэффициентов друг относительно друга. С другой стороны, если угол равен или превышает 45°, то существует по меньшей мере одна другая, возможно, более подходящая компонента коэффициентов, и требуется определить, по меньшей мере, следующую компоненту коэффициентов. Данная компонента может быть, предпочтительно, компонентой коэффициентов, которая дает в результате компоненту сигнала со следующим наибольшим колебанием. Как изложено в вышеупомянутом примере, данной компонентой будет, например, собственный вектор со следующим наибольшим собственным значением.

В другом варианте осуществления устройства в соответствии с настоящим изобретением преобразующий блок дополнительно сконфигурирован определения и обеспечения по меньшей мере двух компонент коэффициентов, и блок выбора коэффициентов дополнительно выполнен с возможностью выбора одной из по меньшей мере двух компонент коэффициентов посредством оценки компонент коэффициентов.

В другом варианте осуществления способа в соответствии с настоящим изобретением определяют и обеспечивают по меньшей мере две компоненты коэффициентов, и выбирают одну из по меньшей мере двух компонент коэффициентов посредством оценки компонент коэффициентов.

В предпочтительном варианте, все варианты осуществления, имеющие отношение к оценке компонент коэффициентов, при том, что каждая компонента коэффициентов содержит набор элементов, формирующих, тем самым, соответствующий вектор компонент коэффициентов, содержат преобразующий блок и/или блок выбора коэффициентов, или, соответственно, этап способа, в/на котором общая компонента (вектор) коэффициентов умножается на знак одного из ее элементов. Данный элемент является, предпочтительно, элементом, который соответствует компоненте длин волн, которая испытывает наибольшее влияние (периодического) основного показателя состояния организма или физиологической информации, в общем. Причина этого в том, что элемент вектора компонент коэффициентов, соответствующего компоненте длин волн, которая испытывает наибольшее влияние, дает, обычно, наибольший вес, относительно других элементов, вышеупомянутой компоненте длин волн. С другой стороны, компоненты длин волн с меньшей амплитудой пульса могут получать небольшой элемент вектора компонент коэффициентов, так что знак становится изменчивым из-за того, что значения близки к нулю. В примерном случае, в котором поток данных содержит данные цветов RGB, вектор компонент коэффициентов умножается на знак второго элемента, который соответствует зеленому каналу. В качестве альтернативы, в примерной схеме, использующей компоненты ИК (инфракрасных) длин волн, например, 750 нм, 880 нм и 980 нм, наибольшее влияние пульса может обнаруживаться в компоненте 880-нм длины волны. Поэтому, в приведенном примере, для вышеупомянутого умножения на знак выбирается элемент вектора компонент коэффициентов, соответствующий 880 нм.

Приведенная мера приводит к компонентам коэффициентов или векторам компонент коэффициентов, которые содержат идентичные знаки для возможности сравнения между собой и дополнительного приведения к компонентам сигнала, всегда имеющим одинаковый знак (т.е. связь с лежащим в основе основным показателем состояния организма). Упомянутый знак может быть произвольным в других отношениях, поскольку большинство способов нахождения компонент коэффициентов направлены на нахождение набора компонент коэффициентов, которые не зависят друг относительно друга. Однако данный набор не зависит от знака и, поэтому, может быть неуправляемым в каждом случае при практической реализации устройства и/или способа в соответствии с настоящим изобретением.

В другом варианте осуществления устройства в соответствии с настоящим изобретением блок выбора коэффициентов спроектирован так, что оценка основана на расстоянии между координатами, полученными из нормированных векторов соответствующих компонент коэффициентов, и координатами базисного вектора, и выбор основан на кратчайшем расстоянии.

В другом варианте осуществления способа в соответствии с настоящим изобретением этап оценки по меньшей мере двух компонент коэффициентов содержит следующие этапы:

- определяют расстояния между координатами, полученными из нормированных векторов соответствующих компонент коэффициентов, и координатами фиксированного предварительно заданного базисного вектора, и

- выбирают компоненту коэффициентов с наименьшим расстоянием.

Таким образом, разность между компонентами коэффициентов и предварительно заданным базисным вектором, который, предпочтительно, также нормирован, можно определять на основании эвклидова расстояния координат векторов. Минимум всех вычисленных расстояний указывает на компоненту коэффициентов, ближайшую к предварительно заданному базисному вектору, т.е. ближайшую к его ориентации. Данный вариант осуществления, а также следующий вариант осуществления можно применять в связи с несколькими способами слепого разделения источников, подобными PCA или ICA. В методе ICA получаемые независимые компоненты не обязательно являются ортогональными, и поэтому невозможно применить вышеупомянутый вариант осуществления с критерием, содержащим угол меньше, чем 45° для выбора. В настоящем (и следующем) варианте осуществления все вектора сравниваются с базисным вектором, чтобы определить, какой вектор является наилучшим (с точки зрения расстояния или угла).

Настоящий вариант осуществления заключает в себе, предпочтительно, вышеупомянутый этап умножения компонент коэффициентов на знак одного из их элементов.

В другом варианте осуществления устройства в соответствии с настоящим изобретением блок выбора коэффициентов спроектирован так, что оценка проводится на основе угла между обеспеченными по меньшей мере двумя компонентами коэффициентов и базисным вектором, и дополнительно так, что выбирается компонента коэффициентов с наименьшим углом.

В другом варианте осуществления способа в соответствии с настоящим изобретением этап оценки по меньшей мере двух компонент коэффициентов содержит следующие этапы:

- определяют угол между соответствующими компонентами коэффициентов и фиксированным предварительно заданным базисным вектором, и

- выбирают компоненту коэффициентов с наименьшим углом относительно фиксированного предварительно заданного базисного вектора.

Таким образом, определяют соответствующие углы между векторами компонент коэффициентов и предварительно заданным базисным вектором. Минимум вычисленных углов указывает на компоненту коэффициентов, ближайшую к предварительно заданному базисному вектору, т.е. ближайшую к нему по ориентации. В связи с этим, нормирование компоненты коэффициентов не обязательно, но может выполняться во всяком случае.

Настоящий вариант осуществления заключает в себе, предпочтительно, вышеупомянутый этап умножения компонент коэффициентов на знак одного из их элементов.

В другом варианте осуществления устройства в соответствии с настоящим изобретением предварительно заданный базисный вектор основан на цветовом тоне кожи объекта изучения.

Свет, отраженный объектом изучения (и детектируемый устройством), состоит, по существу, из двух компонент: одной диффузно-отраженной компоненты со светом, который прошел сквозь кожу и показывает ее цвет, включая его изменения, обусловленные физиологическими проявлениями подлежащего обнаружению основного показателя состояния организма, например, пульса, и одной компоненты непосредственно отраженного света, который показывает цвет источника света, известной также, как зеркальное отражение. В то время, как последняя компонента может изменяться в зависимости от угла отражения и (цвета) источника света, но не от изменений, основанных на подлежащем обнаружению основном показателе состояния организма, первая диффузно-отраженная компонента, по существу, не зависит от угла. Поскольку упомянутая компонента изменяется вблизи цвета кожи или цветового тона кожи, поиск компоненты сигнала, близкой к значению, зависящему от упомянутого цветового тона кожи, помогает в исключении из рассмотрения компонент сигнала, основанных на зеркальном отражении. В результате, на основе упомянутого цветового тона кожи можно обеспечить соответствующий базисный вектор для оценки компонент коэффициентов.

В качестве основы, цветовой тон кожи можно выбирать для каждого объекта изучения индивидуально. Кроме того, можно, а также предпочтительно в контексте настоящего изобретения определить и применять «стандартизованный» цветовой тон кожи. Данный «стандартизованный» цветовой тон кожи можно определять эмпирическим методом, например, путем определения цветовых тонов кожи репрезентативного числа объектов изучения и вычисления среднего. Затем («стандартизованный») цветовой тон кожи может быть основой метода определения фиксированного предварительно заданного вектора в соответствии с настоящим изобретением.

В другом варианте осуществления устройства в соответствии с настоящим изобретением интерфейс спроектирован с возможностью приема данных цветов RGB, и фиксированный вектор является близким к [-0,4, 0,8, -0,4], предпочтительно близким к [-0,41, 0,82, -0,41], более предпочтительно близким к [-0,408, 0,817, -0,408] и еще более предпочтительно близким к [-0,4082, 0,8165, -0,4082].

Термин «близкий к», применяемый в контексте настоящего изобретения, в частности, в контексте вышеупомянутых векторов, следует понимать как заключающий в себе все значения, например, векторные элементы для вектора, которые входят в группу данных значений с учетом их соответствующей точности, которая имеет целью допуск отклонения ±1 в соответствующей последней цифре. Например, 0,8 следует понимать как охватывающее значения от 0,7 до 0,9, -0,82 следует понимать как охватывающее значения от -0,81 до -0,83, и так далее.

Авторы настоящего изобретения обнаружили, что в схеме, в которой интерфейс способен принимать и дополнительно обеспечивать данные в формате RGB, подобно, но без ограничения, цифровым камерам и записывающим видеокамерам, сетевым видеокамерам и т.п., объект изучения является человеком, и подлежащий обнаружению основной показатель состояния организма является пульсом (HB), последний можно определить из уравнения (1):

HB≈1,5R_n-3G_n+1,5B_n,

где R_n, G_n и B_n являются элементами данных RGB, полученными делением отдельного значения на среднее (по временному интервалу) значению соответствующего канала. Это означает, что упомянутые элементы RGB, обычно, только немного отклоняются от усредненного или среднего значения, т.е. цветового тона кожи отдельного человека. Данное отклонение включает в себя информацию HB. При умножении на весовые коэффициенты 1,5, -3 и 1,5, влияние изменений, обусловленных движением, по существу, исключается, так как движение, обычно, модулирует данные RGB в одинаковом процентном отношении, и можно обеспечить прямое соответствие между данными RGB и значением HB. Кроме того, при использовании упомянутых коэффициентов в качестве основы, можно найти фиксированный предварительно заданный вектор, к ориентации которого приближается весовой вектор, то есть, вектор компонент весовых коэффициентов.

Авторы настоящего изобретения дополнительно обнаружили, что вышеизложенное справедливо также для компоненты сигнала, содержащей сигнал HB, который можно также получить методом BSS, как упоминалось выше. Соответственно, выбор компоненты сигнала, содержащей, например, искомую информацию сигнала HB, может быть направлен на получение соответствующего вектора компонент коэффициентов, ближайшего к предварительно заданному вектору. Нормирование вектора [1,5, -3, 1,5] приводит к [0,4082, -0,8165, 0,4082], и дополнительное умножение на знак второго элемента приводит к наиболее предпочтительному базисному вектору [-0,4082, 0,8165, -0,4082].

Кроме данного варианта осуществления, использующего данных цветов RGB, в другом варианте осуществления устройства в соответствии с настоящим изобретением интерфейс спроектирован с возможностью приема инфракрасных данных нескольких длин волн, и фиксированный вектор является близким к [-0,3, -0,8, -0,5], предпочтительно близким к [-0,26, -0,80, -0,54]. Данный вариант, предпочтительно, применим для диапазонов длин волн от 750 нм до 1000 нм. Когда, например, выбирают длины волн, близкие к 780 нм, 880 нм и 980 нм, под влиянием подлежащей детектированию физиологической информации вновь находится, в основном, вторая компонента, т.е. соответствующая 880 нм. Соответственно, способ выбора компоненты коэффициентов может быть таким, чтобы относительно высоким был второй элемент вектора компонент коэффициентов.

В другом варианте осуществления устройства в соответствии с настоящим изобретением компоненты коэффициентов реализуются как вектора, имеющие по меньшей мере два элемента, и блок (98) выбора коэффициентов дополнительно спроектирован так, что оценка компонент коэффициентов реализуется сравнением относительного значения выбранного элемента соответствующего вектора компонент коэффициентов с относительными значениями того же элемента других векторов компонент коэффициентов, и дополнительно так, что выбор вектора компонент коэффициентов основан на наибольшем относительном значении выбранного элемента, при этом интерфейс предпочтительно спроектирован с возможностью приема данных цветов RGB, и выбранный элемент соответствует зеленому каналу. В альтернативном варианте осуществления, при использовании компонент ИР длин волн с 750 нм, 880 нм и 980 нм, выбранный элемент соответствует среднему каналу с 880 нм.

В другом варианте осуществления способа в соответствии с настоящим изобретением компоненты коэффициентов реализуются как вектора, имеющие по меньшей мере два элемента, и

этап оценки по меньшей мере двух компонент коэффициентов содержит следующие этапы:

- определяют относительное значение выбранного элемента каждого вектора компонент коэффициентов, и

- выбирают компоненту коэффициентов с наибольшим относительным значением, при этом поток данных предпочтительно состоит из данных цветов RGB, и выбранный элемент соответствует зеленому каналу. И вновь, в ИК выбранный элемент соответствует 880 нм, с учетом того, что компоненты длин волн являются такими, как упоминалось выше.

В данном варианте осуществления компоненту коэффициентов выбирают посредством поиска компоненты, которая содержит наибольшее относительное значение в одном выбранном элементе векторов компонент коэффициентов, при этом упомянутый элемент, предпочтительно, характеризуется тем, что является элементом, соответствующим компоненте длин волн, которая в наибольшей степени испытывает влияние физиологической информации, т.е. детектируемого (периодического) основного показателя состояния организма. В упомянутом примерном случае данных цветов RGB, упомянутая компонента длин волн является зеленым каналом. В другом примерном случае упомянутых компонент ИК длин волн, компонента длин волн является компонентой, соответствующей 880 нм. Соответственно, выбор вектора компонент коэффициентов является таким, чтобы выбрать вектор, который дает наибольший вес упомянутой второй компоненте длин волн, т.е. зеленой или 880-нм, при вычислении соответствующей компоненты сигнала.

Данный вариант осуществления, а также вышеупомянутые варианты осуществления, в которых оценка реализуется относительно базисного вектора, можно применять в связи с несколькими способами слепого разделения источников, подобного PCA или ICA.

В примерном варианте осуществления, в предположении трехмерных векторов компонент коэффициентов, упомянутое действие можно выполнять вычислением разности между вторым элементом вектора компонент коэффициентов и абсолютным значением суммы всех элементов данного вектора. Посредством сравнения упомянутых разностей, вычисленных для всех найденным определением векторов компонент коэффициентов, вектор, содержащий наибольшее значение, выбирают для вычисления и, тем самым, обеспечения искомой компоненты сигнала, например, посредством умножения выбранной компоненты коэффициентов на входную последовательность отсчетов сигнала.

Данный вариант осуществления включает в себя, предпочтительно, вышеупомянутый этап умножения компонент коэффициентов на знак одного из их элементов.

В еще одном аспекте настоящего изобретения предлагается компьютерная программа, которая содержит средство программного кода для предписания компьютеру выполнять этапы способа в соответствии с настоящим изобретением, когда упомянутая компьютерная программа выполняется на компьютере.

В контексте настоящей заявки, термин «компьютер» означает множество различных процессорных устройств. Другими словами, мобильные устройства, имеющие значительную вычислительную мощность, также можно считать компьютерным устройством, даже несмотря на то, что они обеспечивают меньше процессорных ресурсов, чем стандартные настольные компьютеры. Кроме того, термин «компьютер» может также относиться к распределенному компьютерному устройству, которое может включать в себя или использовать вычислительную мощность, обеспеченную в облачной среде.

В других возможных вариантах осуществления устройства в соответствии с настоящим изобретением поток данных содержит множество последовательностей отсчетов сигнала, из которых каждая представляет отдельную область интереса на объекте изучения, и каждая обрабатывается по отдельности преобразующим блоком, блоком выбора коэффициентов и блоком компонент сигнала устройства. Посредством мониторинга множества областей интереса можно вычислять комбинацию детектируемых сигналов. Тем самым, ошибочные показания или частичные изменения в одной из контролируемых областей интереса, вызванные помехами, могут легко исключаться из рассмотрения или не влияют существенно на общие детектированные данные.

В другом возможном варианте осуществления устройства в соответствии с настоящим изобретением устройство дополнительно спроектировано с возможностью отслеживания отдельных областей на объекте изучения с течением времени. Это допускает применение устройства в соответствии с настоящим изобретением в схеме, в которой объект изучения перемещается относительно устройства. Это особенно полезно при дистанционной фотоплетизмографии (R-PPG), в которой отсутствует непосредственный контакт устройства и объекта изучения.

В другом возможном варианте осуществления устройства в соответствии с настоящим изобретением устройство дополнительно содержит блок объединения данных, выполненный с возможностью формирования усиленной выбранной компоненты сигнала посредством объединения отдельных выбранных компонент сигнала для отдельных областей. В таком случае, упомянутый блок объединения сможет объединять отдельные компоненты сигнала на основании вышеупомянутого множества последовательностей отсчетов сигнала и, тем самым, способен обеспечивать вышеупомянутую комбинацию детектированных сигналов. Тем самым, нежелательные помехи или другие ошибки в детектированных сигналах могут либо пропускаться благодаря объединению детектированных сигналов, либо могут даже обнаруживаться на отдельном этапе сравнения и затем отбрасываться.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Приведенные и другие аспекты изобретения будут очевидны из последующего пояснения со ссылкой на нижеописанные варианты осуществления. На нижеприведенных чертежах:

Фиг. 1 - схематическое изображение общей схемы устройства, в котором можно применить настоящее изобретение;

Фиг. 2a - упрощенный примерный кадр, представляющий наблюдаемый объект изучения;

Фиг. 2b - увеличенный частичный вид кадра, показанного на фиг. 2a, представляющего область интереса;

Фиг. 3 - примерный вариант осуществления BSS посредством ICA;

Фиг. 4 - примерный вариант осуществления части устройства в соответствии с настоящим изобретением; и

Фиг. 5 - другой примерный вариант осуществления части устройства в соответствии с настоящим изобретением.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Ниже описаны примерные методы дистанционной фотоплетизмографии, использующей несколько аспектов устройства и способа изобретения. Следует понимать, что одиночные этапы и признаки представленных методов можно выделять из контекста соответствующего общего метода или вариантов осуществления. Поэтому упомянутые этапы и признаки могут быть частью отдельных вариантов осуществления, все еще охватываемых объемом изобретения.

Основные методы дистанционной фотоплетизмографии описаны в работе Verkruysse, W. et al. (2008), «Remote Plethysmographic Imaging Using Ambient Light», Optics Express, Optical Society of America, Washington, D.C., USA, Vol. 16, number 26, pp. 21434-21445.

Фиг. 1 представляет схематическое изображение устройства для извлечения физиологической информации, которое обозначено позицией 10. Например, устройство можно использовать для записи кадров изображения, представляющих дистанционный объект 12 изучения для дистанционного фотоплетизмографического (PPG) мониторинга. Кадры изображения могут быть получены из электромагнитного излучения 14, отраженного объектом 12 изучения. Возможно, в некоторых условиях, в частности, конкретных условиях освещенности, по меньшей мере, часть электромагнитного излучения 14 может испускаться или пропускаться объектом 12 изучения. Пропускание излучения может иметь место, когда объект 12 изучения освещается мощным источником освещения, насквозь просвечивающим объект 12 изучения. Испускание излучения может наблюдаться, когда исследуют и записывают инфракрасное излучение, вызываемое теплом тела. Однако, при применении для дистанционной PPG, очень большую долю электромагнитного излучения 14 можно считать излучением, отраженным объектом 12 изучения. Объект 12 изучения может быть человеком или животным, или, в общем, живым существом. Кроме того, объект 12 изучения может быть частью человека, очень эффективно указывающей на искомый сигнал, например, участком лица или, вообще, участком кожи.

Источник излучения, например, солнечный свет 16a или искусственный источник 16b излучения, а также сочетание нескольких источников света может воздействовать или влиять на объект 12 изучения. Источник 16a, 16b излучения, по существу, испускает падающее излучение 18a, 18b, освещающее объект 12 изучения. Для извлечения физиологической информации из записанных данных, например, последовательности кадров изображений, заданную часть или заданный участок объекта 12 изучения можно принимать сенсорным средством 22. Сенсорное средство 22 можно осуществить, например, посредством камеры, пригодной для сбора информации, относящейся к по меньшей мере одной спектральной компоненте электромагнитного излучения 14. Разумеется, устройство 10 может быть также выполнено с возможностью обработки входных сигналов, а именно, входного потока данных, уже записанных заранее и, вместе с тем, сохраненных в памяти или буферизованных. Как указано выше, электромагнитное излучение 14 может содержать непрерывный или дискретный характеристический сигнал, который может очень эффективно указывать на по меньшей мере один, по меньшей мере, частично периодический сигнал 20 жизнедеятельности. Характеристический сигнал может быть вложен во (входной) поток 24 данных.

В соответствии с вариантом осуществления, для сбора данных можно выбрать (или маскировать пиксельным образом) потенциально очень показательный участок объекта 12 изучения. При объединении в некоторый момент соответствующих значений одиночных пикселей, можно получить среднее значение пикселей на основании пиксельного образа. Таким образом, детектируемые сигналы можно нормировать и до некоторой степени компенсировать для учета общих помех. В общем, считается, что характеристический сигнал содержит постоянную (DC) часть и переменную (AC) часть, налагающуюся на постоянную часть. С помощью средств обработки сигналов, переменную часть можно выделить и, кроме того, компенсировать для учета помех. Например, переменная часть характеристического сигнала может содержать доминирующую частоту, которая может очень эффективно указывать на частоты сердечных сокращений объекта 12 изучения. Среднее значение пикселей может быть представлено характеристическим сигналом. Представляющий интерес сигнал 20 жизнедеятельности может быть вложен в небольшие флуктуации (незначительные периодические изменения свойств) характеристического сигнала. В дальнейшем, поток собранных данных можно рассматривать как представление некоторой зоны интереса на объекте 12 изучения, которое может охватывать зону объединенных пикселей, охватывающую множество пикселей. На фиг. 1, сигнал 20 жизнедеятельности может позволить сделать несколько выводов, касающихся частоты сердечных сокращений, сердцебиения, вариабельности частоты сердечных сокращений, частоты дыхания или даже насыщения крови кислородом.

Известные способы получения упомянутых сигналов жизнедеятельности могут содержать тактильный мониторинг частоты сердечных сокращений, электрокардиографию или пульсовую оксиметрию. Однако для этого требовался мониторинг, причиняющий беспокойство. Как указано выше, альтернативный метод предназначен для бесконтактного дистанционного измерения, использующего способы обработки изображений.

Поток 24 данных, содержащий непрерывный или дискретный характеристический сигнал, может передаваться из сенсорного средства 22 в интерфейс 26. Разумеется, между сенсорным средством 22 и интерфейсом 26 можно также ввести буферное средство. После интерфейса 26, входной поток 24' данных может подаваться в процессорный модуль или процессорный блок 28. Процессорный блок 28 можно считать компьютерным устройством или, по меньшей мере, частью компьютерного устройства, управляемого соответствующими логическими командами (программным кодом) таким образом, чтобы обеспечивать требуемую обработку данных. Процессорный блок 28 может содержать несколько компонентов или блоков, которые рассмотрены ниже. Следует понимать, что каждый компонент или блок процессорного блока 28 может быть реализован фактически или отдельно. Например, процессорный блок 28 может содержать несколько процессоров, например, многоядерные процессоры или одноядерные процессоры. Процессорным блоком 28 может использоваться по меньшей мере один процессор. Каждый из процессоров может быть сконфигурирован как стандартный процессор (например, центральный процессор) или как специализированный процессор (например, графический процессор). Следовательно, процессорным блоком 28 можно соответственно управлять так, чтобы распределять несколько задач обработки данных в подходящие процессоры.

В соответствии с вариантом осуществления настоящего изобретения, процессорный блок 28 содержит блок 30 сегментации, выполненный с возможностью определения показательной секции кадра, в частности, участка кожи объекта 12 изучения, с таким расчетом, чтобы показательная секция кадра предпочтительно содержала область интереса. Следует упомянуть, что как показательная секция кадра, так и область интереса могут согласоваться или соответствовать друг другу. Однако, в качестве альтернативы, показательная секция кадра и область интереса могут также как-нибудь различаться по размеру или положению. Блок 30 сегментации может быть адаптирован для средств сегментации кожи и/или отслеживания признаков. Как сегментацию кожи, так и отслеживание признаков можно использовать для обнаружения образа таким образом, чтобы сначала обнаружить область интереса и отслеживать область интереса с течением времени. Следовательно, блок 30 сегментации может вносить вклад в компенсацию движения.

Однако в альтернативном варианте осуществления обнаружение образа или сегментация кожи может выполняться вручную пользователем устройства 10. Например, пользователь может маскировать участок лица или участок кожи объекта 12 изучения в кадре, представляющем первоначальный кадр, для определения первоначальной секции кадра, подлежащей обработке.

Процессорный блок 28 может дополнительно содержать блок 32 разбиения, выполненный с возможностью селективного разбиения области интереса на по меньшей мере два заданных подмножества сигналов. Таким образом, последовательность кадров, вложенных в поток данных, может разделяться на по меньшей мере две подпоследовательности. В контексте настоящего описания, разделение или разбиение обычно означает деление зоны в области интереса.

Процессорный блок 28 может дополнительно содержать блок 34 выделения сигналов для обработки каждой из множества из по меньшей мере двух отдельных подпоследовательностей, сформированных блоком 32 разбиения. Таким способом можно получить множество отдельных показательных характеристических составляющих сигналов. Поэтому, вместо обработки области интереса в целом можно обрабатывать по отдельности субучастки данной области. Таким способом можно решить проблему локально возникающих помех и искажений. Обработка сигналов, в частности, выделение сигнала, может выполняться блоком 34 выделения сигналов. Блок 34 выделения сигналов может быть выполнен с возможностью обработки каждой из множества из по меньшей мере двух отдельных подпоследовательностей. Другими словами, блок 34 выделения сигналов не обязательно должен обрабатывать каждую подпоследовательность, сформированную блоком 32 разбиения.

С учетом того, что участок интереса может быть локально испорчен искажениями, можно предположить, что некоторые из по меньшей мере двух отдельных подпоследовательностей (из соответствующих подмножеств) обнаруживают сильно искаженные сигналы в то время, как другие последовательности могут показывать намного менее искаженные сигналы. Чем больше число подмножеств сигналов, на которые разбита область интереса, тем точнее текущее проявление искажения может быть «подобрано» некоторыми из подмножеств.

Как упоминалось выше, в предпочтительном варианте блок 32 разбиения и блок 34 выделения сигналов могут быть дополнительно сконфигурированы для многократного разбиения и обработки области интереса таким образом, чтобы соответственно формировались и обрабатывались по меньшей мере две группы подмножеств сигналов. Таким образом, каждый момент времени (номер кадра) области интереса может обрабатываться несколько раз. Обеспечение по меньшей мере двух групп заданных подмножеств сигналов предусматривает значительно большую гибкость при необходимости решения проблемы локально возникающих искажений и помех в области интереса.

В дополнение, процессорный блок 28 может содержать блок 36 объединения данных, выполненный с возможностью формирования усиленного характеристического сигнала с учетом выделенных характеристических составляющих сигналов. Для формирования усиленного характеристического сигнала можно учитывать особенности характеристических составляющих сигналов. Например, статистические средства можно применить для того, чтобы ослабить резко отклоняющиеся значения, которые, предположительно, должны быть вызваны, в основном, локально возникающими помехами. Следовательно, полученный усиленный характеристический сигнал можно уточнить дополнительно. Следует отметить, что, исходя из характеристических составляющих сигналов, можно точно конкретизировать и устранить локальные артефакты, зависящие от помех. Для сравнения, при обработке области интереса в целом, можно применять только в значительной степени ненаправленные (с точки зрения локальных искажений) средства повышения уровня сигнала.

Однако процессорный блок 28 все же может дополнительно содержать блок 38 повышения уровня сигнала, который выполнен с возможностью дополнительной обработки характеристического сигнала, сформированного блоком 36 объединения сигналов. Например, блок 38 повышения уровня сигнала может быть сконфигурирован с возможностью поиска доминирующих частот в характеристическом сигнале. В качестве альтернативы, блок 38 повышения уровня сигнала может быть выполнен с возможностью такой фильтрации характеристического сигнала, чтобы частотные участки, которые считаются не показательными в отношении искомого сигнала 20 жизнедеятельности, можно было не учитывать или, по меньшей мере, ослаблять.

В результате, процессорным блоком 28 может быть сформирован поток 40 обработанных данных. После процессорного блока 28, может быть обеспечен (выходной) интерфейс 42, в который могут передаваться обработанные данные 40. Оба интерфейса 26, 42 могут быть осуществлены посредством одинаковых (аппаратных) соединителей. Через интерфейс 42, выходные данные 44 могут представляться для дополнительного анализа и/или для средств отображения. Процессорный блок 28, а также интерфейсы 26, 42 могут быть осуществлены в обычном процессорном устройстве или корпусе 48. Позиция 48 может также изображать виртуальную границу системы. В обычный процессорный корпус 48 все еще может быть также интегрировано сенсорное средство 22. Возможная внешняя граница систем устройства 10 обозначена позицией 50. Следует понимать, что устройство 10 можно также реализовать как распределенное устройство. Например, по меньшей мере, сенсорное средство 22 может быть отделенным или удаленным от процессорного блока 28. Кроме того, функциональные модули процессорного блока 28 могут быть реализованы в виде распределенных процессорных устройств, которые могут быть соединены кабельными или беспроводными соединениями или сетями.

Фиг. 2a представляет (изображение) кадр 54, содержащий представление объекта 12 изучения. Как упоминалось выше, участок кожи объекта 12 изучения, в частности, участок лица объекта 12 изучения считается очень показательным в отношении искомых сигналов жизнедеятельности. Например, в кадре 54 выбирают показательную секцию 56 кадра. С этой целью можно применить обнаружение или распознавание образов. Например, показательную секцию 56 кадра может определять при обнаружении лица. Обычно, показательная секция 56 кадра содержит область 58 интереса или соответствует ей. На фиг. 2a, для примера, показательная секция 56 кадра и область 58 интереса не совпадают.

В контексте настоящего описания, термин «область интереса» относится, обычно, к набору или матрице пикселей. Поскольку при дистанционной фотоплетизмографии следует ожидать помехи от движения, то следует понимать, что точное положение области 58 интереса в каждом кадре 54 серии (последовательности) кадров 54 может сдвигаться или перемещаться с течением времени. Поэтому, в предпочтительном варианте применяют средства компенсации движения для обеспечения того, чтобы область 58 интереса можно было отслеживать с течением времени.

Фиг. 2b является увеличенным видом области 58 интереса на объекте 12 изучения, выбранном на фиг. 2a. Как упоминалось выше, область 58 интереса может быть локально испорчена искажениями. Например, в области 58 интереса могут присутствовать искаженные области 60a, 60b. На некоторых объектах 12 изучения, в зависимости от окружающих условий наблюдения, область лба может допускать зеркальные отражения. Это относится, в частности, к ситуации, когда область лба является потной или жирной. Поэтому, искаженная область 60a может отрицательно повлиять на результаты обработки данных, сосредоточенной на области 58 интереса в целом. По существу, то же самое может относиться к искаженной области 60b.

Зеркальное отражение является частью электромагнитного излучения 14, отражаемого объектом 12 изучения в областях 58 интереса. Следовательно, электромагнитное излучение 14 можно считать содержащим упомянутую зеркально-отраженную часть и диффузно-отраженную часть. Диффузное отражение получается в результате того, что излучение 18a, 18b, например, свет, проникает или проходит в/сквозь кожу объекта изучения и испускается вместе с компонентой цветового тона кожи и дополнительно испытывает, по меньшей мере, косвенно, влияние искомого основного показателя 20 состояния организма. Соответственно, диффузно-отраженная часть отраженного электромагнитного излучения 14 актуальна для определения искомого основного показателя 20 состояния организма, тогда как зеркально-отраженная часть зависит только от источника 16a, 16b излучения, например, его типа и длины волны испускаемого излучения 18a, 18b, и угла области 58 интереса объекта 12 изучения относительно источника 16a, 16b излучения.

Поиск отдельных компонент сигнала, влияющих на суммарное отраженное излучение можно выполнять, например, методом слепого разделения источников (BSS). Одним примером упомянутого метода является анализ независимых компонент (ICA), подобный описанному, например, в работе M. Z. Poh, D. J. McDuff, and R. W. Picard, «Non-contact, automated cardiac pulse measurements using video imaging and blind source separation», Opt. Express. 2010, Vol. 18 (10), pp. 10762-10774, которая в полном объеме включена в настоящую заявку путем отсылки. Другим примером упомянутого метода является анализ главных компонент (PCA), подобный описанному, например, в работе M. Lewandowska, J. Ruminski, T. Kocejko, and J. Nowak, «Measuring Pulse Rate with a Webcam - a Non-contact Method for Evaluating Cardiac Activity», Proc. FedCSIS, 2011, pp. 405-410, которая в полном объеме включена в настоящую заявку путем отсылки.

Оба способа обеспечивают набор компонент сигнала, получаемых из первоначально принятых компонент длин волн электромагнитного излучения 14. Данный процесс примерно поясняется на фиг. 3 для электромагнитного излучения 14, детектируемого в форме сигнала RGB (основных цветов изображения) с тремя компонентами 70, 72 и 74 длин волн, представляющими красный, зеленый и синий каналы. Данные компоненты 70, 72 и 74 длин волн подаются на этап ICA 76, как показано стрелками 78, 80 и 82. Результаты в приведенном примере представляют собой три компоненты 84, 86 и 88 сигнала. Упомянутые компоненты показаны стрелками 90, 92 и 94. В упомянутом методе ICA, который описан также в заявке US 2011/0251493 A1, выбор компоненты сигнала, содержащей информацию об искомом основном показателе 20 состояния организма, осуществляется поиском компоненты сигнала с периодическим сигналом. Данное детектирование основано на предположении, что присутствует только один периодический сигнал.

При изменении с течением времени обеих частей электромагнитного излучения 14, т.е. зеркального отражения и диффузного отражения, и даже при возможности периодического изменения зеркально-отраженной части, например, в результате периодического перемещения объекта изучения некоторого рода относительно источника 16a, 16b излучения, выбор на основании упомянутого предположения, вероятно, не работает.

В примере компонент RGB, исключение нежелательной зеркально-отраженной части можно выполнять с использованием цветоразностных сигналов. С данной целью, формируют два ортогональных цветоразностных сигнала, например X=R-G и Y=0,5R+0,5G - B. Поскольку движение объекта изучения и, следовательно, изменение зеркального отражения будет влиять на все три канала, а диффузное отражение будет влиять на X и Y по-разному, то уравнение (2) указывает на импульс (HB):

где X_n и Y_n представляют соответствующие нормированные значения.

Далее, в качестве основы можно воспользоваться «стандартизованным» цветовым тоном кожи, где упомянутый цветовой тон кожи равен [R, G, B]=[0,7682, 0,5121, 0,3841]. На основании приведенного «стандартизованного» цветового тона кожи, который был найден авторами настоящего изобретения посредством тестирования 117 человек, имеющих разные цветовые тона кожи, отклонения от цветового тона кожи соответствующего объекта изучения можно преобразовать в «стандартизованное» отклонение цветового тона кожи с помощью уравнений (3):

R_S=0,7682R_n, G_S=0,5121G_n, B_S=0,3841B_n,

где R_n, G_n и B_n означают соответствующие детектированные значения RGB, деленные на их средние значения. Значения R_S, G_S и B_S не зависят от источника 16a, 16b излучения, например, его цвета, и обеспечивают цветовой тон кожи соответствующего объекта изучения независимо от цвета источника 16a, 16b излучения.

Соответствующее значение HB можно получить с помощью X_S и Y_S, показанных уравнениями (4) и (5):

Затем HB выражается уравнением (6):

Соответствующую компоненту сигнала, которую можно вывести, например, методом BSS, например, методом ICA или PCA, как описано выше, можно также рассматривать как зависящее от времени отклонение среднего цветового тона кожи R_nB_nG_n, соответственно, умноженное на элементы c₁, c₂ и c₃ вектора компонент коэффициентов. Отсюда можно определить HB в соответствии с уравнением (7):

HB=c₁R_n+c₂G_n+c₃B_n.

Данные элементы можно получить, например, методом ICA или PCA, в котором определяются векторы [c₁, c₂, c₃] компонент коэффициентов для обеспечения соответствующих компонент сигнала.

В соответствии с настоящим изобретением, обнаружение искомой компоненты сигнала можно также выполнять посредством обнаружения соответствующего (вектора) компоненты [c₁, c₂, c₃] коэффициентов.

При переписывании уравнения (6) в виде уравнения (8)

и допущении для разложения в ряд Тейлора логарифмов, что все аргументы логарифмов являются очень близкими к 1, получают, в результате, приближение уравнения (9):

HB≈X_S-Y_S.

С помощью уравнений (4) и (5), а также уравнений (3), ΗΒ можно записать в виде, показанном в уравнении (10):

HB≈1,5R_n-3G_n+1,5B_n,

которое дает [c₁, c₂, c₃], равные [1,5, -3, 1,5], или нормированные [0,4082, -0,8165, 0,4082].

Поскольку вектора компонент коэффициентов не зависят друг от друга, и поскольку данный критерий не испытывает влияния знака соответствующих векторов, то результат векторов компонент коэффициентов может быть таким, что знак векторов может произвольно изменяться от случая к случаю или время от времени, если обработка выполняется в последовательные интервалы. Это исправляется умножением вектора на знак его второго элемента, который в примере, приведенном в настоящем описании, соответствует зеленому каналу. В результате, получается базисный вектор [-0,4082, 0,8165, -0,4082] для данных RGB.

Аналогичным образом можно определить базисные вектора для других компонент длин волн, подобно [-0,26, -0,80, -0,54] для компонент ИК (инфракрасных) длин волн 750 нм, 880 нм и 980 нм. Соответственно, нижеследующее описание, относящееся к упомянутому базисному вектору для данных RGB, имеет силу также для потоков других данных, содержащих компоненты других длин волн, подобно, но без ограничения, упомянутым для примера компонентам ИК длин волн, при адаптации описания к базисному вектору для упомянутых компонент длин волн.

Причина использования второго канала в настоящем случае состоит в том, что, обычно, влияние физиологической информации, например, основных показателей состояния организма типа пульса чаще всего испытывает компонента зеленой длины волны, то есть, зеленый канал. Поэтому, чтобы получать сравнимые и пригодные компоненты коэффициентов и, следовательно, пригодные компоненты сигнала, желательно поддерживать вклад зеленого канала с одним и тем же знаком.

На основании вышеизложенного, выбор правильной и искомой компоненты сигнала можно производить детерминированным методом путем выбора компоненты (вектора) коэффициентов, которая является ближайшей по ориентации к упомянутому базисному вектору. Это можно выполнить либо вычислением евклидова расстояния между конечными точками (нормированных) векторов вектора компонент коэффициентов и базисного вектора, либо определением угла между упомянутыми векторами. Соответственно, выбирают компоненту коэффициентов, которая показывает наименьшее (евклидово) расстояние или минимум вычисленных углов.

В примерном описанном устройстве 10 приведенный процесс реализуется снабжением устройства 10 преобразующим блоком 96, блоком 98 выбора коэффициентов, блоком 99 компонент сигнала и блоком 100 обработки сигналов.

Пример такого решения показан на фиг. 4, на котором упомянутые блоки рассматриваются как части блока 34 выделения сигналов. В данном случае, преобразующий блок 96 принимает поток 24 данных, состоящий из по меньшей мере двух компонент длин волн. В приведенном примере, в котором поток 24 сигналов содержит данные RGB, сигнал 24 имеет три компоненты 102, 104 и 106 длин волн. Каждая компонента длин волн имеет сходство с одной из трех компонент длин волн RGB, т.е. красной, зеленой или синей. Для упомянутых компонент 102, 104 и 106 длин волн, компоненты 108, 110 и 112 коэффициентов могут вычисляться в преобразующем блоке 96. Данное вычисление может выполняться, например, с помощью способов, используемых и известных из методов BSS. Например, может вычисляться ковариационная матрица входного сигнала, характеризуемого тремя компонентами 102, 104 и 106 длин волн. Из упомянутой ковариационной матрицы можно определить собственные значения и, затем, собственные вектора. Затем данные собственные вектора дают, в результате, искомые вектора 108, 110 и 112 компонент коэффициентов. Для данного этапа, собственные вектора предпочтительно умножаются на знак второго элемента собственного вектора, в данном случае, элемента, соответствующего зеленому каналу. Затем блок 98 выбора коэффициентов анализирует три компоненты 108, 110 и 112 коэффициентов, чтобы найти компоненту коэффициентов, которая дает в результате компоненту сигнала, содержащую искомую информацию, касающуюся основного показателя 20 состояния организма. Это выполняется определением компоненты коэффициентов, которая является ближайшей к предварительно заданному базисному вектору [-0,4082, 0,8165, -0,4082], предпочтительно в соответствии с вышеописанными способами. Предполагая в данном примере, что ближайшей является 2-я компонента 110 коэффициентов, компонента 110 коэффициентов подается блоком 98 выбора коэффициентов в блок 99 компонент сигнала. Затем блок 99 компонент сигнала вычисляет искомую компоненту 111 сигнала. Вычисление осуществляется умножением входного сигнала, т.е. компонент 102, 104 и 106 длин волн на вектор 110 компонент коэффициентов, то есть, посредством обеспечения суммы компонент 102, 104 и 106 длин волн, при этом каждая компонента длин волн умножается на весовой коэффициент, равный соответствующему элементу вектора 110 компонент коэффициентов. Затем получаемая компонента 111 сигнала подается в блок 100 обработки сигналов.

Затем блок 100 обработки сигналов может определить и обеспечить искомый основной показатель 20 состояния организма на основании компоненты 111 сигнала. Это показано стрелкой 114.

Хотя блок 100 обработки сигналов описан в приведенном примере как часть блока 34 выделения сигналов, совершенно очевидно, что блок 100 обработки сигналов может быть отдельным блоком устройства 10 или, например, частью другого из вышеупомянутых блоков процессорного блока 28. Кроме того, совершенно очевидно, что хотя, в виде примера, устройство описано выше для потока 24 сигналов, содержащего данные RGB, использовать можно, соответственно, любой другой формат данных, содержащий по меньшей мере две компоненты длин волн, предпочтительно по меньшей мере три компоненты длин волн, при условии, что выполняются необходимые модификации предварительно заданного базисного вектора на основании вышеупомянутых этапов для получения упомянутого базисного вектора, в соответствии с настоящим изобретением. То же самое применимо для способа в соответствии с настоящим изобретением, который также можно получить из вышеприведенного описания.

В альтернативном варианте осуществления в соответствии с настоящим изобретением, вектор компонент коэффициентов может выбираться в блоке 98 выбора коэффициентов посредством сравнения значений выбранного элемента векторов компонент коэффициентов. В данном примерном случае данных цветов RGB, элемент, используемый для упомянутого сравнения, снова является вторым элементом вследствие его вышеупомянутой значимости, т.е. влияния физиологической информации на зеленый, т.е. второй, канал. Упомянутый этап сравнения в данном варианте осуществления реализуется вычислением разности между вторым элементом и абсолютным значением суммы всех элементов соответствующего вектора. Данное действие выполняется для всех, в настоящем случае, всех трех, векторов компонент коэффициентов, и выбирается вектор компонент коэффициентов, имеющий наибольшее полученное значение.

Приведенный метод вновь использует характеристику физиологической информации, являющуюся наиболее мощной во втором, т.е. зеленом, канале компонент длин волн.

Второй альтернативный вариант осуществления перемещает этап выбора искомой компоненты коэффициентов в момент до того, как компоненты коэффициентов фактически вычисляются. Данный случай показан на фиг. 5, где блок 98' выбора коэффициентов изображен как часть преобразующего блока 96'. Поскольку блок 34 выделения сигналов, показанный на фиг. 4, и блок 34' выделения сигналов, показанный на фиг. 5, содержат, по существу, идентичные или сходные признаки, то идентичные части обозначены в дальнейшем одинаковыми позициями и дополнительно не поясняются. В противном случае, сходные части обозначены одинаковыми позициями со штрихом (').

Искомая компонента сигнала является в большинстве случаев компонентой сигнала, содержащей наибольшей колебание. Поэтому, в преобразующем блоке 96' определение можно реализовать, как упоминалось, перед преобразующим блоком 96. Однако этап может прекращаться на этапе собственных значений. Абсолютное значение собственных значений, полученное данным методом, соотносится с соответствующим колебанием компоненты сигнала, полученной умножением полученной компоненты коэффициентов, иначе говоря, собственных векторов, и входного сигнала, т.е. компонент длин волн. Это означает, что, чем выше собственное значение, тем больше колебание в суммарной полученной компоненте сигнала. В результате, в настоящем варианте осуществления упомянутое определение выполняется в блоке 98' выбора коэффициентов посредством сравнения собственных значений, обеспечивающего наибольшее собственное значение, означающее собственное значение, имеющее наибольшее абсолютное значение. Кроме того, блок 98' выбора коэффициентов определяет соответствующий собственный вектор и, в дальнейшем, вновь посредством умножения вектора на знак второго элемента вектора, компоненту (вектор) 110' коэффициентов.

Затем вектор 110' компонент коэффициентов подается в блок 99' компонент сигнала для определения и обеспечения компоненты 111' сигнала. Последующая процедура может считаться идентичной процедуре, описанной выше для блока 34 выделения сигналов, и имеет следствием искомое обеспечение основного показателя 20 состояния организма, как показано стрелкой 114'.

Приведенные способ и устройство полезны потому, что необязательно каждый раз вычислять все компоненты 108, 110 и 112 коэффициентов. Следовательно, можно экономить вычислительные ресурсы, и обеспечивается более эффективный и скоростной способ.

Для случаев, в которых компонента сигнала, содержащая наибольшее колебание, не является искомой компонентой сигнала, вводится дополнительный этап оценки. Данный этап оценки, который содержится, например, в блоке 98' выбора коэффициентов, может оценивать полученный вектор 110' компонент коэффициентов. Данную оценку можно производить таким способом, который аналогичен вышеописанным способам оценки. С данной целью определяется угол между компонентой 110' коэффициентов и вышеупомянутым базисным вектором [-0,4082, 0,8165, -0,4082]. Если упомянутый угол меньше, чем 45°, то упомянутая компонента 110' коэффициентов является компонентой коэффициентов, приводящей к искомой компоненте сигнала. Данный результат обусловлен такой характеристикой, как ортогональность компонент коэффициентов друг относительно друга. В результате, если один вектор содержит угол меньше, чем 45°, то никакой другой вектор не сможет составлять меньший угол относительно базисного вектора.

Если, однако, угол вычисленной компоненты коэффициентов равен или больше 45°, то на дополнительных этапах данного способа, предпочтительно, выбирается следующее наибольшее собственное значение, и определяется соответствующий собственный вектор. Данный процесс приводит к следующей компоненте коэффициентов, как описано выше, и так далее.

Вследствие данного ситуационно-зависимого вычисления, необходимое время и, следовательно, потребность в вычислительных ресурсах значительно сокращаются в общем, как уже упоминалось выше.

В качестве дополнительного этапа, который применим ко всем упомянутым ранее вариантам осуществления, может выполняться, например, оптимизация компоненты 111 или 111' сигнала, подаваемой в блок 100 обработки сигналов. Упомянутая оптимизация реализуется, например, посредством процедуру, так называемого, наложения-суммирования. Примеры таких процедур описаны в работах Rabiner, Lawrence R.; Gold, Bernard (1975), Theory and application of digital signal processing, Englewood Cliffs, N.J.: Prentice-Hall, pp. 63-67 (ISBN 0-13-914101-4); и Oppenheim, Alan V.; Schafer, Ronald W (1975), Digital signal processing, Englewood Cliffs, N.J.: Prentice-Hall (ISBN 0-13-214635-5), которые в полном объеме включены в настоящую заявку путем отсылки.

В упомянутой процедуре наложения-суммирования выбирается некоторая длина интервала. Затем, к упомянутой длине интервала компоненты 111, 111' сигнала применяют функцию окна Хэннинга или любую другую подходящую финитную взвешивающую функцию. Через половину длины интервала другая длина интервала отбирается из компоненты 111, 111' сигнала и умножается на окно Хэннинга. И вновь, спустя каждые полдлины интервала, данное действие повторяется и полученные тем самым сигналы, умноженные на финитные взвешивающие функции, снова суммируются. Это дает в результате оптимизированный суммарный сигнал.

При этом, вышеупомянутое умножение на знак второго элемента компонент коэффициентов дает дополнительное преимущество и может также быть необходимо, поскольку исключает любые произвольные изменения (знака) компонент сигнала. Упомянутые изменения очень не желательны для вышеупомянутой оптимизации вследствие процедуры суммирования в конце, которая, в противном случае, даст, в результате, сигналы, которые имеют качество ниже, чем прежде.

Вышеупомянутая длина интервала может быть выбрана в пределах от 8 до 1024 периодов кадровой развертки, что составляет, по существу, от 0,4 до 50 секунд. В качестве предпочтительной длины интервала выбирают от 1 до 2 секунд, более предпочтительно, 1,5 секунд для случаев с сильным движением, что соответствует по меньшей мере одному периоду пульса. Однако более продолжительные интервалы могут быть предпочтительными при более статичной обстановке.

Например, настоящее изобретение можно применять в области медико-санитарной помощи, например, бесконтактного дистанционного мониторинга пациентов, общего наблюдения, мониторинга для обеспечения безопасности и в окружающих условия для контроля, так называемого, образа жизни, например, в условиях занятий физкультурой или подобных условиях. Применения могут включать в себя мониторинг насыщения крови кислородом (пульсовую оксиметрию), частоты сердечных сокращений, артериального давления, минутного сердечного выброса, изменений перфузии крови, оценку функций вегетативной нервной системы и обнаружение заболеваний периферических сосудов. Разумеется, в варианте осуществления способа в соответствии с изобретением, некоторые из этапов, описанных в настоящей заявке, могут выполняться в измененном порядке или даже параллельно. Кроме того, некоторые из этапов могут быть пропущены также без выхода за пределы объема изобретения. Вышесказанное относится, в частности, к нескольким альтернативным этапам обработки сигналов.

Хотя изобретение подробно представлено на чертежах и охарактеризовано в вышеприведенном описании, упомянутые чертежи и описание следует считать наглядными или примерными, а не ограничивающими; изобретение не ограничено раскрытыми вариантами осуществления. Специалистами в данной области техники, в процессе практического применения заявленного изобретения, на основании изучения чертежей, описания и прилагаемой формулы изобретения, могут быть разработаны и реализованы другие варианты раскрытых вариантов осуществления. В формуле изобретения, выражение «содержащий» не исключает других элементов или этапов, и форма единственного числа не исключает множественного числа. Единственный элемент или другой блок может выполнять функции нескольких компонентов, упомянутых в формуле изобретения. Очевидное обстоятельство, что некоторые средства упомянуты во взаимно различающихся зависимых пунктах формулы изобретения, не означает невозможность применения комбинации упомянутых средств в подходящем случае.

Компьютерная программа может храниться/поставляться на подходящем носителе, например, оптическом носителе данных или твердотельном носителе, поставляемых вместе или в виде составной части другой аппаратуры, но может также поставляться в других формах, например, по сети Internet или по другим проводным или беспроводным телекоммуникационным системам.

Никакие позиции в формуле изобретения нельзя истолковывать как ограничивающие объем изобретения.

Реферат

Группа изобретений относится к медицинской технике, а именно к средствам для извлечения физиологической информации из дистанционно детектируемого электромагнитного излучения, испускаемого или отраженного объектом изучения. Устройство содержит интерфейс для приема потока данных, получаемого из детектируемого электромагнитного излучения, при этом поток данных содержит по меньшей мере одну последовательность отсчетов сигнала, представляющих область интереса, проявляющую непрерывный или дискретный характеристический сигнал, включающий в себя физиологическую информацию, указывающую на по меньшей мере один по меньшей мере частично периодический сигнал жизнедеятельности, и состоящих из по меньшей мере двух компонент длин волн, преобразующий блок, выполненный с возможностью определения и обеспечения по меньшей мере одной компоненты коэффициентов из по меньшей мере двух компонент длин волн по меньшей мере одной последовательности отсчетов сигнала, причем компонента коэффициентов пригодна для получения по меньшей мере одной компоненты сигнала посредством применения к по меньшей мере одной последовательности отсчетов сигнала, блок выбора коэффициентов для выбора одной компоненты коэффициентов из по меньшей мере одной компоненты коэффициентов, блок компонент сигнала и блок обработки сигналов для обеспечения искомой физиологической информации из компоненты сигнала. Способ извлечения физиологической информации осуществляется посредством устройства, снабженного машиночитаемым носителем данных. Использование изобретений позволяет снизить число ошибок детектирования. 3 н. и 11 з.п. ф-лы, 5 ил.

Формула