Способ и устройство для систем детектирования/распознавания лица - RU2741768C2
Код документа: RU2741768C2
Чертежи
Описание
ОБЛАСТЬ ТЕХНИКИ
Некоторые варианты осуществления относятся к способу и устройству для использования, в частности, но не исключительно, в системах детектирования/ распознавания лица.
УРОВЕНЬ ТЕХНИКИ
С целью повышения безопасности, распознавание лиц все больше используется в различных применениях. Предполагаемой дополнительной ценностью распознавания лица является улучшенное выявление обмана (подделок).
Например, камеры часто используются в системах безопасности, таких как аппаратура наблюдения, и они все больше используются для фотосъемки или видеосъемки людей с целью идентификации и регистрации, когда они проходят через контрольно-пропускные пункты, такие как пункты паспортного контроля или входы в безопасные зоны.
Современные системы распознавания лица имеют трудности с детектированием, когда объектом является фотоснимок другого человека, или, когда объект носит маску. Действие объекта, генерирующее таким образом ложноположительный результат в системах распознавания лиц, известно, как «обман».
Обман не является большой проблемой в ситуациях, когда существует вмешательство человека, и камера предназначена только для регистрации, поскольку маска будет часто детектироваться персоналом службы безопасности, и единственная ошибка будет находиться в файлах регистрации. Предъявление печатного изображения не сработает в этой ситуации. Однако иногда люди, носящие маски, могут пройти совершенно незамеченными. В ситуации, когда доступ должен предоставляться автоматически системой распознавания лиц, или, когда сотрудник службы безопасности находится на другой стороне камеры, это является проблемой, поскольку некому увидеть человека лично, и поэтому искусственные имитации человеческого лица могут сработать. Например, может быть использован носимый активный дисплей, такой как планшетный компьютер.
Таким образом, желательно уменьшить зависимость от наличия персонала службы безопасности и обеспечить способ детектирования попытки обмана с использованием самой системы камер.
Также могут существовать менее критические ситуации, когда также желательно уменьшить возможность обмана системы камер с использованием маски.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Согласно одному аспекту, обеспечен компьютерно-реализуемый способ, содержащий: этап определения для множества пространственно отдельных областей поверхности соответствующего критерия по меньшей мере одного признака жизни; этап определения на основании упомянутых соответствующих мер по меньшей мере одного признака жизни, информации об однородности, связанной с упомянутыми соответствующими критериями; и этап использования упомянутой информации об однородности для определения того, являются ли упомянутые пространственно отдельные области упомянутой поверхности живой тканью.
Способ может содержать этап идентификации области лица в последовательности видеокадров, причем по меньшей мере одна из упомянутых пространственно отдельных областей расположена в упомянутой области лица, причем упомянутая поверхность по меньшей мере частично содержит упомянутую область лица. Это может быть предпочтительным, поскольку это позволяет системе осуществлять проверку по множественным областям лица, что может гарантировать, что обманщик не носит частичную маску.
Соответствующий критерий по меньшей мере одного признака жизни может содержать сигнал сердцебиений, способ может дополнительно содержать этап извлечения, из последовательности видеокадров, сигнала сердцебиений для каждой из пространственно отдельных областей для получения множества сигналов сердцебиений. Это может быть предпочтительным, поскольку это позволяет системе проверять, содержит ли лицо живую ткань.
Способ может содержать этап определения информации об однородности посредством сравнения сигналов сердцебиений. Это может быть предпочтительным, поскольку это позволяет системе сравнивать измеренные значения по всему лицу, что позволяет минимизировать для обманщика возможность обмануть систему посредством имитации сердцебиений.
Этап использования информации об однородности может содержать этап сравнения информации об однородности с некоторым пределом. Этот предел может быть заданным значением. Это может быть предпочтительным, поскольку это позволяет системе проверять измеренные значения со значениями, предварительно заданными для системы. Это может позволить оператору настраивать систему таким образом, чтобы она была на более или менее чувствительной к возможным обманщикам.
Информация об однородности может быть определена посредством извлечения частоты сердечных сокращений из сигналов сердцебиений и объединения частот сердечных сокращений из множества пространственно отдельных областей и определения по меньшей мере одного из стандартного отклонения и максимального значения объединенных частот сердечных сокращений. Максимальное значение может быть максимальным значением распределения гистограммы. Это может быть предпочтительным, поскольку это позволяет системе проверять однородность по разным областям лица, что может дополнительно позволить системе детектировать частичную маску.
Этап определения информации об однородности может содержать этап нахождения корреляции по меньшей мере между двумя сигналами сердцебиений.
Этап определения информации об однородности может содержать этап извлечения частот сердечных сокращений для пространственно отдельной области из множества временных сегментов и этап определения стандартного отклонения частот сердечных сокращений, извлеченных из каждого временного сегмента.
Способ может содержать этап определения цветового вектора для пространственно отдельной области для каждого из множества временных сегментов и этап определения изменений цветовых векторов по множеству временных сегментов. Это может быть предпочтительным, поскольку это позволяет системе, например, вычислять связанное с ЧСС (HR) изменение цвета (ось ЧСС) для улучшения способности системы детектировать поддельное лицо.
Цветовой вектор для пространственно отдельной области для каждого из множества временных сегментов может быть получен на основании спектра поглощения гемоглобина.
Способ может содержать этап определения области в последовательности видеокадров, в которой может быть измерено дыхание, этап извлечения сигнала дыхания и нахождения корреляции между упомянутым сигналом дыхания и сигналом сердцебиений, и этап сравнения корреляции с некоторым пределом. Это может быть предпочтительным, поскольку это позволяет системе использовать другой, фотоплетизмографический (photoplethysmographic - PPG) сигнал, которым может не обладать поддельное лицо.
Согласно другому аспекту, обеспечен способ подготовки блока детектирования обмана, содержащий этап выполнения процедуры обучения, причем процедура обучения содержит этап выполнения любого из вышеупомянутых способов в отношении последовательности видеоданных, содержащей изображения реального лица, с использованием первой информации об однородности, этап выполнения любого из вышеупомянутых способов в отношении последовательности видеоданных, содержащей изображения поддельного лица, с использованием второй информации об однородности, и этап установления предела равным значению, лежащему между первой и второй информациями об однородности.
Согласно другому аспекту, обеспечено устройство детектирования обмана, содержащее по меньшей мере один процессор, выполненный с возможностью: определять для множества пространственно отдельных областей поверхности соответствующий критерий по меньшей мере одного признака жизни; определять на основании упомянутых соответствующих критериев упомянутого по меньшей мере одного признака жизни информацию об однородности, связанную с упомянутыми соответствующими критериями; и использовать упомянутую информацию об однородности для определения того, являются ли упомянутые пространственно отдельные области упомянутой поверхности живой тканью.
Упомянутое устройство может содержать устройство ввода для приема последовательности видеокадров, и упомянутый по меньшей мере один процессор может быть выполнен с возможностью идентифицировать область лица в последовательности видеокадров, идентифицировать набор пространственно отдельных участков кожи в области лица и извлекать сигнал сердцебиений для каждого из пространственно отдельных участков кожи, и извлекать частоту сердечных сокращений из каждого сигнала сердцебиений.
Упомянутый по меньшей мере один процессор может быть выполнен с возможностью вычислять действительный показатель признака жизни и сравнивать действительный показатель признака жизни с некоторым пределом для принятия решения о том, была ли последовательность видеокадров, содержащая область лица, захвачена прямо с лица живого человека.
Упомянутый по меньшей мере один процессор может быть выполнен с возможностью идентифицировать область лица в последовательности видеокадров, причем по меньшей мере одна из упомянутых пространственно отдельных областей расположена в упомянутой области лица, причем упомянутая поверхность по меньшей мере частично содержит упомянутую область лица.
Соответствующий критерий по меньшей мере одного признака жизни может содержать сигнал сердцебиений, и упомянутый по меньшей мере один процессор может быть выполнен с возможностью извлекать из последовательности видеокадров сигнал сердцебиений для каждой из пространственно отдельных областей для получения множества сигналов сердцебиений.
Упомянутый по меньшей мере один процессор может быть выполнен с возможностью определять информацию об однородности посредством сравнения сигналов сердцебиений.
Упомянутый по меньшей мере один процессор может быть выполнен с возможностью сравнивать информацию об однородности с некоторым пределом.
Упомянутый по меньшей мере один процессор может быть выполнен с возможностью определять информацию об однородности посредством извлечения частоты сердечных сокращений из сигналов сердцебиений, объединения частот сердечных сокращений из множества пространственно отдельных областей, и определения по меньшей мере одного из стандартного отклонения и максимального значения объединенных частот сердечных сокращений. Максимальное значение может быть максимальным значением распределения гистограммы.
Упомянутый по меньшей мере один процессор может быть выполнен с возможностью находить корреляцию по меньшей мере между двумя сигналами сердцебиений.
Упомянутый по меньшей мере один процессор может быть выполнен с возможностью извлекать частоты сердечных сокращений для пространственно отдельной области из множества временных сегментов и определять стандартное отклонение частот сердечных сокращений, извлеченных из каждого временного сегмента.
Упомянутый по меньшей мере один процессор может быть выполнен с возможностью определять цветовой вектор для пространственно отдельной области для каждого из множества временных сегментов и определять изменения цветовых векторов по множеству временных сегментов.
Цветовой вектор для пространственно отдельной области для каждого из множества временных сегментов может быть получен на основании спектра поглощения гемоглобина.
Упомянутый по меньшей мере один процессор может быть выполнен с возможностью определять область в последовательности видеокадров, в которой может быть измерено дыхание, извлекать сигнал дыхания, находить корреляцию между упомянутым сигналом дыхания и сигналом сердцебиений, и сравнивать корреляцию с некоторым пределом.
Согласно другому аспекту, обеспечена система визуального распознавания, которая может содержать: видеокамеру, выполненную с возможностью захватывать последовательность видеокадров; устройство детектирования обмана, описанное выше, и блок предупреждения, выполненный с возможностью генерировать предупреждение при детектировании попытки обмана.
Согласно другому аспекту, обеспечен способ детектирования попытки обмана системы визуального распознавания, содержащий: этап идентификации области лица в последовательности видеокадров; этап идентификации множества пространственно отдельных участков кожи, причем по меньшей мере один участок кожи расположен в области лица; этап извлечения из последовательности видеокадров сигнала сердцебиений для каждого из множества пространственно отдельных участков кожи для получения множества сигналов сердцебиений, причем каждый сигнал сердцебиений является элементом множества; этап вычисления действительного показателя признака жизни на основании сигнала сердцебиений посредством выполнения сравнения элементов множества; этап сравнения действительного показателя признака жизни с некоторым пределом для принятия решения о том, была ли последовательность видеокадров, содержащая область лица, захвачена прямо с живого человека.
Согласно некоторым аспектам, обеспечен программный продукт, содержащий компьютерно-читаемое запоминающее устройство, включающее в себя компьютерно-читаемую программу для обеспечения компьютерно-реализуемой игры, причем компьютерно-читаемая программа при выполнении на компьютере предписывает компьютеру выполнять любые из одного или нескольких этапов способов, описанных выше.
Может быть также обеспечена компьютерная программа, содержащая программное кодовое средство, выполненное с возможностью выполнять упомянутый способ (способы). Компьютерная программа может храниться и/или, иначе, реализоваться посредством носителя.
Выше были описаны многие разные варианты осуществления. Следует понимать, что дополнительные варианты осуществления могут быть обеспечены посредством объединения любых двух или более вариантов осуществления, описанных выше.
Различные другие аспекты и дополнительные варианты осуществления будут также описаны в нижеследующем подробном описании и прилагаемой формуле изобретения.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Вышеупомянутые, а также дополнительные цели, признаки и преимущества раскрытых устройств, систем и способов станут лучше понятны из нижеследующего иллюстративного и неограничивающего подробного описания вариантов осуществления устройств и способов, со ссылкой на прилагаемые чертежи, в которых:
Фиг. 1 показывает систему некоторых вариантов осуществления;
Фиг. 2 схематично показывает функциональные блоки процессора сигналов фиг. 1;
Фиг. 3 показывает способ некоторых вариантов осуществления;
Фиг. 4 показывает лицо с выбранными областями интереса;
Фиг. 5 показывает выбранные лица в изображении и соответствующую карту частоты сердечных сокращений;
Фиг. 6 более подробно показывает соответствующие карты частоты сердечных сокращений и соответствующие гистограммы; и
Фиг. 7 показывает способ некоторых вариантов осуществления.
ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
Некоторые варианты осуществления обеспечивают компьютерно-реализуемый способ, содержащий: этап определения для множества пространственно отдельных областей поверхности соответствующего критерия по меньшей мере одного признака жизни; этап определения на основании упомянутых соответствующих критериев по меньшей мере одного признака жизни информации об однородности, связанной с упомянутыми соответствующими критериями; и этап использования упомянутой информации об однородности для определения того, являются ли упомянутые пространственно отдельные области упомянутой поверхности живой тканью. Это может быть предпочтительным, поскольку это может устранить потребность в человеке, который должен присутствовать во время процесса цифровой идентификации, посредством использования детектируемого признака жизни человека, пытающегося пройти через систему распознавания лиц. Варианты осуществления также позволяют системе проверять, носит ли человек частичную маску, в которой некоторая часть лица носителя выставлена напоказ.
В нижеследующем описании, одинаковые ссылочные позиции обозначают подобные элементы.
Некоторые варианты осуществления относятся к способу и устройству для улучшенного биометрического идентификатора для систем детектирования/ распознавания лиц посредством использования сигналов признаков жизни человека из множества областей лица.
Некоторые варианты осуществления используют наличие фотоплетизмографических (PPG) сигналов, обусловленных сердцебиением, для определения того, является ли передняя поверхность объекта, анализируемого системой детектирования/ распознавания лиц, передней поверхностью реального лица. Фотоплетизмография (PPG) является оптическим способом, включающим в себя извлечение сигнала, указывающего на физиологический процесс или признак жизни у объекта. Признаки жизни могут быть получены системой детектирования лиц посредством последовательности изображений. Это позволяет системе детектирования лиц установить, является ли отображаемое лицо реальным или поддельным (фотоснимком или маской).
В некоторых вариантах осуществления, простой подход может состоять в определении лица как реального, если может быть детектирован фотоплетизмографический сигнал. В некоторых сценариях этот способ может быть недостаточным, поскольку объект может использовать части изображения лица (например, глаз) или часть маски вместе с частями своего собственного лица для обмана системы детектирования /распознавания.
Некоторые варианты осуществления могут использовать подход, включающий в себя пространственно-разрешенные фотоплетизмографические сигналы в комбинации с критерием однородности для определения детектируемого лица как реального или нереального. Поскольку одинаковые фотоплетизмографические сигналы пульса однородно распределены по измеряемому лицу, использование пространственно-разрешенных фотоплетизмографических сигналов может помочь в правильной идентификации лица как реального лица.
В некоторых вариантах осуществления может быть установлена проверка на совместимость в сигналах пульса в динамике по времени. Такие проверки могут дополнительно уменьшить возможность обмана системы детектирования/ распознавания.
Способ может содержать этап идентификации области лица в последовательности видеокадров, причем по меньшей мере одна из упомянутых пространственно отдельных областей расположена в упомянутой области лица, причем упомянутая поверхность по меньшей мере частично содержит упомянутую область лица. Это может быть предпочтительным, поскольку это позволяет системе осуществлять проверку по множественным областям лица, что может гарантировать, что обманщик не носит частичную маску.
Соответствующий критерий по меньшей мере одного признака жизни может содержать сигнал сердцебиений, и способ может дополнительно содержать этап извлечения из последовательности видеокадров сигнала сердцебиений для каждой из пространственно отдельных областей для получения множества сигналов сердцебиений. Это может быть предпочтительным, поскольку это позволяет системе проверять, содержит ли лицо живую ткань.
Некоторые варианты осуществления идентифицируют область лица объекта в последовательности кадров посредством захвата потока видеоданных. Некоторые варианты осуществления могут затем идентифицировать отдельные подобласти на лице объекта, из которых могут быть извлечены потоки фотоплетизмографии (PPG). Затем может быть вычислена однородность этих множественных сигналов. Например, частоты сердечных сокращений (ЧСС или HR) могут быть извлечены и проверены на совместимость в динамике по времени. Результаты этих проверок могут быть затем использованы для определения того, является ли лицо объекта реальным.
В некоторых вариантах осуществления, способ для улучшенного биометрического идентификатора для системы детектирования/ распознавания может содержать:
этап идентификации области лица в последовательности видеокадров;
этап идентификации набора пространственно отдельных областей в области лица;
этап извлечения сигнала сердцебиений для каждого из участков;
этап сравнения извлеченных сигналов и вычисления критериев однородности; и
этап сравнения критерия подобия с некоторым пределом для принятия решения о том, является ли лицо реальным.
Способ может содержать этап определения информации об однородности посредством сравнения сигналов сердцебиений. Это может быть предпочтительным, поскольку это позволяет системе сравнивать измеренные значения по всему лицу, что позволяет минимизировать для обманщика возможность обмануть систему посредством имитации сердцебиений.
Этап использования информации об однородности может содержать этап сравнения информации об однородности с некоторым пределом. Этот предел может быть заданным значением. Это может быть предпочтительным, поскольку это позволяет системе проверять измеренные значения относительно значений, предварительно заданных для системы. Это может позволить оператору настраивать систему таким образом, чтобы она была более или менее чувствительной к возможным обманщикам.
Информация об однородности может быть определена посредством извлечения частоты сердечных сокращений из сигналов сердцебиений и объединения частот сердечных сокращений из множества пространственно отдельных областей и определения по меньшей мере одного из стандартного отклонения и максимального значения объединенных частот сердечных сокращений. Максимальное значение может быть максимальным значением распределения гистограммы. Это может быть предпочтительным, поскольку это может позволить системе проверять однородность по разным областям лица, что может дополнительно улучшить способность системы детектировать частичную маску.
Этап определения информации об однородности может содержать этап нахождения корреляции по меньшей мере между двумя сигналами сердцебиений.
Этап определения информации об однородности может содержать этап извлечения частот сердечных сокращений для пространственно отдельной области из множества временных сегментов и этап определения стандартного отклонения частот сердечных сокращений, извлеченных из каждого временного сегмента.
В некоторых вариантах осуществления, возможности проверки однородности фотоплетизмографических (PPG) сигналов могут содержать одно или несколько из:
стандартного отклонения частот сердечных сокращений;
максимума гистограммы частот сердечных сокращений;
корреляции частот сердечных сокращений;
стандартного отклонения изменений частоты сердечных сокращений по временным сегментам; и
среднего расстояния изменений связанного-с-частотой-сердечных-сокращений цветового вектора в динамике по времени.
Способ может содержать этап определения цветового вектора для пространственно отдельной области для каждого из множества временных сегментов и этап определения изменений цветовых векторов по множеству временных сегментов. Это может быть предпочтительным, поскольку это позволяет системе, например, вычислять связанное с ЧСС изменение цвета (ось ЧСС) для улучшения способности системы детектировать поддельное лицо.
Цветовой вектор для пространственно отдельной области для каждого из множества временных сегментов может быть получен на основании спектра поглощения гемоглобина.
В некоторых вариантах осуществления, среднее расстояние связанного-с-частотой-сердечных-сокращений цветового вектора может быть евклидовым. В других вариантах осуществления, временное изменение в наблюдаемом спектре света может быть несовместимым в динамике по времени, и/или оно может значительно отличаться от предполагаемого вызванного-частотой-сердечных-сокращений изменения спектра света на основе спектра поглощения гемоглобина.
Однородность фотоплетизмографических (PPG) сигналов может быть измерена с использованием одной или нескольких из этих возможностей в любой комбинации. В некоторых вариантах осуществления могут быть использованы все вышеупомянутые возможности. В других вариантах осуществления могут быть предпочтительно использованы в комбинации возможности, включающие в себя временное сегментирование.
В некоторых вариантах осуществления могут быть использованы относительные амплитуды и формы фотоплетизмографических (PPG) сигналов.
В некоторых вариантах осуществления, управляемое освещение может быть использовано для освещения лица объекта в однородном рассеянном режиме.
В некоторых вариантах осуществления, зеркальные отражения могут быть уменьшены посредством использования источника, который поляризован, например, при наличии скрещенного поляризатора (с ортогональной поляризацией) на линзе камеры. Следует понимать, что могут быть использованы другие типы поляризации.
В некоторых вариантах осуществления, освещение может содержать инфракрасные (ИК) электромагнитные волны. Использование инфракрасного света может улучшить чувствительность и сделать присутствие системы и выполнение сканирования менее заметным для объекта. Следует понимать, что альтернативно или дополнительно могут быть использованы другие длины волн электромагнитного излучения.
В некоторых применениях могут быть предпочтительными конкретные типы излучения. Например, в автомобильных применениях может быть предпочтительным ИК-излучение.
Некоторые физиологические процессы можно наблюдать посредством изменений отражательной способности кожи. Человеческая кожа может быть смоделирована как объект по меньшей мере с двумя слоями, одним из которых является эпидермис (тонкий поверхностный слой), а другим является дерма (более толстый слой под эпидермисом). Некоторая часть (5%) падающего луча света отражается от поверхности кожи. Остальной свет рассеивается и поглощается в двух упомянутых слоях кожи в явлении, известном как отражательная способность тела (описана в модели двухцветного отражения). Меланин, присутствующий обычно на границе эпидермиса и дермы, ведет себя как оптический фильтр и, главным образом, поглощает свет. В дерме, свет как рассеивается, так и поглощается. Поглощение зависит от состава крови, так что поглощение является чувствительным к изменениям кровотока. Дерма содержит густую сеть кровеносных сосудов, составляющую около 10% всей сосудистой сети взрослого человека. Эти сосуды сжимаются и расширяются согласно кровотоку в теле. Соответственно, они изменяют структуры дермы, что влияет на отражательную способность слоев кожи.
Можно детектировать и извлекать сигналы, которые имеют некоторое периодическое содержимое, из этих изменений, и на основании этого получать результат, например, частоту в случае периодических процессов. Например, объект может быть освещен светом и снят на видеокамеру. Посредством анализа изменений в значениях соответствующих пикселов в кадрах последовательности изображений, может быть получен изменяющийся во времени сигнал. Этот сигнал может быть преобразован в частотную область с использованием какого-нибудь метода, такого как быстрое преобразование Фурье, и на основании спектров частотной области, можно получить значение частоты сердечных сокращений и/или частоты дыхания (интенсивности дыхательных движений) объекта в качестве физиологического измерения. Эти физиологические измерения часто называют признаками жизни. Любые один или несколько признаков жизни могут быть использованы в вариантах осуществления. Любой признак жизни может быть использован в некоторых вариантах осуществления.
Способ может содержать этап определения области в последовательности видеокадров, в которой может быть измерено дыхание, этап извлечения сигнала дыхания и нахождения корреляции между упомянутым сигналом дыхания и сигналом сердцебиений, и этап сравнения корреляции с некоторым пределом. Это может быть предпочтительным, поскольку это позволяет системе использовать другой, фотоплетизмографический (PPG) сигнал, которым может не обладать поддельное лицо.
В некоторых вариантах осуществления, может быть использована управляемая проверка на основе освещения, которая может включать в себя активную систему освещения, в которой кадры приобретаются последовательно с активным освещением и без него. Управляемая проверка может быть выполнена для устранения влияния внешнего освещения. Перед выполнением анализа по этому алгоритму, последовательные изображения (при активном свете+внешнем свете и только при внешнем свете) могут быть вычтены для использования изображения, содержащего только активный свет, для улучшения надежности системы.
В некоторых вариантах осуществления, могут быть проверены относительные фазы фотоплетизмографических (PPG) сигналов. Проверка фаз фотоплетизмографических (PPG) сигналов может улучшить надежность системы, поскольку сигналы должны быть близкими по фазе и хорошо коррелироваться.
Теперь ссылка делается на фиг. 1, которая показывает один вариант осуществления системы 100 детектирования лиц и объект 101. Система 100 детектирования лиц содержит источник 102 электромагнитного излучения. Следует понимать, что источник 102 электромагнитного излучения может излучать любую пригодную длину волны света или инфракрасного излучения, как упомянуто выше. В некоторых вариантах осуществления, электромагнитное излучение 102 может быть опущено, и может быть использован внешний свет. Обеспечен детектор 103 электромагнитного излучения. Следует понимать, что детектор 103 электромагнитного излучения может детектировать любую пригодную длину волны света, в зависимости от источника электромагнитного излучения/ внешнего света.
В некоторых вариантах осуществления, детектором электромагнитного излучения может быть камера. В некоторых вариантах осуществления, камера может быть видеокамерой. Следует понимать, что в других вариантах осуществления может быть использован любой другой пригодный детектор.
Система содержит процессор 104 сигналов. Процессор сигналов может содержать по меньшей мере один процессор 105, по меньшей мере одну память 106, и интерфейс 107. Интерфейс выполнен с возможностью принимать входные изображения и обеспечивать выходные данные. Некоторые типы выходных данных, которые могут быть обеспечены некоторыми вариантами осуществления, будут описаны ниже.
Теперь ссылка делается на фиг. 4, которая схематично показывает лицо 13, которое должно захватываться на протяжении последовательности изображений. На этом лице имеется некоторое количество областей 11 интереса. Для каждой из этих областей определяют частоту 12 сердечных сокращений.
Теперь ссылка делается на фиг. 2, которая схематично показывает функциональные блоки процессора сигналов. Они будут описаны вместе с фиг. 3, которая показывает способ некоторых вариантов осуществления.
На этапе S201 камера захватывает набор последовательных кадров, которые запоминаются в памяти для обработки. Функциональный блок 21 предписывает запомнить набор кадров в памяти. В некоторых вариантах осуществления, набор последовательных кадров может быть распространен по времени на заданный период. Заданный период может быть любым пригодным промежутком времени. Например, этот период может быть периодом, равным 2 секундам. В некоторых вариантах осуществления, кадры могут подвергаться выборке с любой пригодной частотой, например, 7 Гц или подобной частотой. В некоторых вариантах осуществления, период времени, равный 2 секундам, может быть использован для покрытия частотного диапазона частоты сердечных сокращений человека (например, 0,5 Гц - 3,5 Гц). В некоторых вариантах осуществления, частота выборки, равная 7 Гц, может быть использована в соответствии с теоремой Найквиста о выборке.
На этапе S202 на покадровой основе применяют алгоритм детектирования или распознавания лиц. Это выполняется функциональным блоком 22 детектирования лиц. В некоторых вариантах осуществления, этот этап выполняют для обеспечения области интереса, содержащей лицо-кандидат, в отношении которого выполняется следующая часть обработки. Именно это лицо 13 показано на фиг. 4.
На этапе S203, в отношении детектированного лица получают пространственно-разрешенные фотоплетизмографические (PPG) сигналы. Это выполняется функциональным блоком 23 фотоплетизмографии. В некоторых вариантах осуществления, для получения пространственно-разрешенных фотоплетизмографических сигналов, область лица может быть разделена на малые подчасти (например, квадраты из 10*10 пикселов) и обработана для извлечения сигнала из каждой подчасти. Именно эти меньшие области интереса показаны на фиг. 4. Фотоплетизмографические сигналы обозначены ссылочной позицией 12 на фиг. 4.
На этапе S204 получают критерий однородности для PPG-сигналов. Это выполняется блоком 24 однородности. В некоторых вариантах осуществления, после извлечения сигналов может быть вычислен критерий однородности. В некоторых вариантах осуществления, критерий однородности позволяет верифицировать, имеют ли сигналы одни и те же характеристики.
Критерий однородности может быть получен одним или несколькими из следующих путей:
a. В некоторых вариантах осуществления, частоту сердечных сокращений извлекают из каждого сигнала с использованием преобразования Фурье. Затем критерий Н однородности вычисляют следующим образом:
H1=стандартное отклонение (всех_извлеченных_ЧСС) (Равенство 1)
b. В некоторых вариантах осуществления, частоту сердечных сокращений извлекают из каждого сигнала с использованием преобразования Фурье. Строят и нормируют гистограмму извлеченной ЧСС. Критерий однородности определяют тогда следующим образом:
H2=максимальное_значение (Гистограммы (всех_извлеченных_ЧСС)) (Равенство 2)
c. В некоторых вариантах осуществления, все сигналы коррелируют (один со всеми остальными) для построения матрицы С корреляции. Критерий однородности определяют тогда следующим образом:
H3=среднее_значение (С_Значимое) (Равенство 3)
где С_Значимое представляет все корреляции С с p-значением ниже заданного порога.
d. В некоторых вариантах осуществления, сигналы подразделяют на множественные (возможно, перекрывающиеся) интервалы времени, причем для каждого интервала времени извлекают ЧСС. Например, для вычисления изменения ЧСС в динамике по времени (временная совместимость) может быть вычислено стандартное отклонение значений ЧСС:
H4=стандартное_отклонение (последовательно_извлеченных_ЧСС) (Равенство 4)
e. В некоторых вариантах осуществления, для значений ЧСС интервалов времени, которые были получены в пункте d, вычисляют направление (вектор) связанного-с-ЧСС изменения цвета (ось ЧСС) в трехмерном (3D) цветовом пространстве RGB (красный/зеленый/синий). Например, может быть вычислено изменение этого направления (вектора) в динамике по времени (временная совместимость). Например, способ обеспечения этого может состоять в том, чтобы сначала вычислить среднее значение направлений (векторов). Среднее (евклидово) расстояние от отдельных векторов до этого среднего вектора может тогда выражать это изменение. Альтернативно или дополнительно, может быть использована разница между этим изменением в наблюдаемом спектре света и предполагаемым вызванным-частотой-сердечных-сокращений изменением в спектре света (опорный вектор ЧСС в цветовом пространстве основан на спектре поглощения гемоглобина).
H5=среднее_значение (расстояние (последовательных_ЧСС_ RGB_векторов - среднее_значение (последовательных_ЧСС_ RGB_векторов))) (Равенство 5)
На этапе S205 определяют, являются ли измеренные PPG-сигналы большими, чем сигналы пороговых значений. Это выполняется блоком 25 порогов. В некоторых вариантах осуществления проверяют, является ли критерий однородности большим или меньшим заданного порогового значения Т. Например, если будет найдено, что измеренное значение является большим, чем пороговое значение, то лицо, содержащееся в области интереса, будет определено как «реальное лицо».
На этапе S206 определяют, удовлетворяют ли детектированные сигналы пороговым критериям, и принимают решение. Это выполняется блоком 25 порогов.
На этапе S207 определяют, что детектированное лицо является подделкой. Это выполняется блоком 25 порогов.
На этапе S208 определяют, что детектированное лицо является реальным лицом. Это выполняется блоком 25 порогов.
Соответствующие выходные данные могут быть обеспечены в зависимости от определения, выполняемого на этапе S206. Например, может быть обеспечен визуальный и/или звуковой сигнал тревоги. В некоторых вариантах осуществления, выходные данные могут быть управляющими выходными данными, которые могут быть предназначены для открывания ворот или двери, если будет определено, что детектированное лицо является реальным лицом.
В некоторых вариантах осуществления, может быть также выполнен алгоритм распознавания лиц. Алгоритм распознавания лиц может выполняться только тогда, когда определено, что детектированное лицо является реальным лицом.
В некоторых вариантах осуществления, связанные-с-частотой-сердечных-сокращений характеристики могут быть вычислены и использованы в качестве значений признаков. Это может быть обеспечено дополнительно или альтернативно значению однородности. Например, может быть использована (относительная) амплитуда изменения пульса; временная форма пульса; и/или наличие в частотном спектре более высоких гармоник основной частоты пульса.
В некоторых вариантах осуществления, для уменьшения эффекта, состоящего в том, что изменение внешнего света искажает извлекаемый сигнал частоты сердечных сокращений (ЧСС), может быть добавлена комбинация источников света, освещающих лицо человека. Например, эти источники света могут генерировать рассеянный, однородно распределенный в пространстве свет, равномерно распределенный по диапазону спектральной чувствительности камеры.
В некоторых вариантах осуществления, для улучшения пространственной однородности частоты сердечных сокращений (ЧСС) по лицу, может быть уменьшена величина зеркального отражения от кожи. Это может быть обеспечено, например, когда детектируемый свет ортогонально поляризован. Один поляризатор может быть помещен перед источником света, а другой поляризатор может быть помещен перед камерой, причем направления поляризации обоих поляризаторов могут быть выбраны таким образом, чтобы они были ортогональны друг другу.
В некоторых вариантах осуществления, инфракрасный свет может быть использован для освещения объекта. Чувствительность камеры может находиться в инфракрасном спектре. Эти варианты осуществления могут сделать детектирование менее навязчивым.
В других вариантах осуществления могут быть использованы другие известные технологии извлечения сигналов пульса сердца, например, технологии, которые основаны на малых движениях лица (баллистокардиография).
В некоторых вариантах осуществления могут быть использованы технологии, такие как Анализ главных компонентов (Principal Component Analysis - PCA) и Анализ независимых компонентов (Independent Component Analysis - ICA). Другие технологии, которые могут быть использованы, включают в себя разложение компонента пульса из детектированных сигналов.
Как (частичное) движение человеческого лица, так и изменения внешнего света будут искажать критерии пространственной и временной однородности. В некоторых вариантах осуществления, детектор может измерять и количественно оценивать как движение, так и изменение освещения объекта. В некоторых вариантах осуществления, решение детектирования на этапе S206 может быть блокировано, если изменение движения и/или освещения будет превышать заданные значения. Альтернативно, могут быть изменены пороговые уровни для критериев однородности. Например, решение детектирования может быть более смягченным в случае увеличения величины изменения движения и/или освещения.
В некоторых вариантах осуществления, вместо базирования критерия Н3 однородности на матрице корреляции, вычисляемой на основании сигналов, нижеследующее описание может считаться проверкой того, выровнены ли во времени сигналы областей. Для каждого сигнала может быть вычислена фаза преобладающей частоты. Для реального лица, значения фазы могут только незначительно отличаться по области лица. В некоторых вариантах осуществления, могут быть вычислены сигналы для разных размеров блоков (масштабов). Преобладающая частота для блока с некоторым масштабом может быть близкой к преобладающей частоте перекрывающегося большего блока (с большим масштабом), это может указывать на то, что сигналы соседних блоков с одним масштабом выровнены как по времени, так и по частоте.
В некоторых вариантах осуществления, вместо отдельного сравнения значений Н1-Н5 признака однородности с заданным пороговым значением может быть использован классификатор для принятия решения о том, присутствует ли реальное лицо. Классификатор может принимать набор значений признака в качестве входных данных и принимать решение о классификации на основе определения вероятности того, что этот набор значений признака может встречаться на реальном лице. Посредством наблюдения значений признака в комбинации, решение о классификации может быть принято более точно, чем при отдельном наблюдении каждого значения признака.
В некоторых вариантах осуществления, два или более критериев однородности могут быть объединены в пространстве и/или во времени.
В некоторых вариантах осуществления, значение Н3 однородности для временной корреляции может находиться между каждыми двумя сигналами. В некоторых вариантах осуществления могут быть использованы только достаточно надежные значения однородности. Это значение однородности может быть получено на основании корреляции фаз между сигналами, а не на основании постоянной фазы. Постоянную фазу легче подделать, и на практике ЧСС изменяется в динамике по времени.
В некоторых вариантах осуществления, значение Н4 однородности может быть получено для всего периода измерения и может быть подразделено на перекрывающиеся интервалы времени. ЧСС может быть вычислена для каждого интервала. Изменение ЧСС может быть затем проанализировано по всему промежутку времени. Если измеряемое лицо находится под маской, то способ, используемый для генерирования Н4, может дать случайные значения с большим разбросом. Если измеряемое лицо является реальным, то способ, используемый для генерирования Н4, может дать значительно меньший разброс.
В некоторых вариантах осуществления, значение Н5 однородности может быть получено для направления в цветовом пространстве, например, это может быть трехмерное цветовое пространство (например, RGB - красно-зелено-синее). В некоторых вариантах осуществления, изменение ЧСС может быть исследовано, например, по оси красного цвета в динамике по времени. Можно провести сравнение с предполагаемым изменением на основании поглощения HbO2, т.е. исследовать цветовые ошибки. Предполагается, что на основании спектров поглощения гемоглобина можно получить вектор «сердцебиения», движущийся вдоль конкретного направления в цветовом пространстве RGB. Если изменения детектируются, но не соответствуют предполагаемым направлениям в цветовом пространстве, то вероятность обмана увеличивается.
В других вариантах осуществления, значение Н5 однородности может не ограничиваться трехмерным цветовым пространством, например, при использовании гиперспектральной камеры. Для реального лица изменение в спектре отраженного света может соответствовать спектру поглощения гемоглобина (после коррекции на спектр источника света и пигментацию кожи), и если разница между обоими спектрами будет слишком велика, то может быть предположен обман.
Значения Н1-Н5 однородности могут быть более подходящими при детектировании разных способов обмана. Например, значения H1-H4 могут быть особенно полезными для детектирования маски, тогда как Н5 может быть особенно полезным для детектирования изменяющегося светового сигнала.
Поскольку значения Н1 и Н2 однородности коррелируются, в некоторых вариантах осуществления система может выбирать между использованием любого из них.
В некоторых вариантах осуществления могут быть использованы все вышеупомянутые технологии. В других вариантах осуществления могут быть использованы две или более из вышеупомянутых технологий.
Следует понимать, что одна или несколько выбранных технологий могут зависеть от применения.
В некоторых вариантах осуществления, алгоритм детектирования лиц можно обучать или тренировать детектировать реальное лицо посредством показа системе одного или нескольких реальных лиц и одного или нескольких поддельных лиц.
В некоторых вариантах осуществления, алгоритм детектирования лиц можно обучать или тренировать взвешивать значения однородности относительно решения нейронной сети или компьютеры опорных векторов.
В некоторых вариантах осуществления, алгоритм детектирования лиц может использовать сравнение текущего измеренного набора значений однородности с ранее измеренными значениями однородности.
В некоторых вариантах осуществления, алгоритм детектирования лиц может использовать систему классификации значений однородности.
В некоторых вариантах осуществления, любые области/ части тела могут быть использованы для детектирования признаков жизни.
В некоторых вариантах осуществления, признаком жизни, используемым для определения того, является ли лицо реальным, может быть дыхательное движение человека.
Теперь ссылка делается на фиг. 5, которая показывает слева изображение двух лиц. Изображение со ссылочной позицией 50а является реальным лицом, а изображение со ссылочной позицией 52а является лицом манекена, изготовленного из пластика. Изображение справа показывает соответствующие карты 50b и 52b ЧСС для этих двух изображений.
Стандартное отклонение и максимальное значение могут быть получены для лица в целом в виде значений Н1 и Н2 однородности. Если лицо является реальным, то распределение гистограммы будет узким с явным пиком. Если лицо является маской или фотографией, то частоты могут быть случайно и равномерно распределены по гистограмме.
Корреляция между сигналами от разных областей лица может детектировать частичные маски. Дополнительно или альтернативно, это может помочь в случае проблем с освещением.
Способ цветового вектора, раскрытый выше, позволяет детектировать обманщика, отправляющего сигнал для имитации сердцебиения.
Рассмотрим следующий анализ этих данных с использованием стандартного отклонения.
На основании карты частоты сердечных сокращений фиг. 5, вычисляем стандартное отклонение для каждого прямоугольника и вычисляем критерий однородности (согласно Равенству 1), в результате чего имеем:
H_лица_слева=10 уд/мин;
H_лица_справа=45 уд/мин;
Установление порогового значения (Т) равным 20 гарантирует, что лицо справа, лицо манекена, будет отвергнуто.
Рассмотрим следующий анализ этих данных с использованием энергии, содержащейся в гистограмме. Теперь ссылка делается на фиг. 6, которая показывает изображение со ссылочной позицией 50b и соответствующую гистограмму 312 частоты сердечных сокращений в зависимости от энергии, а также изображение со ссылочной позицией 52b и соответствующую гистограмму 311. На основании карты частоты сердечных сокращений фиг. 5 и 6 может быть вычислена гистограмма значений частоты сердечных сокращений для каждого прямоугольника, и может быть вычислен критерий однородности (согласно Равенству 2):
H_лица_слева=0,6;
H_лица_справа=0,084;
Пик гистограммы, создаваемый левым прямоугольником (реальным лицом), содержит больше энергии по сравнению с пиком гистограммы, создаваемым правым прямоугольником (лицом манекена). Следует отметить, что оси энергии на двух гистограммах имеют разные масштабы.
Установление порогового значения (Т) равным 0,5 гарантирует, что лицо справа, лицо манекена, будет отвергнуто.
Рассмотрим следующий анализ этих данных с использованием корреляции временных сигналов. Детектируемые сигналы из левого прямоугольника (реального лица) коррелируются (один со всеми другими); тот же самый процесс может быть применен к правому прямоугольнику (лица манекена). Критерий однородности (согласно Равенству 3) может быть получен для каждого прямоугольника:
H_лица_слева=0,79;
H_лица_справа=0,39;
Установление порогового значения (Т) равным 0,5 гарантирует, что лицо справа, лицо манекена, будет отвергнуто.
Теперь ссылка делается на фиг. 7, которая показывает вариант осуществления способа настоящего изобретения для верификации того, является ли лицо реальным.
На этапе S51 определяют для множества пространственно отдельных областей поверхности соответствующий критерий по меньшей мере одного признака жизни.
На этапе S52 на основании соответствующих критериев упомянутого по меньшей мере одного признака жизни определяют информацию об однородности, связанную с соответствующими критериями.
На этапе S53 информацию об однородности используют для определения того, являются ли упомянутые пространственно отдельные области упомянутой поверхности живой тканью.
Варианты осуществления имеют много применений. Например, некоторые варианты осуществления могут находить применение в секторе безопасности высокого уровня. Другие варианты осуществления могут находить применение в бытовых компьютерах, где требуется ввод биометрических данных.
Некоторые варианты осуществления могут быть использованы там, где идентификация человека основана на распознавании лица с использованием камеры. Например, некоторые варианты осуществления могут обеспечивать аутентификацию для регистрации в смартфоне с использованием распознавания лиц, или верификацию идентификации человека в терминале аэропорта посредством компьютеризированного средства.
Некоторые варианты осуществления могут быть использованы для технологий нелицевого биометрического распознавания, например, распознавания отпечатков пальцев или распознавания отпечатков ладони.
Аспекты вариантов осуществления могут быть реализованы в компьютерном программном продукте, который может быть набором команд компьютерной программы, хранимых на компьютерно-читаемом запоминающем устройстве, которые могут быть выполнены компьютером. Команды могут быть выполнены посредством любого интерпретируемого или исполняемого кодового механизма, в том числе, но не только, посредством сценариев, интерпретируемых программ, динамически подключаемых библиотек (dynamic link libraries - DLLs) или классов Java. Команды могут быть обеспечены в виде полных выполняемых программ, частичных выполняемых программ, в виде модификаций для существующих программ (например, обновлений) или расширений для существующих программ (например, встраиваемых расширений). Кроме того, части обработки настоящего изобретения могут быть распределены по множественным компьютерам или процессорам.
Запоминающие носители, пригодные для запоминания команд компьютерной программы, включают в себя все формы энергонезависимой памяти, в том числе, но не только, EPROM, EEPROM и устройства флэш-памяти, магнитные диски, такие как внутренние и внешние накопители на жестких дисках, съемные диски и CD-ROM-диски. Компьютерный программный продукт может быть распределен на таком запоминающем носителе или может быть предложен для загрузки через HTTP, FTP, электронную почту или через сервер, связанный с сетью, такой как Интернет.
Выше здесь были описаны различные варианты осуществления с разными изменениями. Следует отметить, что специалисты в данной области техники могут объединять различные элементы этих различных вариантов осуществления и изменений.
Предполагается, что такие изменения, модификации и улучшения являются частью настоящего раскрытия и находятся в пределах объема настоящего изобретения. Соответственно, предшествующее описание приведено только в качестве примера и не предназначено для ограничения настоящего изобретения. Настоящее изобретение ограничено только тем, что определено в нижеследующей формуле изобретения и ее эквивалентах.
Реферат
Изобретение относится к области вычислительной техники. Технический результат заключается в повышении точности определения живой ткани. Технический результат достигается за счет определения для множества пространственно отдельных областей поверхности соответствующего критерия по меньшей мере одного признака жизни; определения, на основании упомянутых соответствующих критериев по меньшей мере одного признака жизни, информации об однородности, связанной с упомянутыми соответствующими критериями; и использования упомянутой информации об однородности для определения того, являются ли упомянутые пространственно отдельные области упомянутой поверхности живой тканью. 3 н. и 12 з.п. ф-лы, 7 ил.
