Обнаружение наступления сонливости - RU2734339C2

Чертежи

Показать все 7 чертежа(ей)

Описание

Уровень техники

[001] Электроэнцефалография (EEG) является способом наблюдения электрической активности мозга по времени, когда захватывается с помощью множества электродов, размещенных на коже головы. Информация о психическом и физическом состоянии человека может быть получена из анализа так называемых мозговых волн, наблюдаемых в EEG-сигналах. Одним таким состоянием является переход между состоянием бодрствования и сонным состоянием.

[002] Когда человек спит, он проходит две главных фазы сна, а именно, фаза сна с быстрым движением глаз (REM) и фаза сна с небыстрым движением глаз (NREM). REM-сон является идентифицируемым в EEG-сигнале по его характерным низкоамплитудным, высокочастотным волнам. NREM-сон категоризируется на три отдельные стадии: N1, N2 и N3; и представляет очень отличающиеся характеристики EEG-волны от REM-сна. Например, N3 NREM-сон показывает мозговые волны в EEG-сигнале, характеризуемые высокоамплитудными, низкочастотными волнами. В целом, мозговые волны становятся медленнее и более синхронизированными, когда человек переходит от стадии N1 к стадии N3 сна.

[003] Когда человек засыпает, активность его тела замедляется, и его мозговые волны становятся медленнее и больше. N1 NREM-сон, который часто называется дремотным сном или сонливостью, обычно возникает между сном и бодрствованием. Эта стадия характеризуется EEG-сигналами как переход между так называемыми альфа-волнами, имеющими частоту 8-13 Гц (которые являются обычными в бодрствующем состоянии), и так называемыми тета-волнами, имеющими частоту 4-7 Гц. Таким образом, переход от состояния бодрствования к сонному состоянию может быть легко виден в EEG-сигнале.

Сущность изобретения

[004] Реализации для обнаружения наступления сонливости, описанные в данном документе, в целом, обнаруживают наступление сонливости у человека. В одной общей реализации это подразумевает использование одного или более датчиков сердечного ритма (HR), которые захватывают HR-информацию человека, одного или более вычислительных устройств и компьютерной программы средства обнаружения наступления сонливости, имеющей множество подпрограмм, исполняемых одним или более вычислительными устройствами. Одно или более вычислительных устройств инструктируются посредством подпрограмм компьютерной программы средства обнаружения наступления сонливости сначала принимать HR-информацию от датчика или датчиков сердечного ритма. Набор признаков затем извлекается из HR-информации. Эти признаки, которые находятся среди множества признаков, которые могут быть извлечены из HR-информации, были определены как признаки, конкретно указывающие переход от бодрствующего состояния человека к сонному состоянию человека. Далее, извлеченные признаки объединяются, чтобы формировать входные данные обнаружения сонливости. Входные данные обнаружения сонливости затем подаются в классификатор искусственной нейронной сети (ANN), который был обучен различать между бодрствующим состоянием человека и сонливым состоянием человека на основе извлеченных признаков. В одной реализации ANN-классификатор также был обучен, частично, с помощью указателя перехода между бодрствованием и сонливостью (т.е., N1 NREM-сном), который проявляется в EEG-сигнале. Далее идентифицируется из выходных данных ANN-классификатора, указывают ли входные данные обнаружения сонливости, что человек проявляет наступление сонливости. Если так, инициируется предупреждение о наступлении сонливости.

[005] Следует отметить, что вышеприведенное краткое изложение сущности изобретения приведено для представления, в упрощенной форме, подборки идей, которые дополнительно описываются ниже в подробном описании. Это краткое изложение сущности изобретения не имеет намерение идентифицировать ключевые или важнейшие признаки заявленного изобретения, а также не имеет намерение использоваться в качестве помощи при определении объема заявленного изобретения. Ее единственная цель - представить некоторые концепции заявленного изобретения в упрощенной форме в качестве вступления к более подробному описанию, которое представляется ниже.

Краткое описание чертежей

[006] Конкретные признаки, аспекты и преимущества изобретения станут более понятными с рассмотрением последующего описания, прилагаемой формулы изобретения и сопровождающих чертежей, где:

[007] Фиг. 1 - схема, иллюстрирующая одну реализацию, в упрощенной форме, инфраструктуры системы для осуществления реализаций обнаружения наступления сонливости, описанных в данном документе.

[008] Фиг. 2 - блок-схема последовательности операций, иллюстрирующая примерную реализацию, в упрощенной форме, процесса обнаружения наступления сонливости для человека.

[009] Фиг. 3 - схема, иллюстрирующая другую реализацию, в упрощенной форме, инфраструктуры системы для осуществления реализаций обнаружения наступления сонливости, описанных в данном документе, которые подразумевают удаленный сервер или облачную службу.

[0010] Фиг. 4 - блок-схема последовательности операций, иллюстрирующая примерную реализацию, в упрощенной форме, процесса обнаружения наступления сонливости для человека, которая подразумевает удаленный сервер или облачную службу.

[0011] Фиг. 5 - схема, иллюстрирующая примерную реализацию, в упрощенной форме, инфраструктуры системы для обучения классификатора обнаружения наступления сонливости, который, в свою очередь, может быть использован для обнаружения наступления сонливости у человека.

[0012] Фиг. 6 - блок-схема последовательности операций, иллюстрирующая примерную реализацию, в упрощенной форме, процесса для обучения классификатора обнаружения наступления сонливости.

[0013] Фиг. 7 - схема, изображающая вычислительное устройство общего назначения, составляющее примерную систему для использования с реализациями для обнаружения наступления сонливости, описанными в данном документе.

Подробное описание изобретения

[0014] В последующем описании ссылка выполняется на сопровождающие чертежи, которые формируют его часть, и на которых показаны, в качестве иллюстрации, конкретные версии, в которых реализации для обнаружения наступления сонливости могут быть применены на практике. Понятно, что могут быть использованы другие реализации, и структурные изменения могут быть выполнены без отступления от их рамок.

[0015] Также отметим, что ради ясности прибегнем к особой терминологии в описании реализаций для обнаружения наступления сонливости, и она не предназначается, чтобы ограничивать эти реализации конкретными терминами, выбранными таким образом. Кроме того, следует понимать, что каждый конкретный термин включает в себя все его технические эквиваленты, которые действуют приблизительно аналогичным образом, чтобы добиваться аналогичной цели. Ссылка в данном документе на "одну реализацию", или "другую реализацию", или "примерную реализацию", или "альтернативную реализацию" означает, что отдельный признак, отдельная структура или отдельные характеристики, описанные в связи с реализацией, могут быть включены, по меньшей мере, в одну версию обнаружения наступления сонливости. Появления фраз "в одной реализации", "в другой реализации", "в примерной реализации" и "в альтернативной реализации" в различных местах в спецификации необязательно все ссылаются на одну и ту же реализацию, ни являются отдельными или альтернативными реализациями, взаимно исключающими другие реализации. Кроме того, порядок последовательности операций процесса, представляющей одну или более реализаций извлечения проектной информации, по существу, не указывает какой-либо отдельный порядок или накладывает какие-либо ограничения на него.

[0016] Когда используются в данном документе, термины "компонент", "система", "клиент" и т.п. предназначаются, чтобы ссылаться на связанный с компьютером объект, либо аппаратные средства, программное обеспечение (например, во время исполнения), программно-аппаратное обеспечение или их сочетание. Например, компонент может быть процессом, работающим в процессоре, объектом, исполняемой программой, функцией, библиотекой, подпрограммой, компьютером или сочетанием программного обеспечения и аппаратных средств. В качестве иллюстрации, и приложение, запущенное на сервере, и сервер может быть компонентом. Один или более компонентов могут постоянно размещаться внутри процесса, и компонент может быть локализован на компьютере и/или распределен между двумя и более компьютерами. Термин "процессор", в целом, понимается как ссылающийся на компонент аппаратных средств, такой как процессорный блок компьютерной системы.

[0017] Кроме того, в тех случаях, когда термины "включает в себя", "включающий в себя", "имеет", "содержит", их варианты и другие аналогичные слова используются либо в этом подробном описании, либо формуле изобретения, эти термины предназначены, чтобы быть инклюзивными образом аналогичным термину "содержащий" в качестве открытого переходного слова без исключения заранее любых дополнительных или других элементов.

1.0 Обнаружение наступления сонливости

[0018] В целом, реализации для обнаружения наступления сонливости, описанные в данном документе, могут прогнозировать, когда человек переходит из состояния бодрствования в состояние сонливости, на основе информации о сердечном ритме по времени. Соответствующее действие может быть предпринято, чтобы стимулировать человека в состояние бодрствования или уведомлять других людей об их состоянии (относительно сонливости/бдительности). Это является полезным во многих сценариях, когда требуется бодрствование человека, таких как во время вождения автомобиля, командования судном, пилотирования летательного аппарата, обучения людей для экзаменов, во время встреч и т.п.

[0019] Реализации обнаружения наступления сонливости, описанные в данном документе, в целом, подразумевают захват информации о сердечном ритме человека по времени с помощью одного или более датчиков сердечного ритма (HR) и затем вычисления сигнала вариабельности сердечного ритма (HRV) из захваченной информации о сердечном ритме. Этот HRV-сигнал анализируется, чтобы извлекать признаки, которые указывают переход человека из состояния бодрствования в сонное состояние (т.е., N1 NREM-сон). Извлеченные признаки вводятся в искусственную нейронную сеть (ANN), которая была обучена с помощью тех же признаков, чтобы идентифицировать, когда человек выполняет вышеупомянутый переход к сонливости. Всякий раз, когда обнаруживается наступление сонливости, инициируется предупреждение, которое может принимать различные формы.

[0020] Преимущественным признаком обнаружения наступления сонливости, описанным в данном документе, является то, что признаки, извлеченные из HRV-сигнала, были специально приспособлены, чтобы конкретно обнаруживать переход от бодрствования к сонливости. Например, в одной реализации, только 11 признаков применяются в противоположность множеству признаков, которые могут быть извлечены из HRV-сигнала. По существу, объем обработки, а также время, которое занимает обнаружение наступления сонливости, значительно уменьшается.

[0021] Реализации обнаружения наступления сонливости, описанные в данном документе, также являются полезными по различным другим причинам, включающим в себя, но не только, следующие. Как будет понятно из более подробного описания, которое следует, некоторые из реализаций обнаружения наступления сонливости являются самодостаточными. Более конкретно, они либо полностью содержатся в локальном устройстве HR-датчика, либо применяют такое устройство для захвата HR-информации, которая перенаправляется вычислительному устройству, носимому пользователем. По существу, внешняя связь не нужна (например, без использования данных сотовой связи), и схема может функционировать даже без внешней связности (например, когда сотовая служба недоступна). Кроме того, реализации обнаружения наступления сонливости, описанные в данном документе, являются бесконтактными и производят точные результаты, которые, как предполагается, превосходят любую схему наблюдения сонливости, применяемую в настоящее время.

1.1 Инфраструктуры системы и процесса

[0022] Этот раздел описывает различные примерные реализации инфраструктуры системы и инфраструктуры процесса, которые могут быть использованы, чтобы осуществлять реализации обнаружения наступления сонливости, описанные в данном документе. Отметим, что в дополнение к реализациям инфраструктуры системы и инфраструктуры процесса, описанным в этом разделе, различные другие реализации инфраструктуры системы и инфраструктуры процесса могут также быть использованы, чтобы осуществлять реализации обнаружения наступления сонливости.

[0023] Фиг. 1 иллюстрирует одну реализацию, в упрощенной форме, инфраструктуры системы для реализации вариантов осуществления обнаружения наступления сонливости, описанных в данном документе. Как приведено в качестве примера на фиг. 1, инфраструктура 100 системы включает в себя набор из одного или более датчиков 102 сердечного ритма (HR). Любой тип датчика, который захватывает сердечный ритм человека, может быть использован в качестве датчика(ов) 102 сердечного ритма (HR). В одной версии эти HR-датчик(и) 102 физически располагаются (например, носятся) на теле человека. В другой версии HR-датчик(и) 102 переносятся пользователем 104. Еще в одной версии HR-датчик(и) 102 являются удаленными от пользователя, но все еще приспособлены обнаруживать сердечный ритм человека (например, посредством технологий формирования изображения). Как будет понятно из более подробного описания, которое следует, набор HR-датчиков 102 конфигурируется, чтобы непрерывно (например, на постоянной основе) и пассивно измерять (например, захватывать) информацию о сердечном ритме, ассоциированную с пользователем, когда он занимает чем-либо свой день, и, по меньшей мере, выводить поток данных с отметкой времени, который включает в себя текущее значение этой информации о ритме.

[0024] Обращаясь снова к фиг. 1, инфраструктура 100 системы также включает в себя одно или более вычислительных устройств 104. В одной версии вычислительное устройство 104 постоянно находится в HR-датчике или датчиках 102, таким образом, создавая объединенное устройство для обнаружения наступления сонливости. В другой версии применяется вычислительное устройство 104, отдельное от HR-датчика или датчиков 102. Эта последняя версия вычислительного устройства 104 может быть мобильным устройством, которое переносится пользователем, таким как традиционный смартфон или традиционный планшетный компьютер. В еще одной версии присутствует как вычислительное устройство 104, постоянно находящееся в HR-датчике(ах) 102, так и отдельное вычислительное устройство, переносимое пользователем. Как будет описано более подробно позже, вычислительное устройство 104, постоянно находящееся в датчике(ах) 102, в этой последней версии используется, чтобы выполнять, по меньшей мере, некоторую предварительную обработку сигнала(ов), выводимых датчиком(ами). Например, как будет описано более подробно позже, эта предварительная обработка может подразумевать получение сигнала вариабельности сердечного ритма (HRV) из необработанных показателей HR-датчика.

[0025] Как указано выше, HR-датчик или датчики 102 могут принимать различные формы. Например, в одной реализации, когда датчик(и) носятся на теле пользователя, HR-датчик(и) 102 могут быть упакованы в пригодное для ношения устройство. Одно такое пригодное для ношения устройство является устройством слежения за здоровьем/физической формой, которое носится на запястье человека. Отметим, что множество различных типов пригодных для ношения вычислительных устройств для слежения за здоровьем/физической формой, которые включают в себя HR-датчики, являются коммерчески доступными в настоящее время.

[0026] В вышеупомянутых версиях, имеющих вычислительное устройство 104, которое является отдельным от HR-датчика или датчиков 102, каждый из HR-датчиков сконфигурирован, чтобы беспроводным образом передавать поток данных с отметкой времени, выводимый от датчика(ов) в вычислительное устройство. Вычислительное устройство 104 соответственно сконфигурировано, чтобы беспроводным образом принимать различные потоки данных, передаваемые от набора HR-датчиков 102. Беспроводная передача различных потоков данных, выводимых от набора HR-датчиков 102, может быть реализована с помощью различных беспроводных технологий. Например, эта беспроводная связь может быть реализована с помощью традиционной персональной Bluetooth-сети. Возможна другая версия, когда беспроводная связь реализуется с помощью традиционной локальной вычислительной сети Wi-Fi. Также возможна еще одна версия, когда беспроводная связь реализуется с помощью сочетания различных технологий беспроводного сетевого взаимодействия.

[0027] Как приведено в качестве примера на фиг. 1, инфраструктура 100 системы также включает в себя компьютерную программу 106 для обнаружения наступления сонливости, имеющую подпрограммы, исполняемые одним или более вычислительными устройствами 104. Подпрограммы включают в себя подпрограмму 108 приема, подпрограмму 110 извлечения признаков, подпрограмму 112 объединения признаков, подпрограмму 114 ввода в классификатор искусственной нейронной сети (ANN), подпрограмму 116 идентификации наступления сонливости и подпрограмму 118 предупреждения о наступлении сонливости. В одной версии необработанные данные 120 HR-датчика вводятся в подпрограмму 108 приема от HR-датчиков 102. В другой версии вышеупомянутый HRV-сигнал 122 вводится в подпрограмму 108 приема от HR-датчиков 102. Поочередная природа этих двух вводов указывается на фиг. 1 с помощью прерывистых линий со стрелками. Предупреждение 124 о наступлении сонливости выводится из подпрограммы 118 предупреждения о наступлении сонливости. Как указано ранее, каждая из этих подпрограмм реализуется на одном или более вычислительных устройствах (таких как устройства, описанные более подробно в разделе "Примерные операционные окружения", который следует далее). Отметим, что всякий раз, когда существует множество вычислительных устройств, они находятся на связи друг с другом через компьютерную сеть (такую как Интернет или частная внутренняя сеть).

[0028] Обращаясь теперь к фиг. 2, вышеупомянутое одно или более вычислительных устройств инструктируются посредством вышеупомянутых подпрограмм компьютерной программы, чтобы совершать последовательность действий процесса. Более конкретно, фиг. 2 иллюстрирует примерную реализацию, в упрощенной форме, процесса для обнаружения наступления сонливости для человека. Этот процесс начинается с приема HR-информации от датчика или датчиков сердечного ритма (этап 200 процесса). Набор признаков затем извлекается из HR-информации (этап 202 процесса). Эти признаки, которые находятся среди множества признаков, которые могут быть извлечены из HR-информации, были определены как конкретно указывающие переход от бодрствующего состояния человека к сонному состоянию человека. Далее, извлеченные признаки объединяются, чтобы формировать входные данные обнаружения сонливости (этап 204 процесса). Входные данные обнаружения сонливости вводятся в классификатор искусственной нейронной сети (ANN), который был обучен различать между бодрствующим состоянием человека и сонливым состоянием человека на основе извлеченных признаков (этап 206 процесса). Затем идентифицируется из выходных данных ANN-классификатора, указывают ли входные данные обнаружения сонливости, что человек проявляет наступление сонливости (этап 208 процесса). Если так, инициируется предупреждение о наступлении сонливости (этап 210 процесса). Если нет, вышеупомянутый процесс повторяется.

[0029] Что касается инициирования предупреждения о наступлении сонливости, предупреждения могут быть характеризованы как принадлежащие трем общим категориям. Первая категория является категорией тревожного вызова человеку, у которого наблюдается сонливость. В качестве примера, но не ограничения, предупреждение о наступлении сонливости может быть "сообщением", которое отображается на экране дисплея. Когда датчик или датчики сердечного ритма укомплектованы так, как описано ранее, этот комплект может иметь дисплей. Кроме того, для реализаций, применяющих вышеупомянутое мобильное устройство, это устройство может иметь дисплей. Сообщение может быть текстом или изображениями, или даже принимать форму мигающих изображений, которые предоставляются пользователю как мигающий свет на экране дисплея. В дополнение к, или вместо вышеупомянутых примеров пробуждающего сообщения, пробуждающее сообщение может принимать форму рекомендаций человеку. Например, в контексте человека, который ведет транспортное средство, сообщение может включать в себя текст, предоставляющий местоположение ближайшего отеля или стоянки для отдыха. Предупреждение может также быть звуковым тревожным сигналом (например, гудком, звоном, речью, музыкой и т.д.), который воспроизводится через динамики, находящиеся в комплекте датчика(ов) сердечного ритма или мобильном устройстве. Предупреждение может быть тактильным тревожным сигналом (например, вибрацией, слабым электрическим ударом и т.д.), который создается с помощью традиционных способов посредством комплекта датчика(ов) сердечного ритма или мобильного устройства в ответ на инициирующую команду. Любой из вышеупомянутых тревожных сигналов может также быть объединен, чтобы создавать предупреждение о сонливости для человека. Другой тип предупреждения подразумевает передачу сообщения третьей стороне (например, сиделке, медицинскому работнику, врачу, исследователю сна и т.д.), которая, в свою очередь, предупреждает человека, у которого наблюдается сонливость, или иначе предпринимает действие на основе человека, испытывающего наступление сонливости. Еще одним типом предупреждения является инструкция устройству предпринимать некоторое действие в ответ на ощущение человеком наступления сонливости. Например, в ближайшем будущем человек, который может управлять так называемым подключенным автомобилем, который может принимать инструкцию (предполагается следование правильным протоколам безопасности), чтобы брать на себя управление автомобилем и вести его в безопасное место (типа обочины дороги). Аналогично, другие "подключенные" устройства могут управляться аналогичным образом, чтобы избегать аварий вследствие сонливости человека. Например, домашние приборы типа кухонной плиты могут быть выключены.

[0030] Как указано ранее, вышеупомянутые реализации и версии обнаружения наступления сонливости имеют преимущество самодостаточности. Они либо полностью содержатся в HR-обнаруживающем устройстве, либо используют такое устройство, чтобы захватывать HR-информацию, которая затем перенаправляется вычислительному устройству, переносимому пользователем. Однако, в то время как самодостаточность имеет свои преимущества, другие соображения могут перевешивать их. Например, в облачном сценарии, дополнительные исторические признаки, такие как история сна человека, текущая погода и другая информация реального времени, могут быть включены. Поскольку мощность обработки в облаке типично является довольно большой, можно предполагать более сложную модель, которая подразумевает сжатие информации о сне множества людей в одно и то же время. Для этого некоторые реализации обнаружения наступления сонливости подразумевают использование вышеупомянутых элементов системы для связи с сервером или облачной службой. В этом случае необработанная информация HR-датчика или предварительно обработанный HRV-сигнал отправляется серверу или облачной службе, которая будет, в свою очередь, обнаруживать, когда происходит наступление сонливости, и выдавать соответствующее предупреждение. Это может подразумевать отправку предупреждающего указателя обратно пользовательскому устройству(ам), которые будут реализовывать предупреждение, или третьей стороне, или обоим.

[0031] Фиг. 3 иллюстрирует вышеупомянутую альтернативную реализацию. Как приведено в качестве примера на фиг. 3, инфраструктура 300 системы включает в себя набор из одного или более датчиков 302 сердечного ритма (HR). Как и в предыдущих реализациях, в одной версии, эти HR-датчик(и) 302 физически располагаются (например, носятся) на теле пользователя. В другой версии HR-датчик(и) 302 переносятся пользователем. В еще одной версии HR-датчик(и) 302 являются удаленными от пользователя, но все еще приспособлены обнаруживать сердечный ритм человека. Набор HR-датчиков 302 сконфигурирован непрерывно (например, на постоянной основе) и пассивно измерять (например, захватывать) информацию о сердечном ритме, ассоциированную с пользователем, когда он занимает чем-либо свой день, и, по меньшей мере, выводить поток данных с отметкой времени, который включает в себя текущее значение этой информации о ритме. Инфраструктура 300 системы также включает в себя одно или более вычислительных устройств 304. Как и с предыдущими реализациями, в одной версии, вычислительное устройство 304 постоянно находится в HR-датчике или датчиках 302. В другой версии применяется вычислительное устройство 304, отдельное от HR-датчика или датчиков 302. Эта последняя версия вычислительного устройства 304 может быть мобильным устройством, которое переносится пользователем, таким как традиционный смартфон или традиционный планшетный компьютер. В еще одной версии существует и вычислительное устройство 304, постоянно находящееся в HR-датчике(ах) 302, и отдельное вычислительное устройство, переносимое пользователем. Как будет описано более подробно позже, вычислительное устройство 304, постоянно находящееся в датчике(ах) 302, в этой последней версии используется, чтобы выполнять, по меньшей мере, некоторую предварительную обработку сигнала(ов), выводимых датчиком(ами), такую как получение вышеупомянутой HRV из необработанных показателей HR-датчика. Дополнительно, как и ранее, в вышеупомянутых версиях, имеющих вычислительное устройство 304, которое является отдельным от HR-датчика или датчиков 302, каждый из HR-датчиков сконфигурирован, чтобы беспроводным образом передавать поток данных с отметкой времени, выводимый от датчика(ов) в вычислительное устройство. Вычислительное устройство 304 соответственно сконфигурировано, чтобы беспроводным образом принимать различные потоки данных, передаваемые от набора HR-датчиков 302. Беспроводная передача различных потоков данных, выводимых от набора HR-датчиков 302, может быть реализована с помощью различных беспроводных технологий. Например, эта беспроводная связь может быть реализована с помощью традиционной персональной Bluetooth-сети. Возможна другая версия, когда беспроводная связь реализуется с помощью традиционной локальной вычислительной сети Wi-Fi. Также возможна еще одна версия, когда беспроводная связь реализуется с помощью сочетания различных технологий беспроводного сетевого взаимодействия.

[0032] Дополнительно, в реализациях, иллюстрированных на фиг. 3, вычислительное устройство 304 (либо постоянно находящееся только в HR-датчике(ах) 302, либо в форме отдельного устройства, переносимого пользователем) дополнительно конфигурируется, чтобы связываться по сети 306 передачи данных, такой как Интернет (среди других типов сетей), с облачной службой 308, которая работает на одном или более других вычислительных устройствах 310, которые располагаются удаленно от вычислительного устройства 304. Удаленные вычислительные устройства 310 могут также связываться друг с другом через сеть 306. Термин "облачная служба" используется в данном документе, чтобы ссылаться на веб-приложение, которое работает в облаке и может быть размещено (например, развернуто) во множестве центров обработки данных, которые могут быть расположены в различных географических регионах (например, различных регионах мира). Отметим, что в одной версии вышеупомянутой схемы облачная служба заменяется традиционным удаленным сервером (не показан).

[0033] Как дополнительно приводится в пример на фиг. 3, инфраструктура 300 системы включает в себя компьютерную программу 312 для обнаружения наступления сонливости, работающую на одном или более вычислительных устройствах 310, ассоциированных с облачной службой 308 (или удаленным сервером). Компьютерная программа 312 для обнаружения наступления сонливости имеет подпрограммы, исполняемые одним или более вычислительными устройствами 310. Подпрограммы включают в себя подпрограмму 314 приема, подпрограмму 316 извлечения признаков, подпрограмму 318 объединения признаков, подпрограмму 320 ввода в классификатор искусственной нейронной сети (ANN), подпрограмму 322 идентификации наступления сонливости и подпрограмму 324 предупреждения о наступлении сонливости. В одной версии необработанные данные 326 HR-датчика, которые принимаются от вычислительного устройства 304, вводятся в подпрограмму 314 приема. В другой версии вышеупомянутый HRV-сигнал 328 вводится в подпрограмму 314 приема. Поочередная природа этих двух вводов указывается на фиг. 3 с помощью прерывистых линий со стрелками. Предупреждение 330 о наступлении сонливости выводится через сеть 306 из подпрограммы 324 предупреждения о наступлении сонливости. Как указано ранее, каждая из этих подпрограмм реализуется на одном или более вычислительных устройствах (таких как устройства, описанные более подробно в разделе "Примерные операционные окружения", который следует). Отметим, что всякий раз, когда существует множество вычислительных устройств, они находятся на связи друг с другом через компьютерную сеть (такую как Интернет или частная внутренняя сеть).

[0034] Обращаясь теперь к фиг. 4, вышеупомянутые одно или более вычислительных устройств, ассоциированные с облачной службой (или удаленным сервером), инструктируются посредством вышеупомянутых подпрограмм компьютерной программы обнаружения наступления сонливости, чтобы совершать последовательность действий процесса. Более конкретно, фиг. 4 иллюстрирует примерную реализацию, в упрощенной форме, процесса для обнаружения наступления сонливости для человека. Процесс начинается с приема HR-информации о человеке (этап 400 процесса). Эта HR-информация принимается от вычислительного устройства, ассоциированного с вышеупомянутым одним или более HR-датчиками, через сеть передачи данных. Набор признаков затем извлекается из HR-информации (этап 402 процесса). Эти признаки, которые находятся среди множества признаков, которые могут быть извлечены из HR-информации, были определены как конкретно указывающие переход от бодрствующего состояния человека к сонному состоянию человека. Далее, извлеченные признаки объединяются, чтобы формировать входные данные обнаружения сонливости (этап 404 процесса). Входные данные обнаружения сонливости вводятся в классификатор искусственной нейронной сети (ANN), который был обучен различать между бодрствующим состоянием человека и сонливым состоянием человека на основе извлеченных признаков (этап 406 процесса). Затем идентифицируется из выходных данных ANN-классификатора, указывают ли входные данные обнаружения сонливости, что человек проявляет наступление сонливости (этап 408 процесса). Если так, передается оповещение о наступлении сонливости (этап 410 процесса). Если нет, вышеупомянутый процесс повторяется.

[0035] Как описано ранее, самодостаточные реализации (такие как иллюстрированные на фиг. 1 и 2) инициируют предупреждение о наступлении сонливости. Оповещение о наступлении сонливости, передаваемое облачной службой (или удаленным сервером), используется для аналогичного результата. Как указано ранее, один из типов предупреждения подразумевает тревожный вызов человеку, у которого наблюдается сонливость. А именно, в качестве примера, но не ограничения, оповещение о наступлении сонливости может быть "сообщением", которое передается ранее описанному укомплектованному датчику или датчикам сердечного ритма или вышеупомянутому мобильному устройству. Это сообщение может быть текстом или изображениями, которые отображаются на экране дисплея, ассоциированном с датчиком(ами) или мобильным устройством, или даже принимать форму мигающих изображений, которые показываются пользователю мигающим светом на дисплее. В дополнение к, или вместо вышеупомянутых примеров пробуждающего сообщения, пробуждающее сообщение может принимать форму рекомендаций человеку. Например, в контексте человека, который ведет транспортное средство, сообщение может включать в себя текст, предоставляющий местоположение ближайшего отеля или стоянки для отдыха. Сообщение может также принимать форму инструкции, чтобы создавать звуковой тревожный сигнал (например, гудок, звонок, речь, музыку и т.д.), который воспроизводится через динамики, постоянно находящиеся в датчике(ах) или мобильном устройстве. Сообщение может дополнительно принимать форму инструкции, чтобы создавать тактильный тревожный сигнал (например, вибрацию, слабый электрический удар и т.д.), который создается с помощью традиционных способов посредством датчика(ов) или мобильного устройства. Как и ранее, любые из вышеупомянутых тревожных сигналов могут быть объединены, чтобы создавать предупреждение о сонливости для человека. Другой тип оповещения подразумевает передачу сообщения третьей стороне (например, сиделке, медицинскому работнику, врачу, исследователю сна и т.д.), которая, в свою очередь, предупреждает человека, у которого наблюдается сонливость, или иначе предпринимает действие на основе ощущения человеком наступления сонливости. Еще один тип оповещения, которое облачная служба (или сервер) может передавать, является инструкция устройству предпринимать некоторое действие в ответ на ощущение человеком наступления сонливости. Например, в ближайшем будущем человек, который может управлять так называемым подключенным автомобилем, который может принимать инструкцию (предполагается следование правильным протоколам безопасности), чтобы брать на себя управление автомобилем и вести его в безопасное место (типа обочины дороги). Аналогично, другие "подключенные" устройства могут управляться аналогичным образом, чтобы избегать аварий вследствие сонливости человека. Например, домашние приборы типа кухонной плиты могут быть выключены.

1.2 Извлечение признаков

[0036] Как указано ранее, либо в самодостаточных реализациях, либо в реализациях на основе облачной службы, классификатор искусственной нейронной сети (ANN), который был обучен различать между бодрствующим состоянием человека и сонным состоянием человека на основе вышеупомянутых извлеченных признаков, применяется, чтобы обнаруживать наступление сонливости у наблюдаемого человека. В этом разделе будут описаны примерные способы извлечения признаков и примерные типы признаков, которые извлекаются.

[0037] Медицинское исследование указывает, что сердечный ритм и ощущение сонливости человеком связаны. Более конкретно, возможно обнаруживать, когда происходит переход человека от бодрствующего состояния к сонному состоянию (т.е., N1 NREM-сну) с помощью показателя этого сердечного ритма человека. Характер волны, производимой типичной электрокардиограммой (EKG или ECG), включает в себя последовательности совокупностей QRS-волн. Каждая из этих совокупностей состоит из сочетания трех отклонений - а именно, отклонений, называемых Q-волной, R-волной и S-волной. Q-волна и S-волна типично характеризуются первоначальным отрицательным или направленным вниз отклонением, в то время как R-волна типично характеризуется первоначальным положительным или направленным вверх отклонением. Время, прошедшее между двумя последовательными R-волнами в электрокардиограмме, называется RR-интервалом. HR-датчик или датчики, применяемые в реализациях обнаружения наступления сонливости, описанных в данном документе, приспособлены, по меньшей мере, для обнаружения пиков R-волны. В одной реализации обнаруженные пики R-волны формируют вышеупомянутый необработанный HR-сигнал, захваченный HR-датчиком или датчиками. Вариабельность сердечного ритма (HRV) является физиологическим явлением изменения во временном интервале между пиками R-волны. Она измеряется по изменению в RR-интервале. HRV-сигнал вычисляется из необработанного HR-сигнала либо посредством вычислительного устройства, ассоциированного с HR-датчиком(ами), либо отдельного вычислительного устройства (такого как мобильное устройство, переносимое наблюдаемым человеком, или посредством вычислительного устройства(в), ассоциированных с облачной службой (или удаленным сервером)).

[0038] В одной реализации, когда формируется HRV-сигнал, он сегментируется в последовательность сегментов предписанной продолжительности. В одной версии эти сегменты равны двум минутам по продолжительности и представляют приблизительно 120 значений RR-интервала (т.е. сегмент сигнала 1 Гц). В одной реализации двухминутные сегменты HRV-сигнала затем увеличивают частоту выборки перед извлечением признаков. Более конкретно, методы аппроксимации кривых (такие как интерполяция кубических сплайнов) применяются к модели вариации, видимой в значениях RR-интервала сегмента в качестве уравнения. Результирующие уравнения затем дискретизируются. В одной версии, когда 120 RR-интервалов представляются уравнениями, 840 выборок получается с помощью традиционных способов. Это представляет семикратное увеличение частоты выборки первоначального HRV-сегмента. Это увеличение частоты выборки (т.е. от 1 Гц до 7 Гц) выполняется, поскольку было обнаружено, что сегмент сигнала 7 Гц работает хорошо со способами извлечения признаков, которые должны быть кратко описаны.

[0039] В одной реализации вышеупомянутые сегменты HRV-сигнала предписанной продолжительности получаются из HRV-сигнала на основе скользящего окна, так что существует предписанное время смещения между каждым сегментом. Например, в случае сегмента двухминутной продолжительности, смещение может являться любым периодом времени более 0 и менее 2 минут. В одной версии применяется смещение 1 минута, так что 50% данных являются общими с предыдущим сегментом и 50% являются новыми данными.

[0040] Вышеупомянутый набор признаков извлекается из каждого последующего сегмента HRV-сигнала с увеличенной частотой выборки. В одной реализации это извлечение отличительного признака, в целом, подразумевает использование дискретного быстрого преобразования Фурье (DFFT) и дискретного вейвлет-преобразования (DWT), использующего набор материнских волн Симлета 3 порядка. В то время как множество характеристик может быть получено из результирующего преобразованного по частоте сегмента HRV-сигнала, было обнаружено, что соотношение мощности низкочастотных (LF) компонентов к мощности высокочастотных (HF) компонентов, в частности, указывает переход между бодрствованием и сонливостью. По существу, в одной реализации, это отношение LF к HF-мощности выбирается в качестве одного из вышеупомянутых извлеченных признаков.

[0041] Что касается DWT, в одной реализации, выполняется 8-уровневая декомпозиция HRV-сегмента. Энтропия разницы между декомпозированным сегментом и материнскими волнами Симлета на каждом уровне вычисляется с помощью традиционных способов, чтобы формировать последовательность коэффициентов энтропии верхнего диапазона D (т.е., D₁, …, D₈) и последовательность коэффициентов энтропии нижнего диапазона A (т.е., A₁, …, A₈). Различные средние значения коэффициентов могут также быть вычислены и применены в качестве извлеченных признаков, среди других сочетаний. Однако, было обнаружено, что некоторые из DWT-коэффициентов и сочетаний являются более указывающими на переход между бодрствованием и сонливостью, чем другие. Например, было обнаружено, что следующие DWT-коэффициенты являются в большей степени указывающими на переход, чем другие:

a) коэффициенты энтропии D₁-D₈;

b) коэффициент энтропии A₈; и

c) среднее значение коэффициентов энтропии A₁-A₈

[0042] Соответственно, из множества коэффициентов, которые могут быть извлечены с помощью DFFT и DWT-анализов HRV-сегментов, одиннадцать коэффициентов, описанных выше (т.е., отношение мощности LF/HF, энтропия D₁-D₈, энтропия A₈ и среднее значение энтропии A₁-A₈) были найдены обеспечивающими особое указание перехода между бодрствованием и сонливостью.

1.3 Обучение классификатора

[0043] Фиг. 5 иллюстрирует примерную реализацию, в упрощенной форме, инфраструктуры системы, используемой в обучении классификатора обнаружения наступления сонливости, который, в свою очередь, может быть использован для обнаружения наступления сонливости у человека. Как приведено в качестве примера на фиг. 5, инфраструктура 500 системы включает в себя компьютерную программу 502 обучения средства обнаружения наступления сонливости, имеющую подпрограммы, исполняемые одним или более вычислительными устройствами. Эти подпрограммы включают в себя подпрограмму 504 приема и, для HR-информации, ассоциированной с каждым из множества людей (I₁, I₂, …, I_n), подпрограмму 506 извлечения и подпрограмму 508 объединения. Кроме того, существует подпрограмма 510 обучения, которая обучается с помощью выходных данных подпрограммы объединения для каждого человека (I₁, I₂, …, I_n). HR-информация 512, выводимая одним или более датчиками сердечного ритма для множества людей, а также указатель 514 сонливости для каждого из людей, указывающий, находится ли человек в состоянии бодрствования или в сонном состоянии, вводятся в подпрограмму 504 приема. Обученный классификатор 516 обнаружения наступления сонливости выводится из подпрограммы 510 обучения. Каждая из этих подпрограмм реализуется в одном или более вычислительных устройствах, таких как устройство, описанное более подробно в разделе "Примерные операционные окружения", который следует. Отметим, что всякий раз, когда существует множество вычислительных устройств, они могут находиться на связи друг с другом через компьютерную сеть (такую как Интернет или частная внутренняя сеть).

[0044] Обращаясь теперь к фиг. 6, вышеупомянутое одно или более вычислительных устройств инструктируются посредством вышеупомянутых подпрограмм компьютерной программы обучения средства обнаружения наступления сонливости, чтобы совершать последовательность действий процесса. Более конкретно, HR-информация, выводимая одним или более датчиками сердечного ритма для множества людей, а также указатель сонливости для каждого из людей, указывающий, находится ли этот человек в состоянии бодрствования или в сонном состоянии во время, когда HR-информация была захвачена, принимаются через подпрограмму приема (этап 600 процесса). В одной реализации указатель сонливости получается из EEG-сигнала, захваченного с помощью ранее описанных способов электроэнцефалографии для идентификации того, находится ли человек в состоянии бодрствования или сонном состоянии (т.е., N1 NREM сон). Дополнительно, захваченная HR-информация и ассоциированный указатель сонливости соответствуют моментам времени, когда человек переходил от состояния бодрствования к сонному состоянию.

[0045] HR-информация, ассоциированная с ранее невыбранным одним из вышеупомянутых людей, выбирается далее (этап 602 процесса). Набор признаков извлекается из выбранной HR-информации с помощью подпрограммы извлечения (этап 604 процесса). Эти признаки, которые находятся среди множества признаков, которые могут быть извлечены из HR-информации, были определены как конкретно указывающие переход от бодрствующего состояния человека к сонному состоянию человека. Извлеченные признаки затем объединяются, чтобы формировать входные данные для обнаружения сонливости с помощью подпрограммы объединения (этап 606 процесса). Далее определяется, существует ли HR-информация, ассоциированная с человеком, которая еще не была выбрана и обработана (этап 608 процесса). Если существует, тогда действия 602-608 процесса повторяются. Когда HR-информация, ассоциированная со всеми людьми, была выбрана и обработана, подпрограмма обучения тогда обучает классификатор искусственной нейронной сети (ANN) различать между состоянием бодрствования человека и сонным состоянием человека с помощью входных данных для обнаружения сонливости и указателя сонливости, ассоциированного с каждым из множества людей (этап 610 процесса). Это обучение выполняется с помощью традиционных способов ANN-обучения.

2.0 Примерные операционные окружения

[0046] Реализации обнаружения наступления сонливости, описанные в данном документе, являются работоспособными с помощью множества типов окружений или конфигураций вычислительной системы общего назначения или специального назначения. Фиг. 7 иллюстрирует упрощенный пример компьютерной системы общего назначения, с помощью которой различные аспекты и элементы обнаружения наступления сонливости, как описано в данном документе, могут быть реализованы. Отметим, что любые блоки, которые представляются прерывистыми или штриховыми линиями в упрощенном вычислительном устройстве 10, показанном на фиг. 7, представляют альтернативные реализации упрощенного вычислительного устройства. Как описано ниже, любая или все эти альтернативные реализации могут быть использованы в сочетании с другими альтернативными реализациями, которые описываются на всем протяжении этого документа. Упрощенное вычислительное устройство 10 типично встречается в устройствах, имеющих, по меньшей мере, некоторую минимальную вычислительную способность, таких как персональные компьютеры (PC), серверные компьютеры, карманные вычислительные устройства, портативные или мобильные компьютеры, устройства связи, такие как сотовые телефоны и персональные цифровые помощники (PDA), многопроцессорные системы, микропроцессорные системы, телевизионные приставки, программируемая бытовая электроника, сетевые PC, миникомпьютеры, универсальные компьютеры и звуковые или видео мультимедийные проигрыватели.

[0047] Чтобы осуществлять реализации обнаружения наступления сонливости, описанные в данном документе, устройство должно иметь достаточную вычислительную способность и системную память, чтобы предоставлять возможность базовых вычислительных операций. В частности, вычислительная способность упрощенного вычислительного устройства 10, показанного на фиг. 7, в целом, иллюстрируется посредством одного или более процессорных блока(ов) 12 и может также включать в себя один или более графических процессорных блоков (GPU) 14, один из двух или оба на связи с системной памятью 16. Отметим, что процессорный блок(и) 12 упрощенного вычислительного устройства 10 могут быть специализированными микропроцессорами (такими как цифровой сигнальный процессор (DSP), процессор с командными словами очень большой длины (VLIW), программируемой пользователем вентильной матрицей (FPGA) или другим микроконтроллером) или могут быть традиционными центральными процессорами (CPU), имеющими одно или более ядер обработки.

[0048] Кроме того, упрощенное вычислительное устройство 10 может также включать в себя другие компоненты, такие как, например, интерфейс 18 связи. Упрощенное вычислительное устройство 10 может также включать в себя одно или более традиционных компьютерных устройств 20 ввода (например, сенсорные экраны, чувствительные к касаниям поверхности, указательные устройства, клавиатуры, устройства звукового ввода, устройства голосового или речевого ввода и управления, устройства видеоввода, устройства тактильного ввода, устройства для приема проводных или беспроводных передач данных и т.п.) или любое сочетание таких устройств.

[0049] Аналогично, различные взаимодействия с упрощенным вычислительным устройством 10 и с любым другим компонентом или отличительным признаком пригодного для ношения устройства обнаружения, включающие в себя ввод, вывод, управление, обратную связь, и в ответ на один или более пользователей или других устройств или систем, ассоциированных с обнаружением наступления сонливости, разрешаются посредством множества сценариев естественного пользовательского интерфейса (NUI). Методы и сценарии NUI включают в себя, но не только, технологии интерфейса, которые предоставляют возможность одному или более пользователю/пользователям взаимодействовать "естественным" образом, быть свободными от искусственных ограничений, накладываемых устройствами ввода, такими как мышь, клавиатуры, пульты дистанционного управления и т.п.

[0050] Такие NUI-реализации разрешатся с помощью различных методов, включающих в себя, но не только, использование NUI-информации, полученной из речи пользователя или голосовых сигналов, захваченных через микрофоны или другие датчики. Такие NUI-реализации также реализуются с помощью различных методик, включающих себя, но не только, информацию, полученную из выражений лица пользователя и из позиций, движений или ориентаций рук пользователя, пальцев, запястий, плеч, ног, тела, головы, глаз и т.п., когда такая информация может быть захвачена с помощью различных типов 2D или устройств формирования глубинного изображения, таких как стереоскопические или времяпролетные системы камер, инфракрасные системы камер, систем камер RGB (красный, зеленый и синий) и т.п., или любой комбинации таких устройств. Дополнительные примеры таких NUI-реализаций включают в себя, но не ограничиваются, NUI-информацию, полученную из распознавания касания и пера, распознавания жеста (как на экране, так и рядом с экраном или поверхностью отображения), воздушных или контактных жестов, пользовательского касания (по различным поверхностям, объектам или другим пользователям), вводов данных или действий на основе наведения курсора, и т.п. Такие NUI-реализации могут также включать в себя, но не только, использование различных прогнозирующих процессов искусственного интеллекта, которые оценивают текущее или прошлое поведения пользователя, входные данные, действия и т.д., либо отдельно, либо в сочетании с другой NUI-информацией, чтобы прогнозировать информацию, такую как намерения пользователя, желания и/или цели. Независимо от типа или источника информации на основе NUI такая информация может затем быть использована, чтобы инициировать, завершать или иначе управлять или взаимодействовать с одним или более входными данными, выходными данными, действиями или функциональными признаками реализаций обнаружения наступления сонливости, описанных в данном документе.

[0051] Однако, следует понимать, что вышеупомянутые примерные NUI-сценарии могут быть дополнительно расширены посредством объединения использования искусственных ограничений или дополнительных сигналов с любым сочетанием NUI-входных данных. Такие искусственные ограничения или дополнительные сигналы могут быть наложены или сформированы устройствами ввода, такими как мыши, клавиатуры и пульты дистанционного управления, или посредством множества удаленных или носимых пользователем устройств, таких как акселерометры, датчики электромиографии (EMG) для приема миоэлектрических сигналов, представляющих электрические сигналы, формируемые мышцами пользователя, мониторы сердечного ритма, гальванические датчики электропроводности кожи для измерения потоотделения пользователя, пригодные для ношения или дистанционные биодатчики для измерения или иного обнаружения активности мозга пользователя или электрических полей, пригодные для ношения или дистанционные биодатчики для измерения изменений или перепадов температуры тела и т.п. Любая такая информация, полученная из этих типов искусственных ограничений или дополнительных сигналов, может быть объединена с любыми одними или более NUI-входными данными, чтобы инициировать, завершать или иначе управлять или взаимодействовать с одними или более входными данными, действиями или функциональными признаками реализаций обнаружения наступления сонливости, описанных в данном документе.

[0052] Упрощенное вычислительное устройство 10 может также включать в себя другие необязательные компоненты, такие как одно или более традиционных компьютерных устройств 22 вывода (например, устройство(а) 24 отображения, устройства вывода звука, устройство вывода видео, устройства для передачи проводных или беспроводных передач данных и т.п.). Отметим, что типовые интерфейсы 18 связи, устройства 20 ввода, устройства 22 вывода и устройства 26 хранения для компьютеров общего назначения хорошо известны специалистам в области техники и не будут описаны подробно в данном документе.

[0053] Упрощенное вычислительное устройство 10, показанное на фиг. 7, может также включать в себя множество компьютерно-читаемых носителей. Компьютерно-читаемые носители могут быть любыми доступными носителями, к которым может быть осуществлен доступ посредством компьютера 10 через устройства 26 хранения, и могут включать в себя как энергозависимые, так и энергонезависимые носители, которые являются либо съемными 28 и/либо несъемными 30, для хранения информации, такой как компьютерно-читаемые или компьютерно-исполняемые инструкции, структуры данных, программы, подпрограммы или другие данные. Компьютерно-читаемые носители включают в себя компьютерные носители хранения информации и среду передачи данных. Компьютерные носители хранения информации ссылаются на материальные компьютерно-читаемые или машиночитаемые носители или устройства хранения, такие как цифровые универсальные диски (DVD), диски blu-ray (BD), компакт-диски (CD), гибкие диски, ленточные накопители, накопители на жестких дисках, накопители на оптических дисках, твердотельные запоминающие устройства, оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), электрически стираемое программируемое постоянное запоминающее устройство (EEPROM), CD-ROM или другое запоминающее устройство на оптическом диске, смарт-карты, флэш-память (например, карта, флэш-накопитель и ключ-накопитель), магнитные кассеты, магнитные ленты, запоминающее устройство на магнитных дисках, магнитные карты или другие магнитные устройства хранения. Дополнительно, распространяемый сигнал не включается в рамки компьютерно-читаемых носителей хранения информации.

[0054] Сохранение информации, такой как компьютерно-читаемые или компьютерно-исполняемые инструкции, структуры данных, программы, подпрограмма и т.п., может также быть осуществлено с помощью любой из множества вышеупомянутых сред передачи данных (в противоположность компьютерным носителям хранения информации), чтобы кодировать один или более модулированных информационных сигналов или несущих волн, или других транспортных механизмов или протоколов связи, и может включать в себя проводной или беспроводной механизм доставки информации. Отметим, что выражения "модулированный информационный сигнал" или "несущая волна", как правило, ссылаются на сигнал, который имеет одну или более своих характеристик, заданных или изменяемых таким образом, чтобы кодировать информацию в сигнале. Например, среда передачи данных может включать в себя проводную среду, такую как проводная сеть или прямое проводное соединение, переносящую один или более модулированных информационных сигналов, и беспроводную среду, такую как акустическая, радиочастотная (RF), инфракрасная, лазерная и другая беспроводная среда для передачи и/или приема одного или более модулированных информационных сигналов или несущих волн.

[0055] Кроме того, программное обеспечение, программы и/или компьютерные программные продукты, осуществляющие некоторые или все из различных реализаций обнаружения наступления сонливости, описанных в данном документе, или их фрагменты, могут быть сохранены, приняты, переданы или считаны с любого желаемого сочетания компьютерно-читаемых или машиночитаемых носителей или устройств хранения и среды передачи данных в форме компьютерно-исполняемых инструкций или других структур данных. Дополнительно, заявляемое изобретение может быть реализовано в виде способа, устройства, или изделия производства с использованием стандартных технологий программирования и/или проектирования для производства программного обеспечения, микропрограммного обеспечения, аппаратных средств, или любого их сочетания, чтобы управлять компьютером для реализации раскрытого изобретения. Термин "изделие производства" при использовании в данном документе предназначен, чтобы охватывать компьютерную программу, доступную из любого компьютерно-читаемого устройства, носителя или среды.

[0056] Реализации для обнаружения наступления сонливости, описанные в данном документе, могут быть дополнительно описаны в общем контексте компьютерно-исполняемых инструкций, таких как программы, исполняемые вычислительным устройством. Как правило, программы включают в себя процедуры, программы, объекты, компоненты, структуры данных и т.п., которые выполняют конкретные задачи или реализуют конкретные абстрактные типы данных. Реализации обнаружения наступления сонливости, описанные в данном документе, могут также быть применены на практике в распределенных вычислительных окружениях, где задачи выполняются посредством одного или более удаленных устройств обработки, или в облаке из одного или более устройств, которые связываются через одну или более сетей связи. В распределенном вычислительном окружении программы могут быть расположены на носителях хранения как локального, так и удаленного компьютера, включающих в себя запоминающие устройства хранения. Дополнительно, вышеупомянутые инструкции могут быть реализованы, частично или полностью, как аппаратные логические схемы, которые могут или не могут включать в себя процессор.

[0057] Альтернативно, или в дополнение, функциональность, описанная в данном документе, может быть выполнена, по меньшей мере, частично, посредством одного или более аппаратных логических компонентов. Например, и без ограничения, иллюстративные типы аппаратных логических компонентов, которые могут быть использованы, включают в себя программируемые пользователем вентильные матрицы (FPGA), зависимые от приложения интегральные схемы (ASIC), зависимые от приложения стандартные продукты (ASSP), системы в виде системы на кристалле (SOC), сложные программируемые логические устройства (CPLD) и т.п.

3.0 Другие реализации

[0058] Отметим, что любая или все из вышеупомянутых реализаций на всем протяжении описания могут быть использованы в любом сочетании, желаемом для формирования дополнительных гибридных реализаций. Кроме того, хотя изобретение было описано на языке, характерном для структурных признаков и/или методологических действий, следует понимать, что объем изобретения, определяемый прилагаемой формулой изобретения, необязательно ограничен конкретными признаками или действиями, описанными выше. Скорее, характерные признаки и действия, описанные выше, раскрываются как примерные формы реализации формулы изобретения.

[0059] То, что было описано выше, включает в себя примерные реализации. Конечно, невозможно описать каждое вероятное сочетание компонентов или методологий в целях описания заявленного изобретения, но обычный специалист в данной области техники может признать, что многие дополнительные сочетания и перестановки являются допустимыми. Следовательно, заявленное изобретение подразумевается охватывающим все подобные преобразования, модификации и разновидности, которые попадают под сущность и объем, определяемый прилагаемой формулой изобретения.

[0060] Относительно различных функций, выполняемых вышеописанными компонентами, устройствами, схемами, системам и т.п., термины (в том числе ссылка на "средство"), используемые, чтобы описывать такие компоненты, предназначены, чтобы соответствовать, пока не указано иное, любому компоненту, который выполняет указанную функцию описанного компонента (например, функциональный эквивалент), даже если он не эквивалентен структурно раскрытой структуре, которая выполняет функцию в проиллюстрированных в данном документе примерных аспектах заявленного изобретения. В этом отношении, также будет понятно, что вышеупомянутые реализации включают в себя систему, а также компьютерно-читаемые носители хранения информации, имеющие компьютерно-исполняемые инструкции для выполнения действий и/или событий различных способов заявленного изобретения.

[0061] Существует множество способов осуществления вышеупомянутых реализаций (таких как соответствующий прикладной программный интерфейс (API), пакет инструментальных средств, код драйвера, операционная система, элемент управления, автономный или загружаемый объект программного обеспечения или т.п.), которые предоставляют возможность приложениям и службам использовать реализации, описанные в данном документе. Заявленное изобретение рассматривает это использование с позиции API (или другого объекта программного обеспечения), также как из объекта программного обеспечения или аппаратных средств, который работает согласно техническим приемам, изложенным в данном документе. Таким образом, различные реализации, описанные в данном документе, могут иметь аспекты, которые существуют целиком в аппаратных средствах, или частично в аппаратных средствах и частично в программном обеспечении, или целиком в программном обеспечении.

[0062] Вышеупомянутые системы были описаны относительно взаимодействия между несколькими компонентами. Будет понятно, что такие системы и компоненты могут включать в себя такие компоненты или указанные субкомпоненты, некоторые из указанных компонентов или субкомпонентов, и/или дополнительные компоненты, и согласно различным преобразованиям и комбинациям вышеупомянутого. Субкомпоненты могут также быть реализованы как компоненты, соединенные с возможностью обмена данными с другими компонентами вместо включения в родительские компоненты (например, иерархические).

[0063] Дополнительно, отметим, что один или более компонентов могут быть объединены в единый компонент, предоставляющий совокупную функциональность, или разделены на несколько отдельных субкомпонентов, и что любой один или более средних слоев, таких как слой управления, могут быть предусмотрены, чтобы связываться с возможностью обмена данными с такими субкомпонентами для того, чтобы предоставлять объединенную функциональность. Любые компоненты, описанные в данном документе, могут также взаимодействовать с одним или более другими компонентами, специально не описанными в данном документе, но, в целом, известными специалистам в области техники.

4.0 Поддержка формулы изобретения и дополнительные реализации

[0064] Следующие параграфы, резюмируют различные примеры реализаций, которые могут быть заявлены в настоящем документе. Однако, следует понимать, что реализации, резюмированные ниже, не предназначены ограничивать изобретение, которое может быть заявлено, принимая во внимания вышеприведенные описания. Дополнительно, любая или все реализации, резюмированные ниже, могут быть заявлены в любом желаемом сочетании с некоторыми или всеми реализациями, описываемыми на всем протяжении вышеприведенного описания, и любыми реализациями, иллюстрированными на одном или более чертежах, и любыми реализациями, описанными ниже. Кроме того, следует отметить, что последующие реализации предназначены, чтобы пониматься, принимая во внимание вышеприведенное описание и чертежи, описываемые на всем протяжении этого документа.

[0065] В одной реализации система применяется для обнаружения наступления сонливости у человека. Эта система включает в себя один или более датчиков сердечного ритма (HR), которые захватывают HR-информацию человека, и одно или более вычислительных устройств, вычислительные устройства находятся на связи друг с другом через компьютерную сеть, во всех случаях, когда существует множество вычислительных устройств. Система также включает в себя компьютерную программу обнаружения наступления сонливости, имеющую множество подпрограмм, исполняемых одним или более вычислительными устройствами. Одно или более вычислительных устройств инструктируются посредством подпрограмм компьютерной программы средства обнаружения наступления сонливости принимать HR-информацию от датчика или датчиков сердечного ритма, извлекать набор признаков из HR-информации (которые присутствуют среди множества признаков, которые могут быть извлечены из HR-информации), которые были определены как конкретно указывающие переход от состояния бодрствования человека к сонному состоянию человека, объединять извлеченные признаки, чтобы формировать входные данные обнаружения сонливости, вводить входные данные обнаружения сонливости в классификатор искусственной нейронной сети (ANN), который был обучен различать между состоянием бодрствования человека и сонным состоянием человека на основе извлеченных признаков, идентифицировать из выходных данных ANN-классификатора, указывают ли входные данные обнаружения сонливости, что человек проявляет наступление сонливости, и всякий раз, когда входные данные обнаружения сонливости указывают, что человек проявляет наступление сонливости, инициировать предупреждение о наступлении сонливости.

[0066] В одной реализации системы, когда HR-информация включает в себя необработанный HR-сигнал, захваченный одним или более HR-датчиками, подпрограмма для извлечения набора признаков из HR-информации включает в себя первое вычисление сигнала вариабельности сердечного ритма (HRV) из необработанного HR-сигнала. В другой реализации системы один или более HR-датчиков включают в себя вычислительное устройство, которое вычисляет сигнал вариабельности сердечного ритма (HRV) из необработанного HR-сигнала, захваченного HR-датчиком или датчиками. Вышеупомянутая HR-информация включает в себя этот HRV-сигнал. В еще одной реализации один или более датчиков сердечного ритма (HR) и одно или более вычислительных устройств постоянно находятся в объединенном устройстве обнаружения наступления сонливости. В одной версии этой реализации устройство обнаружения наступления сонливости является либо пригодным для ношения устройством, носимым на теле человека, либо мобильным устройством, переносимым человеком. В еще одной реализации один или более датчиков сердечного ритма (HR) постоянно находятся в пригодном для ношения устройстве, носимом на теле человека, и одно или более вычислительных устройств постоянно находятся в мобильном устройстве, переносимом человеком, и пригодное для ношения устройство находится на беспроводной связи с мобильным устройством. В одной версии этой реализации HR-информация включает в себя необработанный HR-сигнал, захваченный одним или более HR-датчиками, который передается мобильному устройству, переносимому человеком. В другой версии HR-информация включает в себя необработанный HR-сигнал, захваченный одним или более HR-датчиками, и один или более HR-датчиков включают в себя вычислительное устройство, которое вычисляет сигнал вариабельности сердечного ритма (HRV) из необработанного HR-сигнала, когда HRV-сигнал передается мобильному устройству, переносимому человеком.

[0067] Одна реализация системы дополнительно включает в себя подпрограмму сегментирования, которая исполняется перед исполнением подпрограммы для извлечения набора признаков из HR-информации. Эта подпрограмма сегментирования сегментирует HR-информацию, принятую от датчика или датчиков сердечного ритма, в последовательность сегментов предписанной длины, всякий раз, когда принятая HR-информация существует в форме сигнала вариабельности сердечного ритма (HRV). Кроме того, подпрограмма сегментирования вычисляет HRV-сигнал из принятой HR-информации всякий раз, когда принятая HR-информация не находится в форме сигнала вариабельности сердечного ритма (HRV), перед сегментированием HRV-сигнала в последовательность сегментов предписанной длины. Подпрограммы для извлечения набора признаков из HR-информации, объединения извлеченных признаков, ввода входных данных обнаружения сонливости в ANN-классификатор, идентификации из выходных данных ANN-классификатора того, указывают ли входные данные обнаружения сонливости, что человек проявляет наступление сонливости, и всякий раз, когда входные данные обнаружения сонливости указывают, что человек проявляет наступление сонливости, инициирования предупреждения о наступлении сонливости, исполняются по каждому из сегментов HRV-сигнала, когда они создаются. В одной версии эти сегменты предписанной продолжительности HRV-сигнала, каждый, равны двум минутам по продолжительности и представляют скользящее окно, так что существует предписанное время смещения между каждым сегментом. В одном варианте каждый сегмент HRV-сигнала продолжительностью две минуты представляет приблизительно 120 значений изменения сердечного ритма, и подпрограмма сегментирования дополнительно включает в себя увеличение частоты выборки каждого сегмента HRV-сигнала до приблизительно 840 выборок значений изменения сердечного ритма с помощью методов аппроксимации кривых. В другой версии подпрограмма для извлечения набора признаков из каждого сегмента HRV-сигнала включает в себя извлечение набора признаков с помощью дискретного быстрого преобразования Фурье (DFFT) и дискретного вейвлет-преобразования (DWT). В одном варианте DFFT используется, чтобы вычислять отношение мощности низкочастотных компонентов сегмента HRV-сигнала к мощности высокочастотных (HF) компонентов сегмента HRV-сигнала в качестве извлеченного признака, а DWT используется, чтобы вычислять из 8-уровневой декомпозиции HRV-сегмента коэффициенты энтропии D₁-D₈, коэффициент энтропии A₈ и среднее значение коэффициентов энтропии A₁-A₈ в качестве извлеченных признаков.

[0068] В одной реализации системы подпрограмма для инициирования предупреждения о наступлении сонливости включает в себя инициирование тревожный вызов человеку в форме сообщения, которое отображается на экране дисплея, который является видимым для человека. В одной версии это сообщение включает в себя текст, или изображения, или мигающие изображения, которые появляются как мигающий свет на экране дисплея, или любое сочетание вышеупомянутого. В другой реализации подпрограмма для инициирования предупреждения о наступлении сонливости инициирует тревожный вызов человеку в форме звукового тревожного сигнала, который воспроизводится через динамики, которые находятся в слуховом диапазоне человека. В еще одной реализации подпрограмма для инициирования предупреждения о наступлении сонливости включает в себя инициирование тревожного вызова человеку в форме тактильного тревожного сигнала, который может быть ощутим человеком. В еще одной реализации подпрограмма для инициирования предупреждения о наступлении сонливости включает в себя передачу сообщения третьей стороне, которое просит третью сторону предупредить человека.

[0069] В одной реализации другая система применяется для обнаружения наступления сонливости у человека. Эта система включает в себя одно или более вычислительных устройств, вычислительные устройства находятся на связи друг с другом через компьютерную сеть в любом случае, когда существует множество вычислительных устройств. Система также включает в себя компьютерную программу обнаружения наступления сонливости, имеющую множество подпрограмм, исполняемых одним или более вычислительными устройствами. Одно или более вычислительных устройств инструктируются посредством подпрограмм компьютерной программы обнаружения наступления сонливости, чтобы принимать информацию о сердечном ритме (HR) человека, когда одно или более вычислительных устройств находятся на связи через сеть передачи данных с удаленным вычислительным устройством, ассоциированным с одним или более HR-датчиками, которые захватывают HR-информацию, и когда HR-информация принимается от удаленного вычислительного устройства через сеть передачи данных. Одно или более вычислительных устройств также инструктируются посредством подпрограмм компьютерной программы обнаружения наступления сонливости извлекать набор признаков из HR-информации (которые присутствуют среди множества признаков, которые могут быть извлечены из HR-информации), которые были определены как конкретно указывающие переход от состояния бодрствования человека к сонному состоянию человека, объединять извлеченные признаки, чтобы формировать входные данные обнаружения сонливости, вводить входные данные обнаружения сонливости в классификатор искусственной нейронной сети (ANN), который был обучен различать между состоянием бодрствования человека и сонным состоянием человека на основе извлеченных признаков, идентифицировать из выходных данных ANN-классификатора, указывают ли входные данные обнаружения сонливости, что человек проявляет наступление сонливости, и всякий раз, когда входные данные обнаружения сонливости указывают, что человек проявляет наступление сонливости, передавать оповещение о наступлении сонливости.

[0070] В одной реализации другая система применяется для обучения классификатора обнаружения наступления сонливости. Эта система включает в себя одно или более вычислительных устройств, вычислительные устройства находятся на связи друг с другом через компьютерную сеть в любом случае, когда существует множество вычислительных устройств. Система также включает в себя компьютерную программу обучения средства обнаружения наступления сонливости, имеющую множество подпрограмм, исполняемых одним или более вычислительными устройствами. Одно или более вычислительных устройств инструктируются посредством подпрограмм компьютерной программы обучения средства обнаружения наступления сонливости принимать HR-информацию, выводимую одним или более датчиками сердечного ритма для множества людей, также как указатель сонливости для каждого из людей, указывающий, находится ли этот человек в состоянии бодрствования или в сонном состоянии во время, когда HR-информация была захвачена. Что касается HR-информации, ассоциированной с каждым из множества людей, набор признаков извлекается из HR-информации (которые присутствуют среди множества признаков, которые могут быть извлечены из HR-информации), которые были определены как конкретно указывающие переход из состояния бодрствования человека в сонное состояние человека, и извлеченные признаки объединяются, чтобы формировать входные данные обнаружения сонливости. Классификатор искусственной нейронной сети (ANN) обучается различать между состоянием бодрствования человека и сонным состоянием человека с помощью входных данных обнаружения сонливости и указателя сонливости, ассоциированного с каждым из множества людей.

[0071] В одной реализации компьютерно-реализованный процесс применяется для обнаружения наступления сонливости у человека, который включает в себя использование вычислительного устройства, чтобы выполнять следующие действия процесса: прием HR-информации от датчика или датчиков сердечного ритма, извлечение набора признаков из HR-информации (которые присутствуют среди множества признаков, которые могут быть извлечены из HR-информации), которые были определены как конкретно указывающие переход от состояния бодрствования человека в сонное состояние человека, объединение извлеченных признаков, чтобы формировать входные данные обнаружения сонливости, ввод входных данных обнаружения сонливости в классификатор искусственной нейронной сети (ANN), который был обучен различать между состоянием бодрствования человека и сонным состоянием человека на основе извлеченных признаков, идентификацию из выходных данных ANN-классификатора того, указывают ли входные данные обнаружения сонливости, что человек проявляет наступление сонливости, и всякий раз, когда входные данные обнаружения сонливости указывают, что человек проявляет наступление сонливости, инициирование предупреждения о наступлении сонливости.

[0072] В другой реализации компьютерно-реализованный процесс применяется для обнаружения наступления сонливости у человека, который включает в себя использование вычислительного устройства, чтобы выполнять следующие действия процесса: прием информации о сердечном ритме (HR) человека, когда одно или более вычислительных устройств находятся на связи через сеть передачи данных с удаленным вычислительным устройством, ассоциированным с одним или более HR-датчиками, которые захватывают HR-информацию, и когда HR-информация принимается от удаленного вычислительного устройства через сеть передачи данных. Этапы процесса также включают в себя извлечение набора признаков из HR-информации (которые присутствуют среди множества признаков, которые могут быть извлечены из HR-информации), которые были определены как конкретно указывающие переход от состояния бодрствования человека в сонное состояние человека, объединение извлеченных признаков, чтобы формировать входные данные обнаружения сонливости, ввод входных данных обнаружения сонливости в классификатор искусственной нейронной сети (ANN), который был обучен различать между состоянием бодрствования человека и сонным состоянием человека на основе извлеченных признаков, идентификацию из выходных данных ANN-классификатора того, указывают ли входные данные обнаружения сонливости, что человек проявляет наступление сонливости, и всякий раз, когда входные данные обнаружения сонливости указывают, что человек проявляет наступление сонливости, передачу оповещения о наступлении сонливости.

[0073] В другой реализации компьютерно-реализованный процесс применяется для обучения классификатора обнаружения наступления сонливости, который включает в себя использование вычислительного устройства, чтобы выполнять следующие этапы процесса: прием HR-информации, выводимой одним или более датчиками сердечного ритма для множества людей, также как указателя сонливости для каждого из людей, указывающего, находится ли этот человек в состоянии бодрствования или в сонном состоянии во время, когда HR-информация была захвачена. Что касается HR-информации, ассоциированной с каждым из множества людей, извлечение набора признаков из HR-информации (которые присутствуют среди множества признаков, которые могут быть извлечены из HR-информации), которые были определены как конкретно указывающие переход из состояния бодрствования человека в сонное состояние человека, и объединение извлеченных признаков, чтобы формировать входные данные обнаружения сонливости. Классификатор искусственной нейронной сети (ANN) затем обучается различать между состоянием бодрствования человека и сонным состоянием человека с помощью входных данных обнаружения сонливости и указателя сонливости, ассоциированного с каждым из множества людей.

[0074] В одной реализации обнаружение наступления сонливости у человека включает в себя использование вычислительного устройства, чтобы выполнять следующие этапы процесса: этап приема для приема HR-информации от датчика или датчиков сердечного ритма, этап извлечения для извлечения набора признаков из HR-информации (которые присутствуют среди множества признаков, которые могут быть извлечены из HR-информации), которые были определены как конкретно указывающие переход от состояния бодрствования человека в сонное состояние человека, этап объединения для объединения извлеченных признаков, чтобы формировать входные данные обнаружения сонливости, этап ввода для ввода входных данных обнаружения сонливости в классификатор искусственной нейронной сети (ANN), который был обучен различать между состоянием бодрствования человека и сонным состоянием человека на основе извлеченных признаков, этап идентификации для идентификации из выходных данных ANN-классификатора того, указывают ли входные данные обнаружения сонливости, что человек проявляет наступление сонливости, и всякий раз, когда входные данные обнаружения сонливости указывают, что человек проявляет наступление сонливости, выполнение этапа инициирования для инициирования предупреждения о наступлении сонливости.

[0075] В другой реализации обнаружение наступления сонливости у человека включает в себя использование вычислительного устройства, чтобы выполнять следующие этапы процесса: этап приема для приема информации о сердечном ритме (HR) человека, когда одно или более вычислительных устройств находятся на связи через сеть передачи данных с удаленным вычислительным устройством, ассоциированным с одним или более HR-датчиками, которые захватывают HR-информацию, и когда HR-информация принимается от удаленного вычислительного устройства через сеть передачи данных. Этапы процесса дополнительно включают в себя этап извлечения для извлечения набора признаков из HR-информации (которые присутствуют среди множества признаков, которые могут быть извлечены из HR-информации), которые были определены как конкретно указывающие переход от состояния бодрствования человека в сонное состояние человека, этап объединения для объединения извлеченных признаков, чтобы формировать входные данные обнаружения сонливости, этап ввода для ввода входных данных обнаружения сонливости в классификатор искусственной нейронной сети (ANN), который был обучен различать между состоянием бодрствования человека и сонным состоянием человека на основе извлеченных признаков, этап идентификации для идентификации из выходных данных ANN-классификатора того, указывают ли входные данные обнаружения сонливости, что человек проявляет наступление сонливости, и всякий раз, когда входные данные обнаружения сонливости указывают, что человек проявляет наступление сонливости, выполнение этапа передачи для передачи оповещения о наступлении сонливости.

[0076] В другой реализации обучение классификатора обнаружения наступления сонливости включает в себя использование вычислительного устройства, чтобы выполнять следующие этапы процесса: этап приема для приема HR-информации, выводимой одним или более датчиками сердечного ритма для множества людей, также как указателя сонливости для каждого из людей, указывающего, находится ли этот человек в состоянии бодрствования или в сонном состоянии во время, когда HR-информация была захвачена. Что касается HR-информации, ассоциированной с каждым из множества людей, выполнение этапа извлечения для извлечения набора признаков из HR-информации (которые присутствуют среди множества признаков, которые могут быть извлечены из HR-информации), которые были определены как конкретно указывающие переход из состояния бодрствования человека в сонное состояние человека, и этапа объединения для объединения извлеченных признаков, чтобы формировать входные данные обнаружения сонливости. Этап обучения затем выполняется для обучения классификатора искусственной нейронной сети (ANN) различать между состоянием бодрствования человека и сонным состоянием человека с помощью входных данных обнаружения сонливости и указателя сонливости, ассоциированного с каждым из множества людей.

Реферат

Изобретение относится к вычислительной технике для определения сонливости человека. Технический результат заключается в повышении точности обнаружения факта наступления сонливости у человека. Технический результат достигается за счет извлечения совокупности различных признаков, относящихся к HRV, из HR-информации, каковые извлеченные различные относящиеся к HRV признаки, которые присутствуют среди множества признаков, которые могут быть извлечены из HR-информации, были определены как конкретно указывающие переход из состояния бодрствования человека в сонное состояние человека, объединения извлеченных различных признаков, относящихся к HRV, чтобы сформировать входные данные обнаружения сонливости. 3 н. и 17 з.п. ф-лы, 7 ил.

Формула