Способ формирования анализа поведения в системе наблюдения и мониторинга - RU2637425C2

Чертежи

Описание

Ссылка на родственную заявку

В настоящей заявке испрашиваются права и приоритет по предварительной патентной заявке США с №61/798740, озаглавленной «INVESTIGATION GENERATION IN AN OBSERVATION AND SURVEILLANCE SYSTEM», поданной 15 марта 2013 г., которая посредством ссылки полностью включена в настоящую заявку для любых целей.

Область техники

Раскрытое далее решение относится к системам видеонаблюдения, мониторинга и контроля и к способам использования таких систем. Конкретная реализация может работать совместно с системой, предоставляющей внешние данные, например, с рассматриваемой здесь расчетной системой транзакций пункта продаж (POS, point of sale), однако информация может предоставляться из любой внешней системы данных, работающей с транзакциями и имеющей отношение к операциям в оздоровительных центрах, ресторанах и т.п.

Уровень техники

Коммерческие компании, стремясь повысить свои обороты и эффективность, непрерывно работают над поиском способов идентификации конкретного поведения пользователей. Например, изучая поведение пользователя в сфере розничной торговли, компании могут увеличить продажи и снизить потери товара. Если говорить о потерях, то их наиболее значительной составляющей в розничной торговле являются кражи материальных ценностей, совершаемые работниками. Поэтому компании стремятся изучать поведение пользователя с целью снижения и, в итоге, устранения потерь материальных ценностей.

Для предотвращения потерь материальных ценностей вследствие действий работников компании используют различные средства. В розничных магазинах к предметам, которые могут быть похищены, крепят электронные устройства, вызывающие срабатывание сигнализации, но покупатели и/или работники могут деактивировать эти устройства до выноса предмета из магазина. Некоторые предприятия розничной торговли практикуют проверку сумок и/или тележек как у покупателей, так и у работников; на других внедрен видеоконтроль транзакций в пунктах продаж с целью обнаружения транзакций, проводимых с возможным нарушением установленных правил. В большинстве способов внимание сосредоточено на идентификации индивидуальных проявлений, а не на изучении базовых актов поведения пользователя, имеющего место в ходе таких событий. По этой причине компании не могут направить свои усилия на устранение условий, из-за которых у людей появляется возможность совершения хищений.

Раскрытие изобретения

Варианты осуществления настоящего изобретения раскрыты здесь в контексте борьбы с потерями материальных ценностей в розничной торговле, но раскрытые здесь системы и способы могут быть использованы и в других отраслях, связанных с розничными продажами и обслуживанием посетителей, например, в оздоровительных центрах, ресторанах и т.п.

В одном аспекте настоящее изобретение относится к системе для формирования материалов расследования поведения пользователя в режиме реального времени. В примерном варианте осуществления система содержит видеокамеру, выполненную с возможностью съемки видеоматериала о действиях пользователя, модуль анализа видеоматериала, выполненный с возможностью осуществления обработки отснятого видеоматериала в режиме реального времени с целью формирования невизуальных данных из видеоматериала, и компьютер, выполненный с возможностью приема видеоданных и невизуальных данных из видеокамеры. Компьютер содержит модуль видеоанализа, выполненный с возможностью анализа либо видеоданных, либо невизуальных данных с целью идентификации проявлений конкретного поведения пользователя, и модуль формирования материалов расследования, выполненный с возможностью формирования материалов расследования, содержащих по меньшей мере одну видеопоследовательность с конкретным поведением пользователя. В некоторых вариантах осуществления материалы расследования формируются в режиме, близком к реальному времени. Конкретное поведение пользователя может быть определено как действие, бездействие, движение, множество проявлений события, длящееся событие и/или внешнее событие.

В некоторых вариантах осуществления модуль формирования материалов расследования выполняет привязку внешних данных к материалам расследования. В некоторых вариантах осуществления компьютер принимает внешние данные из расчетной системы пункта продаж, и внешние данные содержат по меньшей мере одну транзакцию пункта продаж. В некоторых вариантах осуществления конкретное поведение пользователя может определяться моделью конкретного поведения пользователя. В вариантах осуществления модуль видеоанализа содержит модуль сравнения, выполненный с возможностью сравнения модели конкретного поведения пользователя и невизуальных данных.

В некоторых вариантах осуществления модуль формирования материалов расследования выполнен с возможностью одновременного ведения и наполнения множества отдельных материалов расследования.

В еще одном аспекте настоящее изобретение относится к системе для формирования материалов расследования поведения пользователя в режиме реального времени. Примерный вариант осуществления системы содержит видеокамеру, выполненную с возможностью съемки видеоматериала о действиях пользователя, модуль анализа видеоматериала, выполненный с возможностью осуществления обработки отснятого видеоматериала в режиме реального времени с целью формирования невизуальных данных из видеоматериала, и компьютер, выполненный с возможностью приема видеоданных и невизуальных данных из видеокамеры. Компьютер содержит модуль видеоанализа, выполненный с возможностью анализа либо видеоданных, либо невизуальных данных с целью идентификации проявлений конкретного поведения пользователя, и модуль формирования материалов расследования, выполненный с возможностью привязки видеопоследовательности, относящейся к идентифицированному проявлению конкретного поведения пользователя, к материалам расследования. В некоторых вариантах осуществления изобретения материалы расследования формируются в режиме, близком к реальному времени. В некоторых вариантах осуществления изобретения модуль формирования материалов анализ выполняет привязку внешних данных к материалам расследования. В некоторых вариантах осуществления изобретения компьютер принимает внешние данные из расчетной системы пункта продаж. Указанные внешние данные содержат по меньшей мере одну транзакцию пункта продаж.

В некоторых вариантах осуществления модуль формирования материалов расследования выполнен с возможностью одновременного ведения и наполнения множества отдельных материалов расследования. В некоторых вариантах осуществления конкретное поведение пользователя определено как по меньшей мере одно из следующего: действие, бездействие, движение, множество проявлений события, длящееся событие, внешнее событие. В некоторых вариантах осуществления конкретное поведение пользователя определено моделью конкретного поведения пользователя. Модуль видеоанализа содержит модуль сравнения, выполненный с возможностью сравнения модели конкретного поведения пользователя и невизуальных данных.

В еще одном аспекте настоящее раскрытие относится к способу анализа поведения. В примерном варианте осуществления способ включает прием видеоматериала из камеры и формирование из видеоматериала невизуальных данных. Невизуальные данные содержат невизуальные данные, относящиеся к поведению пользователя. Способ включает идентификацию конкретного поведения пользователя, идентификацию по меньшей мере одного проявления конкретного поведения пользователя в видеоданных и формирование материалов расследования, относящихся к конкретному поведению пользователя.

В некоторых вариантах осуществления способ включает определение конкретного поведения пользователя как по меньшей мере одного из следующего: действие, бездействие, движение, множество проявлений события, длящееся событие, внешнее событие.

В еще одном аспекте настоящее изобретение относится к долговременному машиночитаемому носителю информации, содержащему программное обеспечение для контроля транзакций пункта продаж, которое при выполнении компьютерной системой обеспечивает выполнение компьютерной системой приема видеоматериала из камеры, формирования из видеоматериала невизуальных данных, идентификацию конкретного поведения пользователя, идентификацию проявления конкретного поведения пользователя, содержащегося в невизуальных данных, и формирования материалов расследования, относящихся к идентифицированному проявлению конкретного поведения пользователя. В некоторых вариантах осуществления материалы расследования содержат видеоматериал с проявлением конкретного поведения пользователя, содержащимся в невизуальных данных. В некоторых вариантах осуществления изобретения программное обеспечение обеспечивает выполнение компьютерной системой приема из расчетной системы пункта продаж внешних данных транзакции операции пункта продаж, содержащих по меньшей мере одну индивидуальную транзакцию. В некоторых вариантах осуществления изобретения программное обеспечение обеспечивает выполнение компьютером идентификации конкретного поведения пользователя, соотнесенного по времени с по меньшей мере одной индивидуальной транзакцией. В некоторых вариантах осуществления программное обеспечение обеспечивает передачу компьютером данных, относящихся к по меньшей мере одной индивидуальной операции, в материалы расследования. В некоторых вариантах осуществления изобретения программное обеспечение обеспечивает выполнение компьютером определения конкретного поведения пользователя как по меньшей мере одного из следующего: действие, бездействие, движение, множество проявлений события, длящееся событие, внешнее событие.

В еще одном аспекте настоящего изобретения примерный вариант осуществления долговременного машиночитаемого носителя информации содержит программное обеспечение для контроля поведения пользователя, которое при выполнении компьютерной системой обеспечивает выполнение компьютерной системой приема из камеры невизуальных данных, содержащих данные информации о поведении пользователя, идентификации конкретного поведения пользователя, идентификации проявления конкретного поведения пользователя в невизуальных данных, идентификации видеоматериала с идентифицированным проявлением конкретного поведения пользователя и формирования материалов расследования, относящихся к идентифицированному проявлению указанного конкретного поведения пользователя и содержащих идентифицированный видеоматериал. В некоторых вариантах осуществления изобретения программное обеспечение обеспечивает выполнение компьютером определения конкретного поведения пользователя как по меньшей мере одного из следующего: действие, бездействие, движение, множество проявлений события, длящееся событие, внешнее событие. В некоторых вариантах осуществления конкретное поведение пользователя определено моделью конкретного поведения пользователя. Шаг идентификации проявления содержит сравнение модели конкретного поведения пользователя с невизуальными данными. В некоторых вариантах осуществления программное обеспечение обеспечивает выполнение компьютером приема з расчетной системы пункта продаж внешних данных, причем внешние данные содержат по меньшей мере одну транзакцию пункта продаж, и идентификации проявления конкретного поведения пользователя в невизуальных данных, относящихся к по меньшей мере одной транзакции пункта продаж. В некоторых вариантах осуществления программное обеспечение обеспечивает предоставление компьютером данных, относящихся к по меньшей мере одному пункту продаж, в материалах расследования.

Термином «видеокамера» может обозначаться устройство записи визуальной информации. В число примеров видеокамеры может входить одно или более из следующих устройств: система с регистратором видеоизображения и объективом; видеокамера; цифровая видеокамера; цветная камера; монохромная камера; фотоаппарат; видеокамера, совмещенная с устройством записи; компьютерная камера; веб-камера; инфракрасная (ИК) видеокамера; видеокамера для работы при малой освещенности; тепловая видеокамера; камера системы видеонаблюдения; камера с управлением ориентацией и панорамированием; устройство для восприятия видеоинформации. Видеокамера может быть расположена с целью наблюдения за определенной зоной.

Термином «видеоматериал» может обозначаться видеоизображение, полученное из видеокамеры и представленное в аналоговой и/или в цифровой форме. В число примеров видеоматериала могут входить: телевизионное изображение; фильм; последовательность изображений из видеокамеры или другого устройства наблюдения; последовательность изображений из передачи, ведущейся в реальном времени; последовательность изображений, сформированная компьютером; последовательность изображений из компьютерной графической системы; последовательность изображений из запоминающего устройства, например, из машиночитаемого носителя информации, цифрового видеодиска (digital video disk, DVD) или диска высокого разрешения (high-definition disk, HDD); последовательность изображений из интерфейса на основе IEEE 1394; последовательность изображений из устройства преобразования видеоизображения в цифровую форму; или последовательность изображений из сети.

«Видеоданные» представляют собой визуальную часть видеоматериала.

«Невизуальные данные» представляют собой невизуальную информацию, извлеченную из видеоданных.

Термином «видеопоследовательность» может обозначаться выбранная часть видеоданных и/или невизуальных данных.

Термином «обработка видеоматериала» может обозначаться любая операция с видеоданными и/или анализ видеоданных, в том числе, например, сжатие, монтаж и выполнение алгоритма, формирующего невизуальные данные из видеоматериала.

Термином «кадр» может обозначаться конкретное изображение или иной дискретный элемент видеоматериала.

Термином «компьютер» может обозначаться одно или более устройств и/или одна или более систем, выполненных с возможностью приема структурированных входных данных, обработки указанных данных в соответствии с предписанными правилами и формирования результатов указанной обработки в виде выходных данных. В число примеров компьютера могут входить: компьютер; стационарный и/или портативный компьютер; компьютер с одним процессором, несколькими процессорами или с многоядерными процессорами, которые могут работать параллельно и/или не параллельно; компьютер общего назначения; суперкомпьютер; электронная вычислительная машина коллективного пользования; сверхминиатюрный компьютер; мини-компьютер; рабочая станция; микрокомпьютер; сервер; клиент; устройство интерактивного телевидения; бытовой прибор с подключением к интернету; телекоммуникационное устройство с доступом в интернет; гибридная комбинация компьютера и устройства интерактивного телевидения; портативный компьютер; планшетный персональный компьютер (ПК); карманный персональный компьютер (КПК); портативный телефон; специализированное аппаратное средство для эмуляции компьютера и/или программы, например, цифровой сигнальный процессор (digital signal processor, DSP), перепрограммируемая матрица логических элементов (field-programmable gate array, FPGA), интегральная схема специального назначения (application specific integrated circuit, ASIC), процессор с набором команд специального назначения (application specific instruction-set processor, ASIP), микросхема, микросхемы или набор микросхем; однокристальная электронная система (system on a chip, SoC) или многопроцессорная однокристальная электронная система (multiprocessor system-on-chip, MPSoC); оптический компьютер; квантовый компьютер; биологический компьютер; и устройство, выполненное с возможностью приема данных, с возможностью обработки данных в соответствии с одной или несколькими сохраненными программами, реализованными программным способом, с возможностью формирования результатов, которое, как правило, может содержать модули ввода, вывода, хранения, арифметических операций, логических операций и управления.

Термином «программное обеспечение» могут обозначаться предписанные правила для работы компьютера. В число примеров программного обеспечения могут входить: программное обеспечение; сегменты кода; команды; апплеты; предварительно откомпилированный код; компилированный код; интерпретированный код; компьютерные программы; и запрограммированная логика.

Термином «машиночитаемый носитель информации» может обозначаться любое запоминающее устройство, используемое для хранения данных и выполненное с возможностью использования компьютером. В число примеров машиночитаемого носителя информации могут входить: магнитный жесткий диск; гибкий диск; оптический диск, например, CD-ROM и DVD; магнитная лента; съемная флэш-память; микросхема памяти; и/или другие типы носителей информации, выполненные с возможностью хранения в себе машиночитаемых команд.

Термином «компьютерная система» может обозначаться система, содержащая один или более компьютеров, в которой каждый компьютер может содержать машиночитаемый носитель информации, содержащий в своем составе программное обеспечение для работы компьютера. В число примеров компьютерной системы могут входить: распределенная компьютерная система для обработки информации посредством компьютерных систем, связанных сетью; две или более компьютерных системы, соединенные через сеть с целью передачи и/или приема информации между указанными компьютерными системами; и одно или несколько устройств и/или одна или несколько систем, которые выполнены с возможностью приема данных, с возможностью обработки данных в соответствии с одной или более сохраненными программами, с возможностью формирования результатов, и которые, как правило, могут содержать модули ввода, вывода, хранения, арифметических операций, логических операций и управления.

Термином «сеть» могут обозначаться несколько компьютеров и относящихся к ним устройств, которые могут быть соединены между собой средствами связи. В сети могут использоваться постоянные соединения, например, кабели, или временные соединения, например, устанавливаемые через телефонные или другие линии связи. Сеть может дополнительно содержать проводные соединения (к примеру, коаксиальный кабель, витую пару, волоконно-оптический кабель, волноводы и т.д.) и/или беспроводные соединения (к примеру, радиочастотные сигналы, оптические сигналы в свободном пространстве, акустические сигналы и т.д.). В число примеров сети могут входить: межсетевая сеть, например, интернет; внутренняя сеть (интранет); локальная сеть (local area network, LAN); распределенная сеть (wide area network, WAN); и комбинация сетей, например, интернета и интранета. Предлагаемые в качестве примера сети могут работать с использованием произвольного количества протоколов, например, межсетевого протокола (Internet protocol, IP), протокола асинхронного режима передачи (asynchronous transfer mode, ATM) и/или протокола синхронной оптической сети (synchronous optical network, SONET), протокола передачи пользовательских данных (user datagram protocol, UDP), протокола IEEE 802.x и т.д.

Краткое описание чертежей

Фиг. 1 представляет системную функциональную схему варианта осуществления системы видеонаблюдения, мониторинга и контроля в соответствии с настоящим раскрытием.

Фиг. 2 представляет вид экрана варианта осуществления модуля 200 материалов расследования, отображающего материалы расследования в соответствии с настоящим раскрытием.

Осуществление изобретения

Далее со ссылкой на сопровождающие чертежи раскрываются конкретные варианты осуществления настоящего изобретения, однако должно быть понятно, что раскрытые варианты представляют собой лишь примеры осуществления изобретения, которое может быть осуществлено в различных формах. Чтобы не загромождать настоящее раскрытие ненужными подробностями, хорошо известные функциональные модули или конструкции не описываются подробно. Поэтому раскрытые здесь конкретные подробности структуры и функционирования должны интерпретироваться не как ограничивающие, а лишь как основа для формулирования изобретения и как иллюстративная основа для ориентированного на специалиста в данной области техники пояснения различных вариантов осуществления настоящего изобретения в практически любой должным образом детализированной структуре. В описании и чертежах подобными номерами представлены элементы, которые могут выполнять одинаковые, подобные или эквивалентные функции.

Кроме того, настоящее изобретение может быть раскрыто здесь посредством компонентов функциональных блоков, листингов кода, элементов выбора, экранов отображения страниц и различных шагов обработки. Должно быть понятно, что такие функциональные блоки могут быть осуществлены посредством произвольного количества аппаратных и/или программных компонентов, выполненных с возможностью реализации определенных функций. Например, в вариантах осуществления настоящего изобретения могут использоваться различные компоненты, представляющие собой интегральные схемы, к примеру, элементы памяти, элементы, обрабатывающие информацию, логические элементы, таблицы соответствия и т.п., которые могут выполнять разнообразные функции под управлением одного или более микропроцессоров или иных управляющих устройств.

Аналогично, программные элементы настоящего изобретения могут быть осуществлены с использованием любого языка программирования или языка описания сценариев, например, С, С++, С#, Java, COBOL, ассемблер, PERL, Python, PHP и т.п. с реализацией различных алгоритмов посредством произвольной комбинации структур данных, объектов, операций, подпрограмм или иных программных элементов. Созданный объектный код может исполняться под управлением различных операционных систем, включая Windows®, Macintosh OSX®, iOS®, linux и/или Android®, но не ограничиваясь перечисленным.

Кроме того, следует отметить, что в вариантах осуществления настоящего изобретения может использоваться произвольное количество общеизвестных способов передачи данных, сигнализации, обработки данных, управления сетью и т.п.Следует понимать, что представленные и раскрытые здесь конкретные варианты осуществления предназначены лишь для иллюстрации изобретения и предпочтительного варианта его осуществления, но не подразумевают какого-либо ограничения объема настоящего изобретения. В представленных здесь примерах могут содержаться образцы элементов данных (к примеру, имена, даты и т.д.), которые служат лишь для пояснения и не должны пониматься как ограничивающие. Для краткости здесь могут не описываться подробно обычные сети передачи данных, разработка прикладных программ и другие функциональные аспекты систем (и компоненты отдельных функциональных элементов систем). Соединительные линии, представленные на различных фигурах чертежей, входящих в состав настоящего документа, предназначены для представления примера функциональных взаимосвязей и/или физических или виртуальных соединений между различными элементами. Следует отметить, что на практике в электронной системе передачи данных может быть множество альтернативных или дополнительных функциональных взаимосвязей и физических или виртуальных соединений.

Специалисту в данной области техники должно быть понятно, что настоящее изобретение может быть осуществлено в виде способа, системы обработки данных, устройства для обработки данных и/или компьютерного программного продукта. Соответственно, настоящее изобретения может принимать форму полностью программного варианта осуществления, полностью аппаратного варианта осуществления или варианта осуществления, сочетающего как программный аспект, так и аппаратный аспект. Кроме того, варианты осуществления настоящего изобретения могут принимать форму компьютерного программного продукта на машиночитаемом носителе информации, содержащего машиночитаемые программные кодовые средства, входящие в состав указанного носителя информации. Может быть использован любой пригодный машиночитаемый носитель информации, в том числе жесткие диски, диски CD-ROM, DVD-ROM, оптические запоминающие устройства, магнитные запоминающие устройства, полупроводниковые запоминающие устройства (к примеру, портативные запоминающие устройства с интерфейсом USB) и т.п.

В содержащемся здесь обсуждении термины «элемент пользовательского интерфейса» и/или «кнопка» следует понимать как неограничивающие, охватывающие своим содержанием и другие элементы интерфейса, например, без ограничений, гиперссылку, изображение, представляющее собой гиперссылку, и т.п.

Варианты осуществления настоящего изобретения далее описываются со ссылкой на иллюстративные функциональные схемы и диаграммы способов, устройств (к примеру, систем) и компьютерных программных продуктов в соответствии с различными аспектами настоящего изобретения. Следует понимать, что любые функциональные блоки иллюстративных функциональных схем и диаграмм, а также комбинации функциональных блоков, показанные на функциональных схемах и диаграммах, соответственно, могут быть осуществлены посредством команд компьютерной программы. Эти команды компьютерной программы могут быть загружены в компьютер общего назначения, в компьютер специального назначения, в мобильное устройство или в другое программируемое устройство обработки данных с целью реализации устройства, функционирующего таким образом, что посредством команд, исполняемых этим компьютером или другим программируемым устройством обработки, создается средство реализации функций, указанных в блоке или блоках схемы.

Эти команды компьютерной программы также могут быть сохранены в машиночитаемой памяти, которая может управлять компьютером или другим программируемым устройством обработки данных для обеспечения его функционирования определенным образом, т.е. команды, сохраненные в этой машиночитаемой памяти, создают изделие, содержащее командные средства, реализующие функцию, указанную в блоке или блоках блок-схемы. Эти команды компьютерной программы также могут быть загружены в компьютер или другое программируемое устройство обработки данных с целью инициирования выполнения на указанном компьютере или другом программируемом устройстве обработки данных последовательности рабочих шагов, реализующей выполняемую компьютером операцию таким образом, что посредством команд, исполняемых этим компьютером или другим программируемым устройством, создаются шаги реализации функций, указанных в блоке или блоках схемы.

Соответственно, функциональные блоки иллюстративных функциональных схем и диаграмм допускают комбинирование средств выполнения указанных функций, комбинирование шагов выполнения указанных функций и средств реализации указанных функций посредством команд программы. Также следует понимать, что любые функциональные блоки иллюстративных функциональных схем и диаграмм, а также комбинации функциональных блоков, показанные на функциональных схемах и диаграммах, могут быть осуществлены как аппаратно реализованной компьютерной системой специального назначения, выполняющей указанные функции или шаги, так и пригодными для этой цели комбинациями аппаратуры специального назначения и компьютерных команд.

Специалисту в данной области техники также должно быть понятно, что по соображениям безопасности какие-либо базы данных, системы или компоненты вариантов осуществления настоящего изобретения могут состоять из произвольной комбинации баз данных или компонентов, находящихся в одном месте или в нескольких местах, при этом каждая база данных или система содержит любые пригодные для это цели средства защиты, например, межсетевые экраны, коды доступа, шифрование, дешифрование, сжатие, восстановление сжатых данных и т.п.

Объем настоящего изобретения следует определять по прилагаемой формуле изобретения и ее законным эквивалентам, а не по приведенным здесь примерам. Например, шаги, изложенные в каком-либо способе формулы изобретения, могут выполняться в произвольном порядке и не ограничены порядком, представленном в формуле изобретения. Кроме того, ни один элемент не является принципиально важным для практического осуществления изобретения, если явным образом не указано, что элемент является принципиально важным или существенным.

Со ссылкой на фиг. 1 представлена система 100 видеонаблюдения, мониторинга и контроля в соответствии с вариантом осуществления настоящего изобретения. Система 100 представляет собой сетевое видеозаписывающее устройство, выполненное с возможностью записи видеоматериала из одной или более камер 110 (к примеру, аналоговых камер и/или IP-камер). Система 110 содержит одну или более видеокамер 110, соединенных с компьютером 120 посредством соединения 130. Соединением 130 может быть аналоговое соединение, посредством которого видеоматериал передается в компьютер 120, цифровое соединение, посредством которого обеспечивается сетевое соединение между видеокамерой 110 и компьютером 120, либо соединение 130 может содержать аналоговое соединение и цифровое соединение.

Система 100 может содержать одну или более видеокамер 110, причем каждая видеокамера 110 подключается к компьютеру 100, пользовательский интерфейс 122, образуя тем самым пользовательское подключение к компьютеру 120. Каждая из указанных одной или более видеокамер 110 может подключаться через индивидуальное соединение, может подключаться через общее сетевое соединение или через любое сочетание указанных соединений.

Система 100 содержит по меньшей мере один модуль 120 видеоанализа. Модуль 140 видеоанализа может находиться в компьютере 120 и/или в одной или более видеокамерах 110. Модуль 140 видеоанализа выполняет обработку видеоматериала. В частности, модуль 140 видеоанализа выполняет один или более алгоритмов формирования невизуальных данных из видеоматериала. Невизуальные данные содержат невизуальные данные кадра, описывающие содержание отдельных кадров, например, объекты, идентифицированные в кадре, одно или более свойств объектов, идентифицированных в кадре, и одно или более свойств, относящихся к заранее определенным частям кадра. В число невизуальных данных также могут входить невизуальные данные, зависящие от времени (длящиеся данные), описывающие длящееся во времени содержание между двумя или большим числом кадров. Невизуальные данные, зависящие от времени, могут формироваться из визуальных и/или из невизуальных данных кадра. Невизуальные данные, зависящие от времени, содержат данные, зависящие от времени, например, зависящие от времени свойства объекта, идентифицированного на двух или более кадрах, и зависящее от времени свойство одной или более заранее определенных частей двух или более кадров. В число невизуальных данных кадра может входить количество идентифицированных объектов (в число объектов, к примеру, могут входить люди и/или произвольные части их тел, неживые объекты, животные, транспортные средства либо заданные пользователем и/или возникающие объекты) и одно или более свойств объекта (к примеру, положение объекта, положение произвольной части объекта, размерные свойства объекта, размерные свойства частей и/или идентифицированные особенности объекта) и свойств взаимосвязей (к примеру, положение первого объекта относительно второго объекта или любого другого объекта, который может быть обнаружен в кадре). Объекты могут быть идентифицированы как объекты, появившиеся в видеоматериале, или объекты, исчезнувшие из видеоматериала.

Модуль 140 видеоанализа, находящийся в камере 110, преобразует видеоматериал в видеоданные и невизуальные данные, и камера 110 передает указанные видеоданные и невизуальные данные в компьютер 120 через сеть. Таким образом система 100 переносит обработку видеоматериала на периферию сети, чем минимизирует объем обработки, который должен выполняться компьютером 120.

Компьютер 120 может быть соединен с внешней системой 150, предоставляющей информацию, связанную с видеоматериалом. Например, внешней системой 150 может быть расчетная система пункта продаж, передающая в компьютер информацию о транзакциях пункта продаж. Компьютер 120 может содержать модуль 190 пункта продаж, принимающий информацию о транзакциях пункта продаж и преобразующий указанную информацию в события. Например, модуль 190 пункта продаж может принимать описания данных содержания указанных данных пункта продаж. Модуль 190 пункта продаж формирует события на основании задаваемого пользователем поведения, рассматриваемого далее.

Компьютер 120 содержит машиночитаемый носитель информации, содержащий программное обеспечение для контроля поведения пользователя, которое при исполнении компьютером 120 обеспечивает выполнение операций компьютером 120. Пользовательский интерфейс 122 обеспечивает интерфейс с компьютером 120. Пользовательский интерфейс 122 может подключаться непосредственно к компьютеру 120 или может опосредованно подключаться к компьютеру 120 через сеть пользователя.

Поведение пользователя задается как действие, бездействие, движение, множество проявлений события, длящееся событие (событие, зависящее от времени), внешнее событие или любое сочетание перечисленных элементов. Конкретное поведение пользователя задается и сообщается в компьютер 120.

Действие может содержать касание объекта рукой, например, выбор товара на полке в розничном магазине или получение талона заказа в отделе деликатесов. Действие может содержать взятие объекта, при котором объект размещают или оставляют в определенном местоположении. Действие может содержать перемещение определенного объекта, например, открывание двери, выдвижного ящика или ячейки. Действие может содержать расположение (или изменение положения) части тела, например, помещение руки в карман после совершения операции розничной продажи. Действие может содержать движение в определенное место, прикосновение одного человека к другому человеку и/или перемещение кисти руки, руки, ноги и/или ступни в ходе определенного движения. Действие также может содержать расположение головы в определенном направлении, например, прямой взгляд на кабинет руководителя или в камеру 110 охраны. Другие примеры рассматриваются далее. Действия также могут содержать движения, результатом которых может стать нарушение санитарных норм, например, прикосновения сотрудников отдела деликатесов к своим лицам при выполнении заказов.

Бездействие может содержать невзятие объекта, когда объект уронили или разместили определенным образом, а человек (к примеру, объект) не поднял упавший объект. Бездействие также может содержать невыполнение функции, в которой должно быть совершено действие, например, невыдачу кассового чека, сдачи или денег, затребованных покупателем при выполнении дебетовой транзакции. Бездействие также может содержать непомещение денег, принятых от покупателя, в кассу и/или в щель ящика для денег. Бездействие также может содержать невыполнение инспекции, требующей совершения движения телом или головой, например, проверки пространства под магазинной тележкой в ходе операции розничной продажи. Бездействие также может содержать неприбытие в определенное место или невыполнение определенной функции. Например, чтобы проверить, заперта ли дверь запасного выхода, требуется действие, состоящее в приближении к двери, и действие, состоящее в приложении усилия к двери с целью убедиться в том, что дверь не откроется. При этом поведение пользователя при проверке того, заперта ли дверь, может быть задано как бездействие - невыполнение приближения к двери и/или как бездействие - невыполнение надавливания на дверь. В оздоровительном центре примером бездействия будет непомещение членской карточки в считывающее устройство (признак того, что вошел человек, не имеющий членства в данном центре). Примером бездействия является невыполненное охраной патрулирование заданных зон через заданные интервалы времени или в заданные моменты времени.

Движение может содержать движение, выполняемое электронной системой, например, выход части чека покупателя после сканирования товара или развертывание рулона лотерейных билетов. Движение также может содержать движение предметов на конвейере после операции пункта продаж.

Множеством проявлений события может быть комбинация связанных отдельных событий. Например, множество событий может содержать события, которые требуют контроля руководителем, или множество событий может содержать извлечение объекта из защитного футляра и последующую операцию пункта продаж, или операцию пункта продаж, которая не содержит предмет, находящийся в указанном защитном футляре.

Длящееся событие может содержать обнаружение покупателя, внезапно покинувшего магазин, человека, долго находящегося у входа в магазин или у выхода из магазина, человека, находящегося в определенном месте в течение периода времени, превосходящего порог.

Внешние события могут содержать операции, о которых сообщено из расчетной системы пункта продаж, из системы управления условиями в помещении (к примеру, из системы отопления, охлаждения и/или освещения) или из любой другой системы, выполненной с возможностью генерирования внешних событий и/или сообщения о внешних событиях. Сообщения о внешних событиях могут передаваться через любое пригодное соединение, например, через проводное соединение и/или сеть.

Пользователь идентифицирует конкретное поведение пользователя и передает и/или задает характеристики этого конкретного поведения пользователя в компьютере 120. Компьютер 120 принимает невизуальные данные из камеры 110, причем эти невизуальные данные содержат данные информации о поведении. Конкретное поведение пользователя может быть задано как модель поведения, которая содержит один или более атрибут, например, размер, форму, длину, ширину, отношение длин или иной идентифицирующий или пригодный для идентификации атрибут. Компьютер 120 содержит алгоритм 195 проверки соответствия, например, компаратор, который сравнивает определенные характеристики и/или модель конкретного поведения пользователя с поведением пользователя, определяемым указанными невизуальными данными. Указание на соответствие в алгоритме 195 проверки соответствия формирует материалы расследования, содержащие видеоданные и невизуальные данные, идентифицированные алгоритмом 195 проверки соответствия. Алгоритм 195 проверки соответствия может быть реализован в виде независимого модуля или может быть встроен в модуль 140 видеоанализа в компьютере 120 или в любой камере 110.

Конкретное поведение пользователя может быть задано как помещение руки кассира в карман в течение заранее заданного периода после транзакции пункта продаж. Это конкретное поведение пользователя является признаком того, что кассир не выдал покупателю правильную сдачу и «прикарманил» разницу. Модуль 140 видеоанализа выполняет алгоритм формирования невизуальных данных, идентифицирующий кассира, руку кассира и движение руки кассира. Модуль 190 пункта продаж, используя данные, принятые из внешней системы 150 (к примеру, из расчетной системы пункта продаж) идентифицирует событие, соответствующее завершению операции пункта продаж, а алгоритм 195 проверки соответствия ищет невизуальные данные в заранее определенном периоде времени после завершения транзакции пункта продаж с целью проверить, не помещал ли кассир руку в свой карман. При соответствии транзакции пункта продаж и помещения руки в карман во времени формируются материалы расследования.

Модуль 140 видеоанализа может содержать модуль сравнения, выполненный с возможностью сравнения модели конкретного поведения пользователя и невизуальных данных.

Конкретное поведение пользователя может быть задано как превышение заранее заданного периода ориентирования головы в направлении камеры 110 наблюдения или превышение заранее заданного периода ориентирования головы в направлении кабинета руководителя. Такое конкретное поведение пользователя является признаком того, что покупатель пытается найти камеры 100 наблюдения в магазине в попытке предотвратить свое обнаружение при совершении кражи, или того, что один из работников хочет проверить, наблюдает ли руководитель за их поведением. Модуль 140 видеоанализа выполняет алгоритм формирования невизуальных данных, идентифицирующий положение головы объектов наблюдения. Модуль 140 видеоанализа также может сообщать вектор, указывающий ориентацию лица. Алгоритм 140 проверки соответствия выполняет поиск в невизуальных данных с целью проверки превышения длительностью определенного положения головы и/или определенного вектора, указывающего ориентацию лица, заранее заданного периода. При обнаружении соответствия формируются материалы.

Конкретное поведение пользователя может быть задано, например, как бездействие кассира, не выдавшего покупателю деньги после совершения покупки с использованием дебетовой карты с возвратом наличных (cash-back). Дебетовая транзакция с во наличных денег требует от кассира выполнения двух движений. Первое движение представляет собой извлечение денег из выдвижного ящика, предназначенного для хранения денег, а второе движение представляет собой передачу денег покупателю. Невыполнение первого и второго движений после операции с использованием дебетовой карты с возвратом наличных является признаком того, что покупатель не получил деньги, которые должен был получить. Модуль 140 видеоанализа выполняет алгоритм формирования невизуальных данных, идентифицирующий кассира, руку кассира и движение руки кассира. Модуль 190 пункта продаж идентифицирует событие, соответствующее завершению транзакции пункта продаж с возвратом наличных, а алгоритм 195 проверки соответствия выполняет поиск невизуальных данных в заранее определенном периоде после завершения транзакции пункта продаж с целью проверить, совершила ли рука кассира первое и второе движения. При обнаружении соответствия формируются материалы расследования.

Материалы расследования представляют собой подборку данных, относящихся к идентифицированному событию. В материалах расследования просто ведется документирование поведения, представляющего интерес. При этом материалы расследования требуют последующего контроля и инспекции с целью изучения конкретного поведения. В материалах расследования могут документироваться предпочтения покупателя, например, почему покупатель выбрал определенный товар, как покупатель совершает покупки определенного товара, количество элементов упаковки, которое покупатель просматривает до того, как сделать выбор. В качестве примеров не из сферы розничной торговли можно привести то, как посетитель выбирает стол в ресторане; время, которое клиент уделяет чтению определенной рекламы; афиша какого фильма привлекает интерес зрителей, идущих в кинотеатр.

В некоторых случаях материалы расследования способствуют раскрытию противозаконных действий. Например, материалы расследования, сформированные после идентификации поведения пользователя, в котором в течение заранее заданного периода после транзакции пункта продаж кассир помещает свою руку в карман, содержит видеофрагмент с указанной транзакцией пункта продаж. Материалы расследования также могут содержать отчет о транзакции пункта продаж. Сотруднику, ответственному за предотвращение потерь, сообщается об открытии новых материалов расследования, и указанные материалы расследования могут быть проинспектированы через любой пригодный пользовательский интерфейс (к примеру, компьютер, планшетный компьютер, IPad, портативное интеллектуальное устройство или любое другое пригодное устройство).

Сотрудник, ответственный за предотвращение потерь, получает материалы расследования в течение нескольких секунд после реального события. Обработка видеоданных, транзакция пункта продаж и ее обработка, выполнение алгоритма 195 проверки соответствия и формирование материалов расследования выполняются режиме, близком к реальному времени. При этом материалы расследования, содержащие все данные и видеоматериалы, требуемые для инспекции и анализа поведения пользователя, электронным образом передаются в пользовательский интерфейс сотрудника, ответственного за предотвращение потерь.

Материалы расследования, сформированные после идентификации ориентирования головы в направлении камеры наблюдения 110 в течение заранее заданного периода или ориентирования головы в направлении кабинета руководителя в течение заранее заданного периода, могут содержать множество видеопоследовательностей, относящихся к этому конкретному поведению. Например, материалы расследования открываются при идентификации первого проявления данного поведения пользователя. Материалы расследования остаются открытыми и при последующих проявлениях данного поведения (к примеру, такого же поведения и/или другого поведения, связанного с данным поведением) в материалы расследования добавляются дополнительные видеопоследовательности. Сотрудник, ответственный за предотвращение потерь, извещается об открытии материалов расследования, и может вести наблюдение за дальнейшими материалами расследования, а система 100 в это время продолжает пополнение материалов расследования видеопоследовательностями.

Материалы дела пополняются одним или более видеопоследовательностями, в которых конкретное лицо проявляет определенное поведение пользователя, или материалы расследования пополняются видеофрагментами, в которых любое лицо проявляет конкретное поведение пользователя. Например, потери материальных ценностей могут возникать вследствие действий одного злоумышленника или группы совместно действующих злоумышленников. При этом система 100 может быть выполнена с возможностью пополнения материалов расследования видеоматериалами, относящимися к любым лицам, проявляющим аналогичное поведение, или материалы расследования могут открываться в отношении группы лиц, вместе вошедших в магазин или установивших контакт друг с другом при нахождении в магазине.

Система 100 предоставляет сотрудникам, ответственным за предотвращение потерь, рассматриваемые далее средства для внесения исправлений и/или добавлений в содержание материалов расследования. Например, сотрудник, ответственный за предотвращение потерь, может добавить видеопоследовательность или клип, на котором отчетливо видно лицо пользователя; видеопоследовательность, в которой зафиксирован вход человека в магазин, и/или видеофрагмент, подтверждающий другие акты противоправного поведения. Сотрудник, ответственный за предотвращение потерь, также может удалять или корректировать видеопоследовательность, автоматически добавленную в материалы расследования системой 100.

Материалы расследования могут относиться к определенному работнику. Работник может быть идентифицирован по идентификационному номеру, например, по идентификационному номеру, введенному в расчетную систему пункта продаж. Материалы расследования могут оставаться открытыми, чем создаются длящиеся материалы расследования, пополняемые дополнительными видеопоследовательностями по мере наблюдения за поведением определенного работника. Например, в отношении работника может вестись внутреннее расследование. При этом видеопоследовательности, найденные системой, добавляются в ведущиеся внутренние материалы расследования в отношении данного работника, причем для идентификации работника используются данные пункта продаж.

Фиг. 2 представляет собой вид экрана модуля 200 расследования, отображающего материалы расследования, сформированные в соответствии с вариантом осуществления настоящего изобретения. Модуль 200 расследования реализован с возможностью формирования и хранения информации, требуемой для документирования конкретного поведения пользователя.

Модуль 200 расследования содержит окно 210 просмотра с верхней и нижней полосами 212а, 212b управления просмотром, окно 214 ввода текста, окно 220 временной шкалы, окно 230 камеры, окно 240 поиска, окно 250 опций воспроизведения, окно 260а опций клипа и окно 270 работы с файлами.

Материалы расследования, автоматически сформированные системой 100, пополняются информацией, относящейся к конкретному поведению пользователя, как рассмотрено выше. Например, материалы расследования, показанные на фиг. 2, содержат первую видеопоследовательность 220а и вторую видеопоследовательность 220b, причем первая видеопоследовательность 220а получена из камеры нижнего этажа, а вторая видеопоследовательность 220b получена из камеры у лифта. В одном варианте осуществления первая видеопоследовательность 220а была представлена с использованием автоматически сформированных материалов расследования, а автоматически сформированные материалы расследования были переданы сотруднику, ответственному за предотвращение потерь.

Первая видеопоследовательность 220а выбирается в окне 220 временной шкалы и воспроизводится в окне 210 просмотра. Для пояснения в качестве примера предположим, что сотрудник, ответственный за предотвращение потерь, при просмотре первой видеопоследовательности 220а на КПК видит, как некий человек уносит принадлежащий компании портативный компьютер из зоны нижнего этажа. При формировании материалов расследования система идентифицировала это поведение пользователя как конкретное поведение пользователя, и при просмотре сотрудник, ответственный за предотвращение потерь, решает, что данные автоматически сформированные материалы расследования являются значимыми и дает данным материалам расследования ход в качестве материалов расследования кражи.

Следует иметь в виду, что автоматически сформированные материалы расследования передаются сотруднику, ответственному за предотвращение потерь, в режиме близком к реальному времени, поэтому, человек, завладевший портативным компьютером компании, мог сделать только несколько шагов от места, из которого этот портативный компьютер был унесен.

Используя КПК, сотрудник, ответственный за предотвращение потерь, продолжает вести автоматически сформированные материалы расследования (теперь материалы расследования кражи) путем просмотра соотнесенного по времени видеоматериала и видеоданных, доступных через модуль 200 расследования на КПК.

Окно 240 поиска может автоматически выбирать временной кадр, относящийся к данным материалам расследования. Шкалой времени можно вручную управлять через КПК.

Видеоматериалы и/или видеоданные из одной или более камер, указанных в окне 230 камеры, могут быть выбраны для просмотра в окне 210 просмотра. Выбирая другой экран просмотра из верхней полосы 212а управления просмотром, можно одновременно контролировать множество видеопотоков из отдельных камер (см. фиг. 1).

Нижняя полоса 212b управления просмотром дает возможность просмотра видеоматериалов в окне 210 просмотра в реальном времени или с другой выбираемой скоростью. Модуль 200 расследования определяет скорость воспроизведения материалов расследования таким образом, что автоматически вычисляемая скорость воспроизведения дает сотруднику, ответственному за предотвращение потерь, возможность просмотра каждого кадра в видеопоследовательности. Скорость записи и сохранения видеоматериала такова, что обеспечиваются возможности распознавания, превосходящие способность человеческого глаза обнаруживать небольшие движения. Устройство воспроизведения тоже может иметь аппаратные и/или программные ограничения, не позволяющие ему отображать каждый кадр видеоматериала. При этом воспроизведение видеоматериала в «реальном времени» приводит к выпадению отдельных кадров видеоматериала вследствие ограниченности возможностей человеческого зрения и/или технических ограничений дисплея компьютера. Скорость воспроизведения материалов расследования вычисляется с учетом ограниченности возможностей человеческого зрения и технических ограничений дисплея конкретного устройства, используемого для просмотра в модуле 200 расследования.

Окно 250 опций воспроизведения дает возможность воспроизведения видеопоследовательности и/или видеоматериала из каждой камеры в различных режимах. В режиме с отображением всех кадров видеоматериал воспроизводится с вычисленной скоростью воспроизведения материалов расследования, причем в ходе воспроизведения отображаются и могут быть изучены все кадры. В режиме с отображением только движения предоставляются только

видеопоследовательности, содержащие движение. В триггерном режиме отображения используются только видеопоследовательности, соотносящиеся по времени с триггером.

В число триггеров входят внутренние триггеры и внешние триггеры. В число внутренних триггеров входят триггеры движения, задаваемые пользователем и определяемые модулем 140 видеоанализа, триггеры пункта продаж, создаваемые модулем 190 пункта продаж, и анализируемые события, задаваемые на путях прохода и/или в зонах (к примеру, вход и/или выход из зоны) и определяемые модулем 140 видеоанализа. Внешние триггеры создаются внешними аппаратными устройствами, непосредственно или опосредованно подключенными к компьютеру 110.

В любом месте материалов расследования сотрудник, ответственный за предотвращение потерь, может привязать видеопоследовательность к временной шкале. Например, на фиг. 2 сотрудник, ответственный за предотвращение потерь, добавил вторую видеопоследовательность 220b в оперативное дело. Вторая видеопоследовательность 220b содержит видеоматериал, принятый из камеры, расположенной у лифта и лестничного марша. Далее предположим, что сотрудник, ответственный за предотвращение потерь, обнаружил во второй видеопоследовательности 220b подозреваемого, несущего портативный компьютер и приближающегося к лифту. Продолжая ведение материалов расследования кражи, сотрудник, ответственный за предотвращение потерь, добавляет вторую видеопоследовательность 220b на временную шкалу материалов расследования.

Сотрудник, ответственный за предотвращение потерь, может выбирать различные опции из окна 260 видеоклипа. Окно 220 временной шкалы может пополняться видеоклипами, содержащими одну или более видеопоследовательностей, неподвижное изображение, сформированное по видеопоследовательности, или текст, введенный через окно 214 ввода текста.

Видеоклип может содержать непрерывную видеопоследовательность. Как вариант, видеоклип, использующий опцию воспроизведения только движения (выбранную в окне опций 250 воспроизведения) содержит множество видеопоследовательностей, содержащих движение (к примеру, части, не содержащие движение, исключаются из данного видеоклипа). Наконец, сотрудник, ответственный за предотвращение потерь, может делать снимки кадра с целью фиксации конкретных особенностей, например, лица, определенного инструмента или предмета, использованного при совершении кражи, или любого другого значимого изображения, которое может потребоваться для дальнейшего ведения материалов расследования.

В итоге, поскольку материалы расследования формируются в режиме, близком к реальному времени, сотрудник, ответственный за предотвращение потерь, при подтверждении происходящего события кражи может поставить в известность охрану и задержать похитителя до того, как он покинет помещение.

Поскольку в вышеописанных конструкциях без выхода за пределы объема изобретения могут быть сделаны разнообразные изменения, предполагается, что все содержание вышеприведенного раскрытия должно интерпретироваться в иллюстративном и неограничивающем смысле. Можно видеть, что достигнуто несколько целей изобретения и других полезных результатов, определяемых объемом нижеследующей формулы изобретения.

Реферат

Изобретение относится к средствам для формирования материалов расследования поведения пользователя, приема видеоданных из камеры. Технический результат заключается в уменьшении вероятности хищения. Идентифицируют событие, соответствующее завершению транзакции пункта продаж в момент времени завершения транзакции пункта продаж, на основании полученных данных пункта продаж. Выполняют поиск на основании по меньшей мере одного соответствующего момента времени проявления поведения в части невизуальных данных, сформированных на основании видеоматериала, отснятого камерой в пределах заранее заданного интервала времени относительно момента времени завершения транзакции пункта продаж, в целях идентификации заранее заданного поведения пользователя, имеющего соответствие по времени с транзакцией пункта продаж, среди по меньшей мере одного проявления конкретного поведения пользователя. Формируют материалы расследования, относящихся к конкретному поведению пользователя, в ответ на идентификацию заранее заданного поведения пользователя, имеющего соответствие по времени с транзакцией пункта продаж. 5 н. и 20 з.п. ф-лы, 2 ил.

Формула