Система и способ исключения шинглов от незначимых частей из сообщения при фильтрации спама - RU2013125984A

Реферат

1. Система исключения шинглов, которые встречались только в сообщениях, не содержащих спам, при фильтрации спама, которая содержит:а) средство обработки текста, предназначенное для поиска частей текста, которые встречались только в сообщениях, не содержащих спам, которые следует исключить, путем анализа текста сообщения на наличие известных образцов текста, хранимых в базе данных образцов текста, исключения из текста сообщения найденных частей текста, которые встречались только в сообщениях, не содержащих спам, передачи сокращенного текста сообщения средству обработки шинглов;б) база данных образцов текста, предназначенная для хранения известных образцов текста, характерных для частей сообщения, которые встречались только в сообщениях, не содержащих спам;в) средство обработки шинглов, предназначенное для вычисления набора шинглов на основе сокращенного текста сообщения, поиска шинглов, которые следует исключить, путем сравнения шинглов из вычисленного набора шинглов с известными шинглами, которые хранятся в базе данных шинглов, исключения совпадающих шинглов.г) база данных шинглов, предназначенная для хранения известных шинглов, характерных для частей сообщения, которые встречались только в сообщениях, не содержащих спам.2. Система по п.1, в которой средство обработки шинглов после исключения совпадающих шинглов передает сокращенный набор шинглов средству фильтрации.3. Система по п.1, в которой дополнительно используют средство фильтрации, предназначенное для анализа сокращенного набора шинглов, по крайней мере, по одному из методов фильтрации.4. Система по п.3, в которой средство фильтрации производит