В сети Интернет важные сообщения многократно дублируются на экспоненциально растущем количестве сайтов, в то время как количество заслуживающих внимания источников растет не такими высокими темпами, скорее всего, линейно.
Выявление дублирующихся сообщений (их принято называть “дубликатами”), а также перепечаток документов с небольшими изменениями (“почти дублей”) является одной из актуальнейших и сложнейших задач. Понятие содержательных дублей документов достаточно расплывчато, до сих пор остается открытой задача анализа таких явлений, как пересказ одних и тех же событий, описание различных аспектов разными людьми.
В свое время определенные (не оправдавшиеся) надежды возлагались на развитие так называемых семантических методов, которые бы позволили оперировать непосредственно со смыслом сообщений, и таким образом избежать проблем его формализации.
С прагматической точки зрения в применении таких методов следует выделить два главных недостатка. Это существенная зависимость практической реализации метода от языка обрабатываемых дкументов (что фактически делает невозможной работу с многоязычными текстовыми массивами) и его неустойчивость: для некоторых информационных массивов результаты очень хорошие, но для других – очень плохие.
Пессимистический взгляд на применение “семантических” методов в области информационных технологий, в общем-то, вполне понятен. Действительно, семантика занимается отношением лингвистических конструкций к предметам и явлениям реального мира, тогда как компьютерные системы могут манипулировать исключительно формальными элементами. Иными словами, в рамках любой информационной технологии можно устанавливать отношения только одних лингвистических конструкций с другими лингвистическими конструкциями. Вопрос о том, в какой мере все это может отражать семантические связи, остается открытым.
С другой стороны, игнорировать семантические аспекты информационных технологий, несомненно, было бы ошибкой. Интуиция и опыт подсказывают, что понятие семантической близости документов должно иметь определенный смысл и на уровне машинной обработки текстов.
Серьезное упрощение может быть получено за счет применения содержательных методов, например, путями ранжирования первоисточников, определения и выделения тематических информационных каналов, экспертного формирования словарей значимых слов и т.п.
Преодоление использования явно дублирующейся информации не представляет проблем, однако дублирующиеся по смыслу сообщения выявляются не так легко, здесь на помощь приходят алгоритмы, базирующиеся на вероятностных оценках. На практике явные дубликаты выявляются даже с помощью механизмов контрольных сумм, но этот подход не решает проблем пользователей, для которых чаще всего не имеет значения, с чем они имеют дело: с прямой перепечаткой или с небольшой перефразировкой. Вместе с тем многие недобросовестные издания перепечатывают содержание сообщений, попросту изменяя заглавия (работа “хедлайнеров”). И такой вид дублирования элементарно обходится с помощью контрольных сумм (но уже без учета заголовков). Дальнейший анализ показал, что при перепечатке материалов чаще всего остаются без изменений несколько первых предложений текста или первый абзац. И этот критерий был учтен и успешно внедрен. Вместе с тем качество выявления содержательного дублирования оставалось недостаточно высоким.
Известны подходы, основанные на учете повторений встречаемости цепочек слов, например, метод “шинглов” (чешуек), описанный в работах [82], [103] и [110]. Этот остроумный и эффективный метод поиска “почти дублей” оказался не очень чувствительным для небольших текстов с возможными перефразировками.
Наиболее прямой путь к установлению связи между произвольным документом и семантическим пространством предполагает наличие некоторого соответствия между устойчивыми сочетаниями слов и единицами смысла. При всей своей внешней банальности, это утверждение отнюдь не тривиально, поскольку речь в нем идет именно о морфизме, но отнюдь не об эквивалентности.
Устойчивое сочетание слов само по себе вовсе не является единицей смысла. Более того, далеко не всегда единица смысла вообще может быть артикулирована с помощью набора слов. Но между наборами слов и единицами смысла всегда или почти всегда могут быть установлены (вообще говоря, неоднозначно) устойчивые отношения.
Метод выявления дубликатов, используемый, например, в системе InfoStream, в частности, заключается в признании документов дубликатами, если у них совпадает более 6 из 12 отобранных по статистическим критериям ключевых слов (термов, образующих так называемые “словарные сигнатуры” документа). Следует отметить, что применение более “мягкого” критерия к множеству отобранных термов позволяет реализовать режим “поиска подобных документов”.
Знаете ли Вы, что релятивистское объяснение феномену CMB (космическому микроволновому излучению) придумал человек выдающейся фантазии Иосиф Шкловский (помните книжку миллионного тиража "Вселенная, жизнь, разум"?). Он выдвинул совершенно абсурдную идею, заключавшуюся в том, что это есть "реликтовое" излучение, оставшееся после "Большого Взрыва", то есть от момента "рождения" Вселенной. Хотя из простой логики следует, что Вселенная есть всё, а значит, у нее нет ни начала, ни конца... Подробнее читайте в FAQ по эфирной физике.
