Многие из известных информационно-поисковых систем базируются на векторно-пространственной модели описания данных (Vector Space Model), предложенной Г. Солтоном в 1975 г. и впервые примененной в системе SMART [131]. Данная модель является классической алгебраической. В рамках этой модели документ описывается вектором в евклидовом пространстве, в котором каждому терму, использующемуся в документе, ставится в соответствие его весовое значение, определяемое на основе статистической информации о его появлении как в отдельном документе, так и во всем документальном массиве. Описание запроса, соответствующего необходимой пользователю тематике, также представляет собой вектор в том же евклидовом пространстве термов. Для оценки близости запроса и документа используется скалярное произведение соответствующих векторов запроса и документа.
В рамках этой модели каждому терму в документе соответствует некоторый неотрицательный вес .
Каждому запросу , который представляет собой также множество термов, не соединенных между собой никакими логическими операторами, также соответствует вектор весовых значений .
Таким образом, каждый документ и запрос могут быть представлены в виде мерного вектора, где его мерность - общее количество термов в словаре модели. В соответствии с рассматриваемой моделью, близость документа к запросу рассматривается как информационные векторы и оценивается как их скалярное произведение. При этом вес отдельных термов можно вычислять разными способами. Один из возможных простейших подходов - использовать как вес терма в документе нормализованную частоту его встречаемости в данном документе, то есть:
Вычисленный таким образом вес терма в документе принято обозначать аббревиатурой или просто TF (от англ. Term Frequency – частота термина).
Однако этот подход не учитывает, насколько часто рассматриваемый терм используется во всем массиве документов, так называемую, дискриминационную силу терма. Поэтому в случае, когда доступна статистика использования термов во всем документальном массиве, более эффективно правило вычисления веса терма.
Обычно весовые значения нормируются путем деления на их общую сумму. Такой метод взвешивания термов указывает не на частоту появления терма в документе, а на величину, обратную количеству документов в массиве, содержащих данный терм (от англ. - inverse document frequency).
Когда возникает задача определения тематической близости двух документов или документа и запроса, в этой модели используется простое скалярное произведение двух соответствующих векторов весовых значений и которое соответствует косинусу угла между векторами - образами документов и . Очевидно, принадлежит диапазону [0, 1]. Чем больше величина - тем более близки документы.
Векторно-пространственная модель представления данных обеспечивает системам, построенным на ее основе, такие возможности, как:
- обработку запросов без ограничений их длины;
- простоту реализации режима поиска подобных документов (каждый документ может рассматриваться как запрос);
- сохранение результатов поиска с возможностью выполнения уточняющего поиска.
Вместе с тем в векторно-пространственной модели не предусмотрено использование логических операций в запросах, что существенно ограничивает ее применимость.
Знаете ли Вы, что cогласно релятивистской мифологии "гравитационное линзирование - это физическое явление, связанное с отклонением лучей света в поле тяжести. Гравитационные линзы обясняют образование кратных изображений одного и того же астрономического объекта (квазаров, галактик), когда на луч зрения от источника к наблюдателю попадает другая галактика или скопление галактик (собственно линза). В некоторых изображениях происходит усиление яркости оригинального источника." (Релятивисты приводят примеры искажения изображений галактик в качестве подтверждения ОТО - воздействия гравитации на свет) При этом они забывают, что поле действия эффекта ОТО - это малые углы вблизи поверхности звезд, где на самом деле этот эффект не наблюдается (затменные двойные). Разница в шкалах явлений реального искажения изображений галактик и мифического отклонения вблизи звезд - 1011 раз. Приведу аналогию. Можно говорить о воздействии поверхностного натяжения на форму капель, но нельзя серьезно говорить о силе поверхностного натяжения, как о причине океанских приливов. Эфирная физика находит ответ на наблюдаемое явление искажения изображений галактик. Это результат нагрева эфира вблизи галактик, изменения его плотности и, следовательно, изменения скорости света на галактических расстояниях вследствие преломления света в эфире различной плотности. Подтверждением термической природы искажения изображений галактик является прямая связь этого искажения с радиоизлучением пространства, то есть эфира в этом месте, смещение спектра CMB (космическое микроволновое излучение) в данном направлении в высокочастотную область. Подробнее читайте в FAQ по эфирной физике.
