Классификация и характеристика методов поиска

Одной из проблем организации СУД является выбор метода поиска и разработка или выбор программного обеспечения, что в значительной степени зависит от применяемых методов индексирования. Как было сказано выше, индексирование загружаемой на хранение информации может осуществляться по ключевым словам, по атрибутам документа либо путем создания полнотекстового индекса. Суть последнего подхода заключается в том, что при создании индексного файла (индексированной матрицы) в него вносятся все

значимые слова (без союзов, предлогов и т. п.) из всех документов в алфавитном порядке, которые затем объединяются в пары с указателями на документы, содержащие эти слова. Задача поиска нужного документа формулируется так: зная примерные характеристики документа, нужно найти его, где бы он ни хранился. Характеристики документа могут быть как внешние (атрибуты документа): название, время создания, автор, размер документа, местонахождение и др., так и внутренние (содержание документа): заголовок, текст документа. Как правило, осуществляют поиск документов по совокупности внешних и внутренних характеристик, но если документов много, и если необходимо осуществлять поиск документов, согласно ситуации, то нужный документ отыскивают по его содержанию (тексту), а не по реквизитам (атрибутам). Существует несколько методов поиска документов по содержанию. Традиционные подходы к организации поиска информации можно разделить на три группы: методы индексного (или двоичного) поиска, статистические методы и семантические методы, основанные на базах знаний. Рассмотрим некоторые из них.

Индексный, или двоичный, поиск применятся главным образом со структурированными базами данных. В таких методах слова интерпретируются как последовательности закодированных символов. Используя формальный синтаксис, или язык запросов, система двоичного поиска выбирает точное соответствие для отдельного слова или цепочки слов. Это самый простой вид поиска документа по содержанию, но и самый слабый вид поиска, что выражается в малой полноте (это означает, что редко удается найти нужный документ).

Недостатки. С истемы двоичного поиска имеют ограничения по точности, влияющие на возможность нахождения всей относящейся к запросу информации. В методах двоичного поиска не учитываются различные формы значения слов; пользователю непросто угадать точные слова и фразы, которые были использованы авторами в документах. Системы двоичного поиска не могут также ранжировать документы по степени соответствия запросу, поэтому пользователь вынужден читать каждый документ, чтобы определить, на сколько он соответствует запросу. Повышению полноты поиска по строке служат такие стандартные средства, как отождествление заглавных и малых букв и использование метасимволов, наподобие * (что означает любое количество каких-либо символов). Другим способом повышения полноты поиска служит поиск слов в разных грамматических формах. Почти любое русское слово — это набор из нескольких словоформ. Для среднего русского существительного таких форм двенадцать — одна основная и 11 косвенных (6 падежей единственного и 6 — множественного числа). У русского глагола косвенных форм — порядка 100 (а если считать причастия, то и все 180). В процессе словоизменения общий смысл слова остается тем же, изменяется только форма и роль слова в предложении. Нужен так называемый морфологический поиск, то есть поиск, опирающийся на знание морфологии языка, поскольку в языке есть еще и процессы словообразования, в ходе которых образуются «родственники» слова — другие части речи, например, от слова «акция» получаются «акционерный» и «акционировать». Существует два способа осуществления морфологического поиска Бессловарный метод. Программа, основанная на этом методе выявляет основу каждого слова и отсекает окончания слов при обработке запроса, а затем «приклеивать» их при поиске. Кроме того, у программы есть возможность соотнести окончание, отсеченное у искомого слова, с окончаниями найденных слов. Поиск «со словарем». Чтобы искать формы заданного слова более точно, поисковая система должна иметь словарь основ. Такой словарь состоит из списка основ слов, ссылки от которых указывают на соответствующие наборы окончаний. Некоторое снижение скорости поиска при использовании словаря обычно компенсируется существенно возросшей точностью. Качество поиска повышается, если применять поиск по логической комбинации слов, поскольку шум резко снижается при поиске не по одному, а по двум и более словам. Это происходит потому, что отдельное слово может встретиться где угодно в тексте, а вероятность совместного вхождения двух или трех искомых слов в ненужный документ гораздо ниже. При этом методе слова в запросе соединяются логическими операторами «И», «ИЛИ», «НЕ». В некоторых поисковых системах имеется возможность использовать в запросе скобки. Таким образом, пользователь может ввести для поиска целое логическое выражение, состоящее из слов, а также иногда и других внешних характеристик — даты, размера и т.п., например, «(приложение И договор) ИЛИ (соглашение И договор)». Такое логическое выражение называется булевой формой, а сам поиск — булевым. Более простым в технической реализации является метод поиска по близости (proximity search). Пользователь может задать, на каком расстоянии друг от друга должны находиться искомые слова, например «не далее 5 слов» или «не далее 3 строк». Альтернативой логическому запросу служит поиск по запросу на естественном языке. Промежуточным шагом к облегчению формулирования запроса является возможность в некоторых системах логического поиска задать так называемый нечеткий запрос (quorum search). Это означает, что пользователь задает запрос в виде множества из нескольких слов, а система находит все документы, в которые входят только некоторые слова из заданного множества (например, любые пять из семи заданных). Подбирать множество слов и задавать «процент явки» пользователю приходится самому. Поиск по запросу на естественном языке. Существуют системы, позволяющие искать текст по запросу, сделанному в виде обычного предложения (часто поиск по запросу на естественном языке также называют нечетким поиском). Модуль обработки естественно-языкового запроса независим от самой поисковой системы и «на выходе» может работать с логическим поиском. Ранжирование результатов поиска. Когда документы, содержащие слова запроса, обнаружены, поисковая система должна предъявить их пользователю в некотором порядке. Обычно найденные документы тем или иным способом «взвешиваются» на предмет близости к запросу (ранжируются) и показываются в порядке уменьшения этой близости. Как правило, для вычисления веса - ранга используются разные алгоритмы: учитываются общее количество слов запроса в документе, близость их друг к другу в тексте документа, наличие компактных групп, соответствие грамматических форм и т. д.

Группа статистических методов основываются на расчете различных частотных характеристик: частоты вхождения слова в документ, взвешенной частоты вхождения и частоты совместного вхождения нескольких слов Семантический поиск. Следующий шаг в развитии поисковых систем - это так называемый семантический (то есть смысловой) поиск, основанный на построении и использовании базы знаний, с помощью которой осуществляется поиск информации на основе использования концептуальных отношений, которые не применяются при статистическом поиске. Существует несколько способов представления знаний. Применение файла синонимов, что позволяет при ответе на запрос учитывать не только термины, которые непосредственно указаны в запросе, но и все другие слова, близкие к ним по значениям. Другой известен как подход на основе использования лингвистических правил, при этом, разработчик создает систему лингвистических правил, которые используются для анализа или грамматического разбора текстовой базы данных. Этот метод анализа определяет ключевые слова и понятия, объединяющиеся в базу знаний, которая отражает содержание конкретной базы данных. Наиболее часто используется подход основанный на использовании ссылочных документов, и в том числе обычных словарей и словарей терминов. Этот подход основан на смысловых значениях слов и называется семантической сетью. Как и словарь, семантическая сеть содержит множество определений для каждого хранимого слова. Однако определение родственных слов и понятий связываются между собой. Значения слов, наиболее подходящие для данного поиска, могут быть выбраны самим пользователем с целью повышения точности этого поиска. Подход, основанный на построении семантических сетей, доступен для расширения и не слишком громоздок при эксплуатации.