Количественные оценки релевантности

Формальные оценки релевантности можно получить только для релевантности первого рода, т.е. для релевантности в исходном ее понимании в теории информационного поиска.

Дня введения критерия релеван тности следует задать процедуру определения меры семантической близости поискового образа документа поисковому образу запроса и некоторое пороговое значение этой меры. Если мера превышает пороговое значение, то документ релевантен запросу.

ПОД и ПОЗ представляют собой множества ключевых слов или дескрипторов в зависимости от вида информационно-поискового языка . Для их сопоставления используют критерии смыслового соответствия, которые определяют на основе совпадения ключевых слов (дескрипторов) в ПОД и ПОЗ.

ПОД и ПОЗ можно представить в виде четких и нечетких множеств. Со способами введения мер релевантности на основе нечегких множеств

[17]. При введении мер релевантности обычно используют представление ПОД и ПОЗ в виде множеств.

Для четких множеств вводят нормированную меру релевантности

Критерий смыслового соответствия можно представить в виде:

где pR(a, h) - функция вычисления меры релевантности (или просто мера релевантности); а - пороговое значение релевантности, такое, что

Изменяя пороговое значение а, можно организовать выдачу различных совокупностей документов, которую в теории информационного поиска называют эшелонированной выдачей. Каждый эшелон соответствует определенной мере семантической близости совокупности документов запросу.

Очевидно, что чем больше пороговое значение а, тем более жесткие условия налагаются на смысловую близость документа запросу. В нормированных мерах при а = 1 для выдачи документа требуется полное совпадение ПОД и ПОЗ.

Оценку релевантности можно характеризовать полнотой выдачи (или потерями), т.е. числом невыданных релевантных документов), и точностью, (или шумом), т.е. числом или процентом «лишних» документов, которые выданы в результате поиска, но не являются релевантными.

Например, в [31] оценки полноты R и точности и Т вводятся следующим образом:

где а - число релевантных документов, формально выданных системой на /-й запрос; т - число всех формально выданных на /'-запрос системой документов; п - число всех релевантных документов, соответствующих запросу.

При этом рекомендуется полноту и точность определять на основе нескольких поисков N по запросу, и определять их средние значения и суммарные относительные оценки:

- средние относительные оценки;

- суммарные относительные оценки,

иде N -число поисков.

Величины (1 - т) и (i - R) называются соответственно шумом и потерями. В [19, с. 306] предлагается наглядная матрица для определения полноты и потерь, точности и шума (табл.. 5.4).

Таблица 5.4

Релевантны

Нерелевантны

Л.

а2

Выдано

й,

а

в

А+Ь

Не выдано

й:

с

D

C+d

а+с

b+d

a+b+c+d

Полноту поиска измеряют отношением числа выданных релевантных документов (а) к общему числу релевантных документов массива (а+с):

Точность поиска Т - отношение числа выданных релевантных документов (а) к числу общему выданных документов (а+Ь)

Соответственно потери L и шум 5 можно представить следующим образом:

В [31] предлагается, проведя серию экспериментов п по определению полноты и точности поиска, определить среднюю полноту и среднюю точность:

Используются и иные способы усреднения (см., наир., [19, 31]). Например, в связи с оценкой системы СМАРТ Сэлтон х ввел нормированную полноту Яд, и нормированную точность Pw

где N - число документов в массиве; п - число всех релевантных документов в массиве; п/ - число релевантных документов, выданных до /'-го ранга включительно,

где /' - номер ранга.

В [19] предлагается также, пользуясь табл. 5.4, ввести (с определенной степенью приближения) показатели в терминах теории вероятностей:

- условная вероятность выдачи релевантных доку ментов;

- условная вероятность выдачи нерелевантных документов;

- условная вероятность невыдачи релевантных документов;

- условная вероятность невыдачи нерелевантных документов.

Предла1ались и другие способы оценки релевантности (см. обзор в [19])

Определение полноты системы связано с определением содержательной выдачи на каждый запрос.

Существует несколько способов определения этой выдачи:

  • * Сплошной просмотр всего экспериментального массива.
  • 87

Сэлтон Г. Автоматическая обработка, хранение и поиск информации / Г. Сэлтон. -М.: Сов. радио, 1973. - 560 с.

Достоинством этого способа является надежность, недостатком - трудоемкость.

* Метод документа-источника («метод Клевердона»),

Состоит в том, что по некоторым документам массива, выбранным более или менее случайно, составляются запросы с таким расчетом, чтобы каждый документ-источник был релевантен составленному по нему запросу.

* Метод контрольных документов.

По запросу, полученному по произвольно выбранному документу- источнику, проводится содержательный поиск путем сплошного просмотра массива, начиная, например, с документа-источника, до нахождения первого релевантного документа, который объявляется контрольным. Значение полноты для системы считается теперь как доля запросов, по которым система выдала контрольный документ в общем количестве запросов.

* Метод объединения формальных выдач.

Применяется при сравнении нескольких поисковых систем («оценка- шкала»). Он состоит в том, что по каждому запросу эксперт просматривает только те документы, которые выдавались хотя бы одной из этих поисковых систем. Содержательной выдачей считается совокупность обнаруженных релевантных документов, и относительно нее определяется полнота, которая отличается от истинной полноты каждой из рассматриваемых систем.

Вопрос о представительности массива документов и массива запросов, выбранных для определения формальных оценок, в общем виде не решен. Считается, что более или менее устойчивые оценки (колебания не превышают 5%) можно получить на массиве в 4000 документов, массив запросов при этом должен быть порядка нескольких сотен.

Таким образом, релевантность (формальная) характеризует свойства средств логико-семантического аппарата информационнопоисковой системы и зависит от возможности отображения ПОД и ПОЗ с помощью информационно-поискового языка, принятых в ИПС алгоритмов поиска и системы индексирования.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ ОРИГИНАЛ   След >