Основные характеристики и параметры ИПС

Основные характеристики ИПС [9]:

1. Функциональные возможности ИПС, т. е. количество доступных системе функций или режимов работы.

2. Производительность ИПС характеризуется:

– объемом информационного фонда;

– максимальной интенсивностью обслуживаемых запросов;

– максимальной интенсивностью поступления информации.

3. Время обращения – интервал между получением запроса и выдачей затребованных данных.

4. Релевантность – способность выданных документов удовлетворять запрос пользователя по основному смысловому содержанию. Релевантность эквивалентна поисковой функции.

5. Пертинентность – свойство соответствия выданных документов информационной потребности пользователя. Если из десяти документов, выданных ИПС, восемь соответствовали запросу, но только пять были затребованы потребителем (например, в виде копий), то говорят, что в выдаче было восемь релевантных, из них пять пертинентных документов.

Первичные параметры, применяемые для оценки ИПС, представляются в виде таблицы сопряженности (табл. 1.1),

Табл. 1.1
Массив документов	Релевантных	Нерелевантных	Всего
Выданных при поиске	Р	В-Р	В
Не выданных при поиске	П-Р	М-П-В+Р	М-В
Весь информационный фонд	П	М-П	М

где используются следующие обозначения: М – общий объем массива документов; П – общее количество релевантных документов в массиве; Р – число выданных релевантных документов; В – всего документов в выдаче.

Вторичные параметры, перечисленные ниже, устанавливаются при помощи таблицы сопряженности [9].

1. Коэффициент полноты или чувствительность (показатель способности ИПС выдавать потребителю релевантные документы) – отношение числа выданных релевантных документов к их общему числу в информационном фонде .

2. Коэффициент точности – отношение числа релевантных документов в выдаче к общему числу документов, полученных в результате поиска .

3. Коэффициент осадка – отношение количества выданных нерелевантных документов к количеству нерелевантных документов в информационном фонде .

4. Коэффициент общности – отношение общего количества релевантных документов в информационном фонде к количеству документов в информационном фонде .

5. Коэффициент шума – отношение числа нерелевантных документов в выдаче к ее размерам .

6. Условная вероятность промаха – отношение невыданных релевантных документов к общему количеству релевантных документов в информационном фонде .

7. Специфичность (показатель способности ИПС не выдавать потребителю- нерелевантных документов) – отношение невыданных нерелевантных документов к их общему числу в информационном фонде

.

8. Доля релевантных документов в общем числе невыданных документов – отношение невыданных релевантных документов к общему числу невыданных документов .

Между полнотой К и точностью Т существует обратная зависимость: увеличение точности информационного поиска на 1 % уменьшает его полноту приблизительно на 3 % [9].

Поскольку значения коэффициентов полноты и точности определяются однозначно для каждого из запросов пользователей, это позволяет вычислить средние значения для фиксированных интервалов полноты. Кривая, полученная в результате усреднения, называется кривой «полнота-точность» поисковой системы (рис. 1.1). Левый край этой кривой соответствует узким, специфичным формулировкам запросов, а правый – определяется широкими, общими запросами.

Рис. 1.1

Кривые «полнота-точность» могут использоваться для оценки качества работы либо нескольких ИПС, либо одной, работающей в разных условиях. При этом кривые, полученные для двух систем, могут быть наложены на один график, что позволяет определить, какая из систем лучше и в какой степени. Очевидно, что кривая, расположенная ближе к правому верхнему углу графика, где полнота и точность максимальны, указывает на лучшее качество работы. В идеальной ИПС коэффициенты полноты и точности равны единице. В реальных поисковых системах коэффициент полноты поиска может достигать значений 0, 7 – 0, 9, а коэффициент точности находится в интервале 0, 1 – 1, 0.

Замечания по приведенным параметрам:

1. Это наиболее используемые параметры.

2. Коэффициент общности дает качественную оценку содержимого информационного фонда по отношению к конкретному запросу.

3. Остальные параметры оценивают склонность поисковых алгоритмов к ошибкам первого и второго рода.

Аналогичные критерии можно было бы сформулировать для пертинентности, что дало бы оценку качества реализации языковых средств.

Улучшение ряда характеристик ИПС может быть осуществлено за счет увеличения стоимости системы, т. е. за счет ухудшения стоимостного критерия. Таким образом, комплексный критерий оценки ИПС представляет собой многомерный вектор. Поэтому, задавая частный критерий оценки, целесообразно проанализировать поведение соответствующей координаты многомерного признакового пространстве при фиксированных остальных координатах.

⇐ Предыдущая12345678910Следующая ⇒

Поделиться: