Кривая коэффициентов полноты и точности

Если имеется возможность изменять стратегию поиска в целях увеличения его полноты или точности, мы можем взять любую группу запросов и составить для каждого запроса поисковое предписание, состоящее из нескольких субпредпuсанuй с различными уровнями специфичности. Если теперь провести поиск для этой группы запросов и определить, значения полноты и точности для каждого поиска, становится возможным определить также наборы значений полноты и точности для всех частных поисков при различном уровне специфичности терминов запроса. По 100 поискам можно, например, определить, что в группе наиболее широких подпоисков получен коэффициент полноты 90% при коэффициенте точности 5%, тогда как в группе наиболее специфичных и исчерпывающих подпоисков - коэффициент полноты около 40% при коэффициенте точности примерно 60%.

Будет также получено несколько промежуточных значений полноты и точности при поисках со средним уровнем специфичности. Следовательно, для этой группы поисков, проведенных для конкретной группы запросов, можно представить результаты в форме кривой зависимости коэффициента полноты от коэффициента точности, как показано на фиг. 3.

Для любого конкретного фонда документов, по отношению к определенной группе тематических запросов и группе суждений о релевантности, сделанных о каждом документе по отношению к каждому запросу, имеется кривая максимально возможных значений характеристик системы. Известно, что всегда можно добиться 100% - ной полноты для всей группы запросов, получая полное множество релевантных документов в ответ на каждый запрос. Очевидно, что это значение полноты может быть достигнуто только при очень низком значении точности, так как подавляющее большинство выданных документов будет нерелевантно для каждого запроса. Например, если объем выдачи составляет 10 000 источников и на каждый запрос имеется в среднем 20 релевантных документов, то 100%-ная полнота, получающаяся при выдаче всех релевантных документов в ответ на каждый запрос, достигается при значении точности 0, 2% или 20/10000 (точка А на фиг. 4).

С другой стороны, для каждого запроса можно так точно сформулировать стратегию поиска (т.е. составить исчерпывающее предписание с высоким уровнем специфичности), что в ответ на него почти наверняка будут выдаваться только релевантные документы, если документы вообще будут выдаваться. Если в определенной группе запросов использовать только такие поисковые предписания высокой точности, можно ожидать, что система будет функционировать с точностью 100%, но с очень низкой полнотой.

В реальных условиях, когда фонд документов был как-то заиндексирован (чтобы избежать необходимости выдачи всего множества документов в ответ на каждый запрос) и проводится поиск для некоторой группы запросов путем сопоставления поисковых предписаний с поисковыми образами документов, не будет иметь места ни одно из приведенных выше экстремальных значений. Вместо этого для всей группы запросов система будет функционировать на какой-то точке кривой характеристик поиска, соответствующей значениям полноты и точности, меньшим чем 100%.

Если образовать согласованную систему документов, запросов и суждений о степени релевантности документов запросам так, что мы будем знать, какие документы релевантны каким запросам, можно повторно заиндексировать весь массив документов по отношению к данной группе запросов. После большого числа проб и ошибок мы сможем отыскать оптимальную систему индексирования и оптимальный набор поисковых образов для данного массива документов по отношению к данному множеству запросов. В результате в поисковые образы документов и запросов будут внесены такие индексационные термины, которые позволят добиться функционирования системы с максимально высокими характеристиками.

Другими словами, имеется возможность создать такие описания документов, которые обеспечивают 95, 90, 85% или любой другой желаемый уровень полноты при максимально возможном уровне точности. Таким образом, на основе полного набора суждений о релевантности документов по отношению к запросам можно создать замкнутую систему, способную работать на кривой максимально возможных характеристик.

Как было сказано ранее, для любого фонда документов и определенной группы запросов и суждений о релевантности имеется кривая характеристик системы с максимально возможными значениями. Однако точно не известно, как расположена эта кривая. Реально действующая поисковая система не функционирует при максимально возможном уровне характеристик для любой группы запросов. Этот уровень, может быть достигнут только при индексировании пост фактум имеющегося массива документов с учетом набора поисковых предписаний и суждений о степени релевантности. В повседневной работе поисковой системы, когда поиски проводятся по реально существующим запросам, кривая зависимости характеристик системы лежит где-то левее и ниже кривой максимально возможных значений. По существу, мы при оценке характеристик поисковой системы как раз и определяем положение фактической кривой характеристик поиска, а также меры, которые должны быть приняты для сближения реальной кривой с кривой максимальных значений характеристик.

Положение кривой максимальных значений, а следовательно, и реальной кривой характеристик системы определяется в первую очередь двумя факторами: а) характеристиками языка. той тематической области, с которой мы имеем дело, и б) степенью общности запросов.

В случае фактографической поисковой системы, в которой мы имеем дело с однозначными данными (например, выраженными в виде чисел), можно работать в верхнем правом углу графика полнота / точность, т. - е. при 100% - ной полноте и 100% - ной точности. Система, которая выдает документы на основе их библиографических описаний (например, авторский каталог), будет работать с кривыми, расположенными немного левее ввиду неточностей, вызываемых такими факторами, как наличие авторов с одинаковыми фамилиями, авторов, которые изменили свою фамилию или печатаются под псевдонимами, разных публикаций с одинаковыми названиями и т.д.

Если речь идет об информационно-поисковой системе, отвечающей на тематические запросы, семантические неоднозначности и неточности сдвигают кривую характеристик системы значительно дальше от идеальных (т.е. еще далее влево). Насколько далеко влево расположена эта кривая, частично зависит от языка данной предметной области. Чем более точен и однозначен язык данной области, тем лучше будут характеристики работы системы. Например, поисковая система в области химии, имеющая дело с большим количеством собственных имен (названий соответствующих соединений), которые относительно однозначны, вероятно, будет при прочих равных условиях работать с значениями характеристик, расположенными дальше вправо, чем система, скажем, по общественным нау-

Другой фактор, определяющий положение кривой, связан со степенью специфичности запросов и с «критерием релевантности» потребителей системы. В системе дифференцированного распространения информации (ДРИ) критерий релевантности будет, вероятно, значительно менее жестким, чем в системе ретроспективного поиска. Абонент службы ДРИ не обращается к системе по одному определенному информационному запросу. Он получает сообщение о документах по широкому кругу интересующих его тем, и каждый документ, относящийся к этому кругу, для него приемлем. При таком слабом критерии релевантности появляется возможность получения характеристик, значения которых расположены в правой части схемы полнота / точность.

В противоположность этому потребитель службы ретроспективного поиска обращается к системе с каким-то конкретным запросом, имея в виду потребность в определенного рода информации, и документ, чтобы быть релевантным, должен представлять для него определенную ценность с точки зрения его информационных нужд. Поэтому критерии релевантности потребителя данной системы являются более строгими, чем критерии, предъявляемые потребителем службы ДРИ. Чем более строгие критерии релевантности используются, тем дальше влево будет находиться кривая характеристик поиска.

Критерии релевантности потребителя ретроспективного поиска, очевидно, тесно связаны со степенью общности запросов. Представьте себе потребителя, обращающегося в информационно-поисковую систему в области военно-морской техники. Предположим, что его запрос относится к документам по подводным лодкам. Это очень общий запрос для данной системы. При поиске по данному запросу можно, поэтому достичь высоких значений полноты и точности, поскольку для потребителя будет полезен любой документ, в котором речь идет вообще о подводных лодках (т.е. критерий релевантности у него достаточно «мягкий»). Однако пусть тот же самый потребитель обратится в ту же поисковую систему через несколько дней, с запросом о документах, в которых идет речь о вибрационных характеристиках выступающих частей корпусов надводных кораблей. Вероятно, для этого запроса можно будет получить то же самое значение коэффициента полноты, что и для значительно более общего запроса по подводным лодкам. Однако это значение полноты будет, вероятно, достигнуто при очень низком значении коэффициента точности поиска, так как значительно большая часть документов данного массива не будет релевантна данному специфическому запросу.

⇐ Предыдущая12345678Следующая ⇒

Поделиться: