Архитектура Аудит Военная наука Иностранные языки Медицина Металлургия Метрология
Образование Политология Производство Психология Стандартизация Технологии


Расчетно-теоретическая часть



Критерии эффективности ИПС

поисковый информационный индексирование

Существуют три основных аспекта оценки эффективности информационно-поисковой системы:

1.  аспект потребителей системы;

2. аспект «низшего звена управления», которое включает операторов и административный аппарат, обслуживающий систему;

.   аспект «высшего звена управления».

Требования потребителей

Потребителей (requesters) информационно-поисковой системы, направляющие в нее запрос, сознательно или неосознанно оценивают систему по тому, насколько хорошо она удовлетворяет их личные потребности в информации. Их интересует не то, как функционирует система, а лишь конечный результат ее работы. Имеет смысл более подробно рассмотреть требования потребителей к информационно-поисковой системе.

Полнота поиска

Потребитель, прежде всего, заинтересован в получении документов, которые способствуют удовлетворению его потребности в информации. В одних случаях для него будет достаточно единственно документа, в других - нескольких основных документов, а в определенных ситуациях потребитель стремится, получить как можно больше литературы по предмету своего запроса. Эти различия в требованиях могут быть проиллюстрированы на нескольких примерах.

Типичной ситуацией при поиске патентов является поиск с целью определения новизны некоторого устройства или материала. Все что требуется при поиске такого характера, - это найти хотя бы один документ, опровергающий новизну и, следовательно, патентоспособность заявленного предмета. Как только такой документ выявлен, дальнейший поиск может быть прекращен.

Для технической библиотеки характерны запросы, в которых содержится требование подобрать «несколько хороших статей» по определенному предмету. Эта ситуация отражает потребность научного работника или инженера войти в курс новой для него области интересов или сферы его непосредственно деятельности путем предварительного ознакомления с соответствующей литературой. Противоположным случаем является ситуация, возникающая на начальном этапе выполнения научно-исследовательской работы. Здесь обычно требуется проведение исчерпывающего поиска литературы с целью установить, где и какие исследования по близкой тематике выполнялись ранее, чтобы вести плановую работу, опираясь на уже полученные результаты. В этом случае требуется отыскать максимально возможное количество потенциально полезной литературы.

Хотя требования в трех приведенных ситуациях отличаются одно от другого, основное требование к поисковой системе остается неизменным: система должна отыскивать документы, релевантные различным предметным запросам. Способность системы отыскивать релевантные документы называется полнотой (recall).

Полнота, очевидно, является наиболее важным требованием потребителя к поисковой системе, поскольку единственная цель его обращения к системе состоит в получении одного или более документов, полезных с точки зрения его информационной потребности.

Показатель полноты ИПС может быть выражен количественно с помощью весьма простого коэффициента полноты, определяемого формулой 100 R/C, где C - общее число документов в системе, о которых известно, что они релевантны определенному запросу, а R - число этих релевантных документов, найденных в процессе поиска по данному запросу в указателе к фонду. Пусть мы определили, что по некоторому запросу, введенному в систему, имеется 10 релевантных документов, которые были заиндексированы в нашем поисковом массиве. Если при проведении поиска мы в состоянии отыскать восемь из них, мы говорим, что коэффициент полноты для данного конкретного поиска равен (8/10) * 100, или 80%.

Хотя показатель полноты является наиболее важной для потребителя характеристикой поисковой системы, это отнюдь не единственная ее важная характеристика. Действительно, числовые значения показателя полноты поисковой системы сами по себе не имеют смысла. Это становится очевидным, если мы примем во внимание, что максимальной полноты для любого запроса можно всегда достигнуть путем выдачи всего фонда заиндексированных документов. Другими словами, мы всегда можем добиться 100% - ной полноты, вообще не используя указатель к фонду документов, а, обращаясь непосредственно к самим документам и последовательно просматривая каждый из них до тех пор, пока не будет отобраны все желательные документы.

Точность

В свете того обстоятельства, что 100% - ной полноты поиска всегда можно добиться путем просмотра всего фонда документов, становится ясно, что:

1.  численное значение полноты еще не является мерой эффективности информационно-поисковой системы;

2. назначение указателя состоит в том, чтобы отсеять как можно больше нежелательных документов, потеряв при этом как можно меньше полезных документов.

При таком подходе указатель по существу является фильтром. Его цель состоит в сокращении количества документов (или их заменителей), которые нам приходится просматривать, при сохранении приемлемого значения полноты выдачи. Поскольку коэффициент полноты есть мера способности фильтра пропускать желательные документы, необходимо располагать еще каким-то дополняющим его коэффициентом, который бы являлся мерой способности фильтра задерживать ненужные документы. Сирил Клевердон [1] предположил в качестве подходящей меры коэффициент точности 100 R/L, где R - по-прежнему число отысканных при поиске релевантных документов, а L - общее число документов, выданных при этом поиске. Рассмотрим снова наш пример, когда в фонде имеется 10 релевантных данному запросу документов, из которых при поиске в указателе мы можем найти только 8 (полнота 80%). Если при поиске этих восьми желательных документов нам выдается 100 документов (8 желательных, 92 ненужных), мы говорим, что коэффициент точности для данного поиска составляет 8/100, или 8%.

Хотя ни коэффициент полноты, ни коэффициент точности в отдельности не характеризуют работу поискового аппарата или всей системы в целом, их совместное использование дает вполне разумный способ измерения рабочей эффективности (operating efficiency) системы, т.е. эффективности по отношению к требованиям потребителей. Если по достаточному числу поисков мы определили, что наша система функционирует, например, с показателями 8% полноты и 25% точности, мы знаем, что наша система в среднем а) отыскивает 8 из каждых 10 релевантных документов и б) на каждый найденный релевантный документ выдается 3 нерелевантных. Другими словами, мы располагаем полным критерием фильтрующей способности системы: ее способности задерживать нежелательные документы и пропускать полезные.

Следует отметить, что оба эти параметра - полнота и точность - употреблялись нами как для характеристики поисковой системы в целом, так и для характеристики ее поискового массива, т.е. указателя. Это сделано не случайно: если бы мы измеряли только рабочую эффективность указателя, мы, очевидно, должны были бы выводить значения полноты и точность на основе непосредственных результатов поиска по указателю без специального вмешательства человека, например, в виде дополнительного «просеивания» или «прополки» (т.е. фильтрации второго порядка) выдачи оператором системы. Для автоматизированной системы, выдающей на печать найденные описания документов, мы должны выводить числовые значения полноты и точности по полным данным всей этой выдачи.

Аналогичным образом при оценке ручного поискового аппарата, например картонного каталога, мы должны считать найденными все источники, содержащиеся в классах, указанных в поисковом предписании (т.е. удовлетворяющие логике поиска). Значения показателей рабочей эффективности выводятся на основании этой группы документов. Предположим, что мы ищем документы, связанные с аэродинамическими нагрузками, воздействующими на стреловидное крыло в сверхзвуковом полете а) в посткоординируемом дескрипторном указателе типа «пик-э-бу» и б) в предкоординированном указателе в форме алфавитно-предметного каталога. В первом случае мы приняли решение осуществить поиск по предписанию:

[«Аэродинамическая сила» или «Аэродинамическая нагрузка» или «Подъемная сила» или «Лобовое сопротивление»] и [«Стреловидное крыло»] и [«Сверхзвуковой полет»].

Выдачей по этому поиску будет являться вся группа документов, которые удовлетворяют поисковой логике (т.е. все документы, которые заиндексированы одним из терминов, выражающих понятие аэродинамической силы, и одновременно термином «Стреловидное крыло» и одновременно одним из терминов, указывающим на «Сверхзвуковую скорость»). Значения полноты и точности должны выводиться по этой группе документов.

Аналогично при поиске в алфавитно-предметном указателе мы можем обратиться к описаниям, систематизированным по рубрикам:

Стреловидное крыло - Аэродинамические силы

Стреловидное крыло - Лобовое сопротивление

Стреловидное крыло - Подъемная сила

Стреловидное крыло - Сверхзвуковой поток

Чтобы получить числовые характеристики только одного указателя, мы должны считать найденными все источники, систематизированные под этими обозначениями классов (т.е. всю группу документов, описания которых просмотрены под выбранными рубриками), и вычислять полноту и точность по этой выдаче. Таким путем мы измеряем действительную фильтрующую способность указателя.

При оценке рабочей эффективности функционирующей поисковой системы в целом в противоположность случаю оценки одного только указателя числовые значения полноты и точности должны выводиться на основании группы документов или их заместителей, выданных конечному потребителю. При выдаче с ЭЦВМ или в системе «пик-э-бу» человек оператор может просмотреть найденные описания и выдать потребителю только те из них, которые он сам считает «вероятно релевантными». Аналогично оператор ручной системы, производя поиск в предкоординированном указателе в форме карточного каталога, может решить, что одни источники «вероятно релевантны» запросу, а другие - «вероятно нерелевантны», и в соответствии со своим решением направить потребителю только первую группу документов или их описаний.

Числовые значения полноты и точности являются удобными показателями эффективности как поисковой системы в целом, так и аппарата сравнения документов и запросов. Когда мы оцениваем поисковую систему в целом, мы должны выводить значения показателей по тому множеству документов, которое выдается конечному потребителю. Во втором случае мы должны определять эти значения по «сырой» выдаче из указателя. Важно отчетливо представлять себе, что мы фактически оцениваем, и в соответствии с этим выводить значения показателей.

Легко видеть, что коэффициент точности фактически является мерой количества усилий, затрачиваемых для достижения определенного числового значения полноты. Приложим максимум усилий для сплошного просмотра всего фонда, мы всегда можем быть уверены в достижении 100% - ной полноты. Коэффициент точности (т.е. доля релевантных в общем числе просмотренных документов) при таком поиске, очевидно, будет очень низким. Вероятность достижения 100% - ной полноты, имеет тенденцию к понижению с уменьшением числа документов в выдаче, наоборот. Так, если по некоторому предметному запросу мы проводим очень широкий поиск и отбираем 100 документов, показатель полноты, вероятно, будет на много выше, чем в том случае, когда мы сужаем наш поиск и отыскиваем только 20 документов. Однако суженное поисковое предписание должно более точно соответствовать запросу, чем широкое. Следовательно, можно ожидать, что доля релевантных документов в выдаче при суженном поиске будет выше, чем при широком. Другими словами, значение коэффициента точности будет в этом случае выше. Таким образом, здесь наблюдается тенденция к обратной зависимости между полнотой и точностью: чем больше документов мы отбираем при поиске (т.е. чем обширнее класс просматриваемых документов), тем больше релевантных документов мы найдем, однако ценой пропорционального увеличения числа нерелевантных документов в выдаче. И наоборот, чем больше мы сужаем наш поиск, придерживаясь строгого, буквального перевода терминов запроса на язык системы, тем меньше релевантных документов получим, но в то же время тем больше будет отфильтровано нерелевантных документов.

Мы уже отметили, что коэффициент точность есть мера усилий, затрачиваемых на достижение определенного значения полноты. Допустим, что имеется определенный предметный запрос, по которому в нашем фонде содержится 20 релевантных документов. При широкой формулировке поискового предписания из них будет найдено 15, а общий объем выдачи составит 150 документов. При суженном поиске мы отыщем 10 желательных источников при общем числе документов в выдаче, равно 50. Таким образом, для широкого поиска коэффициент полноты будет равен 75% (15/20 * 100) при коэффициенте точности 10% (15/150 * 100); в суженном поиске мы имеем коэффициент полноты, равный 50% при коэффициенте точности 20%. Поскольку на просмотр 150 документов или их заместителей и отбор из них 15 желательных источников требуется больше времени, чем на просмотр 50 источников и отбор из них 10, коэффициент точности действительно служит хорошей мерой затрачиваемых усилий, имея в виду как усилия потребителей системы, так и усилия оператора.

Потребитель, который желает получить «несколько хороших статей» по предмету своего запроса, фактически требует проведения весьма точного поиска. Такому потребителю едва ли захочется просмотреть большое количество нерелевантных документов, чтобы отыскать среди них еще несколько релевантных. Для его потребностей полнота 50% при коэффициенте точности 20% является лучшим показателем, чем полнота 75% при точности 10%. Однако научный сотрудник, приступающий к работе над новым проектом и желающий получить исчерпывающий обзор литературы, очевидно, готов согласиться просмотреть дополнительно ряд нерелевантных источников, чтобы отыскать среди них дополнительно несколько интересующих его материалов. Для него 75% полноты при 10% точности являются более приемлемыми характеристиками.

Таким образом, чтобы коэффициенты полноты и точности могли выполнять роль осмысленных показателей рабочей эффективности поисковой системы, они должны быть соотнесены с требованиями потребителя системы и их готовностью затратить определенные усилия.

Затраты труда

Коэффициент точности поиска есть мера усилий потребителя, необходимых для достижения определенного значения полноты поиска. Но это не только мера. Коэффициент точности отражает объем трудозатрат, расходуемых потребителем на просмотр выданных материалов или непосредственно на проведение поиска путем просмотра предкоординированного указателя ручного типа. Там, где потребитель передает функцию поиска оператору, лучший конечный результат может быть достигнут при большей затрате его личных усилий на начальном этапе процесса поиска. Вообще говоря, потребитель может приложить усилия на любой из следующих стадий поиска:

1.   Он может потратить больше времени и усилий на более точное формулирование своей потребности в информации при передаче запроса оператору информационной системы.

2. Он может проанализировать предложенную ему формулировку поискового предписания до начала поиска и дать свои замечания о необходимости сужения или расширения поиска.

.   Он может проанализировать некорректированную машинную выдачу по указателю, а также выдачу, полученную после первой грубой аппроксимации. По результатам анализа выданных источников он имеет возможность затем уничтожить свой запрос перед проведением заключительного запроса. Этот тип поиска с обратной связью между системой и потребителем обычно называют итеративным поиском.

Можно ожидать, что любая из этих форм воздействия потребителя и системы приведет к улучшению конечных результатов поиска в смысле повышения полноты или точности, а в некоторых случаях и обоих показателей.

Время ответа

Здесь подошли к другому важному требованию потребителя ИПС, а именно времени ответа (т.е. времени между предъявлением запроса и выдачей удовлетворительного ответа). В поисковой системе, где потребитель поручает функцию поиска персоналу информационной системы, увеличение усилий, затрачиваемых на корректировку его запроса в процессе взаимодействия с системой, может, с одной стороны, привести к улучшению показателей полноты и точности системы, а с другой - вызвать задержку ответа. В частности, это характерно для ситуации, когда потребитель, запрашивающий информацию, не имеет непосредственной связи с удаленным информационным центром.

Аналогично тому, как возможны различные требования потребителей к полноте и точности системы в зависимости от их информационных потребностей, изменяются и их требования ко времени получения ответа. Требования к быстроте ответа связаны с требованиями к полноте и точности. Исследователь, для которого в первую очередь имеет значение достижение максимальной полноты, как правило, готов ждать какое-то дополнительное время, чтобы получить добавочное количество полезных документов. В его положении быстрота ответа играет меньшую роль, чем полнота поиска. Однако он может потребовать, чтобы система выдала определенную часть полезной литературы (например, 60% - ная полнота) в некоторое минимальное количество времени.

Другая ситуация возникает в случае, когда потребитель нуждается в поиске с высокой точностью для отбора нескольких ключевых документов. Поскольку его требования к системе в этом случае в некотором смысле менее строги, он, вероятно, будет менее терпим к неоправданным задержкам ответа. На деле он может предпочесть получить два полезных документа в тот же день вместо ожидания 10 полезных документов в течение недели.

В определенных поисковых ситуациях время ответа приобретает решающее значение. Быстрое отыскание множества совершенно нерелевантных документов (нулевая полнота при нулевой точности) не может считаться ответом, имеющим какую-либо ценность, за исключением возможных случаев, когда в системе предусматривается непосредственное взаимодействие с потребителем, позволяющее ему корректировать свой запрос по выданным источникам при осуществлении итеративного поиска.


Поделиться:



Последнее изменение этой страницы: 2020-02-16; Просмотров: 131; Нарушение авторского права страницы


lektsia.com 2007 - 2024 год. Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав! (0.025 с.)
Главная | Случайная страница | Обратная связь