Разговоры об экспертах и формулах
«Не знаю, можно ли заменить экспертное решение формулой, но давайте хотя бы задумаемся над этим».
«Он считает, что рассуждает тонко и все учитывает, но простой подсчет баллов, вероятно, поможет нам лучше».
< br> «Давайте заранее определимся, насколько важны для нас данные последней проверки кандидатов. Иначе мы рискуем положиться на впечатление от собеседования с ними».
22
Интуиция экспертов: когда стоит ей доверять?
Споры на профессиональные темы заставляют ученых проявлять себя с худшей стороны. Научные журналы периодически документируют подобные перепалки – начинается все часто с критических отзывов на чужую работу, за которыми следует встречная критика, и так далее. Если же первый отзыв написан резко, последующие часто становятся упражнениями в сарказме разных уровней мастерства. В ответах почти никогда не звучат признания ошибок; да и автор разгромной статьи почти никогда не соглашается, что его критика была чересчур резкой или необоснованной. В редких случаях я отвечал на критику, которую считал несообразной и ошибочной, поскольку отсутствие ответа в таком случае приравнивает ся к признанию неправоты. Однако ни разу враждебные выпады не заставили меня пересмотреть свои позиции. В поисках альтернативных методов борьбы с разногласиями я несколько раз вступал в так называемые «союзы противников», где ученые спорщики договариваются написать совместную статью, рассматривая вопрос с разных точек зрения, или даже провести совместное исследование. В особенно напряженных ситуациях за процессом следит арбитр.
Самый памятный и продуктивный «союз противников» у меня был с Гэри Кляйном, интеллектуальным лидером группы ученых и практиков, которым не нравилась моя работа. Упомянутая группа называет себя исследователями «естественного принятия решений», или ЕПР. В большинстве своем они служат в организациях, занятых изучением работы экспертов. Члены ЕПР решительно отвергают тот факт, что концепция методов эвристики и искажений в основном рассматривает эти самые искажения. Они также утверждают, что в данной модели ошибкам уделено слишком много внимания и что она строится на результатах умозрительных экспериментов вместо изучения людей, занятых важным делом. Далее, они сомневаются в применимости жестких алгоритмов как замены экспертного мнения и не считают Пола Мила героем. Гэри Кляйн много лет красноречиво отстаивал эту позицию.
Последний факт едва ли можно считать основанием для дружбы, однако на этом история не заканчивается. Я никогда не считал, что интуиция постоянно ведет к заблуждениям. Кляйн заинтересовал меня с тех пор, как я увидел написанный в 1970-е годы черновик его статьи о профессиональных умениях пожарных. Потом меня поразила его книга «Источники власти», где рассматривается, как опытные профессионалы развивают интуитивные навыки. Я пригласил его сообща определить, где заканчиваются чудеса интуиции и начинаются ее ошибки. Он увлекся идеей совместных исследований, и мы с головой ушли в проект, не зная заранее, чем все закончится. Наша задача свелась к поиску ответа на частный вопрос: в каких случа ях можно доверять профессионалу, твердящему о своей развитой интуиции? Было очевидно, что Кляйн скорее проявит доверие к эксперту, тогда как я скорее усомнюсь. Однако сможем ли мы согласиться в теории ради ответа на главный вопрос?
За семь-восемь лет мы много раз спорили и преодолевали разногласия, несколько раз чуть не разругались, написали уйму черновых статей, подружились и в конце концов опубликовали общую статью с красноречивым названием: «Условия для интуитивной экспертизы: спор без победителей». Мы действительно так и не нашли ни одной реальной ситуации, которая заставила бы нас спорить, но и настоящего согласия не достигли.
Чудеса и ошибки
Бестселлер Малькольма Гладуэлла «Озарение» вышел в свет, когда мы с Кляйном работали над совместным проектом. Приятно было узнать, что мы сходимся во мнениях по поводу книги. В первой главе Гладуэлл упомянул известную историю о том, как в руки искусствоведам поп ал древнегреческий курос – мраморная статуя обнаженного юноши-атлета. Нескольким экспертам чутье подсказало: что-то не так, экспонат – подделка. Однако они не знали, как это доказать, и потому нервничали. Всякий, кто прочел «Озарение» (а таких были миллионы), наверняка запомнил эту историю, рассказ о победе интуиции. Эксперты согласились, что скульптура – новодел, не зная, чем это аргументировать (интуиция в чистом виде). По-видимому, автор книги подразумевал, что систематический поиск того, что именно натолкнуло экспертов на мысль о фальшивке, завел бы в тупик, но мы с Кляйном единодушно отвергли эту мысль. С нашей точки зрения, если бы эксперты не успокоились и провели бы расследование по всей форме (Кляйн рассказал бы, как именно), соответствующий аргумент наверняка нашелся бы.
Многих читателей в этом отрывке наверняка привлекла та магия, которой Гладуэлл наделил интуицию экспертов. Однако автор не рассуждает однобоко: уже в следующей главе дан пример грандиозн ого интуитивного провала – выборы президента Хардинга, который только внешне подходил на должность главы государства. Его высокий рост, осанка и квадратный подбородок создавали образ сильного и решительного лидера. В результате народ проголосовал за образ, хотя его ничто не подкрепляло. Интуитивное предвидение того, насколько Хардинг пригоден для роли президента, возникло от подмены одного вопроса другим. Читатель этой книги наверняка догадается, что подобная интуиция связана с верой.
Интуиция как распознавание
У нас с Кляйном был совершенно разный опыт формирования взглядов на интуицию. Мое отношение к ней сложилось, когда я открыл в себе подверженность когнитивной иллюзии значимости, а затем прочел работу Пола Мила о несовершенстве клинического прогноза. Взгляды Кляйна сформировались в процессе его ранних исследований (он изучал работу командиров пожарных бригад, наблюдал за тушением пожаров и интересовался ходом мыслей кома ндиров по мере принятия решений). В нашей совместной статье Кляйн отметил, что он и его коллеги исследовали, каким образом командиры составляли план действий, не сравнивая альтернативы.
«Первоначальная гипотеза о том, что командир сводит выбор лишь к двум вариантам, не подтвердилась. На самом деле командиры сразу вырабатывали одно-единственное решение, которого оказывалось достаточно. Многолетний опыт – свой и чужой – позволял им определить вероятный вариант выхода из ситуации. Его они и рассматривали, мысленно прокручивая сцену в голове: подойдет ли он в данном случае, сработает ли… Если „увиденное“ их удовлетворяло, если план казался подходящим, его претворяли в жизнь. Обнаружив изъян, командиры вносили в план необходимые изменения. Если это требовало больших усилий, они переходили к другому подходящему сценарию и повторяли процесс до тех пор, пока не получали приемлемую схему действий».
На основе этого описания Кляйн разработал тео рию и создал модель принятия решений на основе распознавания, применимую не только к действиям пожарных, но и к другим видам профессиональной деятельности, включая игру в шахматы. В процессе участвуют как Система 1, так и Система 2. На первом этапе, благодаря автоматической работе ассоциативной памяти, в уме возникает пробный план действий (Система 1). Затем, в ходе целенаправленного процесса мышления, план подвергается проверке на пригодность (действует Система 2). В модели интуитивного принятия решений (посредством распознавания образцов поведения) нашли развитие идеи Герберта Саймона – возможно, единственного ученого, признанного и прославляемого как герой-первопроходец всеми, кто соперничает, изучая процесс принятия решений. Я уже цитировал Саймоново определение интуиции во введении к этой книге, но, думаю, будет разумнее повторить его еще раз: «Ситуация дала подсказку, подсказка дала эксперту доступ к информации, хранящейся в памяти, а информация дала ответ. Интуиция – это не что иное, как узнавание».
Это заявление срывает с интуиции магический покров и превращает ее в будничный процесс работы с памятью. Мы с восторгом внимаем истории о пожарном, который, повинуясь внезапному порыву, выскочил из горящего дома за миг до обвала; пожарный интуитивно чувствует опасность, «сам не зная как». Однако мы сами не можем объяснить, каким образом узнаем в толпе старого приятеля. Мораль Саймонова афоризма состоит в том, что загадка «знания без понимания» – не исключительная черта интуиции, а норма жизни мыслящего существа.
Обретение умений
Каким образом информация, обеспечивающая работу интуиции, сохраняется в памяти? Некоторыми видами интуиции овладеваешь довольно быстро. Мы унаследовали от предков прекрасную обучаемость в распознавании угроз. В жизни бывает достаточно одного-единственного опыта, чтобы надолго привить страх и стремление к бегству перед лицом опасности.
Однажды отведав в ресторане сомнительное блюдо, мы в следующий раз рефлекторно обойдем стороной злополучное заведение. Каждый из нас напрягается на месте, где произошло неприятное событие, даже если нет причин ждать его повторения. Для меня таким местом стал съезд с автомагистрали к аэропорту Сан-Франциско, где много лет назад какой-то водитель в припадке злости согнал меня на обочину и обложил бранью. Я так и не выяснил, с чего он на меня взъелся, но каждый раз, проезжая этот участок по пути в аэропорт, до сих пор вспоминаю голос обидчика.
Этот инцидент я вспоминаю сознательно, что объясняет эмоции, которые его сопровождают. Впрочем, мы часто настораживаемся и чувствуем неловкость при каких-то словах, в каком-то месте, не отдавая себе отчета о причине. В ретроспективе мы назовем это переживание интуицией, если за ним следует неприятное событие. Такой режим эмоционального обучения сродни тому, что происходило в опытах Павлова по выработке условного рефлекса у собак. То, чему учились собаки, можно было бы назвать приобретенной надеждой (звук колокольчика служил сигналом к обеду). Страхи приобретаются гораздо легче.
Источником интуиции становится не только собственный опыт, но и чужой, переданный на словах. Пожарный с развитым «шестым чувством» наверняка не раз обсуждал и обдумывал ситуации, в которых еще не бывал: таким образом его мозг получал информацию о том, какие признаки свидетельствуют об опасности и как на них реагировать. На моей памяти молодой командир взвода без боевого опыта напрягался как струна, проводя солдат через узкую лощину, поскольку его учили определять места возможных засад. Научиться можно и без отработки навыка.
Эмоциональное обучение происходит быстро, но развитие так называемых профессиональных навыков занимает гораздо больше времени. Приобретение подобных умений для решения сложных задач, к примеру для игры в шахматы на высоком уровне, занятия профессиональным баскетболом или борьбы с пожарами, – задача каверзная и затратная, поскольку профессиональные навыки подразумевают не одно умение, а целый набор мини-навыков. Возьмем, к примеру, шахматы: хороший гроссмейстер понимает сложность позиции с одного взгляда, но чтобы этому научиться, требуются годы. Анализ игры профессионалов показал, что для овладения высшими уровнями мастерства необходимо как минимум 10 тысяч часов упорной подготовки (примерно шесть лет занятий по пять часов в день). В эти периоды глубокого сосредоточения на игре серьезный шахматист знакомится с тысячами комбинаций, предшествующих победе или поражению.
В какой-то степени подготовка мастеров-шахматистов напоминает уроки чтения у дошкольников. Вначале ребенок прикладывает усилия, чтобы узнать буквы и составить из них слоги, а затем слова. Взрослый читатель воспринимает целые предложения. При должном опыте возникает способность замечать новые элементы в тексте, узнавать и правильно произносить впервые встреченное слово. В шахматах повторяющиеся сочетания фигур играют роль букв, а комбинации сродни длинным словам или предложениям.
Опытный читатель сможет прочесть прежде не виденную строфу «Бармаглота» Льюиса Кэрролла с правильной интонацией и ударением, получая при этом удовольствие:
Варкалось. Хливкие шорьки
Пырялись по наве,
И хрюкотали зелюки,
Как мюмзики в мове [2 - Перевод Д.Г. Орловской.].
Обучение шахматиста – процесс более сложный и медленный, чем подготовка читателя, поскольку в шахматном «алфавите» гораздо больше букв и «слова» длиннее. Однако после тысяч часов практики мастера прочитывают позиции на доске с одного взгляда, а те немногочисленные ходы, которые приходят им на ум, почти всегда сильны и даже неординарны. Гроссмейстеры могут разобрать «слово», с которым раньше не сталкивались, или найти новый способ интерпретации уже знакомого.
Контекст развития умений
Мы с Кляйном быстро обнаружили, что сходимся во мнениях по поводу природы интуитивного умения и того, каким образом оно приобретается. Однако нам предстояло достичь согласия еще в одном ключевом вопросе: когда можно доверять эксперту с развитой, по его словам, интуицией?
Спустя какое-то время мы сообразили, что имеем в виду разных экспертов. Кляйн долгое время работал с командирами пожарных бригад, медсестрами и другими профессионалами – обладателями практического опыта. Я же провел больше времени, следя за тем, как психологи, финансовые аналитики и политологи пытаются составлять необоснованные долгосрочные прогнозы. Неудивительно, что Кляйн испытывал уважение и доверие к экспертам, а я был настроен скептически. Он был более склонен прислушиваться к интуитивным суждениям экспертов, поскольку, по его словам, настоящий профессионал осознает пределы своих возможностей. Однако я сталкивался со многими псевдоэкспертами, которые не замечали собственного невежества (иллюзия значимости), и считал, что субъективная уверенность часто бывает неоправданно высока и не основывается на информации.
В предыдущих главах я показал, что твердая уверенность возникает из двух родственных ощущений: когнитивной легкости и когерентности. Мы обретаем уверенность, когда найденное нами объяснение легко всплывает в памяти и не содержит внутренних противоречий. Однако легкость и связность вовсе не означают истинности суждения, в которое мы верим. Ассоциативный механизм настроен таким образом, чтобы подавлять сомнения и вытаскивать на свет идеи и факты, совместимые с главенствующей в данный момент историей. Следуя правилу «что ты видишь, то и есть», наше сознание достигает высокой убежденности в чем-либо, часто игнорируя неизвестное. Поэтому неудивительно, что многие из нас склонны верить голословным заявлениям интуиции. Мы с Кляйном пришли к согласию отн осительно следующего важного принципа: уверенность в собственной интуиции не является свидетельством ее значимости. Другими словами, не поддавайтесь на «авторитетные» уговоры и заверения (даже если пытаетесь уговорить сами себя).
Однако если субъективная вера может подвести, как тогда оценивать вероятную значимость интуитивного суждения? Когда такие суждения отражают истинный опыт и профессионализм и когда они – лишь пример иллюзии значимости? Ответ можно получить исходя из двух основных условий приобретения мастерства:
• наличия контекста, причем достаточно постоянного, чтобы стать предсказуемым;
• возможности изучить упомянутые постоянства контекста посредством длительной практики.
Когда оба эти условия удовлетворяются, интуиция приобретается как навык. Шахматы – крайний пример неизменного контекста или среды, хотя в бридже и покере тоже присутствуют стойкие статистические закономерности, позволяющие оттачивать умения. Врачи, медсестры, спортсмены и пожарные также имеют дело со сложными, но внутренне закономерными ситуациями. Точные интуитивные суждения, описанные Гэри Кляйном, возникли благодаря крайне значимым сигналам, которые научилась использовать Система 1 эксперта, даже если Система 2 не нашла им наименования. В случае с финансовыми аналитиками и политологами произошло обратное: они действуют в контексте с нулевой достоверностью. Их неудачи отражают изначальную непредсказуемость событий, которые эти эксперты пытаются предсказать.
Некоторые контексты даже хуже непостоянных. Робин Хогарт описывает так называемые «порочные» среды, в которых профессионалы чаще усваивают ложные истины. Он приводит пример из работ Льюиса Томаса – историю о враче начала ХХ века, который часто диагностировал склонность к заболеванию тифом у своих пациентов. К несчастью, для постановки диагноза врач пальпировал язык пациента и не мыл рук между приемами. Если пациент впоследствии заболевал, это подогревало веру врача в безошибочность своей диагностики. Его прогнозы были точны, но не за счет профессиональной интуиции.
Клиницисты Мила не были некомпетентными, а их промахи не означали отсутствия таланта. Если им что-то не удалось, то лишь потому, что поставленные задачи не имели простого решения. Медицинский прогноз – менее крайний случай в сравнении с долгосрочным политическим прогнозом при нулевой достоверности контекста, однако малодостоверный контекст также не способствует высокой точности предсказаний. Мы знаем, что дело именно в этом, поскольку даже самые лучшие статистические программы не дают в этих условиях точных результатов, не говоря уже об экспертах. В опытах Мила и его последователей ни разу не возникало эффекта «поимки с поличным», когда бы специалист не учел какую-нибудь значимую подсказку среды, учитываемую алгоритмом. Ошибка подобного рода маловероятна, поскольку человек обычно учится такое замечать. Если сущест вует крайне значимый для построения прогноза сигнал среды, человек-наблюдатель его заметит при соответствующей возможности. В шумных средах статистические алгоритмы дают лучшие результаты по двум причинам: они более успешно распознают слабые значимые сигналы и еще успешнее поддерживают средний уровень точности прогноза при постоянном шуме.
Нельзя винить кого-то за плохой прогноз в непредсказуемом мире. Вместо этого стоило бы обвинить профессионалов за веру в то, что эта непосильная задача им по плечу. Превозношение собственных догадок касательно непредсказуемых ситуаций – в лучшем случае самообман. В отсутствие значимых сигналов среды такие «озарения» – либо удача, либо фальшь. Если этот вывод показался вам неожиданным, значит, вы все еще верите в волшебство интуиции. Запомните: нельзя полагаться на интуицию в контексте, лишенном стабильных закономерностей.
Обратная связь и практика
Какие-то из закономерн остей среды легче распознать и использовать, чем другие. Вспомните, как вы учились водить машину. Осваивая выполнение поворотов, вы постепенно приноровились отпускать педаль газа и с разной силой давить на тормоза. Поворот повороту рознь, и то, что вы испытали на практике во время обучения, позволяет вам теперь приноровиться к любым условиям, выбрать нужный момент для каждой педали. В этом случае условия для приобретения навыка идеальны, поскольку вы получаете мгновенную и недвусмысленную обратную связь в виде плавного поворота без заноса или наоборот. Портовый лоцман, водя за собой большие корабли, сталкивается с такими же рутинными ситуациями, но ему труднее приобретать мастерство из-за временно́ го разрыва между действием и последствием. Таким образом, способность профессионала развивать интуицию зависит главным образом от качества и быстроты обратной связи, а также от возможности практиковаться.
Профессионализм не сводится к одному навыку – это целый набор умений. Один и тот же человек способен профессионально выполнять одни задачи в своей области и не справляться с другими. К тому времени, когда шахматисты становятся экспертами, они успевают всего навидаться, но их можно считать исключением. Хирурги часто успешнее проводят какие-то конкретные операции. Некоторым аспектам профессиональной деятельности бывает легче научиться. У психотерапевтов есть много шансов наблюдать мгновенные реакции пациентов на их слова. Обратная связь позволяет им развить навык интуиции и подобрать нужный тон, чтобы умерить гнев, вселить уверенность или сосредоточить внимание пациента на задаче. С другой стороны, у терапевтов нет возможности определить, какой из общих лечебных подходов годится для конкретного человека. Обратная связь в виде отсроченного результата поступает к врачу не сразу и с перебоями, если поступает вообще. В любом случае едва ли с ее помощью можно чему-то научиться.
Хорошая обратная связь сопутствует работе анестезиоло гов, поскольку результат их действий заметен быстро. Радиологи, наоборот, получают мало информации о точности своих диагнозов и упущенных патологиях. Таким образом, у анестезиологов больше шансов развить интуицию. Если анестезиолог говорит: «Что-то не так», всем в операционной следует готовиться к экстренной ситуации.
Опять-таки, как и в случае субъективной убежденности, эксперт может не осознавать пределов собственных профессиональных умений. Опытный психотерапевт знает, что обладает умениями разобраться в мыслях пациента, а интуиция подсказывает ему, что пациент скажет в следующую минуту. Отсюда – соблазн предсказать, как пациент будет чувствовать себя в следующем году, хотя в этом случае предсказание менее оправданно. Краткосрочный и долгосрочный прогноз – разные задачи, и невозможно научиться решать их обе в достаточной мере. Аналогично финансовый консультант порой обладает многими финансовыми умениями, но не умением инвестировать средства, а эксперт по Ближне му Востоку, каким бы образованным он ни был, неспособен предвидеть будущее.
Психолог-клиницист, финансовый аналитик и специалист-профессионал – все они обладают интуицией в какой-то конкретной области, но не умеют определять ситуации и задачи, где интуиция может их подвести. Непонимание пределов собственных профессиональных умений – одна из причин излишней самоуверенности экспертов.
Определение значимости
В конце нашего сотрудничества мы с Гэри Кляйном все же пришли к согласию, отвечая на основной поставленный вопрос: в каких случаях стоит доверять интуиции эксперта? У нас сложилось мнение, что отличить значимые интуитивные заявления от пустопорожних все же возможно. Это можно сравнить с анализом подлинности предмета искусства (для точного результата лучше начинать его не с осмотра объекта, а с изучения прилагающихся документов). При относительной неизменности контекста и возможности выявить его закономер ности ассоциативный механизм распознает ситуацию и быстро вырабатывает точный прогноз (решение). Если эти условия удовлетворяются, интуиции эксперта можно доверять.
К сожалению, ассоциативная память также порождает субъективно веские, но ложные интуиции. Всякий, кто следил за развитием юного шахматного таланта, знает, что умения приобретаются не сразу и что некоторые ошибки на этом пути делаются при полной уверенности в своей правоте. Оценивая интуицию эксперта, всегда следует проверить, было ли у него достаточно шансов изучить сигналы среды – даже при неизменном контексте.
При менее устойчивом, малодостоверном контексте активируется эвристика суждения. Система 1 может давать скорые ответы на трудные вопросы, подменяя понятия и обеспечивая когерентность там, где ее не должно быть. В результате мы получаем ответ на вопрос, которого не задавали, зато быстрый и достаточно правдоподобный, а потому способный проскочить снисходительный и ленивый ко нтроль Системы 2. Допустим, вы хотите спрогнозировать коммерческий успех компании и считаете, что оцениваете именно это, тогда как на самом деле ваша оценка складывается под впечатлением от энергичности и компетентности руководства фирмы. Подмена происходит автоматически – вы даже не понимаете, откуда берутся суждения, которые принимает и подтверждает ваша Система 2. Если в уме рождается единственное суждение, его бывает невозможно субъективно отличить от значимого суждения, сделанного с профессиональной уверенностью. Вот почему субъективную убежденность нельзя считать показателем точности прогноза: с такой же убежденностью высказываются суждения-ответы на другие вопросы.
Должно быть, вы удивитесь: как же мы с Гэри Кляйном сразу не додумались оценивать экспертную интуицию в зависимости от постоянства среды и опыта обучения эксперта, не оглядываясь на его веру в свои слова? Почему сразу не нашли ответ? Это было бы дельное замечание, ведь решение с самого начала мая чило перед нами. Мы заранее знали, что значимые интуитивные предчувствия командиров пожарных бригад и медицинских сестер отличны от значимых предчувствий биржевых аналитиков и специалистов, чью работу изучал Мил.
Теперь уже трудно воссоздать то, чему мы посвятили годы труда и долгие часы дискуссий, бесконечные обмены черновиками и сотни электронных писем. Несколько раз каждый из нас был готов все бросить. Однако, как всегда случается с успешными проектами, стоило нам понять основной вывод, и он стал казаться очевидным изначально.
Как следует из названия нашей статьи, мы с Кляйном спорили реже, чем ожидали, и почти по всем важным пунктам приняли совместные решения. Тем не менее мы также выяснили, что наши ранние разногласия носили не только интеллектуальный характер. У нас были разные чувства, вкусы и взгляды применительно к одним и тем же вещам, и с годами они на удивление мало изменились. Это наглядно проявляется в том, что каждому из нас ка жется занятным и интересным. Кляйн до сих пор морщится при слове «искажение» и радуется, узнав, что некий алгоритм или формальная методика выдают бредовый результат. Я же склонен видеть в редких ошибках алгоритмов шанс их усовершенствовать. Опять-таки я радуюсь, когда так называемый эксперт изрекает прогнозы в контексте с нулевой достоверностью и получает заслуженную взбучку. Впрочем, для нас в конечном итоге стало важнее интеллектуальное согласие, а не эмоции, нас разделяющие.
Популярное:
