Можно ли измерить результаты тренинга?

⇐ ПредыдущаяСтр 20 из 25Следующая ⇒

Здесь не один, а по меньшей мере два вопроса: первый — риторический (предполагается, что раз на тренинг тратятся немалые деньги, то результат есть и его можно измерить), второй — практический (чем и как). В ответ часто приходится слышать удивленный возглас: «Разумеется, можно измерить!.. Как это чем? Ростом прибыли!..» Варианты этого ответа включают снижение расходов, рост объема продаж, производительности и т.д.

Пример. Оценим результат... не отходя от кассы

Владелец недавно созданной фирмы обсуждал в тренинговой компании заказ на обучение технике продаж. Обратившись к тренеру, он сказал: «Посылаю своих людей, плачу 20 тыс. (долларов). Если через месяц объем продаж не вырастет на 10%, то ты будешь мне должен 20 тыс.»

Главная задача корпоративного тренинга в бизнесе — вклад в рост прибыли компании, в некоммерческой организации — повышение эффективности ее работы. Однако реально ли ожидать, что обучение персонала немедленно отразится на результатах деятельности организации? Есть ли прямая связь между обучением и результатами работы обученных сотрудников? От того, каким будет ответ на этот вопрос, зависит, будем ли мы планировать тренинг как нечто самоценное (одна крайность) или исходить из жесткой привязки тренинга к бизнес-показателям (другая крайность). Есть ли альтернатива этим крайностям?

Критерии результативности тренинга: модель Киркпатрика

Ha протяжении многих лет в международной практике корпоративного тренинга используют модель Киркпатрика, названную по имени ее автора. Модель описывает четыре шага (и соответственно уровня) оценки результатов тренинга.

1. Реакция: насколько обучение понравилось участникам.

2. Усвоение: какие факты, приемы, техники работы были усвоены в результате обучения.

3. Поведение: как в результате обучения изменилось поведение, действия участников в рабочей обстановке.

4. Результат: каковы осязаемые результаты обучения для организации, измеренные через сокращение затрат, сроков, улучшение качества и т.д.

Уровень 1: реакция

С оценкой этого уровня хорошо знакомы все, кто проводил устный или письменный опрос участников после окончания тренинга. Речь идет о восприятии тренинга участниками, их удовлетворенности. Оценивая реакцию, мы имеем дело со следами эмоционального восприятия тренинга, определяем впечатление, которое он произвел. Здесь важно понимать, что мы оцениваем эффективность тренинга на основе именно впечатления, а не усвоения, изменившегося поведения или результативности работы.

Впечатления субъективны, однако с ними можно работать систематически и упорядоченно. Для этого применяются систематические устные опросы и опросные листы для письменной оценки.

Реакция: обратная связь по результатам дня

Пример. Итоги дня

В конце каждого дня ведущий просит участников ответить на один вопрос: «Назовите один из результатов (итогов) сегодняшних занятий для вас». Участники отвечают на вопрос поочередно, по кругу. Вот пример ответов.

«Для меня сегодня самым важным результатом было то, что я задумался над теми действиями, которые повседневно совершаю автоматически, мне было полезно осознать, как это воспринимают сотрудники...»; «Сегодня интереснее всего для меня был модуль, посвященный стилям руководства, кое-что для меня было совершенно новым...»; «Мне понравились практические задания, ролевые игры...»; «Для меня результат сегодняшнего занятия — возможность посмотреть на себя со стороны, я теперь знаю, на что обратить внимание».

Обратная связь по результатам дня позволяет судить о следующем:

v что привлекло, заинтересовало, запомнилось (разделы курса, идеи);

v какие рабочие выводы сделаны участниками;

v каково отношение участников к ходу и результатам сегодняшнего занятия.

Еще один способ усилить обратную связь от слушателей — задать вопрос об ожиданиях на предстоящий, завтрашний день. Отвечая на этот вопрос, участники высказывают свои пожелания, отмечают то, что им хотелось бы изменить в методах, темпе проведения занятий. При подготовке следующего дня тренер может ввести поправки в свою работу (круг вопросов, методы работы, темп и т.д.).

Реакция: обратная связь в конце курса

Подведение итогов — естественное завершение тренингового курса. Его важная составная часть — обратная связь от участников, их впечатления, мнения и оценки. Обратная связь от участников по итогам курса может быть устной и письменной, структурированной и свободной. Устная обратная связь дается в виде ответов по заданной тренером форме или в виде свободных высказываний участников. В случае заранее структурированной, формализованной письменной обратной связи-оценки участники заполняют заранее подготовленные бланки. У каждого вида обратной связи есть свои преимущества и недостатки. Устная форма дает возможность всем участникам подвести итоги, провести «завершение группового процесса». Письменная форма позволяет использовать мнения участников как материал при оценке эффективности курса, работы тренера, а также при последующей работе с руководством организации-заказчика (см. Аналитический отчет).

Пример. Окончание курса

Заканчивая курс, тренер обратился к участникам: «Возьмите в руки этот мяч. Держа его в руках, назовите один из основных итогов нашего тренинга для вас как руководителя. После этого передайте или перебросьте мяч следующему (только, пожалуйста, убедитесь, что он готов говорить)». Когда все участники высказались, тренер торжественно раздал сертификаты о прохождении курса. Затем участники получили бланки для формализованной оценки курса.

Двойная реакция

Обычно при сборе оценок неявно предполагается, что документально зафиксированные мнения полностью описывают реакцию и на тренинг. Опыт показывает, что это не всегда так.

Пример. На бумаге и в душе

В конце тренинга участники заполнили оценочные листы. Тренинг в целом, его содержание, методы проведения получили положительные оценки. Однако через неделю ведущий услышал от тренинг-менеджера, что участники отзываются о тренинге как о ненужной трате времени.

Иногда оценка тренинга по реакции участников сразу же после ее проведения «корректируется» коридорными высказываниями. Профилактика возможных неожиданностей — предварительная подготовка, которую проводят как организаторы-заказчики, так и ведущие тренинга (см. Анализ потребностей в тренинге, Ожидания участников). Чем точнее выявлены и обсуждены (и документально зафиксированы) потребности и ожидания основных заинтересованных сторон, тем лучше.

Уровень 2: усвоение

Благоприятная реакция еще не гарантирует усвоения содержания курса. Если бы задача обучения состояла в сообщении знаний, усвоение можно было бы оценить, сравнивая объем информации, заложенный в курсе, с тем, который участники получили, запомнили и готовы использовать через некоторое время. Но сложность в том, что содержание корпоративного тренинга обычно не сводится к информации, а задачи не исчерпываются ее сообщением.

В практике корпоративного тренинга усвоение представляет собой совокупность следующих результатов:

ü изменение отношений;

ü приобретение умений и навыков;

ü приобретение знаний.

То, что эти результаты обучения достигнуты, еще не означает, что они применяются в рабочих условиях, т.е. ведут к изменению поведения, образа действий (см. далее). Однако нас сейчас интересует оценка усвоения. Есть несколько вариантов такой оценки:

v индивидуальная оценка «на выходе»;

v сравнение предварительной и заключительной оценок;

v использование контрольной группы для сравнения.

В каждом из этих подходов применяются различные методы оценки, которые включают выполнение стандартизованных тестов, выполнение контрольных заданий, ответы на опросник с последующей экспертной оценкой.

Пример. Экзамен в виде состязания

В конце трехдневного тренинга для ведущих и организаторов внутрифирменного обучения тренер провела экзамен в игровой форме. Вопросы по курсу имели цены в условных единицах. Отвечая на вопросы, участники должны были набрать определенную сумму. Экзамен занял полчаса и прошел живо и увлекательно[41].

В конце тренинга для тренеров ведущий провел экзамен в форме состязания двух команд, которые должны были дать ответы на вопросы по курсу. Каждый ответ добавлял команде один балл. Экзамен вызвал оживление у изрядно уставших участников и стал ярким завершением курса^{^[42]}.

Оценка усвоения распространена довольно широко, хотя в жестких рамках корпоративного тренинга времени на нее остается немного. В практике мы нередко встречаемся с выполнением контрольных заданий.

Пример. Презентация и «защита»

В ходе тренинга по маркетингу участники — менеджеры региональных отделений получили задание подготовить маркетинговый план для своего филиала. В последний день тренинга каждый участник представил свой план на обсуждение.

Пример. “Я только что приехал в ваш город…”

В конце курса для сотрудников гостиниц тренеры устроили контрольные ролевые игры. Участники попарно разыгрывали сценки-диалоги между новоприбывшим клиентом и сотрудником гостиницы. В поведении участников оценивалось как следование инструкции, так и умение отреагировать на неожиданные запросы «клиентов», сочетание приветливости и доброжелательности с четким соблюдением границ отношений «сотрудник—клиент».

Уровень 3: поведение

Этот уровень оценки относится к применению знаний и навыков в рабочих условиях. Участники тренинга могут прекрасно отзываться о прошедшем обучении, они могут хорошо выполнить проверочные задания, и все же...

Обучение не имеет смысла, если его следствием не будут изменения в действиях на рабочих местах. Залогом изменений являются, например:

v желание внести изменения в свою работу;

v соответствующие знания и умения;

v поддержка или прямая помощь со стороны руководства;

v поддержание позитивных изменений в действиях сотрудника.

Из названных факторов первые два связаны с усвоением тренингового курса, остальные выходят за его пределы и относятся к обстановке в организации. Оценка навыков в рабочей обстановке нужна не только для контроля, это важный способ поддержки новых навыков.

Оценку рекомендуется проводить дважды — до обучения и после него (промежуток времени между обучением и оценкой должен быть небольшим, от недели до полугода). К числу методов оценки тренинга на уровне поведения относятся проведение интервью или заполнение опросников участниками и их непосредственными руководителями. В некоторых компаниях оценку после обучения проводят повторно: в первую неделю после окончания курса и несколько месяцев спустя.

Пример. Оценка-мониторинг^{^[43]}

Крупная компания-авиаперевозчик провела тренинг для своих операторов по работе с клиентами. В ходе тренинга использовались ролевые игры, практические задания, видеообратная связь и другие приемы обучения, с помощью которых отрабатывались навыки работы с клиентами по телефону. Однако понятно, что отработка навыков в учебной обстановке не гарантирует их полноценного использования в рабочей обстановке. После тренинга руководство компании решило провести оценку результатов на рабочих местах. Но как это сделать? Как проверить действия операторов в особенно сложных случаях, когда в фирму обращается клиент, потерявший документы о регистрации груза, или клиент, нечетко формулирующий суть заказа?

Решение было найдено: оценка-мониторинг. На протяжении недели вся-группа прошедших обучение операторов работала как обычно, не зная, что часть звонков исходит от проверяющих, которые моделировали типичные сложные случаи клиентских обращений. В ходе проверки выяснилось, что часть девушек не отвечает на звонки. Это означало, что при работе на многоканальном телефоне усердие проявляют не все операторы. Эта информация особенно заинтересовала руководство в связи с предстоящим сокращением. Ответы оценивались по специально разработанной схеме, где фиксировались соблюдение правил ответа по телефону, готовность решить проблему клиента, доброжелательность и т.д. После проведения мониторинга руководство знало, как действовать в ситуации сокращения: кого следует перевести на другое место (или, может быть, уволить), кому помочь, кого поощрить...

Уровень 4: результат

Оценка на этом уровне означает обращение к показателям результативности обучения через бизнес-результаты, оценку вклада обучения в работу организации. Примеры результатов: снижение числа жалоб клиентов, текучести кадров, соблюдение техники безопасности, отношение к работе и моральный климат, качество продукции и т.д.^{^[44]} Сложность оценки на этом уровне в том, что нужно выделить эффект обучения, изолировав его воздействие от воздействия других факторов (например, факторов мотивации, обстановки в организации, изменения рыночной ситуации и т.д.). То, что результаты не улучшаются, может означать либо неэффективность тренинга, либо действие внешних факторов. В таком случае как понять, в чем причина? Ответ легче найти, если была проведена оценка на предыдущем уровне — уровне усвоения. Если результаты на уровне усвоения низкие, заведомо не стоит ожидать повышения результатов на уровне поведения. Если же результаты на уровне усвоения положительные, высокие, а на уровне поведения — низкие, то, как показывает практика, причина обычно сводится к двум возможностям:

• в аудитории не была проделана специальная работа, направленная на перенос знаний и навыков в реальную рабочую обстановку, либо

• на рабочих местах действуют факторы, которые затрудняют или мешают сотрудникам использовать результаты обучения (например, факторы мотивации, организации труда, обстановки в организации и т.д.).

Уровень 5: возврат на вложения — можно ли его оценить?

В последние годы некоторые организации — потребители тренинговых услуг и тренинговые компании стремятся оценить возврат на вложенные затраты. В конце 80-х-начале 90-х годов специалист по работе с человеческими ресурсами Дж. Филипс предложил ввести пятый уровень оценки: возврат на вложенный капитал (ВВК). Формула оценки проста:

ВВК = Финансовые результаты обучения (добавленная стоимость) / Затраты на обучение

При внешней простоте формулы реальная оценка осязаемых для организации результатов обучения трудна. Казалось бы, что сложного в том, чтобы подсчитать соотношение затрат на обучение и изменение в объеме продаж или сокращение времени производственных операций? Однако сокращение затрат, сроков, улучшение качества и другие изменения, наступившие после тренинга, могут быть связаны с самыми разными обстоятельствами. Известно правило логики: «после не значит по причине».

Пример. Сверхприбылъное обучение

Международная фирма уделяет много внимания обучению сотрудников. На протяжении года она переживала период бурного роста и связанные с ним трудности: задолженность российского филиала превысила 2, 5 млн. долл., за год были уволены более 50 менеджеров. В то же время директор по персоналу с гордостью говорит: «Мы очень внимательно относимся к обучению сотрудников, наш доход на капитал, вложенный в обучение, составляет 4101%»

В приведенном примере простой подсчет говорит о том, что фир ме, о которой идет речь, остается лишь делать большие вложения вобучение сотрудников, чтобы получать выигрыш более чем в 40 раз: вполне реальные затраты на тренинг в 10 тыс. долл. обернутся дохо дом свыше 4 млн... Но есть и другая возможность: вполне вероятно, что нарушены границы применимости методики подсчета, сам подсчет проводился формально (об этом говорит нереалистичная точность до 1%). Наш вывод прост: методики оценки надо применять, понимая их ограничения.

Трудность в том, чтобы оценить добавленную стоимость обучения. Как и в оценке предыдущего уровня, результаты самого обучения нужно изолировать от последствий действия других факторов. Для этого можно сравнить одни и те же производственные показатели для сотрудников, прошедших обучение, и тех, кто обучение не проходил (метод сравнения с контрольной группой). Еще один способ: провести анализ тенденции изменения интересующего нас показателя за год. Например, если число жалоб от клиентов снижалось в течение года, то их плавное снижение после тренингового курса по работе с клиентами не обязательно связано с обучением; однако если после курса число жалоб стало значительно ниже и тенденция снижения продолжалась, то такое снижение можно считать именно результатом тренинга.

Как видно, оценка результатов тренинга на этом уровне требует дополнительного внимания и усилий. Нужно решить, какие показатели деятельности организации будут оцениваться. Например, в разработках Группы стратегического управления (SMG) выделены такие показатели бизнес-результатов, как снижение текучести кадров, рост производительности труда, рост удовлетворенности клиентов, рост количественных показателей производства и др. Далее нужно определить, какими способами будут выделены результаты именно обучения. Но и это еще не все: нужно перевести результаты обучения в финансовые показатели. Такую работу берут на себя лишь немногие отделы по работе с персоналом, однако именно им легче аргументировать необходимость затрат на обучение. В последние годы консалтинговые компании предлагают специальные подходы к оценке ВВК[45].

⇐ Предыдущая 15 16 17 18 192021 22 23 24 Следующая ⇒