Этап 4. Обработка результатов тестирования и коррекция заданий.

 

Для облегчения восприятия результатов студентами и преподавателями простейшая обработка сводилась к подсчету числа правильных ответов (сырого балла) по тесту в целом и по тематическим разделам. В течение ряда лет студентам и преподавателям предъявлялись также процен-тильные баллы (процент испытуемых, показавших балл ниже данного

 

в текущем году), но затем от этой практики решено было отказаться. Напротив, для облегчения сопоставимости в учете результатов тестиро-вания и результатов устного экзамена баллы тестирования переводились

 

в традиционные оценки, исходя из интервалов, согласованных в ходе заседания комиссии из авторов заданий и руководителей проекта. В последние 2 года границы перевода сырых баллов в экзаменационные оценки не изменялись: 44—60 правильных ответов - оценка «отлично»;

⁴ В данной статье описывается процедура тестирования и схема госэкзаменов, которая уже в 2010—2011 гг. претерпела изменения. Как уже отмечалось выше, к тесту и устному экзамену добавилось третье испытание — письменный экзамен. При этом коли-чество заданий в тесте выросло до 90 заданий, 12 из которых в 2011 г. стали предъявляться на иностранном языке. Баллы по тесту вносят в итоговую оценку вклад в размере 20%. Такая модификация открывает новый цикл практических исследований, заслуживающих отдельного анализа.

 

34—43 — «хорошо»; 25—33 — «удовлетворительно»; 0—24 правильных ответов — оценка «неудовлетворительно».

 

Переход к такой фиксированной конверсионной таблице (таблице перевода баллов в оценки) стал возможным благодаря определенной стабилизации процедуры, а главное — повышению качества тестовых заданий.

 

Для понимания мотивации студентов к выполнению тестов (а это является с психологической точки зрения важнейшим аспектом любой методики тестирования) тут же важно сформулировать, как учитывают-ся результаты тестирования в итоговой оценке за госэкзамен. В послед-ние три года действует мягкий принцип учета, который можно назвать «принципом подстраховки»: низкие баллы по тесту никак не ограничи-вают студентов в возможности получить в конечном счете любой вы-сокий итоговый балл, а вот высокий балл на тестовом испытании дает определенные гарантии, поскольку устные комиссии, ознакомленные с результатами тестирования, не должны понижать балл более чем на 1 градацию по традиционной 5-балльной шкале. Это практически озна-чает, что «отличники» по тесту не должны получать итоговую «тройку», а «хорошисты» по тесту — итоговую «двойку». Такая мягкая форма учета результатов тестирования (в пользу студентов), утвержденная в приказе, сняла определенное социально-психологическое напряжение, которое неизбежно возникло бы в коллективе (и среди студентов, и среди пре-подавателей) в случае применения более жестких форм учета.

 

Для повышения качества тестовых заданий для каждого задания регулярно (каждый год) рассчитываются индексы трудности (процент правильных ответов), дискриминативности (разность в пропорции правильных ответов в высокой и низкой группе испытуемых, сгруппи-рованных по величине балла)⁵. Авторам заданий также передавались данные о проценте выбора дистракторов (ложных ответов). Это позво-ляло либо удалять низкокачественные задания из банка (с отрицатель-ным или низким КД — коэффициентом дискриминативности), либо корректировать вопрос и ответы с целями:

 

а) понижения трудности для слишком трудных заданий, б) повы-шения трудности для слишком легких заданий, в) повышения дискри-минативности для таких заданий, по которым либо слабые испытуемые догадывались о правильном ответе, либо сильные запутывались в дис-тракторах.

 

Пример тестовых заданий, достаточно легких для того, чтобы про-иллюстрировать степень неосведомленности тех студентов, которые отвечают на них неправильно, приводится в Приложении 2.

 

⁵ О том, что такое коэффициент дискриминативности и другие характеристики тестовых заданий, в настоящее время на русском языке уже вышла вполне доступная литература (Аванесов, 1996; Клайн, 1994; Майоров, 2001).

 

Получение эмпирически-статистических индексов трудности для каждого задания позволило применять начиная с 2008 г. такой алгоритм блочной рандомизации⁶, который обеспечивает сбаланси-рованный уровень трудности для каждого студента (каждого сеанса тестирования).

 

В целом примененная технология регулярного повышения качества тестовых материалов — это не какое-то особое изобретение авторов данного проекта, а стандартный подход в рамках известных, давно апро-бированных и внедренных в странах, развитых в плане тестологической культуры. Так что применение данной технологии может обеспечить любой вузовский коллектив, изучивший классические работы по на-учной теории тестов.

 

Результаты и их анализ

 

⇐ Предыдущая123456Следующая ⇒

Поделиться:

Популярное:

1. I. ОСНОВНЫЕ ЭТАПЫ НАПИСАНИЯ КУРСОВОЙ РАБОТЫ
2. I. ПРИЕМЫ ИЗМЕРЕНИЙ И СТАТИСТИЧЕСКИЕ СПОСОБЫ ОБРАБОТКИ ИХ РЕЗУЛЬТАТОВ В ПСИХОЛОГИЧЕСКОМ ИССЛЕДОВАНИИ
3. I. Этапы дипломного проектирования
4. II этап, средняя — старшая группы
5. II.2. Коррекция и реабилитация речевой патологии у детей, страдающих дизартрией
6. IV.Оценка полученных результатов
7. V этап. Сестринский анализ эффективности проводимого сестринского процесса.
8. V. ПОРЯДОК ПРОВЕДЕНИЯ ЭТАПОВ КОНКУРСА
9. V.5. Обработка на фрезерных станках
10. Алгоритм реализации этапов Конкурса
11. Анализ и интерпретация результатов исследования
12. Анализ использования основных фондов: задачи, объекты, этапы, источники информации, основные показатели.