Сопоставление тестовых оценок с оценками на устном экзамене

⇐ ПредыдущаяСтр 4 из 6Следующая ⇒

Одним из ключевых направлений анализа результатов явилось со-поставление тестовых оценок и оценок на устном (традиционном) эк-замене. На рис. 3 можно видеть гистограмму, аналогичную той, которая приведена на рис. 2, но только применительно к устным оценкам.

60

			2007 г
			2008 г
			2009 г


" Неуд"	" Удов"	" Хорошо"	" Отлично"
Рис. 3. Пропорции оценок на устном экзамене в разные годы (за 100 процентов
в каждом году принято общее количество проэкзаменованных)

Бросается в глаза резкая асимметрия распределения в пользу вы-соких оценок на устном экзамене, особенно на фоне достаточно сим-метричного распределения тестовых оценок.

Анализ согласованности тестовых и устных оценок далее произво-дился двумя способами: с помощью расчета традиционных коэффици-ентов линейной корреляции по нормализованным устным и тестовым оценкам, а также с помощью матриц сопряженности.

На фоне высокой асимметрии устных оценок немудрено, что ли-нейная корреляция нормализованных тестовых баллов и устных оценок оказывается относительно невысокой (хотя и вполне значимой). В 2007 г. она достигала величины 0.51, в 2008 — 0.45, в 2009 г. — 0.47. Это не так плохо с учетом серьезных различий в этих процедурах (и прежде всего с учетом их различий в мотивации в силу их принципиально разного вклада в итоговую оценку, что расхолаживало некоторых студентов при выполнении теста).

Но более интересные результаты дал анализ матриц сопряженности (табл. 1). Только в двух случаях из 621 в течение трех лет экзаменато-ры выставляли на устном экзамене оценку, которая оказывалась на 2 градации ниже по традиционной шкале, чем оценка по тесту, т.е. более строгое испытание, каким оказывался тест, достаточно определенно (с точностью до 1 деления на традиционной шкале) информирует о том, что студент вполне подготовлен. Собственно это статистическое наблюдение, выявленное еще в 2005—2006 гг., и стало основой для формулирования того правила, которое действует в настоящее время в виде мягкой поощрительной (подстраховочной) формулы учета ре-зультатов тестирования. Только в 28 случаях из 621 экзаменаторы на устном экзамене понижали свою оценку на 1 балл ниже тестовой, т.е. на устном экзамене балл снижался только менее чем у 5% студентов (достигнут стандартный статистический уровень ошибки измерения! ). Важно подчеркнуть, что эта закономерность вполне сохранилась и в 2008 г., когда экзаменаторы просто НЕ видели тестовых оценок. Таким

Таблица 1

Три (А, Б, В) частотные матрицы сопряженности тестовых и устных оценок. В каждой клетке каждой матрицы указано количество студентов (частота совместного события), показавших определенное сочетание оценок по тесту и на устном экзамене

2009 год	Тест 2	Тест 3	Тест 4	Тест 5
Устный 2
Устный 3
Устный 4
Устный 5
Б

2008 год	Тест 2	Тест 3	Тест 4	Тест 5
Устный 2
Устный 3
Устный 4
Устный 5
В

2007 год	Тест 2	Тест 3	Тест 4	Тест 5
Устный 2
Устный 3
Устный 4
Устный 5

образом, в табл. 1 можно просто увидеть основания для следующего вывода: высокий балл по тесту предопределяет высокий балл на устномэкзамене с высокой (более 95%! ) статистической надежностью.

Эту эмпирически выявленную закономерность мы предлагаем ин-терпретировать таким образом: действительно хорошо подготовленные студенты проявляют свою высокую подготовку и в тестовых испытани-ях, и на устном экзамене, а средне и слабо подготовленные студенты НЕ могут проявить себя на тестовом испытании, тогда как на устном экзамене им удается добиться высокой оценки.

Низкий балл по тесту не предопределяет постановку на устном эк-замене низкой оценки. При этом на 3 балла (с двойки на пятерку) оценкаповышалась в 13 случаях из 621 (около 2% от всех оценок). На 2 балла (с двойки на четверку и с тройки на пятерку) оценка повышалась в 78 случаях (почти 13% от всех оценок). Повышение на 1 балл происходит в 277 случаях из 621 (44%). Получается, что завышение на 1 балл встре-чается даже чаще, чем точное соответствие (35%). На рис. 4 видно, что распределение отклонений устных оценок от тестовых оказывается резко смещенным вправо.

50





-3	-3	-1	+1	+2	+3

Рис. 4. Гистограмма частот, указывающая на отклонение устных оценок от тестовых (за три года). По оси абсцисс на данном графике отложены величины отклонений устных оценок от тестовых (в единицах традиционной 5-балльной шкалы)

Надо сказать, что постепенно к 2009 г. эта тенденция (можно ее интерпретировать как «тенденцию завышения оценок на устном экза-мене») стала нивелироваться. Очевидно, это происходило не без влия-ния со стороны тестового испытания. Заметно, что число, например, завышений на 3 балла (постановок оценок «отлично» тем, кто получил «неуд» за тест) резко возросло (до 10 человек) именно в 2008 г., когда экзаменаторам вообще не показывали тестовые оценки. Но в целом тенденция сохранилась.

Как же правильнее проинтерпретировать асимметричную связь тестовых баллов и устных оценок? Может быть, за этим стоит вовсе не либерализм преподавателей на устном итоговом экзамене (не «завы-шение» как таковое), а, например, неумение какой-то части хорошо подготовленных студентов успешно выполнять тестовый экзамен за компьютером? Но… ведь при этом почти ВСЕ студенты, которые успешно выполняют тестовый экзамен, успешно сдают и устный. Так что все-таки основная наша гипотеза, объясняющая асимметричность, заключалась в том, что за асимметрией стоит элементарное стремление преподавателей завышать оценки на устном экзамене (тем более что за пять лет большинству преподавателей студенты стали хорошо известны, многие из них регулярно получали на разных устных экзаменах высокие оценки и тем самым уже как бы «ангажировали» своих экзаменаторов на госэкзаменах на выставление высоких баллов).

Чтобы выяснить, какая же из двух процедур вносит больше искаже-ний (слишком ли жестким и неудобным оказывается тест или слишком мягким и удобным оказывается устный экзамен), надо взять какой-то третий независимый критерий и проверить его статистическую связь с каждой из двух исследуемых переменных.

⇐ Предыдущая 1 2 345 6 Следующая ⇒