Результаты апробации тестового комплекта

 

Апробация тестового комплекта проводилась в мае 2008 г. В ней участвовали 1900 учащихся России (22 региона) и Казахстана. Общая выборка охватывала 85 выпускных классов начальной школы в 38 образовательных учреждениях. Для основной статистической обработки из всего массива были отобраны результаты тестирования одиннадцати общеобразовательных школ городов Волжский (школы №8 и №32), Горно-Алтайск (школы №7 и №9), Красноярск (школа №1), Москва (школы НПШ и «Бакалавр»), Невинномысск (школа №10), Самара (школа №114), Сахалин (школа №1) и Улан-Удэ (школа №9). В эту выборку были включены только те учащиеся, которые выполнили все пять тестов, входящих в наш диагностический пакет. Общий объем выборки составил 291 учащегося. Статистическая обработка результатов проводилась с помощью компьютерной программы Microsoft Excel.

Первичная обработка результатов тестирования состояла в следующем.

Для каждого ученика по каждому предметному тесту подсчитывался его индивидуальный профиль, отражавший процент правильно выполненных заданий по каждому из трех уровней. Затем подсчитывались усредненные профили по каждому классу, школе, а также по выборке в целом (табл. 12). Таблицы, содержащие указанные данные, в дальнейшем выступали объектом анализа и дополнительной математической обработки.

Так, прежде всего было проведено сопоставление средних значений показателей, полученных на основе всей выборки по 1-му и 2-му вариантам каждого субтеста (см. табл.11).

 

Таблица 11. Корреляция между средними значениями по 1-му и 2-му вариантам тестов

	Уровень	Итоговый показатель
I	II	III
Математика	0, 79	0, 84	0, 64	0, 89
Естествознание	0, 60	0, 82	0, 66	0, 86
Язык	0, 63	0, 58	0, 82	0, 73
Чтение художественного текста	0, 60	0, 80	0, 58	0, 77
Чтение информационного текста	0, 60	0, 80	0, 58	0, 77

 

Как видно из таблицы, по большинству показателей итоговый показатель превосходит значение 0, 75 (а в двух случаях превосходит 0, 85). Это свидетельствует о том, что для каждого класса характерен свой, весьма устойчивый средний результат выполнения заданий. Достаточно высоки также и показатели по отдельным уровням (то есть характеристики «профиля» класса). Эти данные подтверждают надежность разработанных материалов в качестве инструментария для оценки средних характеристик класса. Вопрос же о степени надежности результатов, демонстрируемых каждым отдельным учеником, будет решаться на основе дополнительного исследования.

Далее, поскольку диагностический инструмент строился в контексте реализации определенных теоретических положений, следовало проверить его конструктную (концептуальную) валидность, т.е. соответствие результатов тестирования ожиданиям, логически вытекающим из принятой концепции.

На данном этапе проверялись две связанные гипотезы. Согласно первой из них задачи трех уровней, построенные на одном материале, должны были образовать соответствующую иерархию по степени решаемости. Согласно второй гипотезе, эта закономерность должна была проявиться более четко на материале тех предметов, в рамках которых содержание опыта ребенка наиболее жестко детерминировано учебной программой.

Для проверки первого предположения мы обратились к таблице 12, где для каждого уровня приведены точечная оценка вероятности выполнения теста на этом уровне (в процентах) и 95% -ный доверительный интервал для этой вероятности[38].

 

Таблица 12. Решаемость задач разного уровня (%)

Предметность тестирования	Уровень
I	II	III
%	Доверит. интервал	%	Доверит. интервал	%	Доверит. интервал
Математика	70, 8	(68, 5; 73, 1)	49, 6	(47, 0; 52, 2)	25, 4	(22, 9; 27, 9)
Естествознание	44, 7	(42, 8; 46, 6)	26, 3	(24, 6; 28, 0)	19, 7	(18, 2; 21, 2)
Русский язык	68, 6	(67, 1; 70, 1)	47, 4	(45, 7; 49, 1)	21, 1	(19, 7; 22, 5)
Чтение художественного текста	73, 5	(71, 4; 75, 6)	44, 5	(42, 8; 46, 2)	24, 7	(19, 7; 29, 7)
Чтение информационного текста	35, 9	(33, 4; 38, 4)	27, 0	(24, 7; 29, 3)	14, 4	(12, 1; 16, 7)

 

Данные приведенной таблицы могут быть наглядно представлены с помощью линейной диаграммы (рис. 5)

 

 

Рис. 5. Усредненные профили успешности по разным предметам

 

Как видно из диаграммы в каждом тесте успешность решения заданий существенно и равномерно падает от первого уровня к третьему, что служит первым подтверждением валидности нашего инструмента.

Для получения более точной картины мы проанализировали профили успешности отдельных учащихся и выделили три их типа (рис. 6).

 

 

Рис. 6. Типы профилей успешности

 

После чего вычислили процентное соотношение разных профилей для каждого предметного теста (табл. 13).

 

Таблица 13. Соотношение типов профилей успешности (% детей, обнаруживших каждый тип профиля)

Предметность тестирования	Типы профилей успешности
	Математика	77, 7	8, 6	13, 7
	Естествознание	64, 3	9, 3	26, 5
	Русский язык	91, 1	7, 6	1, 4
	Чтение художественного текста	67, 0	8, 2	24, 7
	Чтение информационного текста	50, 9	27, 1	22, 0

 

Как видно из таблицы профиль 1, который согласно нашим теоретическим посылкам является нормативным, имеет высокую частотность в математике и русском языке – двум дисциплинам, отличающимся традиционно жестким и четким построением. Частотность этого профиля заметно ниже в естествознании (обычно имеющем довольно рыхлую структуру содержания) и чтении художественных текстов, в котором, как мы уже отмечали выше, стихийный опыт ребенка может соперничать с опытом учебным. Наконец, наименьшая частотность нормативного профиля имеет место в чтении информационных текстов, которому, как известно, в начальной школе вообще не учат.

Таким образом, на наш взгляд описанные данные также подтверждают конструктную валидность обсуждаемого тестового инструмента.

 

В качестве пробы нами было проведено сопоставление результатов тестирования школьников, обучавшихся по системе «развивающего обучения» (166 чел.)и обучающихся по другим системам (125 чел.). Результаты приведены на рис. 7.

 

 

Рис.7. Результаты диагностики четвероклассников, обучавшихся по разным системам

 

Статистическая значимость различий между успешностью ответов на диагностические вопросы в двух выборках детей сравнивались с помощью критерия c². Приведенные в табл. 14 данные свидетельствуют о том, чтовсе различия между выборками четвероклассников, обучавшихся по системе Эльконина –Давыдова и по другим образовательным системам, значимы с вероятностью не менее 99, 5% кроме одной точки: " художественный текст, 3 уровень".

 

Таблица 14.Статистическая оценка данных, представленных на рис. 7 (приведены значения c²)

Предметность тестирования	1 уровень	2 уровень	3 уровень
Математика	31, 83	34, 11	22, 84
Лингвистика	16, 21	22, 63	15, 5
Художественный текст	30, 69	20, 94	0, 28
Естествознание	12, 44	16, 98	7, 86
Информационный текст	24, 78	23, 84	41, 29

 

Таким образом, можно констатировать, что разработанный нами тест может использоваться для сравнения эффективности различных образовательных процессов. Однако применительно к данному случаю судить о том, лежит ли в основании полученных различий система образования или какие-то внешкольные факторы, можно будет лишь после того, как будут получены демографические и социально-экономические характеристики двух сравниваемых выборок.

В заключение, опираясь на данные в табл. 14 и на рис. 8, попытаемся дать предварительную интерпретацию работы детей с разными профилями.

 

Рис. 8. Успешность детей с разными профилями во всех субтестах

 

1 профиль («нормативный»): 1 уровень ³ 2 уровень ³ 3 уровень

Типовые задачи ребенок решает хорошо, не всегда понимает принцип их решения и редко справляется с ситуациями, где этот принцип надо преобразовать или использовать в нестандартных условиях. Этот профиль наиболее распространен во всех субтестах.

2 профиль: 2 уровень самый высокий.

Эти дети схватывают принцип решения задач легче, успешнее, чем осваивают алгоритм их решения. Однако навыковая беспомощность снижает их успешность и при решении нестандартных задач.

3 профиль: 2 уровень самый низкий.

Эти дети весьма успешны в освоении алгоритмов действия в стандартных ситуациях, немного понимают принцип действия в стандартной ситуации и относительно свободно действуют в ситуациях нестандартных. Полная свобода действия в нестандартной ситуации, обнаруженная этой группой детей при работе с художественным текстом, позволяет предположить эстетическую природу такого типа действия. Целостность задачи эти дети схватывают раньше частей и способны действовать эффективно без поэлементного анализа условий задачи, без полной рефлексии способа действия.

Данные, приведенные в табл. 15, свидетельствуют об относительной устойчивости индивидуального стиля работы ребенка в задачных ситуациях. В двух экспериментальных выборках, различавшихся по типу начального образования, отсутствуют различия в числе детей, сохраняющих или не сохраняющих один и тот же профиль при решении задач относящихся к разным учебным предметам. Очевидно, это говорит о том, что различия в подходах детей к задачным ситуациям, которые мы описали как разные профили, относятся к таким индивидуально-типологическим особенностям, которые должна учитывать любая система образования.

 

Таблица 15. Число детей с разной степенью устойчивости индивидуального стиля работы в задачных ситуациях ( %)

Мера устойчивости	Всего 291 ребенок	РО 166 детей	не РО 125 детей
один профиль в 5 субтестах
один профиль в 4 субтестах
один профиль в 3 субтестах
один профиль в 0-2 субтестах

 

В целом результаты пилотного исследования показали, что разработанная система тестовых заданий позволяет проводить дифференцированную оценку того, в какой мере (на каком уровне) выпускники начальной школы владеют средствами действий, предусмотренными учебной программой. Однако отдельные задания нуждаются в дальнейшей доработке, после чего может быть проведено нормирование тестов на репрезентативной выборке учащихся.

Помимо прямых результатов тестирования, свидетельствующих о работе самого инструмента, существенное значение имеют и данные социально-психологического порядка, полученные в ходе непосредственного взаимодействия разработчиков с учителями, завучами и директорами пилотных школ. Как показывает опыт этих взаимодействий, предлагаемые тестовые разработки вызывают интерес, а стоящая за ними научная позиция и идеология достаточно адекватно и позитивно воспринимаются педагогическими коллективами. О своеобразном доверии к данному тестовому инструменту свидетельствуют отдельные, но далеко не единичные запросы на получение этих и аналогичных разработок для использования непосредственно в рамках школьного образовательного процесса.

 

 

⇐ Предыдущая6789101112131415Следующая ⇒

Поделиться: