Принципы компоновки педагогических тестов

⇐ ПредыдущаяСтр 6 из 7Следующая ⇒

После обработки результатов пробного тестирования, переработки и повторной проверки заданий, производится формирование тестов из заданий, успешно прошедших проверку на соответствие требованиям (критериям), рассмотренным выше.

При этом следует учитывать, что педагогический тест – это не механическая совокупность заданий, а их система, основная задача которой состоит в получении достаточно надежного результата, с высокой степенью достоверности отражающего уровень и структуру подготовленности испытуемых. Каждое задание в тесте должно нести свою миссию, проверяя те или иные знания и умения, являясь составной единицей неразрывного целого - теста. Удаление хотя бы одного системного задания из хорошо подготовленного теста приводит к возникновению пробела на континууме проверяемых знаний, а значит, и к снижению качества измерения.

Как уже подчеркивалось ранее, система заданий теста должна достаточно полно охватывать соответствующую область знаний (учебная дисциплина, цикл дисциплин), т.е. быть репрезентативной по отношению к «генеральной совокупности» знаний в соответствующей области*[11]. Это требование обеспечивается достаточным количеством и надлежащим качеством (содержанием) тестовых заданий. Качество же тестовых заданий зависит от педагогического опыта и мастерства преподавателя - разработчика тестов, а также удачного сочетания в тесте заданий различных форм, содержания и уровня сложности, т.е. от эффективной композиции тестовых заданий.

Основные принципы композиции тестовых заданий:

- логическая определенность содержания заданий. Любое задание должно быть составлено таким образом, чтобы оно было способно продуцировать у испытуемых правильный ответ. Спорные, некорректные и двусмысленные вопросы не допускаются;

- использование фасетов при составлении заданий;

- принцип параллельности заданий в различных вариантах тестов;

- обратимость содержания. Следует стремиться подбирать такие вопросы, которые могут быть легко сформулированы по-другому или с использованием другой формы;

- лаконичность заданий. Сущность задания должна пониматься испытуемыми с первого прочтения;

- устранение «скачков трудности». Вопросы в тесте следует располагать в порядке возрастания их трудности, которая определяется на практике;

- единство стиля представления заданий различных форм (инструкция, содержание задания, ответы к заданию);

- сочетание в тестах заданий различной формы;

- соответствие содержания заданий проверяемому объему знаний. В тестах должны использоваться только такие вопросы, которые испытуемые должны были изучать. Спрашивать о том, что не изучалось нельзя;

- сложность тестов должна примерно соответствовать уровню подготовленности испытуемых. В «идеале» распределение результатов тестирования (индивидуальных суммарных баллов) в достаточно большой группе испытуемых (не менее 20 человек) должно подчиняться нормальному закону.

3.4. Общие рекомендации по проведению тестирования

Независимо от формы проведения тестирования (с использованием ПЭВМ или без), при его организации и проведении следует придерживаться следующих принципов:

- испытуемые должны быть заранее осведомлены о месте и времени проведения тестирования, количестве заданий в тестах и примерном их содержании, правилах выполнения тестовых заданий и правилах их оценивания при проверке, количестве времени, отводимом на сдачу теста, минимальной сумме баллов, необходимой для получения положительной оценки*[12]. Для этого следует организовать для испытуемых предварительные консультации либо снабдить их соответствующими пособиями (инструкциями);

- условия, в которых производится тестирование, должны быть достаточно комфортными (чистая, светлая аудитория, свежий воздух, отсутствие постороннего шума и т.п.) и одинаковыми для всех без исключения испытуемых;

- благоприятный психологический климат (дружелюбное отношение преподавателей, отсутствие какого-либо давления на испытуемых, спокойная рабочая обстановка и т.п.);

- время начала тестирования должно выбираться с учетом фактора усталости (по возможности утром или в первой половине дня). Если обеспечение данного условия затруднительно (например, при текущем контроле), перед началом тестирования желателен достаточно большой перерыв;

- продолжительность тестирования, одинаковая для всех без исключения испытуемых, устанавливается (и корректируется) на практике, в зависимости от цели тестирования (см. также табл. 1), объема и сложности тестов, уровня подготовленности испытуемых. В общем случае продолжительность тестирования должна быть такой, чтобы наиболее подготовленные успели выполнить не менее 90 % заданий теста*[13];

- следует исключить или свести к минимуму возможность подсказок среди испытуемых, хотя пользоваться справочниками, литературой, конспектами и т.п., как правило, не запрещают;

- независимо от способа тестирования, у любого испытуемого должна быть возможность ознакомиться с его оценками по каждому из вопросов теста, который он сдавал (например, в случае апелляции). При тестировании с использованием ПЭВМ это подразумевает сохранение соответствующей информации программой для тестирования, с возможностью распечатки всех вопросов теста и ответов на них любого из сдававших тест;

- способ обработки результатов тестирования должен обеспечивать небольшое время обработки, отсутствие ошибок, минимальное влияние каких-либо субъективных факторов (здесь очевидны преимущества тестирования с использованием ПЭВМ).

Анализ и интерпретация тестовых результатов

Сферы применения тестов и особенности интерпретации

Тестовых результатов

Результаты тестирования нуждаются в такой интерпретации, которая соответствует цели тестирования (см. табл. 4.1).

Таблица 4.1 - Сферы применения тестов, цель тестирования и интерпретация его результатов

Сфера применения тестов	Цель тестирования	Интерпретация результатов тестирования
Профессиональный отбор	Отбор наиболее соответствующих требованиям, со знаниями и умениями, критически важными для данной профессии	Ранжирование испытуемых по уровню профессиональной пригодности, компетентности, комплексный анализ результатов
Вступительное тестирование	Отбор наиболее подготовленных (определение проходного балла), выявление пробелов в структуре знаний	Ранжирование испытуемых по уровню подготовленности, статистическая обработка результатов
Определение рейтинга	Определение «места» в группе для каждого испытуемого в соответствии с выбранными критериями	Ранжирование испытуемых по измеряемому параметру, статистическая обработка результатов
Текущий контроль*[14], мониторинг	Отслеживание хода образовательного процесса, определение пробелов в структуре знаний испытуемых и выяснение возможных причин их появления	Анализ структуры и профиля знаний, статистическая обработка результатов
Дистанционное обучение	Стимулирование познавательной деятельности обучаемых, повышение мотивации к обучению, отслеживание хода образовательного процесса, определение пробелов в структуре знаний испытуемых и выяснение возможных причин их появления	Ранжирование испытуемых по уровню подготовленности, анализ преподавателем (тьютором) структуры и профиля знаний, статистическая обработка результатов
Самостоятельное обучение (мультимедийные учебники, обучающие программы и т.п.)	Стимулирование познавательной деятельности обучаемых	Результаты тестирования испытуемые интерпретируют самостоятельно или с «подсказками» программы

Как следует из табл. 4.1, тест надо рассматривать как единство: 1) метода; 2) результатов, полученных определённым методом; и 3) интерпретированных результатов, полученных определённым методом.

Интерпретация результатов тестирования ведется преимущественно с опорой на среднее арифметическое, показатели вариации тестовых баллов и на так называемые процентные нормы, показывающие, сколько процентов испытуемых имеют тестовый результат худший, чем у интересующего испытуемого.

При вступительном тестировании, профессиональном отборе или определении рейтинга в группе основная задача при интерпретации результатов заключается в ранжировании испытуемых по уровню подготовленности. При мониторинге или текущем контроле более важной задачей является анализ структуры и профиля знаний. При самостоятельной работе (дистанционное обучение, обучение с помощью мультимедийных учебников и т.п.) основное назначение тестов - стимулировать познавательную деятельность обучаемых, дать им возможность оценить собственные успехи, выявить пробелы в полученных знаниях.

Независимо от сферы применения теста, результаты тестирования должны подвергаться статистической обработке с целью определения основных характеристик заданий теста, проверки надежности измерений и валидности тестовых результатов.

Далее рассматриваются особенности анализа тестовых результатов и их интерпретации при вступительном тестировании, текущем контроле (мониторинге), самостоятельном и дистанционном обучении.

Вступительное тестирование. Первичная обработка результатов, полученных при вступительном тестировании, сводится к составлению таблицы (матрицы) тестовых результатов по правилам, описанным ранее (см. табл. 3.4). Это позволяет не только наглядно оценить уровень и структуру подготовленности испытуемых, но и выделить наиболее «сильных» в группе, проходившей тестирование.

Как отмечалось в главе 3, распределение результатов тестирования по хорошо составленным тестам в идеале должно быть близким к нормальному закону (в достаточно больших группах – не менее 20 чел.). На рис. 4.1 в качестве примера показано распределение баллов, набранных при вступительном тестировании в группе из 80 человек. Задача состояла в отборе из этой группы 50, наиболее подготовленных человек. Тест содержал 24 задания, за каждый правильный ответ выставлялся 1 балл. По сумме набранных баллов приемной комиссией были выделены первые 50 человек, набравшие наибольшее количество баллов и определен проходной балл (в данном примере - 11 баллов).

Рис. 4.1 - Определение проходного балла при вступительном тестировании (пример).

Максимально возможное количество баллов в данном примере – 24.

Пример, показанный на рис. 4.1, является в некотором смысле «идеальным». Так, если бы в этом же примере нужно было отобрать не 50, а 52 человека (или например 47 человек), с установлением проходного балла возникли бы определенные трудности – при меньшем его значении (10 баллов) прошедших тестирование было бы больше, чем необходимо и наоборот. В этой ситуации может быть предложен такой выход: приемная комиссия устанавливает более высокий проходной балл, при котором число прошедших тест меньше необходимого. Недостающее количество людей комиссия добирает из числа тех, которые немного «не дотянули» до проходного балла. При этом предпочтение отдается тем, которые в наибольшей степени соответствуют требованиям (например, имеют стаж работы по выбранной специальности, льготы при поступлении, более высокий средний балл по документам о базовом образовании и т.п.). Этим же людям за дополнительную плату может быть предложено пройти подготовительные курсы и т.п.

При вступительном тестировании, помимо определения проходного балла, достаточно важен анализ структуры и профиля знаний (будет рассмотрен далее).

Текущий контроль (мониторинг). Тесты для текущего контроля и мониторинга создаются по тем же принципам, что и тесты иного назначения. Но основной целью тестирования в данном случае является отслеживание хода образовательного процесса, выявление пробелов в структуре знаний, искажений профиля знаний у каждого из испытуемых и выяснение возможных причин их появления.

Под структурой знаний в общем случае следует понимать такую степень полноты знаний и умений учащегося, которая равномерно охватывает все разделы дисциплины (или нескольких дисциплин) и позволяет испытуемым успешно выполнять задания теста вне зависимости от того, к какому разделу дисциплины они относятся.

Если испытуемый выполняет задания (в том числе, достаточно трудные), относящиеся к одному разделу дисциплины и не может выполнить задания по другому разделу (в т.ч. невысокой трудности), то это говорит о нарушении (пробелах) в структуре знаний. Вполне очевидно, что такие нарушения могут быть как индивидуальными, так и наблюдаться у достаточно большого числа испытуемых. В последнем случае необходимо проанализировать причины появления пробелов (неудачное изложение раздела или отдельной дисциплины, нехватка или отсутствие методического обеспечения и т.п.) и принять меры к их устранению.

Необходимым условием, обеспечивающим получение достоверной информации о структуре знаний, является репрезентативность заданий теста по отношению к объему знаний, который проверяется с его помощью. Другими словами – задания, включаемые в состав теста, должны достаточно полно и равномерно охватывать все разделы дисциплины, курса и т.п. При этом желательно, чтобы каждый раздел дисциплины был представлен несколькими заданиями различного уровня сложности.

Для удобства анализа структуры знаний тестовые результаты в матрице желательно располагать так, как показано в примере (табл. 4.2). В этом примере каждый раздел дисциплины представлен в тесте пятью заданиями различного уровня сложности. Результаты испытуемого №2, выполнявшего задания теста по варианту №7, показали практически полное отсутствие знаний раздела 2 дисциплины, в то время как с заданиями по разделу 1 он более-менее справился. В таких случаях говорят о пробелах в структуре знаний.

Термин профиль знаний, которым тестологи называют совокупность баллов в каждой строке таблицы тестовых результатов, можно проиллюстрировать на примере, приведенном в табл. 4.3 (фрагмент матрицы из табл. 3.4).

Таблица 4.2 – Анализ структуры знаний по матрице тестовых результатов

№ пп

№№ вариантов теста

Оценки за тестовые задания по разделам дисциплины (в пределах каждого раздела задания расположены в порядке возрастания их трудности)

Раздел 1

Раздел 2

№1

№6

№11

№17

№23

№2

№7

№12

№18

№24

№3

Таблица 4.3 – Искаженный (строка №6) и неискаженные (строки №5 и №7) профили знаний

№ пп

№№ вариантов теста

Оценки за тестовые задания (задания расположены в порядке возрастания их трудности: №1 /самое легкое/ ® №10 /самое трудное/)

Суммарный балл по тесту

№1

№2

№3

№4

№5

№6

№7

№8

№9

№10

Как видно из примера, испытуемые, результаты которых находятся в строках 5 и 6, набрали одинаковое количество баллов по тесту, однако, испытуемый №5 справился с первыми 5-ю, наиболее легкими заданиями, не справившись с остальными. Результаты же испытуемого №6 несколько нелогичны – не справившись с относительно легкими заданиями в начале теста, он сумел выполнить более трудные задания. В таких случаях говорят об искаженном (инвертированном) профиле знаний.

Причины искажений профиля знаний могут быть самыми разными –некачественно составленный тест, индивидуальные психологические особенности тестируемого, низкое качество преподавания, отсутствие методического обеспечения и литературы и др. По мнению проф. В.С. Аванесова и других специалистов-тестологов, задача хорошего образования – порождать правильные (неискаженные) профили знаний.

Анализ структуры и профиля знаний при вступительном тестировании и текущем контроле (мониторинге) позволяет педагогам получить общее представление об уровне подготовленности испытуемых, своевременно выявить пробелы в знаниях, ошибки в методике преподавания и принять соответствующие меры. В учебных заведениях, внедряющих системы менеджмента качества, постоянный мониторинг процесса обучения с использованием тестовых технологий должен быть одним из основных инструментов постоянной корректировки (улучшения) образовательного процесса.

Дистанционное обучение. В существующих системах дистанционного обучения (СДО «Прометей», «Web-класс ХПИ», Lotus Learning Space и др.), как правило, предусмотрен текущий и итоговый контроль усвоения учебного материала. Контроль может осуществляться с помощью отдельной программы для тестирования или же модули (программы) для тестирования встраиваются непосредственно в дистанционные курсы.*[15] В последнем случае дистанционный курс может использоваться для самостоятельной работы, без участия преподавателя.

Системы дистанционного обучения или же собственно дистанционные курсы, должны снабжаться такими программами, которые «умеют» не только сохранять тестовые результаты каждого испытуемого, но и дают возможность преподавателю (тьютору) или разработчику курса с минимальными затратами времени производить их статистическую обработку с целью определения надежности педагогического измерения и валидности тестовых результатов. К сожалению, далеко не все из используемых систем дистанционного обучения предоставляют такую возможность.

К тестам, разрабатываемым для использования в дистанционном обучении, предъявляются те же требования, что и к тестам для текущего контроля (мониторинга).

Самостоятельная работа. Как отмечают специалисты, качественно разработанные тесты имеют высокий обучающий потенциал, позволяющий существенно повысить мотивацию к обучению и соответственно повысить его эффективность. В последнее время в учебном процессе все чаще используются такие средства обучения как обучающие курсы, мультимедийные учебники, электронные тренажеры и т.п., которые можно назвать обучающими электронными изданиями (ОЭИ). Основным их достоинством является возможность самостоятельного обучения с минимальным вмешательством преподавателя. ОЭИ обязательно должны снабжаться тестами для текущего и итогового контроля, и желательно такими, которые позволили бы обучаемому не только увидеть, что именно он не знает, но и «объясняли», почему тот или иной ответ является неправильным и «рекомендовали» вернуться к соответствующему разделу для повторного изучения.

Тесты для ОЭИ, также как и тесты другого назначения, должны быть репрезентативны по отношению к совокупности проверяемых знаний и навыков. Не менее важна и предварительная апробация заданий, включаемых в эти тесты, с целью определения их трудности и других характеристик. Имея информацию о трудности каждого задания, разработчик ОЭИ может сделать так, чтобы при тестировании программа «выдавала» их испытуемому по принципу «от наиболее легкого - к наиболее трудному». При этом желательно иметь достаточно большое количество параллельных заданий, чтобы при повторном тестировании испытуемому выдавались новые задания, которых он не выполнял ранее.

В мультимедийных учебниках и других ОЭИ, как правило, нет необходимости сохранять результаты тестирования и, тем более, производить их статистическую обработку. Основная задача тестов, используемых в ОЭИ - стимулирование познавательной деятельности обучаемого и корректировка его индивидуальной «траектории обучения».

⇐ Предыдущая 1 2 3 4 567 Следующая ⇒