Принципы составления тестовых заданий

Контроль в обучении

Общие сведения

Контроль хода и результатов процесса обучения является составной частью этого процесса. Контроль – это функциональная часть учебно-воспитательного процесса, направленная на установление соотношения между достигнутыми результатами и целями обучения. Контроль сопровождается оценкой результатов.

Правильно поставленный контроль учебной деятельности позволяет преподавателю оценивать получаемые учащимися знания и умения, вовремя оказать им необходимую помощь и добиваться поставленных целей обучения. С другой стороны, хорошо поставленный контроль позволяет преподавателю увидеть свои собственные удачи и промахи.

Основная цель контроля знаний и умений состоит в обнаружении достижений, успехов учащихся; в указании им путей совершенствования, углубления знаний, умений, с тем чтобы создать условия для последующего включения учащихся в активную творческую деятельность. Эта цель в первую очередь связана с определением качества усвоения учащимися учебного материала, т. е. уровня овладения знаниями, умениями и навыками, предусмотренными учебной программой. Во-вторых, конкретизация основной цели контроля связана с обучением приемам взаимоконтроля и самоконтроля, формированием потребности в данных видах деятельности. Наконец, она предполагает воспитание у учащихся таких качеств личности, как ответственность за выполненную работу, проявление инициативы. Если перечисленные цели контроля знаний и умений учащихся удается успешно реализовать, то можно говорить о том, что

Контроль выполняет следующие функции:

1) контролирующую, которая заключается в выявлении состояния наличных знаний и умений учащихся, уровня их умственного развития; определении степени усвоения ими приемов познавательной деятельности, навыков рационального учебного труда;

2) обучающую, которая состоит в совершенствовании знаний и умений, их систематизации (В процессе проверки учащиеся повторяют и закрепляют изученный материал; они не только воспроизводят ранее изученное, но и применяют знания и умения в новой ситуации.); обучении приемам взаимоконтроля и самоконтроля;

3) диагностическую, сущность которой заключается в получении информации об ошибках, недочетах и пробелах в знаниях и умениях учащихся и порождающих их причинах затруднений в овладении учебным материалом, о числе и характере ошибок. На основе данной информации выбираются корректирующие методики обучения, а также направление дальнейшего совершенствования содержания, методов и средств обучения;

4) развивающую, которая состоит в стимулировании познавательной активности учащихся, развитии их творческих способностей. Контроль обладает исключительными возможностями в развитии учащихся;

5) мотивационную, сущность которой заключается в получении информации о степени достижения цели обучения как отдельным учащимся, так и группой в целом: насколько усвоен и как глубоко изучен учебный материал. Контроль ориентирует учащихся в их затруднениях и достижениях;

6) воспитывающую, которая состоит в формировании у учащихся ответственного отношения к учению, дисциплины, аккуратности, честности, побуждении учащихся более серьезно и регулярно контролировать себя при выполнении заданий; воспитании твердой воли, настойчивости, привычки к регулярному труду; формировании потребности в самоконтроле и самооценке.

Реализация выделенных функций на практике делает контроль более эффективным. С другой стороны, повышается результативность самого учебного процесса, однако для этого контроль должен быть целенаправленным, объективным, всесторонним, регулярным и индивидуальным.

Сущность, цели и функции контроля обучения в вузе те же, что и в средней школе.

Качество образования тесно связано с систематическим проведением оценки хода и результатов обучения и последующим регулированием процесса обучения. “Оценка” (оценивание) рассматривается как один из важнейших механизмов управления качеством образования.

Общепринятая модель оценки включает этапы:

1) сбор информации, показывающий, насколько хорошо функционирует система или ее отдельные элементы;

2) анализ собранной информации и определение неудовлетворительно функционирующих элементов системы;

3) попытка исправить ситуацию путем рекомендаций и осуществления конкретных мер.

Оценка, понимаемая лишь как контроль, является слишком статичной, замкнутой в себе, и зачастую понимается как способ наказания. Оценка, рассматриваемая как вспомогательный инструмент для принятия решений, является более динамичной.

Наблюдается стремление к совершенствованию оценки и желание сделать ее более адекватной современным условиям. Учитель может использовать оценку для отбора талантливых учеников; диагностики, обратной связи, для мотивации, прогнозирования результатов учебы. Учащийся использует диагностическую (само) оценку для обнаружения пробелов в знаниях. Современные средства оценки позволяют получить достоверную информацию, для того чтобы участники учебного процесса могли принимать необходимые решения, направленные на совершенствование работы и улучшение результатов.

Классифицируя виды контроля, большинство авторов выделяют текущий, тематически, рубежный или поэтапный и итоговый.

Содержание контроля должно соответствовать целям и содержанию обучения.

Традиционными являются такие методы контроля, как фронтальный и индивидуальный опрос, диктант, контрольная работа, зачет, экзамен и др. К современным объективным методам контроля относят тестирование.

Тестирование

Тестология – это краткое название теории и методики педагогических измерений - науки о разработке качественных тестов и их эффективном применении.

Предмет тестологии – построение качественных и эффективных показателей.

Тесты относятся к количественным методам оценки знаний учеников и студентов. Они являются достаточно эффективным средством измерения, обеспечивающим объективность и сопоставимость оценок учеников в процессе контроля.

Педагогические тесты

Педагогическое тестирование - совокупность методических и организационных мероприятий, обеспечивающих разработку педагогического теста в соответствии с его назначением, подготовку и проведение стандартизованных процедур предъявления теста, обработки анализа результатов тестирования и определения тестового балла.

Педагогический тест - это система специальным образом подобранных заданий специфической формы, позволяющая по результатам их выполнения количественно оценить достижения тестируемого в определенной области знаний.

Тестовые задания (ТЗ) - элементарные единицы теста, его “кирпичики”. ТЗ состоит из инструкции к испытуемому и содержательной части специфической формы, имеет однозначно правильный ответ и характеризуется набором показателей (тип контролируемых знаний и умений, способ оценки, трудность, дифференцирующая способность).

Тесты необходимы для достижения обоснованного вывода об уровне и структуре подготовленности учащихся. Оптимизация содержания является ведущей идеей традиционного теста, а в еще большей степени - адаптивного теста: минимумом числа заданий, за короткое время, быстро, качественно и с наименьшими затратами измерить образовательные результаты как можно большего числа учащихся.

Для любого вида педагогического контроля (текущего, тематического, рубежного, итогового) учителем могут применяться тесты.

Основное отличие тестов от традиционных форм контроля - это возможность объективно измерить уровень подготовленности тестируемого, количественно охарактеризовать его знания по определенному кругу элементов содержания предмета. При этом оценка успешности выполнения теста зависит от оценок выполнения каждого ТЗ в его составе.

Педагогическое задание может быть тестовым по форме и по содержанию, но не соответствовать специальным тестологическим требованиям к тестовым заданиям, такие задания разные специалисты называют по-разному - псевдотестовые, предтестовые, а чаще задания в тестовой форме. По мнению профессора В.С.Аванесова, до статистической обработки результатов апробации теста задания правильнее называть заданиями в тестовой форме.

По результатам апробации и экспертизы теста некоторая часть заданий в тестовой форме может быть скорректирована или полностью заменена, если выясняется, что какое-то задание имеет некорректность в формулировке, или слишком легкое, или наоборот - трудное. Иногда требуется повторение процедур: апробация - экспертиза - коррекция. В результате тест становится более подходящим (валидным) для той цели, с которой он разрабатывался.

2.2 Классификация педагогических тестов

Выделяют четыре вида педагогических тестов. Среди них некоторые имеют подвиды и могут отличаться подходом к их разработке. Несомненно, все они достаточно важны для повышения качества подготовки обучаемых и требуют самого серьезного рассмотрения в специальной методической литературе

Педагогические тесты

Задача 1: Тестирование на входе в обучение

Задача 2: Тестирование в процессе обучения

Задача 3: Тестирование на выходе из обучения

Входные тесты · претест готовности к обучению (обычно КОТ) · Входной претест (обычно НОТ) · ориентированный подход)

Формирующие тесты (обычно КОТ)

Диагностические тесты (специфический подход для выявления причин пробелов в знаниях)

Итоговые тесты (НО и КО)

А.Н. Майоров книге “Теория и практика создания тестов” указывает, что существуют два подхода к классификации тестов:

-тесты, ориентированные на критерий, или критериально-ориентированные (КОТ),

-тесты, ориентированные на норму, или нормативно-ориентированные (НОТ).

2.3 Формы тестовых заданий

Существуют несколько классификаций форм тестовых заданий. С уверенностью можно выделить четыре основные формы тестовых заданий:

1) задания закрытой формы с выбором одного или нескольких правильных ответов;

2) задания открытой формы, где правильный ответ дописывают сами испытуемые;

3) задания на установление соответствия;

4) задания на установление правильной последовательности.

В первой форме заданий с выбором одного или нескольких правильных ответов выделяется три варианта заданий: это задания с выбором одного правильного ответа, задания с выбором одного наиболее правильного ответа и задания с выбором нескольких правильных ответов.

Тестовые задания закрытого типа

Заданиями закрытого являются ТЗ, предусматривающие наличие нескольких готовых нумерованных вариантов ответов из которых тестируемый должен выбрать один.

В первой форме выделяется три варианта заданий: это задания с выбором одного правильного ответа, задания с выбором одного наиболее правильного ответа и задания с выбором нескольких правильных ответов.

Неверные ответы, отвлекающие внимание, правдоподобные, но неправильные, называются дистракторами. Чем лучше подобраны дистракторы в том или ином задании, тем лучше качество самого задания. Каждый неработающий дистрактор снижает качество измерения.

Повторяющиеся части в вариантах ответов надо размещать в вопросе.

В заданиях закрытого типа недопустимо использовать такие варианты ответов, как “правильного ответа нет” и “все ответы верны”.

Ответы такого типа, все еще встречающиеся в практике, можно отнести к числу алогичных.

Задания с выбором одного правильного ответа

Инструкция для тестируемых к заданиям с выбором одного правильного ответапишется так (бланковая форма тестирования):

Обведите кружком номер правильного ответа. И далее следуют номер задания и его содержание.

По В.С.Аванесову, задания пишутся в форме утверждения, с переменной частью в ответах.

При проведении компьютерного тестирования инструкция для тестируемых к заданиям с выбором одного правильного ответа может иметь следующие варианты:

произведите щелчок мышью на номере правильного ответа;

введите номер правильного ответа.

В подобных заданиях один ответ правильный, другие правдоподобные, но неправильные.

По В.С. Аванесову, логической основой формы задания с выбором одного правильного ответа из нескольких предлагаемых является закон исключенного третьего (впервые сформулированный Аристотелем). Выбор правильного ответа дает истинное суждение, а выбор неправильного - ложное суждение. Третьего не дано. Из этого закона следует методическое правило: в каждом задании с выбором одного ответа правильный ответ должен быть, что придает однозначность замыслу самого задания и не допускает противоречивых толкований у испытуемых.

Оптимальным количеством вариантов ответов, приводимых в заданиях с выбором одного правильного ответа, специалисты считают 5-6 вариантов. Меньшее количество предлагаемых вариантов повышает вероятность угадывания. В случае наличия только двух вариантов ответов вероятность угадывания равна 50 %, что значительно снижает качество измерения уровня знаний.

Задания с выбором одного наиболее правильного ответа

Применение подобного типа заданий требует изменения инструкции, содержания задания и логики подбора ответов.

Инструкция пишется так:

Обведите кружком номер наиболее правильного ответа. И далее следуют номер задания и его содержание.

В.С. Аванесов приводит три основания для введения таких заданий в практику.

Первое – это старая идея исключения из заданий неправильных ответов, которые слабые учащиеся могут якобы запомнить. Если следовать этому очень спорному тезису, то неправильные ответы при тестировании вообще давать нельзя.

Второе основание для введения таких заданий в практику более реалистично. Оно касается необходимости формировать у учащихся не только умения отличать правильные ответы от неправильных, но и умения дифференцировать меру правильности ответов. Это действительно важно как в общем среднем, так и в профессиональном образовании.

Третье основание для применения заданийс выбором наиболее правильного ответа – это стремление проверить с их помощью полноту знаний.

Сколь бы ни были убедительны основания для введения таких заданий в практику, последние вряд ли могут найти широкое применение в практике. Тем не менее эти задания представлены из соображений полноты изучаемых форм и вариантов заданий.

Содержание заданияобычно нацеливается на проверку сопоставительных знаний, а ответы формируются так, чтобы был реальный выбор между ответами, правильными в разной степени [1].

Правильные ответы при составлении подобных заданий чаще всего кумулируются, вплоть до последнего, наиболее правильного.

Подобные задания неуместны на вступительных экзаменах, так как здесь есть почва для обоснованных апелляций.

Задания множественного выбора с двумя или несколькими правильными ответами

Формы инструкции к подобным заданиям:

«Выберите все верные, по Вашему мнению, ответы;

обведите кружками номера, соответствующие вариантам правильных ответов;

в бланке ответов поставьте крестики, соответствующие номерам правильных ответов».

Этоочень интересные и перспективные задания. По содержанию они труднее, чем задания с выбором только одного правильного ответа. Число вариантов ответов желательно от 5 до 14. Желательно, чтобы дистракторов было больше, чем правильных ответов. Знаний такого, можно сказать, функционального типа довольно много во всех, без исключения, учебных курсах.

Не рекомендуется отрицательная формулировка заданий, или, иначе, когда спрашивают о том, что не используется, не относится, не делается и т.д.:

К основным элементам таких тестовых заданий добавляется число ответов правильных и неправильных и баллы за правильные и неправильные ответы.

Задания с несколькими правильными ответами могут иметь: дихотомическую оценку (1 балл за указание всех правильных ответов); политомическую оценку (2 балла за полностью верный ответ, 1 балл за частично верный ответ, 0 баллов за неверный ответ). Ответы можно размещать по алфавиту, так как в таких задания могут использоваться только однородные ответы.

Рейтинг

Рейтинговая система оценки познавательной деятельности – система пошагового контроля и выражаемой в баллах оценки успешности усвоения обучающимися различных блоков учебного материала. Предварительный, текущий, тематический и итоговый контроль составляют рейтинговую сумму баллов. По каждому виду контроля разработаны контролирующие программы в виде тестов.

Рейтинговая система контроля и оценки знаний может быть представлена в виде электронного журнала учета и контроля. В качестве его основных достоинств необходимо указать следующие возможности: во-первых, одновременного фиксирования всех видов контроля, проводимых в учебных группах согласно тематическому плану и расписанию занятий; во-вторых, персонального учета успеваемости с построением индивидуального рейтинга; в-третьих, вычисления не только итогового, но и промежуточного рейтинга любого обучающегося; в-четвертых, быстрого и оперативного внесения любых изменений с одновременным пересчетом всех показателей рейтинга.

Рейтинговаясистема оценки знаний обучающихся предусматривает их поощрение за участие в различных видах учебной деятельности (написание реферата, создание учебно-методических пособий и др.), дающих положительный эффект.

Рейтинг – процедура определения места учащихся на основе различных данных (тестирования, оценивания, педагогического наблюдения с регистрацией результатов, анкетирования).

Результаты тестирования могут стать основой для проведения рейтинга учащихся. Как правило, рейтинг проводится в вузах, реже - в школах.

В образовательных учреждениях используются текущий и итоговый рейтинг.

Текущий рейтинг – это метод учета достижений обучающихся в процессе выполнения заранее определенной совокупности заданий, по каждой учебной дисциплине. Предлагается выполнить задания разной трудности, которые заранее оцениваются соответствующими зачетными баллами. Последовательное выполнение заданий увеличивает сумму баллов каждого учащегося. В любой момент времени можно знать – сколько зачетных баллов набрано теми или иными обучающимися.

В учебно-воспитательном процессе вуза используется два варианта текущего рейтинга:

- для определения минимально необходимой суммы зачетных баллов для получения зачета без сдачи экзамена или какого-либо дополнительного собеседования;

- для определения числа баллов, необходимых для получения без сдачи экзамена одной из оценок.

Введению рейтинга должна предшествовать подготовительная работа по структурированию материала, определению объема и трудоемкости всех учебных поручений, по разработке шкалы балльности и критериев оценки, методологическое сопровождение.

При формировании рейтинговой системы крайне важно методически точно оценить каждый вид учебной работы соответствующим числом баллов, и установить рейтинг, соответствующий тому или иному уровню знаний. Применительно к традиционной системе эти баллы рейтинга переводятся в привычные пятибалльные оценки " отл", " хор", " уд", " неуд" при подведении итогов, которые теперь учитывают всю " историю" получения этой оценки. Эта процедура позволяет отойти от использования субъективно-экспертного оценивания знаний, умений, навыков обучаемых. Положительным моментом рейтинговой системы является то, что дифференцированно оценивая ту или иную сторону деятельности обучающегося определенным числом баллов, мы можем оказать мотивационное влияние на необходимую сторону работы студента.

Использование рейтинговой технологии в обучении потребует пересмотра учебного графика и методики преподавания. Содержание дисциплин придется структурировать.

Итоговый рейтинг – это метод определения ранга (места) обучающегося в классе, группе, на курсе по результатам закончившегося обучения по одной или нескольким учебным дисциплинам. Чем больше баллов получает человек по результатам тестирования, тем выше его место в рейтинге. Но один и тот же тестовый балл могут получить несколько человек, тогда возникает проблема, как на основании полученных баллов определить положение испытуемых в рейтинге. Следовательно, необходимы дополнительные критерии оценки.

Перед началом проведения рейтинга необходимо определить количество рангов (мест). Если рейтинг проводится в классе (учебной группе), то число мест в точности равно числу учеников (студентов данной группы). После тестирования их распределяют в зависимости от тестовых баллов на соответствующие позиции рейтинга.

Испытуемым, имеющим одинаковые баллы, даются и одинаковые, связанные ранги, с последующим пропуском ровно стольких мест, сколько имеется человек с одинаковым баллом. Этот прием позволяет равномерно и справедливо распределить всех испытуемых на все места рейтинга.

В группе 15 человек. Результаты рейтинга, где есть связанные ранги:

баллы	Частота	ранг




		9-11
		6-8
		4-5

Рейтинг может проводиться среди студентов всего курса, где число студентов может быть, например, 500, среди школьников, оканчивающих школу. В таких случаях нет необходимости расставлять всех по рангам. Если число учащихся больше ста, то лучше применять процентный рейтинг, где в качестве нормы берется 100% мест. Суть процентного рейтинга состоит в распределении всех студентов именно на эти сто процентных мест. Что очень удобно при сравнении различных массивов данных, полученных, например, по различным регионам в процессе итоговой аттестации выпускников общеобразовательных учреждений.

Мониторинг

Мониторинг – это отслеживание состояния объекта и фиксация проблем, осуществляемых на основе систематизации и обработки существующих источников информации, а также специально организованных исследований и измерений; прогнозирование тенденций и выработка рекомендаций по корректировке развития объекта мониторинга.

Качество мониторинга определяется целой совокупностью принципов его организации:

- системность анализа всей совокупности свойств объектов и самих объектов мониторинга при ценности единичности каждого объекта наблюдения;

- объективность интерпретации и оценивания, достигаемая достаточностью и валидностью выборки;

- определенность заданной периодичности наблюдения, т.е. разработанная цикличность одной и той же процедуры в тех же самых условиях, но в разное время;

- синтез качественно-количественной интерпретации результатов мониторинга;

- единство внешнего и внутреннего аспектов мониторинга;

- поступательность и наращивание объема прогнозирования позитивных изменений качеств исследуемого объекта, что особенно сложно в случае мониторинга ценностно-мотивационной сферы, ибо она полиопосредствована и множественно детерминирована.

Объектами мониторинга являются:

- качество образования, под которым понимается качество подготовленности выпускников (прежде всего вузов) с точки зрения государственных и общественных потребностей, а также потребностей личности в получении современного образования;

- система обеспечения качества образования, включающая в себя основные структурно-функциональные аспекты деятельности образовательного учреждения.

Традиционно мониторинг включает три части: наблюдение (понимание не как метод, а как фиксация данных), оценку и прогноз, которые представлены шестью ступенями мониторинга:

- определение и обоснование объекта наблюдения;

- проецирование этого объекта в соответствующий метод наблюдения;

- анализ, систематизация и структурирование полученных эмпирических данных;

- соотнесение с данными предшествующих мониторингов;

- прогнозирование возможных изменений данных мониторинга в следующем году.