Качество результатов обучения

 

При оценке качества результатов образования (рейтинга), достигнутых конкретным учебным заведением, предлагаю применять три обобщенных критерия, выражающих степень действительной эффективности его деятельности: обеспечиваемый уровень академической подготовки выпускников (показатели: средний балл успеваемости выпускников; доводимость от приема до выпуска); сравнительный уровень востребованности выпускников, как признание работодателями обеспечения высокой и гарантированной квалификации (показатели: динамика трудоустройства и уровня начальной заработной платы выпускников); престижность учебного заведения, как форма его общественного признания (показатели: конкурсность приема - сравнительный средний балл принятых на первый курс и его динамика; относительная численность набора на первый курс, в том числе – по грантам и кредитам и их динамика).

Главный из указанных критериев – уровень академической подготовки – определяется качеством усвоения каждого и всей совокупности учебных курсов, составляющих содержание подготовки специалиста – бакалавра. Необходимость объективного выявления и оценки качества усвоения учебного материала в учебном процессе предъявляет особые требования к созданию и применению тестов.

Качество тестирования. Общие положения.

Назначение тестирования – обеспечить объективный контроль (текущий, рубежный, промежуточный, итоговый) усвоения теоретических и профессиональных (компетенция) знаний, умений и навыков по каждому учебному курсу и специальности в целом. Эта цель и соответствующие задачи решаются содержанием конкретных тестов, способами их внутренней организации и формами применения.

Любое тестирование знаний и поведения человека – есть процесс измерений в психологии, который относится к науке «психометрии». В соответствии с ее правилами при создании и применении любого теста «как инструмента измерения» должны тщательно соблюдаться требования «валидности», «точности» и «надежности». Любой тест нельзя допускать к применению без основательной проверки и доказательства его соответствия указанным требованиям. Несоблюдение этого условия создает иллюзию «легкости» создания теста и самого тестирования, и приводит к тому, что применение такого теста вводит в заблуждение относительно измеряемых результатов и их сопоставимости; поскольку очень часто на самом деле измеряется не то, что намеревались измерить; а если и измеряется, - то с недостаточной и неизвестной степенью достоверности результатов и значимости различий (без чего тестирование не имеет смысла). Это особенно актуально при переходе на кредитную систему образования, для которой сопоставимость и возможность суммирования результатов тестирования имеет решающее значение.

Поэтому при создании теста (на каждом этапе и по каждому его элементу) обязательны: независимое рецензирование, экспертная оценка, практическая проверка валидности и трудности теста (и каждого из его вопросов-заданий), точности и надежности измерений с обработкой результатов методами математической статистики.

Валидность теста (тестового задания, вопроса) – это ответ на вопросы «Что должен измерять и что на самом деле измеряет тест (отдельное его задание, вопрос и ответ)? Не произошло ли незаметное искажение или даже подмена заданной цели за счет неудачной формулировки вопросов, ответов, инструкции, отсутствия равных и одинаковых условий проведения, и т.п.? "

Точность теста – это оценка вероятности ошибки в измерении, степени достоверности получаемых оценок; вероятностная оценка значимости различий между тестовыми оценками. Только она дает возможность обоснованной дифференциации оценок. Например, что считать существенным различием и оценивать в 3 – 4 – 5 баллов, а какие различия, наоборот, считать несущественными и оценивать их одинаково.

Надежность теста – это заданная степень совпадения оценок по одному тесту при повторном, независимом тестировании одних и тех же людей разными людьми и в разное время; при сопоставлении получаемых оценок по данному тесту с оценками по другим тестам, измеряющим то же самое.

Трудность теста – это его способность обоснованно распределять тестируемых по различающимся уровням успешности (в самом простом случае – это оценки «удовлетворительно», «хорошо» и «отлично») за счет меняющейся сложности заданий.

 

Можно выделить три класса ошибок при создании тестов:

Ошибки моделирования объекта тестирования закладываются на стадии подготовки учебной программы. Они возникают как следствие произвольного толкования содержания программ, обусловливающего несопоставимость внутреннего (преподаватель, вуз) и внешнего (вуз, министерство) контроля качества образования.

Сама программа может не отвечать требованиям государственного стандарта подготовки специалиста; единицы ее содержания могут быть представлены в декларативной и неоднозначной формулировке; тестовые задания могут не совпадать со смыслом и логикой содержания программы и т.д.

 

    Ошибки организации теста и процесса тестирования  возникают в процессе создания и применения теста. Тестовые задания могут не совпадать со смыслом и логикой содержания программы, они могут измерять не то, что должны; произвольная процедура тестирования может влиять на результаты, искажая их и т.д. и т.п.

Ошибки исследования теста и толкования результатов - следствие произвольного толкования процедур создания и применения теста, а также интерпретации получаемых с его помощью результатов. Это обусловлено отсутствием соответствующих стандартов и доказательной проверки их соблюдения.

При непосредственном создании теста наиболее распространены пять ситуаций, обусловливающих его скрытую или явную непригодность (первичное выявление неадекватности теста достигается независимым рецензированием и экспертизой):

1. Формулируя тестовый вопрос-задание с несколькими ответами,

составитель нередко проявляет непроизвольную тенденцию отбирать и включать в вопросы информацию, требующую простого воспроизведения единичных, а часто и второстепенных фактов (понятия, названия, цифры, имена, даты и пр.), а также более привычную и лучше им самим освоенную. В результате тест работает на простое воспроизведение значительно упрощенного и искаженного содержания учебного курса, серьезно завышая оценки. 

  Это обусловлено высокой сложностью работы, которая на первый взгляд представляется легкой, но на деле требует высокой квалификации, большого труда и сосредоточенности. В самом деле, простым по форме вопросом-заданием нужно выявить глубину понимания и усвоения конкретного элемента учебной программы; одновременно нужно подобрать простой, но емкий и точный правильный ответ; при этом нужно сформулировать еще несколько неверных ответов, каждый из которых был бы очень правдоподобным. Кроме того, нужно сделать эти задания разной степени трудности и предусмотреть простую оценку ее различия. К тому же тест содержит большое количество таких вопросов-заданий.

Эту ошибку легко выявить процедурой обратной сверки: по формулировкам тестовых вопросов-заданий составляется список фактически тестируемых единиц, который сверяется с единицами содержания каждой темы учебной программы. Обнаруженное несоответствие устраняется по критерию совпадения единиц содержания и единиц тестирования.

2. Формулировка вопроса может быть такой, что содержит

подсказку (наводящий вопрос), - это позволяет дать правильный ответ тому, кто знает материал ниже заданных требований.

3. Формулировка вопроса и ответов может быть недостаточно

определенной, неоднозначной (допускающей различные толкования), так что неверный ответ может выбрать и тот, кто хорошо усвоил материал.

4. Варианты ответов могут быть подобраны так, что, даже не зная

материала, можно логически отсеять часть или все неверные ответы (например, при вариантах ответов, явно относящихся к другой теме или сфере знаний).

5. Чрезмерно ограниченное число ответов на один вопрос в

закрытом варианте теста (выбор ответа из готового их списка).

При этом имеет место высокая вероятность угадать правильный ответ, совершенно не зная материала.

Остановимся на этом подробнее, поскольку это относится к важной проблеме обеспечения точности теста.

Например, при дихотомическом выборе ответа (да-нет, правильно-неправильно) вероятность угадать верный ответ составляет 50%. То есть, если тест состоит из 100 вопросов, то можно утверждать, что число правильно угаданных ответов будет около 50. Такой тест можно применить только при условии, что достаточно усвоить половину материала; но и тогда, для удовлетворительной оценки (типа «зачтено») нужно требовать 100 правильных ответов (иначе нет гарантии действительного усвоения половины курса).

Исходя из сказанного, минимально допустимое число ответов на один закрытый ответ равно «пяти». Вероятность случайного угадывания правильного ответа здесь равна 0, 20 (20%), а точность измерения – 0, 80. Хотя она ниже, чем общепринятая в математической статистике (0, 95), но вполне приемлема для большинства тестов на измерение знаний с недифференцированной оценкой типа «усвоено – не усвоено». Однако, при необходимости введения различных уровней усвоения такое построение теста непригодно.

Для иллюстрации этого утверждения попытаемся построить соответствующую шкалу оценок. При требовании знать 51 % материала для оценки удовлетворительно, обучающийся должен набрать по тесту 63, 75 % правильных ответов (это гарантирует нас от случайного угадывания 20% ответов). 60 % усвоения требует 75 % правильных ответов.

75 % усвоения – 94 % верных ответов, а 80 % - 100 % точных ответов. Очевидно, что такой тест не обладает достаточной различительной способностью для высокого уровня усвоения («отлично» получат те, кто усвоил менее 80 % курса, или вообще – никто, поскольку шкала не позволяет различать высокие оценки). К этому следует добавить, что уровень усвоения курса в 51 % можно признать удовлетворительным только в тех случаях, когда учебный курс призван сформировать лишь общие представления в какой-то области знания. В сфере освоения профессиональных знаний и умений, а также при освоении новой деятельности эта «планка» должна быть поднята значительно выше (невозможно принять удовлетворительным освоение наполовину количества основных грамматических форм или минимального словаря изучаемого языка; или – половину действий, составляющих какую-то целостную осваиваемую деятельность).

Из изложенного следует, что точность теста должна быть выше, чем 0, 80. Иначе говоря, нужен выбор не из пяти, а из 20 и более ответов (точность 0, 95 и выше). Такой тест трудно составить, с ним неудобно работать тем, кто проходит тестирование (невозможно удержать в памяти и легко обозревать возможные ответы, выбор ответа требует очень много времени и усилий, что приводит к ошибкам).   

Выход состоит в том, чтобы каждая тестируемая единица была представлена несколькими однородными вопросами (батареей) с выбором из пяти ответов на каждый вопрос. Так, при двух вопросах на тестируемую единицу, - два правильных ответа обеспечивают точность оценки 0, 96. При трех вопросах на тестируемую единицу: два правильных ответа гарантируют точность 0, 88, а три – 0, 992. При четырех вопросах: два верных ответа дают точность 0, 76; три – 0, 968. При пяти вопросах - три правильных ответа дают точность 0, 95 (наилучший вариант для тестируемых, поскольку снижается возможность случайной ошибки или неверного ответа из-за неудачной формулировки ответа составителем теста).

При таком конструировании теста сначала необходимо оценивать усвоение каждой тестируемой единицы (по принципу «усвоено или нет»), а затем – оценивать усвоение по всему тесту (процент правильных ответов из их общего числа вопросов или процент усвоенных единиц из числа всех единиц теста). Это дает хорошо дифференцированную шкалу оценок.

⇐ Предыдущая123456Следующая ⇒

Поделиться: