Обязательные этапы и процедуры при создании теста и обнаружении его неадекватности

1. Формирование проекта - теоретической модели объекта тестирования и структуры теста:

- формулировка цели и назначения теста; выделение единиц тестирования; принятие решения о построении шкалы для единиц тестирования; формулировка комплекса заданий (вопросов) и закрытых ответов (или интерпретации и оценке открытых ответов) по каждой единице тестирования и тесту в целом; подготовка инструкции о процедуре тестирования. Существенным здесь является требование избыточности на 30- 40 % количества вопросов-заданий по каждой единице тестирования по сравнению с заданным окончательным их числом для последующей отбраковки «плохих», непригодных формулировок;

- экспертная оценка теоретической модели объекта тестирования (целей курса, обоснованности выделения единиц тестирования, валидности и точности тестовых заданий и закрытых ответов, шкал оценки), принятой организации и процедуры тестирования;

- устранение замечаний, отсев и доработка формулировок и процедур.

2. Пилотажное исследование валидности и точности теста, его

заданий и ответов:

- практическое проведение тестирования на достаточной по объему выборке обучающихся для получения статистически достоверных результатов;  

- проведение тестирования в той же выборке на основе других способов тестирования (экспертная оценка усвоения каждой тестируемой единицы на основе индивидуального собеседования экспертов с каждым обучающимся; сравнительное тестирование посредством «расщепления» исходного теста; тестирование посредством другого, проверенного теста и т.п.);

- сопоставление результатов (выявление степени совпадения и

расхождения) тестирования по тесту в целом, отдельным единицам тестирования и вопросам-заданиям на основе статистической обработки и проверки гипотез (корреляция и т.д.);

- отсев «плохих» заданий (вопросов) и ответов (при замене заданий или изменении формулировок вся процедура тестирований и сопоставления результатов проводится заново), построение и обоснование оценочных шкал.

3. Исследование надежности теста:

- повторное тестирование той же выборки (тем же тестом с интервалом времени от 3 до 6 месяцев) и сопоставление результатов;

- повторное тестирование на другой выборке (другими людьми с

интервалом времени от 3 до 6 месяцев) и сопоставление результатов.

4. Принятие обязывающего решения компетентного органа о разрешении, порядке и границах применения созданного и проверенного теста, интерпретации и практического использования получаемых результатов тестирования.

В случаях статистически значимого расхождения в оценке результатов при внутреннем и внешнем тестировании одного и того же контингента обучающихся (по одному и тому же учебному курсу) необходима сравнительная экспертиза единиц тестирования, положенных в основу теста, а также материалов проверки применяемых тестов на валидность, точность и надежность. По каждому факту такого расхождения должно быть принято решение о запрете или ограничениях на применение теста, не отвечающего требованиям стандарта (вуза или министерства).

Качество процесса обучения.

 

Современное обучение понимается как эффективно организованный процесс самообучения студентов (учащихся), всесторонне обеспеченный необходимыми условиями и направляющей поддержкой и гарантирующий высокие индивидуальные результаты и личностный рост.

Традиционно учебный процесс строится так, что всегда фиксированы условия обучения (способ представления информации преподавателем один для всех учащихся; время, отводимое на ее понимание и усвоение, – тоже одинаково для всех, и т.д.), а единственной переменной величиной остается… результат обучения.

Современные технологии «полного усвоения знаний» и «разноуровнего образования» исходят из фиксированного результата: все обучающиеся свободно усваивают практически любой учебный материал, если организация материала, его представление и другие условия обучения оптимально изменяются в зависимости от конкретных особенностей восприятия, способностей и личных качеств каждого обучающегося (подстраиваются по обратной связи).

Для нашей задачи это предполагает переориентацию учебного процесса с информирования (фиксированный способ обучения) на обеспечение индивидуально гарантированного результата в каждом системном элементе учебной деятельности: внешние условия - учебный материал – учащийся – преподаватель –  взаимодействие.

 

3.1. Главный фактор ориентации внешних условий на результат - это механизм внешнего давления в направлении заданных изменений и содействия им. В отношении обучающихся – это рамки кредитной системы организации обучения, с ее жесткими требованиями к самоорганизации и непрерывным мониторингом успеваемости в сочетании с полным информационно-методическим обеспечением и свободой в выборе учебного плана, преподавателей и траектории профессиональной подготовки.

В отношении преподавателя:

- это рамки той же кредитной организации, обязывающей его организовать, обеспечить информационно и методически аудиторную и внеаудиторную работу каждого учащегося по каждой единице учебной программы и междисциплинарным аспектам, в том числе повседневную и индивидуальную обратную связь (самоконтроль, текущий и рубежный контроль результатов обучения);

- это личный рейтинг преподавателя по итогам семестра и учебного года (средний балл обучавшихся у него студентов - по итогам независимого тестирования);

- это официальная оценка квалификации (квалификационный статус) преподавателя по результатам ежегодной аттестации, включающей: указанный выше средний балл; экспертную оценку качества информационно-методического комплекса по его учебным курсам; личный портфель достижений (научные исследования, методические разработки, повышение профессионального мастерства); оценка студентами квалификации преподавателя и качества преподавания по итогам обучения; относительное число студентов, записавшихся на обучение к данному преподавателю;

- это изменение положения об аттестации преподавателя, устанавливающее прямую зависимость заработной платы и официального статуса (ученые звания и др.) от личного рейтинга, квалификации (по результатам годовой аттестации) и наличия сертификата (свидетельства, удостоверения) о научно-педагогической подготовке (переподготовке);

- это предоставление практических возможностей получения научно-педагогической подготовки на профессиональном уровне, соответствующей переподготовки и повышения квалификации (психолого-педагогические основы и практические навыки ускоренного, развивающего и междисциплинарного обучения; современные методики интерактивного, индивидуального и группового обучения; методология научного исследования, организация и руководство НИРС).

 

3.2. Для ориентации на результат учебного материала главным фактором является жесткий отбор, структурирование и организация преподавателем всех материалов и деятельности обучающихся по их освоению в расчете на минимум подготовленности и способности к самостоятельному обучению. В частности:

- Четкое выделение единиц содержания, максимально сжатое изложение курса (на руки выдается максимально краткий конспект без подробностей и пояснений) - ядро курса для программированного освоения.

- Пошаговое усложнение структуры знания и осваиваемых видов деятельности (каждое дробление – не более 3-5 единиц).

- Освоение содержания малыми смысловыми блоками простой структуры до хорошего результата и с постоянной самопроверкой; после этого – переход к освоению следующего блока, и т.д.

- Отработка на аудиторных занятиях и перенос на самостоятельную работу алгоритма по усвоению материала и самоконтролю, выработка индивидуального стиля успешного самообучения. Мы выделяем три уровня (этапа) в формировании такого стиля: программированное обучение - учебный материал и процесс его усвоения полностью организуется преподавателем (кратко описано выше); программированное самообучение - учащийся самостоятельно и в группе организует усвоение (по заданному алгоритму) материала, структурированного и организованного преподавателем для целей обучения; свободное самообучение - самостоятельное усвоение учащимся информации из любого источника.

- Формирование алгоритма самоуправления оптимальным рабочим состоянием и быстрым восстановлением работоспособности (настройка и поддержание).

При этом преподаватель постоянно, в каждом действии нацелен на результат, эффективное взаимодействие и стимулирование учащихся к самообучению: «Как представить учащимся новую единицу содержания курса, как организовать для ее усвоения аудиторную и самостоятельную работу каждого учащегося с учетом его личных возможностей и ограничений, как поддержать их мотивацию, как направлять и наиболее эффективно организовать их индивидуальную и групповую работу, коллективное взаимообучение и самоконтроль? »

В итоге к тестированию все учащиеся в группе подходят на 100 % усвоив материал, многократно проверив себя и убедившись в этом. Поэтому официальный тест уже является не стрессовым фактором, а способом официального признания и фиксирования успеха, стимулирующим, мотивирующим дальнейшую работу.

Для ориентации на результат самого обучающегося главными факторами, определяющими степень его готовности к успешному самообучению, являются: умение работать с информацией (навыки теоретической работы); личностный рост (степень зрелости); значимые пробелы в предшествующем обучении.

Умение работать с информацией понимается здесь как наличие следующих видов освоенной деятельности: быстро и продуктивно читать (500 – 1000 слов в минуту); осмысливать, запоминать и вести структурированные записи при чтении и слушании учебного материала; грамотно, последовательно и обоснованно строить устную и письменную речь.

Личностная зрелость означает: осознанный выбор профессии в соответствии с жизненными целями и ценностями, принятие ответственности за свое образование и профессиональную подготовку как средство личной самореализации; наличие эффективной стратегии достижения жизненных целей; объективное понимание себя и других людей, умение и готовность взаимодействовать с ними на основе сотрудничества.

Термин значимые пробелы в предшествовавшем обучении означает конкретные знания, умения и навыки, низкий уровень освоения которых делает затруднительным или вообще невозможным обучение в вузе или колледже (например, отсутствие элементарных навыков теоретической работы и низкий уровень общего развития) или продолжение обучения по какому-то учебному курсу (например, не освоенный в средней школе курс казахского или английского языка, делает невозможным освоение соответствующего вузовского курса, если он построен как продолжающий).

Необходимость практического учета указанных факторов предполагает обязательный входной контроль - тестирование по пререквизитам учебных программ до или сразу после приема на первый курс обучения, а также организацию соответствующего предварительного обучения (в общеобразовательной школе, на подготовительных курсах, в период летнего семестра перед началом учебы в вузе и колледже или же в первом семестре).

⇐ Предыдущая123456Следующая ⇒

Поделиться: