Показники якості тестових завдань

Важливим кроком у конструюванні тесту є перевірка складності тестових завднь. Складність завдання є найважливішою характеристикою, яка визначає місце тестового завдання у всьому тесті, який, як ми пам’ятаємо, складається із завдань рівномірно зростаючої складності.

Найпростішим варіантом, що представляє складність завдання в цифровій формі, є кількість учнів, які впоралися із завданням. Наприклад, при апробації тесту на вибірці в 200 чоловік з першим завданням впоралися 50, а з другим 150 чоловік, то цілком природно говорити про те, що перше завдання важче, ніж друге. Проте така форма представлення має два істотні недоліки. Нам завжди доведеться указувати кількість випробовуваних, тих, хто брав участь в апробації. Дана форма представлення незручна для порівняння завдань, які апробовувалися на різних за обсягом вибірках. Кращою формою є частка тих учнів, які впоралися із завданням. У пешому варіанті – 25 %, а в другому – 75%.

Цим варіантом представлення складності завдання можна користуватися в реальній практиці, проте у нього є один недолік. Збільшення значення цього показника указує не на збільшення складності, а навпаки – на її зменшення, тобто для нашого прикладу: завдання з трудністю 75% менш важке, ніж завдання в 25%. 

Тому було запропоновано використовувати для позначення складності зворотну величину, тобто частку тих, хто із завданням не впорався. Цей показник отримав назву індексу складності, який може бути знайдений як величина, зворотна складності.

Для нашого прикладу:

=100-75=25%

Де Р1 та Р2 – відсоток тестованих, що впоралися із завданнями, а U1 та U2 - індекс складності у відсотках.

Можна використати таку формулу:

U =100 (1- )

Де U – індекс складності у відсотках.

Для нашого прикладу:

 

 

Для визначення індексу складності завдань множинного вибору, деякі автори рекомендують використовувати формулу, в якій введена поправка на вгадування:

де Nn — число випробовуваних, які не розвязали завдання, m — число

варіантів відповіді.

Застосування цієї формули для другого завдання прикладу, що розглядається нами, дає у разі завдань з трьома виборами значення індексу складності в 38%, а у разі завдання з шістьма виборами дає значення в 30%. Для першого прикладу 112% і 90% відповідно. Сенс складності завдань більше 100 відсотків звичайно важко усвідомити. Цю формулу доцільно використовувати тільки тоді, коли під час апробації тесту в отриманих результатах опинилося багато завдань, до яких значна частина дітей не приступила.

Наприклад, якщо задачу розв’язали тільки 20% учасників тестування, то її можна оцінити як важку для даної вибірки, якщо 80% — як легку. При цьому значущим є тільки факт виконання або невиконання завдання.

Статистична складність дозволяє визначити місце завдання у тесті. Так, якщо задачу розв’язують більшість випробовуваних, то її, як легку, розташовують на початку; у тому випадку, коли із завданням справляється незначний відсоток випробовуваних, то її, як важку поміщають в кінці тесту. Підсумком розподілу завдань за ступенем їхньої складності повинні стати «сходи» завдань, що ускладнюються, кожен щабель яких представлений відсотком тестованих, які впоралися із відповідним завданням.

Підкреслимо, що в тестах досягнень складність завдань краще за все визначати в умовах «м'якого» ліміту часу або зовсім без його обмеження. Фіксується успішність і час виконання.

В. Аванесов пропонує завдання із складністю більше 80 і менше 20 взагалі не вважати тестовими. Проте погодиться з таким підходом неможливо. По-перше, тому що значення 80 і 20 є достатньо умовними. Цілком відповідними можуть виявитися і завдання зі складністю у 18 і в 85 відсотків. По-друге, і це основне, логіка відбракування цих завдань полягає в простому твердженні: завдання, з якими справляються всі або не справляється ніхто, не інформативні, оскільки за перші з них всі тестовані отримують по 1 балу, а за другі ніхто не отримує балів, тому ці завдання відіграють роль баласту.

Проте це справедливо тільки для випадків, коли основною метою тестування є оцінювання учнів, тобто переважно для нормативно-орієнтованих тестів. Для нормативно-орієнтованих тестів, в тому випадку, якщо складність завдання менше 20 і більше 80, таке завдання необхідно переробити або відбракувати.

Проте в тому випадку, якщо ставиться завдання з'ясувати, в якому обсязі учні оволоділи матеріалом, то завдання, з якими справляються всі або не справляється ніхто стають дуже інформативними. Для нас важливо знати, що цей матеріал освоїли всі учні, а цей, не освоєний ніким, і ці завдання вже не є баластом. Таким чином, для критеріально-орієнтованих тестів, як ми відзначали, статистична складність завдань не така істотна.

Питання про включення або не включення завдань у тест з причин неналежної складності має вирішуватися не автоматично, а з обліком інших обставин, таких, як цілі тестування, змістовна важливість завдання, можливість переробки завдання в більш просте або складне.

ТЕМА 6

⇐ Предыдущая13141516171819202122Следующая ⇒

Поделиться: