|
Архитектура Аудит Военная наука Иностранные языки Медицина Металлургия Метрология Образование Политология Производство Психология Стандартизация Технологии |
|
|
Архитектура Аудит Военная наука Иностранные языки Медицина Металлургия Метрология Образование Политология Производство Психология Стандартизация Технологии |
ОСНОВИ ПЕДАГОГІЧНИХ ВИМІРЮВАНЬСтр 1 из 22Следующая ⇒
ОСНОВИ ПЕДАГОГІЧНИХ ВИМІРЮВАНЬ Навчальний посібник ТЕМА 1. ПОНЯТТЯ ТА КАТЕГОРІЇ ПЕДАГОГІЧНОЇ ДІАГНОСТИКИ 1. Поняття та категорії педагогічної діагностики. 2. Тест як засіб педагогічного вимірювання. 3. Функції педагогічної діагностики. 4. Стандарти освіти як засіб створення єдиного простору для забезпечення якості освіти. Поняття та категорії педагогічної діагностики. Одним з важливих шляхів покращання навчально-виховного процесу в школі в сучасних умовах є використання технологій педагогічної діагностики. Педагогічна діагностика є процесом і кінцевим підсумком вивчення результативності навчально-виховного процесу на основі змін у рівні вихованості й освіченості учнів, а також зростання педагогічної майстерності. Уперше термін було запропоновано німецьким дослідником К.Інгенкампом у 1968 році. Він вважав, що педагогічна діагностика покликана: 1) оптимізувати процес індивідуального навчання; 2) в інтересах суспільства, забезпечити правильне визначення результатів навчання; 3) керуючись виробленими критеріями, звести до мінімуму помилки при переведенні учнів з однієї навчальної групи до іншої, при направленні їх на різні курси та під час вибору спеціалізації. Для досягнення цих цілей в ході діагностичних процедур з одного боку, встановлюються передумови навчання, а з іншого визначаються умови, необхідні для організації цілеспрямованого процесу навчання і пізнавальної діяльності. За допомогою педагогічної діагностики аналізують навчальний процес і визначають результати навчання. При цьому під діагностичною діяльністю розуміємо процес, у ході якого (з використанням діагностичного інструментарію та без нього), дотримуючись необхідних наукових критеріїв якості, учитель спостерігає за учнями та проводить анкетування, обробляє дані спостережень і опитувань і повідомляє про отримані результати з метою опису, пояснення і прогнозів щодо вияву конкретної характеристики учнів. Поняття вимірювання. Вибір засобів педагогічної діагностики базується на відповідних дидактичних принципах вимірювання результатів навчання. Вимірювання - це визначення ступеня вираженості якоїсь властивості предмета. Вимірювання – це процес надання чисельного значення певному показнику відповідно до його кількісного прояву із застосуванням чітко визначених правил вимірювання. Метод вимірювання – це спосіб, за допомогою якого здійснюється надання кількісного значення показнику, який вимірюється. Якщо методом вимірювання є тестування, то його розглядають як процес вимірювання кількісних показників за допомогою тесту. Мета вимірювання завжди полягає в одержуванні інформації про ознаки об’єктів, організмів і подій. Ми вимірюємо не сам об’єкт, а лише властивості або відмітні ознаки об’єкта. Важливою процедурою в педагогічній діагностиці виступає вимірювання окремих ознак і характеристик досліджуваного процесу. Сутність вимірювання полягає в тому, що об’єкти вимірювання відображаються у певній числовій системі. Звідси усі методи діагностики обов’язково містять у собі вимірювання якихось властивостей, якостей, характеристик, що їх ми можемо виразити у вигляді числових значень. Числові системи утворюють шкали, тому вимірювання дає змогу шкалювати досліджувані ознаки. Педагогічні вимірювання – це наукова теорія, що сформувалася на стику педагогіки, психології, статистики, математики, логіки і філософії. Водночас педагогічне вимірювання є процесом, націленим на створення наукових методів отримання об’єктивованих оцінок поточної і підсумкової підготовленості учнів. Сучасні дослідники визначають вимірювання як таке присвоєння чисел, яке правильно відображає розташування випробовуваних на числовій шкалі залежно від вираженості у них вимірюваної якості. Педагогічне дослідження ставить питання про вимірюваність досліджуваних явищ. Використання понять більше, менше, інтенсивніше, краще, складніше висуває на перший план проблему пошуку певної точки відліку для порівняння двох чи декількох явищ. Виміряти ми можемо, лише порівнявши отриманий результат у вигляді числа з іншим результатом, виміряним у той самий спосіб, тому виявлення внутрішніх закономірностей навчального процесу відбувається шляхом порівняння результатів вимірювання. Проводячи аналіз отриманих даних, недостатньо мати еталон для порівняння. Крім цього необхідно знати, в якому порядку розташовуються досліджувані явища, як вони співвідносяться одне з одним, наскільки чи у скільки разів одне явище відрізняється від іншого, що допомагає виміряти причиново-наслідкову залежність у структурі навчального процесу. Розв’язання цього завдання ставить дослідника перед необхідністю перевести власні знання щодо явища чи процесу, який є предметом вивчення, з рівня якісних понять на рівень кількісних – у вигляді чисел, граф, схем, формул. Використання таких знакових замінників визначає можливість оперування поняттями, порівнювати між собою такі, що взаємодіють між собою в конкретній педагогічній ситуації, і на цій основі будувати модель досліджуваного процесу. Підготовлений відповідним чином комплекс завдань дає змогу з використанням певних діагностичних методів правильно оцінити рівень знань і умінь суб’єктів навчання. Ось чому в педагогіці останнім часом виникла тенденція до використання кількісних методів педагогічного контролю. Серед засобів об’єктивного контролю найбільш науково обґрунтованим є метод тестування із залученням технічних засобів для сканування та обробки результатів. Інструмент вимірювання – це категорія, що визначає засіб, за допомогою якого здійснюється вимірювання. Наприклад, під час усного опитування і письмової роботи інструментом вимірювання є білет або структуровані завдання, під час тестування – тест, складений з тестових завдань. Вимірювання й оцінювання результатів навчання здійснюють за допомогою засобів педагогічної діагностики, створення яких потребує спеціальних знань у галузі стандартизованих методів контролю якості освіти. Засобами діагностики є професійно орієнтовані тести, впровадженню яких має передувати період їх стандартизації з обов’язковим визначенням їхніх психометричних показників. Валідність. Найбільш фундаментальним є критерій валідності. Цей термін походить від англійського і означає обґрунтований, дійсний, придатний, той, що має силу. Найбільш вдале визначення валідності педагогічного тесту дала А. Анастазі [6]. Валідність тесту — це поняття, яке визначає, що вимірює тест і наскільки якісно це здійснюється” (А. Анастазі). Валідність – показник того, що тест дійсно оцінює знання і уміння, для перевірки яких він призначений. Якщо експерти (наприклад, учителі, методисти) згодні з тим, що тест добре оцінює знання й уміння з певної теми, для якої він створений, то його можна вважати валідним. Поняття валідність використовується для загальної характеристики тесту в аспекті відповідності одержаних результатів меті та вимогам оцінювання. Ми часто можемо чути, що тест, за яким проводилося тестування, не валідний. Що це означає? А те, що одержані результати не вимірюють того, що було визначено метою тестування. Це може бути наслідком дії кількох чинників. Наприклад, невідповідності інструменту вимірювання (тесту) меті оцінювання. Наведемо декілька прикладів. Тест побудовано з тестових завдань на розуміння матеріалу, а навчання було спрямовано лише на знання базової інформації. Метою оцінювання є рівень виконання певних навичок, а тест базується на вимірюванні знань про виконання цих навичок. Завдання, які входять до тесту не е стандартизованими, отже, невалідність результатів може бути наслідком неякісних тестових завдань. І.Є.Булах та М.Р.Мруга пропонують підхід до аналізу якості тестів і тестових завдань на основі визначення їх головних характеристик і параметрів, коли загальне поняття валідності щодо процесу вимірювання і оцінювання рівня знань диференціюється за функціональною ознакою таким чином: — валідність методу (валідність змісту відповідності, прогнозу); — валідність тесту (валідність тестових завдань, процедури тестування, процедури оцінювання). Валідність методу – це відповідність того, що вимірюється цим методом, тому, що він має вимірювати. Отже, критерій валідності встановлює сферу дійсності, для якої метод дає статистично достовірні результати. Валідність методу при вимірюванні успішності навчання можна класифікувати за такими критеріями: — валідність змісту; — валідність відповідності; — валідність прогнозу. Валідність, визначена за допомогою узгодженої думки спеціалістів, часто називається змістовою або очевидною. Вона означає, що тест вимірює саме те, для чого він призначений. Валідність відповідності — це відповідність результатів вимірювання та оцінювання, одержаних різними методами. Валідність змісту і відповідності може бути кількісно визначено через коефіцієнт валідності. Але необхідно зауважити, що розраховується коефіцієнт валідності опосередковано — як коефіцієнт кореляпіі між результатами тестування та результатами інших вимірювань, здійснених на тій самій групі з того самого предмета іншим методом. Результат тестування можна вважати валідним при коефіцієнті кореляції більшому ніж 0,6. Отже, можна дати наступне визначення коефіцієнта валідності. Коефіцієнт валідності дорівнює коефіцієнту кореляції між результатами, одержаними різними методами за однакових умов, і показує, наскільки збігаються результати вимірів. О6’єктивність. Ще один критерій методу вимірювання – об’єктивність. Він показує, наскільки мінімізовано вплив суб’єктивних факторів. Об’єктивність досягається шляхом стандартизації умов проведення вимірювання, умов оцінювання, умов аналізу результатів і забезпечується за допомогою об’єктивності проведення вимірювання, об‘єктивності обробки даних та об‘єктивності інтерпретації результатів. Критерії валідності й об’єктивності фактично первинними, оскільки порушення одного з них призводить до порушення критеріїв надійності та точності, які, незважаючи на їх важливість, виступають як похідні. Забезпеченню критеріїв валідності й об’єктивності сприяють певні регламентуючі документи, якими визначаються вимоги до побудови тестів, до процедур проведення тестування та вимоги до фахівців, що застосовують цей метод. Надійність. Надійність – показник точності та стійкості результатів тесту при його багаторазовому застосуванні. Він означає ймовірність одержання учнями однакових результатів за виконання тесту у різноманітних ситуаціях тестування, зокрема при оцінюванні різними експертами (вчителями). Тест вважається надійним, якщо різні вчителі однаково оцінюють його виконання учнем. Цей показник впливає на точність, з якою можна виміряти ту чи іншу конкретну ознаку. Перевірка надійності методу стосується насамперед співставлення результатів при повторних вимірах. Надійність методу залежить від: - об’єктивності методу (об’єктивності процедур тестування); - параметрів інструменту вимірювання (якості тесту); - стабільності характеристики, що вимірюється. Ступінь надійності методу визначаться за допомогою коефіцієнта надійності. Коефіцієнт надійності (R) дорівнює коефіцієнту кореляції між результатами, отриманими однаковим методом за однакових умов і показує наскільки збігаються результати вимірів. Коефіцієнт надійності змінюється від 0 до 1 і розраховується з використанням певних методик. Найчастіше для його розрахунку використовують рівняння Спірмена — Брауна, або коефіцієнт α-Кронбаха. При створенні тестів, які використовуються під час широкомасштабних тестувань (а до них належать передусім національні та галузеві тестування), розрахунок коефіцієнта надійності є обов’язковим. Під час тестувань, за результатами яких приймаються адміністративні висновки для екзаменованих, цей коефіцієнт має бути більшим ніж 0,9. Надійність тесту свідчить про рівень надійності кількості балів, набраних окремими кандидатами, — так само, як термометр (вимірювальний інструмент), який завжди показує 0 °С, коли починає танути лід (кандидат, якого оцінюють), а не так, що інколи 0 °С, а інколи +1 °С. В ідеалі це слід вимірювати шляхом подвійного проходження одного й того ж тесту одними і тими ж самими кандидатами і перевірити, наскільки ці кандидати отримали однакову кількість балів, допускаючи, що перше тестування не вплинуло на рівень умінь і навичок кандидатів. Більш реалістичний спосіб — порівняти порядок кандидатів за сумою набраних балів за одним тестом із порядком, отриманим за результатами визнаного, аналогічного, проте іншого тесту. У багатьох випадках це неможливо. Надійність тесту можна оцінити шляхом обчислення його однорідності: наскільки всі завдання тесту однаковою мірою впливають на порядок? або хто відповідає правильно на складні запитання: сильніші кандидати чи навпаки? або чи існує кореляція між складністю завдання та рівнем здібностей кандидатів, які дають правильну відповідь? Тест із багатьма завданнями, де кореляція між складністю завдань та здібностями кандидатів невисока, навряд чи можна вважати надійним. Для професійних тестів слід зазначати міру однорідності, а також оцінку довірчих інтервалів набраних балів. Справедливість — це, очевидно, той аспект якості, який найчастіше є темою публічних дискусій про великомасштабні тести з високими ставками. Інколи слово «несправедливий» вживають для позначення браку валідності змісту, оскільки до тесту увійшли завдання, що виходять за межі того, чому звичайно навчають. Проте доволі часто дискусії точаться навколо вислову «несправедливий щодо етнічних меншин» (культурне упередження або «несправедливий щодо дівчат» (гендерне упередження, див. ілюстрацію 2). Справедливі тести мають супроводжуватись звітами, у яких пояснюється, що зроблено для зменшення такого упередження, та які існують докази на користь того, що ці зусилля виявилися успішними. Сюди можуть входити складні процедури визначення того, чи отримають якісь підгрупи занижені або завищені оцінки за певними завданнями відносно своїх результатів за іншими завданнями. І хоча для розуміння звітів з оцінювання справедливості тесту, можливо, необхідно мати деякі спеціальні знання, будь-який пересічний користувач може перевірити саме існування таких звітів і коментарів незалежних експертів до них. Прагнення досягти найвищої можливої валідності може спричинити значний тиск на ефективність тестування. Я часто згадую свого колишнього колегу, учителя французької мови, для якого ідеальним екзаменом було б посадити студента на терасі в Парижі, дати йому завдання замовити пляшку вина і — для найвищої оцінки — подивитись, чи зможе він випити цю пляшку вина з чарівною юною француженкою, що сидить за сусіднім столиком. Висока валідність, висока об’єктивність, проте, на жаль, — ніякої ефективності і доволі сильне гендерне упередження... План 1. Правила створення тестових завдань 2. Формати тестових завдань 3. Технологiя створення тестових завдань.
З погляду вимiрювання тестовi завдання можна подiлити на двi загальнi категорii: тi, в яких екзаменованi вибирають правильнi чи найкращi вiдповiдi, базуючись на iнформацiї, поданiй у тестовому завданнi, і тi, в яких потрібно надати (створити, згенерувати) відповiдi самостійно. Завдання першої категорii називають запитаннями багатовибiркового типу. або закритими (МСQ multiple-choice question). До другої категорії належать завдання відкритого типу (з короткою або довгою вiдповiддю, есе). Форми тестових завдань складаються з двох частин: - умови, що описує певну проблему i ставить завдання перед екзаменованим; - списку варiантiв вiдповiдей, серед яких як мiнiмум один є правильною чи найкращою вiдповiддю, а решта – дистрактори – є неправильними. Основнi питання, що взаємопов’язані між собою i безпосередньо впливають на якiсть тестових завдань, — це принципи або правила створення тестових завдань, формати завдань, технологiя створення та технiчнi дефекти. Зупинимося на кожному з цих питань окремо. Правила написання умови Умова це стимул для відповіді, яка описує певну проблему і ставить завдання перед екзаменованим. Умова може мiстити лише завдання або складатися iз вступної інформацiї та запитання, пов’язаного з наведеною iнформацiсю. Умова може подаватися у формi запитання, у наказовiй формi або у формi незавершенного твердження. Рекомеидується використовуати форму запитання або наказову форму, які є легшими для екзаменованих i ставлять перед ними бiльш чiтке завдання. При незавершених твердженнях автори тяжiють до написання дистракторiв, що не належать до навчальної цiлi, на яку спрямовано завдання. Невдало : Антивірусна програма – це… Краще : З якою метою використовуються антивірусні програми? Невдало У теорії ймовірностей ---------------- це будь-який факт, що внаслідок може відбутися або не відбутися. Правильна відповідь : подія Краще Як у теорії ймовірностей називають будь-який факт, що внаслідок досліду може відбутися або не відбутися? Правильна відповідь : подія Включайте в умову центральну iдею завдання та максимум інформації, що мiститься у тестовому завданнi. Умова має бути відносно довгою, а вiдповiдi – короткими. В iншому випадку для здiйснення вибору екзаменованi повиннi декiлька разiв перечитувати довгі вiдповiдi, що ускладнює та уповільнює процес. Необхідно, щоб на тестове завдання можна було вiдповiсти, не читаючи варiантiв вiдповiдей (правило “закритих варiантiв вiдповiдей”) Наприклад: Невдало Найкращий студент – це той, хто гарно вчиться і бере участь в громадській роботі Краще Вкажіть до якої категорії належать студенти, які гарно навчаються і беруть участь в громадській роботі? а) найгірші; б) найкращі. Формулюйте умови позитивно. Уникайте негативних формулювань, які вимагають протилежної, порівняно з бiльшiстю тестових завдань, дії (вибір неправильного, гiршого), та є складними для розуміння екзаменованими. Невдало: Визначте, що не належить до позитивного впливу вчителя на учня: А) похвала; Б) покарання; В) створення виховних ситуацій. Краще: Вкажіть, який метод виховання може мати як позитивні, так і негативні наслідки для учня А) похвала; Б) покарання; В) створення виховних ситуацій. Не базуйте тестове завдання закритого типу на думцi, поглядi, суб’єктивній оцінці. Такi завдання можуть мати декiлька вiдповiдей, якi можна захистити i не мати однозначної правильної вiдповiдi. У завданнi мають буги певнi критерiї, що дають эмогу екзаменованому эробити обгрунтований вибiр. В умовi не повинно бути граматичних та iнших пiдказок для вибору або виключення будь — якої вiдповiдi. Використання абсолютних термiнiв (“нiколи”, “завжди”) не рекомендуеться. Невдало: Дехто вважає, що матеріальний достаток визначає ступінь задоволеності людини власним життям. А) так; Б) ні. Хороші студенти ніколи не запізнюються на лекції А) завжди; б) час від часу. Наприклад Надзвичайно складне суб’єктивне завдання Вкажiть колiр океану на мапi: А Влакитний В Лазурний С Синiй D Синьо-зелений Е Ультрамариновий Легке завдання Вкажiть колiр океану на мапi: А Жовтий В Синiй С Червоний
Якщо можливо, варiанти вiдповiдей треба розмiшувати системно (в логiчному, в алфавiтному порядку, у порядку эбiльшення або зменшення чисел тощо). Наприклад Невдало Вказати, яка температура поверхнi характерна для червоних зiрок (С): А 2 000—3 000 В 6 000—7 000 С 12000 D20000 Краще Вказати, яка температура поверхнi характерна для червоних зiрок (Ю): А 2 000—3 000 В 6 000—7 000 С 12000—13000 0 20000—25000
Вiдповiдi мають бути незалежними одна вiд одної та не перетинатися мiж собою. Вiдповiдi, що перетинаюгься, рiдко бувають правильнимн, i це слугує пiдказкою для екзаменованих. Вiдповiдi мають бути однорiдними за змiстом. Усi вiдповiдi мають належати до однiєї навчальноi мети. Якщо перед екзаменованим стоїть завдання вибрати кращу вiдповiдь або кращi відповіді, необхідно цi вiдповiдi порiвняти між собою. Це можливо лише тодi, коли вони належать до однiєї категорiї. Не слiд додавати штучних вiдповiдей. Якщо частина вiдповiдей охоплюс всi можливi варiанти, а решта додається для збiльшення кiлъкостi, цi доданi вiдповiдi вiдкидаються екзаменованими вiдразу. Така ситуація є логiчною пiдказкою, яка эменшує кiлькiсть вiдповiдей, серед яких екзаменований вибирає. Наприклад Невдало Доповніть фразу: “Україна займає площу 603,7 тис. кв. км, 1.. А Є однією з найбільших за розмірами держав у Європi В Займас перше за розмiрами мiсце в Європi С Займас 5,7% територi Європи D Перевищує за розмірами Францію Краще Враховуючи, що Україна займає площу 603,7 тис. кв. км, укажiть її місце за розмiрами серед країн Європи. А Перше В Друге С Третє D Четверте Е П’яте Вiдповiдi мають бути короткими та простими за структурою. Слова, що повторюються в усiх вiдповiдях, слiд додавати до умови. До відповiдей бажано не додавати дiєслiв, шо ускладнюють сприйнятгя та розумiння. Оптимально, щоб вiдповiдi мiстили iменники, прикметники, числiвники як окреме слово, словосполучення, просту комбiнацiю слiв. Використовувати речення у вiдповiдях не рекомендується. Наприклад Невдало Вирiзнiть причини бiльшої суворості клiмату Антарктиди порiвняно з Арктикою:
А) В Арктицi, на вiдміну вiд Антарктиди, клімат пом’якшує Пiвнiчний Льодовитий океан В) Абсолютнi висоти територiї в Арктицi бiльші, нiж в Антарктидi С) У європейському секторі Арктики пом’якшує клiмат Пiвнiчноатлантична течiя D) В Антарктидi, на вiдмну вiд Арктики, дують стоковi вiтри, які формують клiмат цiєї південної областi Краще Вкажіть причини більш суворого клімату Антарктиди порівняно з Арктикою:
А) Вiдсутнiсть Пiвнічного Льодовитого океану В) Меншi абсолютні висоти території С) Відсутнiсть Пiвнiчноатлантичної течії D) Наявність стокових вiтрів
Уникайте використання фрази “все з вищезазначеного” або її еквiвалентiв, що автоматично призводить до появи вiдповiдей, що перетинаються. Ця фраза водночас є підказкою, якщо екзаменований визначить хоча б 2 вiдповiдi, як правильнi, i причиною для неправильної вiдповiдi, якшо екзаменований зупиниться на першiй правильнiй вiдповiдi, яку побачить. Уникайте фрази «нiчого з вищезазначеного», правильнiсть якої завжди можна вiдстояти. Обидвi фрази, по сутi, змiнюють формат А (формат найкращої або правильної вiдповiдi) на формат Х (будь-яка кiлькiсть правильних вiдповiдей або їх вiдсутнiсть), Уникайте абсолютних слiв «завжди», « ніколи» та розпливчастих «iнколи», « ймовірно». Абсолютнi термiни, звичайно, пов’язанi з неправильними дистракторами, й екзаменовані їх уникають, вибираючи менш категоричнi вiдповідi. Розпливчастi терміни щодо частоти явищ навiть експертами розумiються по-рiзному, тому відповідь може суттєво залежати від суб’сктивного розумiння екзаменованого, наприклад, що треба розумiти пiд словом “часто”. Наприклад Невдало Прискорена амортизацiя має: А) Тiльки великі переваги В) Тiльки великі недолiки С) Є рядовим методом, не має нi переваг, нi недолiкiв D) Як переваги, так i недолiки. Правильна вiдповiдь: D (абсолютний термін “тiльки”, граматична неузгодженiсть варiанта С; рiзна_довжина і структура відповідей)
Краще Якi переваги має прискорена амортизацiя?
Формати тестових завдань Теоретики тестології подають різні варіанти класифікації тестових завдань, серед яких найдетальнішою, на нашу думку, є класифікація, розроблена В.Шпильовим та В.Жилою[i]. До цієї класифікації потрібно додати види тестових завдань відкритої форми.
Завдання відкритого типу У цих завданнях відповіді повинен сформувати або отримати (наприклад, під час розв’язування задачі) сам учень. Ця форма тестових завдань має три різновиди: заповнення пропусків, стисла відповідь та есе. Заповнення пропусків та стисла відповідь мають обмеження, накладені інструкцією за формою та змістом подання. Завдання з вільно конструйованими відповідями, у яких учні повинні дати розгорнуту відповідь у вигляді повного розв’язування задачі з поясненнями або написати мікротвір, - есе. У завданнях з обмеженнями наперед визначено, яку відповідь вважатимуть правильною, і задано ступінь повноти відповіді. Як правило, вона буває доволі стислою – пропущена літера, одна словоформа, закінчення, слово (повнозначне – неповнозначне), число, символ тощо. Іноді – розгорнутішою, але такою, що не перевищує 2 – 3-х слів. Регламентована лаконічність відповідей висуває певні вимоги до сфери застосування, тому завдання першого та другого видів переважно використовують для оцінювання досить вузького кола вмінь учнів. З їхньою допомогою перевіряють уміння відтворювати і застосовувати знання в знайомій ситуації, а також виявляють рівень розуміння вивченого матеріалу. Через однозначність правильної відповіді перевірка результатів виконання має об’єктивний характер. На практиці непередбачені відповіді учнів нерідко ускладнюють перевірку результатів виконання завдань. За твердженням учнів, завдання на формулювання відповіді є складнішими, оскільки в них не передбачено можливість здогаду.
Такі тестові завдання є найпоширенішими, хоча у них є ряд недоліків, зокрема: 1) у багатьох закритих завданнях, якщо не йдеться про перевірку фактологічного матеріалу, учневі для отримання відповіді доводиться утворювати ланцюжок знань та умінь як на репродуктивному, так і на продуктивному рівнях, а лише потім обирати правильну відповідь; 2) у закритих завданнях з невеликою кількістю варіантів високий відсоток угадування (при 4-х варіантах – 25%, при 5-ти – 20 %). Тестологи намагаються мінімізувати ефект угадування за рахунок збільшення варіантів відповідей, урізноманітнення тестових завдань та введення коефіцієнта підрахунку балів, при якому за неправильні відповіді віднімається певна кількість балів; 3) негативну роль можуть відігравати дистрактори, які сприяють, на думку деяких експертів, запам’ятовуванню хибної інформації. Безперечними перевагами тестових завдань закритої форми є їхня універсальність, оскільки зміст будь-якої дисципліни можна трансформувати у завдання з вибірковими відповідями. Завдяки цим тестовим завданням можна суттєво прискорити процес перевірки засвоєного матеріалу, а також спростити обчислення підсумкових балів. Формати: А, ситуаційний кластер, Х, N, R, B, TF, D, K, C, E, H, I За період від 50-х рр. минулого століття, коли вперше було використано тестові завдання багатовибiркового типу, розробляли й апробовували більше 40 різних форматів тестових завдань. Одні з них підтвердили свої дiагностичнi властивості, iншi — ні. Перший апробований формат, — це формат А. Він i сьогодні є найбільш уживаним, оскільки, по-перше, дає можливість перевіряти знання на рiзних рiвнях засвоєння. По-друге, при створеннi тестового завдання формату А автори тестових завдань, дотримуючись правил, роблять менше помилок. Отже, перейдемо до розгляду найбiльш поширених форматiв тестових завдань. Формат А Тестовi завдання з однiєю найкращою вiдповiддю. Тестовi завдання з вибором однiєї найкращої або правильної вiдповiдi є такими, що вживаються найчастіше. Структура цього тестового завдання така: умова (завдання), запитання за цiєю умовою та чотири-п’ять варiантiв вiдповiдей, один з яких є найбiльш правильним. Неправильнi варiанти вiдповiдi можуть бути не абсолютно неправильними, але вони все ж таки менш правильнi, нiж еталонна вiдповiдь. У такiй ситуацiї варiанти вiдповiдi можна умовно розташувати так: D С А Е В найменш найбiльш правильний правильний Форматом А при вiдповiднiй змiнi умови i запитання можна перевiрити з першого по третiй рiвнi когнiтивного домену: знання, розумiння i застосування знань. Приклад тестового завдання Ситуаційний кластер Хоча кластер не вважається окремим форматом тестового завдання у чистому вигляді, вiн широко використовусться при тестуваннi з рiзних дисциплiн. Кластер складаеться з ввiдного сценарiю (опису ситуацii) з наступними завданнями, що прямо стосуються цього сценарiю. До кожного сценарiю ставиться два i бiльше запитань. Характер цих запитань визначаєтъся змiстом та елементами компетентностi, вказаними в доменi. При створеннi кластерiв необхiдно стежити, щоб запитання були пов’язанi зi сценарiєм та не були “зчепленi” мiж собою. Це означає, що вiдповiдi на запитання мають бути незалежними одна від одної. Тобто вiдповiдь на одне запитання не повинна бути підказкою для вiдповiді на iншi запитання з цього ж кластера i не повинна впливати на них. Цим форматом також дiагностуються з першого по третiй рiвнi когнiтивного домену: знання, розумiння i засвоєння знань. Формат Х Тестові завдання множинного вибору “правильно — неправильно”. Зовні цей формат ідентичний формату А, проте у ньому може бути будь-яка кiлькiсть правильних вiдповiдей. Під час розгляду завдань форматів А та Х постає проблема порівняння завдань, якi цi формати ставлять перед екзаменованим. Ці формати ставлять неідентичні завдання. Відповідаючи на завдання формату Х, екзаменовані мають вирішувати, наскільки правильним є кожний запропонований варіант для того, щоб бути вибраним як правильна вiдповiдь. Водночас, якщо в завданнях формату А дистрактори не є абсолютно неправильними, в завданнях формату Х кожний варіант вiдповiді має бути або абсолютно правильним, або ж абсолютно неправильним, з тим, щоб була виключена неоднозначність. Для виконання цієї умови автори тестових завдань формату Х, на вiдмiну вiд тестових завдань формату А, найчастіше перевiряють лише засвоєння першого рiвня когнiтивного домену — знання фактiв та концепцiй, тобто декларативних, а не процедурних знань, тому їх використовують переважно у поточному контролі для перевірки класифікаційних і факультативних знань.
Приклад тестового завдання Формат В Тестові завдання логічних пар або визначення вiдповiдностi. Тестові завдання формату В належать до категорії логічних пар, що складаються з 3—5 визначень або цифрових значень, які є варіантами вiдповiдей та переліку слів чи фраз, що містять завдання. Варіанти вiдповiдей позначено буквами, а слова чи фрази, що містять завдання, — пронумеровано. Екзаменований має пiдiбрати до кожного пронумерованого завдання один найбільш вiдповiдний варіант вiдповiді, позначений буквою. Оскільки кожний варіант вiдповiді може використовуватися більше одного разу або не використовуватися взагалі, тестові завдання формату В неможливо вирішити методом виключення. Передбачалося, що тестові завдання цього формату розширять використання завдань багатовибiркового типу, даючи змогу оцінити кілька взаємопов’язаних предметів в одному блоці. На вiдмiну від сучасних форматів категорії логічних пар, завдання формату В часто не містили вступного запитання, внаслідок чого були досить неоднозначними. Загалом цей формат успішно використовується дотепер, втім, у наш час поступово витісняється форматом R. Формат С Тестовi завдання формату С зовні схожі на завдання формату В, проте екзаменований повинен визначити «правильні — неправильні» вiдповiді. Тестове завдання цього формату складається з переліку визначень, якi є варіантами вiдповiдей, та переліку слів чи фраз, що містять завдання. Варіанти вiдповiдей позначено буквами, а слова чи фрази, що містять завдання, — пронумеровано. Екзаменований має вирішити щодо кожного пронумерованого завдання, правильна вiдповiдь А чи вiдповiдь В, чи правильні обидві вiдповiді (варіант С), або одна з них є неправильною (варіант D). При цьому кожний варіант вiдповiді може використовуватися більше одного разу або не використовуватися взагалі. Цей тип тестових завдань використовувався для порівняння та протиставлення двох певних фактів. За рівнем складності завдання формату С відповідають завданням формату К. Основна проблема формату С полягає у тому, що екзаменований мусить визначити, наскільки правильною є кожна вiдповiдь, щоб бути вибраною, як еталон. Наприклад, якщо завдання асоціюється з варіантами вiдповiдей А i В, але бiльше вiдповiдає варiанту А, то екзаменований має вирішити: вибирати вiдповiдь А чи обидві вiдповiді — А i В. Якщо завдання погано асоціюється з варіантами вiдповiдей А i В, то екзаменований повинен визначити ступінь асоцiацiї або вибрати варіант D (всі вiдповiді неправильні). Судження такого типу не пов’язані зі знаннями, але примушують екзаменованого здогадуватися про те, що саме автор запитання мав на увазі. Формат Е Тестові завдання формату Е з множинними правильними чи неправильними вiдповiдями базуються на аналiзi взаємозв’язкiв. Завдання цього формату складається з речення з двома основними частинами: твердження i причини цього твердження. Вiдповідаючи на такi завдання, екзаменований муситъ вибрати варiант вiдповдi А, якщо обидві частини — iстиннi твердження і причина є правильним поясненням першого твердження; В — якщо обидвi частини є iстинними твердженнями, але причина не є правильним поясненням першого твердженния; С — якщо перша частина — iстинне твердження, а друга — хибне; Д — якщо перша частина — хибне твердження, а друга— iстинне; Е — якшо обидвi частини — хибнi твердження. Вважалося, що для правильної вiдповiдi на такi тестовi завдання нсобхідно критично мислити i розумiти основнi принципи. Проте тестовi завдання формату Е складнi для написання i заплутані для екзаменованих. Приклад тестового завдання.
Правильна відповiдь: 1- В, 2 - Е Формат R Структура тестового завдання: § 3-4 умови завдань § Спільне ввідне запитання § 4–20 варіантів відповідей (кожен варіант відповіді може використовуватися один раз, більше одного разу або зовсім не використовуватися) Формат Х Структура тестового завдання: § Умова завдання (ситуативна задача) § Ввідне запитання § Як правило, 5 - 12 варіантів відповідей, будь-яка кількість з яких може бути правильною. Наприклад: Формулювання цілей навчання Розглянемо більш детально основні вербальні моделі, які використовують для опису і формулювання цілей освіти та навчання різного рівня. Опис кінцевих цілей навчання в термінах діяльності ґрунтується на чіткому визначенні рівня сформованості та на дотриманні вимоги узгодженості між предметом діяльності і дієсловом, яким сама дія визначається. Наведемо нижче терміни (дієслово і пряме доповнення — дія і предмет дії), які відповідають прийнятій таксономії цілей навчання. Когнітивний домен (сфера) Як бачимо, пізнавальний (когнітивний) домен має шість таксономічних рівнів. Під час створення галузевих стандартів як системи ієрархічно підпорядкованих нормативних документів чітко класифікуються загальні (кінцеві) та специфічні (проміжні або предметні) цілі навчання. Це, зокрема, передбачає, що рівень сформованості загальних (кінцевих) цілей має починатися з 2.00 - розуміння вивченого матеріалу, тоді як рівень 1.00 — запам'ятовування вивченого матеріалу – є основним під час формулювання предметних цілей.
Створення тестових завдань на вимiрювання вищих когнiтивних рiвнiв є складним процесом, що потребує багато часу. Автор має проявити творчий пiдхiд для створення привабливих та якiсних завдань. Можна дати такі поради для створення якiсних завдань.
Рiвень знань. Вважається найнижчим рiвнем когнiтивного домену. Тестовi завдання цього рiвкя, переважно, вимагають згадати ранiше засвоєний матерiал. Бiльшiсть професійних екзаменацiйних агентств докладає чимало зусиль до мiнiмiзацiї в тестi кiлькостi тестових завдань рiвня знань. Тестовi завдання перевiряють знання термiнологiї, фактiв, визначень, класифiкацiй, правил, методiв, критерiiв, принципiв, теорiй тощо. Рiвень розуміння. Розумiння вимагає iнтерпретацiї матерiалу. Припускається, що екзаменований володiє певним набором знань, а екзаменатор оцiнює розумiння цих знань. Дiями, що вiдображають розумiння, є, наприклад, трансформацiя текстового матерiалу мовою рiвнянь, iнтерпретацiя графiкiв i рисункiв тощо. Рiвень застосування. Застосування характеризує здатнiсть використовувати вивчений матерiал у новiй ситуації. До цiєї когнiтивної категорiї належить застосування законiв, теорiй, концепцiй у практичних ситуаціях, розрахунки iз застосуванням вивчених формул тощо. Рiвень аналiзу. Аналiз — це здатнiсть розкласти ціле на частини. Прикладами завдань, що стосуються аналiтичних здiбностей, можугь бути такi, що потребують зробити невизначенi припущення, розрiзнити факти та наслiдки, вибрати доречнi данi. Аналiз вимагає не лише володiння знаннями, а й розумiння взасмозв’язкiв мiж рiзними типами iнформації. Рiвень синтезу. Синтез — це процес складання цiлого з частин. При цьому перевага надається творчiй, креативнiй поведiнцi. Прикладами завдань, що стосуються здатностi до синтезу, можуть бути такi, що потребують складання плану дiй або експерименту в конкретнiй ситуацiї, створення нових прикладiв, формулювання класифiкацiйних принципiв. Тестовi завдання рiвня аналiзу i синтезу тiсно пов’язанi мiж собою. Рiвень оцiнювання. Оцiнювання стосується здатностi давати оцiнку, зокрема критичну, процедурам, висновкам, доказам, перспективам. Створення тестових завдань на рiвень оцiнювання є складним процесом. Важко розрiзнити тестові завдання рiвня оцiнювання та рiвня застосування знань. Тестовi завдання рiвня оцiнювання не можугь мати лише одну правильну вiдповiдь. Як правило, такі завдання базуються на порiвняннi i виборi за певним критерiєм (кращий, гiрший, ефективний, доступний тощо). Вони є об’єктивнiшими, коли таке порiвняння можливе. Прикладами завдань можна буде оцiнити, чи пiдтверджено висновки доказами, чи виконано завдання, чи вiдповiдають аргументи наведеним даним тощо. Правила формулювання цілей Кожна мета (принаймні вузькоспеціальна) може бути сформульована у певних межах деякої діяльності (поведінки). Цілі діяльності визначають, які саме дії повинен виконувати учень (студент) і що саме контролюється під час оцінювання досягнення поставленої ним мети. При застосуванні суб'єктно-діяльного підходу, на якому ґрунтується система стандартів вищої освіти, для оцінювання професійних вмінь студентів та визначення стратегії навчання необхідним є формулювання цілей з погляду "поведінки або професійної діяльності". Це дає змогу сформулювати цілі більш точно, включаючи умови, необхідні для процесу формування певної поведінки, та критерії, що слід враховувати під час оцінювання знань студентів. Прихильники терміна "цілі поведінки або професійної діяльності" стверджують, що його використання є дієвою допомогою під час розробки навчальних планів; оптимізує процес навчання та сприяє досягненню студентами поставленої мети. Викладач краще розуміє цілі, сформульовані в рамках професійної діяльності, і тому знає, як краще організувати процес навчання. На цих принципах побудовано педагогічні системи професійної медичної освіти більшості розвинених країн. Тому ми маємо будувати сучасну, інтегровану в світову, педагогічну систему освіти саме на таких методологічних засадах, дотримуючись саме таких дидактичних принципів та закономірностей. Зупинимося на п'яти основних правилах формулювання цілей освіти і навчання. Правило 1. Правильно вибирати дієслово для опису професійної поведінки. При цьому бажаним є використання наказової форми цих дієслів. Правило 2. Вказувати на умови, за яких студент демонструватиме здатність виконати завдання, а також визначати критерії або стандарти, згідно з якими здійснюватиметься оцінювання знань. Правило 3. Цілі необхідно формулювати за допомогою однозначних термінів. Правило 4. Формулювання цілей має бути чітким, не перевантаженим зайвими словами. Правило 5. Цілі мають бути унітарними, тобто кожне положення повинно належати до одного процесу. Домени компетентності Ефективне досягнення кінцевого результату можливе лише за умови чіткого його визначення, опису вимог та орієнтації навчального процесу на досягнення визначених вимог. Одним із сучасних підходів до встановлення освітніх вимог є визначення доменів компетентності, які є кінцевими результатами навчання, та їхня подальша специфікація у вигляді конкретних освітніх цілей, що є кінцевими або проміжними цілями навчання. Термін "компетентність" як наукове та практичне поняття увійшов до фахового словника педагогів в усьому світі порівняно недавно та досі потребує конкретизації визначення. Протягом короткого часу він змінювався від надзвичайно вузького розуміння у вигляді переліку конкретних вмінь та навичок, які можна продемонструвати та перевірити, до широкого розуміння підготовленості учня до життя, а студента — до роботи. Від використання терміна компетентності відмовлялися, але зараз до нього повертаються знов. На сучасному етапі новим поштовхом до поширення та уточнення змісту терміна "компетентність" у Європі та Америці стало визнання неготовності учнів до активного життя в умовах інформаційного суспільства. Таке суспільство потребує все більшого обсягу інформації, яку опанувати в межах шкільної програми вже неможливо, і тому в учнів необхідно формувати не лише знання, а й ключові (основні, базові) компетентності. Сучасне визначення поняття "компетентність" дали два окремих європейських проекти у сфері ключових компетентностей. Завданням проекту Організації економічного співробітництва і розвитку (ОЕСО) з визначення ключових компетентностей було обґрунтування нормативних, теоретичних і концептуальних основ для визначення та відбору ключових компетентностей. У межах цього проекту було прийнято такі визначення. Компетентність — це здатність успішно задовольняти особисті чи суспільні вимоги і потреби або виконувати завдання та проводити діяльність. Компетентність складається з когнітивних і некогнітивних компонентів. Ключові компетентності — це компетентності, які є важливими для багатьох сфер життя, вони є складовою успішного життя особистості і добре організованого суспільства. Вибір та визначення ключових компетентностей залежать від суспільних цінностей. Таке визначення компетентності ґрунтується на функціональному підході, за якого людина є компетентною не сама по собі, а відносно реалізації зовнішніх функцій. Зовнішній прояв залежить від внутрішньої індивідуальної структури компетентності, яка є конгломератом знань, когнітивних вмінь, маніпуляційних навичок, мотивації, моральних і етичних цінностей, інтересів, ставлень, емоцій та інших соціально-психологічних компонентів, що мобілізуються разом для ефективної дії. Тобто внутрішня структура містить когнітивні, психомоторні, емоційні, мотиваційні, соціальні, етичні та поведінкові компоненти. Проект Європейської комісії дав таке структурне визначення компетентності та структурно-функціональне визначення ключових компетентностей [23]. Компетентність — це гібридна характеристика, що складається з комбінації знань, умінь і ставлень. Компетентність може набуватися за різних умов: формально і неформально, цілеспрямовано або ненавмисно. Ключові компетентності — це багатофункціональна сукупність знань, умінь і ставлень. Вона може бути застосована в різних умовах і її потребують всі індивідууми для особистої діяльності (розвитку) та інтеграції у суспільство, а також для працевлаштування. Її необхідно набути до моменту завершення обов'язкової шкільної освіти або навчання, і вона є основою для навчання протягом життя. Мета освіти у вигляді досягнення компетентності відрізняється від мети освіти у вигляді оволодіння знаннями та навичками, оскільки компетентність не дорівнює окремим знанням, вмінням і навичкам, а є значно ширшим поняттям. Водночас компетентність не означає відмови від опанування знаннями або вміннями чи формування певних ставлень, а означає їхню підпорядкованість більш широкій, глобальній меті. Властивості та характеристики людини, такі як знання, когнітивні вміння, практичні навички, ставлення, емоції, цінності, етичні погляди, мотивації тощо, є основою потенціалу компетентності. Залежно від характеру зовнішніх вимог і контексту частина цього потенціалу компетентності людини мобілізується для активної дії – виникає проявлена компетентність. За різних умов, у різному контексті у людини мобілізуються, активізуються різні властивості. Навпаки, для реалізації однакових вимог у різних однаково компетентних індивідуумів можуть мобілізуватися різні "набори" властивостей для реалізації компетентності. З наведеним визначенням пов'язано поняття "домен компетентності". Домен компетентності — це сукупність порівняно однорідних компетентностей, спрямованих на розв'язання порівняно однорідних задач. Домени компетентності можуть бути визначені та структуровані по-різному: за однорідністю завдань діяльності, за однорідністю компетентностей, за однорідністю предметної сфери тощо. Раніше традиційним підходом було структурування за предметами, галузями знань (предметні домени). Але у такий спосіб складно сформувати міжпредметні вміння і знання, тому нині все частіше як кінцеві цілі навчання визначають інтегровані компетентності, яких мають набувати під час опанування різних предметів та поза формальним навчанням. Прикладом інтегрованих міжпредметних доменів компетентності для обов'язкової шкільної освіти є переліки ключових компетентностей, запропоновані європейськими проектами. Ключові компетентності проекту Європейської комісії з освіти: — спілкування рідною мовою; — спілкування іноземною мовою; — володіння інформаційно-комп'ютерними технологіями; — здатність до кількісного мислення та компетентності з математики, природничих, наук і технологій", — підприємництво; — міжособистісні та громадянські компетентності; — вміння вчитися (навчання тому, як вчитися); — володіння загальною культурою на необхідному рівні. Ключові компетентності для успішного життя та добре організованого суспільства, запропоновані проектом ОЕСБ, можна подати у такому вигляді. Автономні дії передбачають: — здатність захищати та відстоювати власні права, інтереси та потреби; — здатність до відповідальності та обмеження; — здатність будувати та реалізовувати життєві плани та особисті проекти; — здатність діяти в певних умовах і бачити більш широку картину. Використання інтерактивних засобів (тобто засобів взаємодії зі світом) передбачає здатність користуватися: — мовою, символами та текстом інтерактивно; — знаннями та інформацією інтерактивно; — новими технологіями інтерактивно. Функціонування в соціально-гетерогенних спільнотах передбачає здатність: — добре ставитися до інших; — до співпраці; — керувати та вирішувати конфлікти. Як правило, домени компетентності визначають експерти. При визначенні доменів компетентності для професійної освіти враховуються структура професійної діяльності, перспективи розвитку відповідної науки, аналізуються статистика галузі, типові помилки тощо. Домени компетентності визначаються кінцевими цілями навчання на певному етапі (наприклад, на етапі закінчення набуття середньої або вищої освіти). Доцільно розрізняти домен компетентності, що є очікуваним результатом освіти, та домен навчання (або домен навчального плану), що є змістом освіти, вже відібраним і включеним до програми навчання. Для ефективного опанування доменами компетентності вони мають бути чітко візуалізовані для учнів та вчителів. Навколо них мають будувати навчання та оцінювання, має відслідковуватися також прогрес у їхньому досягненні. В умовах перевантаження інформацією при відборі змісту освіти (знання та інформація, що вивчаються, вміння і ставлення, що формуються тощо) пріоритети мають віддавати змісту, що сприяє загальній меті опанування доменами компетентності. Відібраний зміст освіти структурується у термінах навчальних цілей відповідно до таксономії освітніх цілей. Засоби педагогічного оцінювання розробляють відповідно до структурованого та визначеного в термінах навчальних цілей змісту освіти. На сучасному етапі розроблено різноманітні ефективні та надійні засоби педагогічного оцінювання інформаційного змісту освіти та когнітивних умінь (для будь-якого рівня таксономії Блума), порівняно ефективні – для оцінки маніпуляційних і комплексних навичок, значно менш ефективні та надійні методи – для оцінювання емоційного, мотиваційного, вольового та ціннісного доменів. Класифікацію для останніх зазначених доменів на сьогодні не розроблено. Створення тесту успішності У процесі створення тесту успішності виділяють чотири основні етапи: а) підготовче планування, б) аналіз навчального змісту, в) конструювання завдань, г) аналіз завдань. 1. Підготовче планування: з’ясовують, які знання та уміння і з якою метою підлягають оцінюванню, що береться до уваги насамперед – уміння мислити чи запам’ятовувати? 2. Аналіз змісту навчання (тобто навчальних планів, програм, підручників): виділення з навчальних планів, програм і підручників конкретних знань, умінь та навичок, які підлягають тестуванню. При цьому враховують, на якому рівні мають бути засвоєні конкретні знання: відтворення, розуміння, застосування. Проблема полягає в тому, щоб точно визначити й описати сукупність усіх знань і умінь, що репрезентують певну навчальну одиницю (тему, розділ, предмет), і зробити репрезентативну вибірку завдань для тесту. 3. Конструювання завдань: слід визначити, який тип завдань найбільше відповідає меті, змісту й умовам тестування, конкретному фрагменту навчального матеріалу. Під час конструювання завдань слід дотримуватись таких загальних правил: 1. Завдання слід спрямовувати на перевірку значущих елементів змісту, а не на ті, які простіше формулювати. Слід уникати тривіальних завдань, які не викликають жодних труднощів. 2. Текст завдання повинен виключати будь-яку двозначність і неясність формулювань. Усі твердження мають бути граматично правильними та конкретними. 3. Текст завдання формулюється гранично коротко, звільняється від усякого стороннього для даної проблеми матеріалу. 4. Відповідь на одне завдання тесту не повинна містити або підказувати відповідь на інші завдання. 5. У тексті завдань не слід вживати подвійне заперечення (не... не...). Воно ускладнює розуміння суті завдання. 6. Завдання мають всебічно відображати матеріал теми, але їх не слід копіювати з підручника. Це допустимо лише тоді, коли навчальна мета полягає в запам’ятовуванні знань. ТЕМА 5 План 1. Визначення мети розробки та застосування тесту. 2. Опис змісту матеріалу, який діагностується. 3. Вибір методу вимірювання. 4. Проектування матриці змісту тесту. 5. Вибір форматів тестових завдань. 6. Формування тесту та його специфікація. 7. Вибір аргументованого прохідного балу. 8. Обробка та аналіз результатів. 9. Доказ валідності та надійності результатів.
Для обґрунтування технологічних кроків створення валідного педагогічного тесту з’ясуємо, у чому ж полягає валідність тесту? Вибір того чи іншого методу вимірювання знань ґрунтується на критеріях, які визначають його якiсть. Найважливішими критеріями є валiднiсть, об’єктивність, надiйнiсть i точність. Найбільш фундаментальним є критерій валiдностi. Сам термін "валідність" походить від англійського “valid” i означає обґрунтований, дійсний, придатний, той, що має силу. Найбільш вдале визначення валiдностi педагогічного тесту дав А. Анастазі. "Валiднiсть тесту — це "поняття", яке визначає, що вимірює тест i наскільки якісно це здійснюється” (А. Анастазi) Поняття валiднiсть використовується для загальної характеристики тесту в аспекті вiдповiдностi одержаних результатів меті та вимогам оцінювання. Інколи ми можемо чути, що тест, за яким проводилося тестування, не валiдний. Що це означає? А те, що одержані результати не виморюють того, що було визначено метою тестування. Це може бути наслідком дії кількох чинників. Наприклад, невiдповiдностi інструменту вимірювання (тесту) меті оцінювання. Наведемо декілька прикладів. Тест побудовано з тестових завдань на розуміння матеріалу, а навчання було спрямовано лише на знання базової інформації. Метою оцінювання є рівень виконання певних навичок, а тест базується на вимiрюваннi знань про виконання цих навичок. Завдання, якi входять до тесту не є стандартизованими, отже, невалiднiсть результатів може бути наслідком неякісних тестових завдань. У стандартних вимогах до педагогічних тестів їх валiднiсть має визначатися як комплекс iнформацiї про характеристики тесту, процедури тестування та методики оцінювання. Використання тестових iспитiв дає можливість провести педагогiчнi виміри, що сприяють прийняттю рiшень з мiнiмальною похибкою. Те, якою мiрою вдасться скоротити кiлькiсть похибок i, вiдповiдно, збiльшити кiлькiсть правильних рiшень прямо залежить вiд якостi тесту. Створення тестового iнструменту з добрими психометричними показниками потребує проходження певних етапiв процесу розробки: 1. Визначення мети розробки та застосування тесту. 2. Опис змісту матеріалу, який діагностується. 3. Вибір методу вимірювання. 4. Проектування матриці змісту тесту. 5. Вибір форматів тестових завдань. 6. Формування тесту та його специфікація. 7. Вибір аргументованого прохідного балу. 8. Обробка та аналіз результатів. 9. Доказ валідності та надійності результатів.
Нагадаємо, що мета оцiнювання визначає змiст матеріалу або домен змiсту, який у свою чергу структурується у формi багатовимiрної матриці змісту, що допомагає вибрати вiдповіднi формати тестових завдань, з яких створюється тест. Ці етапи запропонували i структурували Hambleton і Zaal, Impara, узгодивши з технічними стандартами для освітніх i психологічних тестів, створених спільно Американською асоціацією освітніх дослiджень, Американською психологічною асоціацією i Національною радою США з вимірювання в освiтi (1999). Розглянемо докладнiше основнi проблеми, що постають перед розробниками лiцензiйних i сертифiкацiйних тестових екзаменів, від успiшного вирiшення яких залежить успiх самого екзамену. Вибiр методу вимірювання Залежно від мети оцінювання, домену, необхiдно вибирати вiдповiдний метод вимірювання. Так, під час оцінювання когнітивного домену може бути використано метод тестування. А залежно від мети оцінювання може бути розроблено або нормо-орiєнтований, або критерiально-орiєнтований тести. Нагадаємо, що тест, який визначає статус особи відносно результатів інших осiб за цей самий тест, називається нормо-орiєнтованим. Значимість результату екзаменованого виявляється у порівнянні з іншими екзаменованим або певною нормативною групою. Цей тест застосовується при вiдборi. З іншого боку, нормо-орiєнтованi тести є несумісними з сучасною тенденцією забезпечення компетентності. Результати таких тестів не виявляють наявностi певних умінь в екзаменованих; вони просто сортують екзаменованих за рівнем їхнього оволодіння набором знань i вмінь. Критерiально-орiєнтованi тести, на вiдмiну від нормо-орiєнтованих, вимірюють тi елементи компетентності, якими оволодiли (чи не оволодiли) екзаменовані. Критерiально-орiєнтований тест встановлює статус екзаменованого відносно детально визначеного домену діяльності. Вiдмiнною рисою критерiально-орiєнтованих тестів є здатність давати чiткий опис вимірюваних умінь. Оскiльки першочерговим завданням лiцензiйних чи сертифiкацiйних іспитів е захист громадськості від некомпетентностi фахівців, модель вимірювання мусить бути критерiально-орiєнтованою, а не нормо-орiєнтованою. Тобто результат iспиту має вiдбивати знання та компетентність екзаменованого. Як екзаменований виглядає порівняно з іншими екзаменованими, не має практичного значення для ліцензійного чи сертифікаційного процесу. Під критеріально-орієнтованою інтерпретацією мається на увазі порівняння змісту атестаційних матеріалів з результатами тестування і висновок – що саме з визначеного стандарту і на якому рівні реально засвоєне. При критеріально-орієнтованій інтерпретації вимагається дещо менша кількість завдань, посередництвом яких визначається – що тестований знає, а що – не знає з заданого стандарту. Інакше кажучи – тут відповіді оцінюються стосовно не всієї галузі (домену) затребуваних знань, а тільки з галузі, обмеженої конкретним стандартом або рівнем (критерієм) знань. Інтерпретація результатів проводиться мовою конкретної навчальної дисципліни, але вже переважно працівниками органів управління освітою.
ТЕМА 6 План. 1. Основні нормативні документи. 2. Організаційно-технологічне забезпечення зовнішнього незалежного оцінювання (ЗНО). 3. Структура тестових завдань з різних предметів. 4. Особливості підготовки учнів до виконання завдань ЗНО. План 1. Системи комп’ютерного контролю знань. 2. Складові частини типової системи комп’ютерного тестування. 3. Використання Інтернет-ресурсів для створення комп’ютерних тестових програм. 4. Комп’ютерні навчальні програми для підготовки до здачі тестів
ОСНОВИ ПЕДАГОГІЧНИХ ВИМІРЮВАНЬ Навчальний посібник ТЕМА 1. ПОНЯТТЯ ТА КАТЕГОРІЇ ПЕДАГОГІЧНОЇ ДІАГНОСТИКИ 1. Поняття та категорії педагогічної діагностики. 2. Тест як засіб педагогічного вимірювання. 3. Функції педагогічної діагностики. 4. Стандарти освіти як засіб створення єдиного простору для забезпечення якості освіти. |
Последнее изменение этой страницы: 2019-06-09; Просмотров: 133; Нарушение авторского права страницы
