Системи комп’ютерного контролю знань

Проблеми сучасного українського суспільства, глобалізаційні виклики часу, зміни, які відбуваються в ході європейської інтеграції освітньої системи України у Болонський процес, вимагають цілеспрямованого, виваженого і спланованого використання інформаційних технологій навчання, одна з переваг яких полягає у можливості контролю успішності навчальних досягнень студентів засобами систем комп’ютерного тестування.

Як показує аналіз наукових робіт, найважливішим аспектом будь-якої освітньої діяльності є система контролю якості знань. Традиційні методи оцінювання страждають інформаціною однозначністю, відсутністю об’єктивних вимірювальних показників, якісною однобічністю і суб’єктивним впливом на результат контролю. Широке використання навчальними закладами засобів нових інформаційних технологій навчання створило передумови до застосування систем комп’ютерного тестування для контролю якості знань студентів на всіх етапах навчання. Актуальність таких систем очевидна не лише для визначення рівня підготовленості, але й для проведення моніторингу навчального процесу, для організації адаптивного навчання дистанційної освіти.

 

Автоматизація контролю на основі використання засобів комп’ютерної техніки дозволяє суттєво підвищити ефективність реалізації всіх основних функцій контролю: контрольної, навчальної, діагностико-коригувальної, стимулювально-мотиваційної, виховної; забезпечує його об’єктивність, оперативність, інформативність; сприяє регулярності проведення та гласності контрольних заходів, формуванню у школяра навичок самооцінювання й готовності до оцінювання його досягнень і спроможностей. Але досягти позитивного впливу автоматизованого контролю на навчальний процес можна тільки за умови застосування якісного програмного забезпечення і його відповідності дидактичній меті. На сьогодні основним методом автоматизованого контролю є тестування. Вибір систем комп’ютерного тестування має здійснюватися з урахуванням особливостей їх застосування в конкретних умовах навчального процесу.

Під комп’ютерними тестами розуміють [Бурлачук Л.Ф., Морозов С.М. Словарь-справочник по психодиагностике. — СПб.: Питер,2000. — 528 с. с. 337]:

— тести, представлення та обробка яких пристосована до комп’ютерного середовища;

— тести, спеціально розроблені для реалізації умов і можливостей сучасної комп’ютерної техніки;

— тести, розроблені для визначення рівня навчальних досягнень із використанням комп’ютера.

 

Одна з найбільших переваг комп’ютерного представлення тесту — автоматизація процесу тестування — відіграє помітну роль лише за умови, що тестований уміє працювати з комп’ютером.

Під час сертифікаційних і ліцензійних тестувань дорослих тестові організації усе частіше використовують комп’ютерне тестування. Водночас вступні тестування абітурієнтів у кранах, де такі тестування здійснюються, відбуваються у формі бланкових.

Окреме місце серед двох названих методів займає адаптивне тестування. Адаптивне тестування, або більш загальноприйнятий термін — комп’ютерне адаптивне тестування (САТ), - це тестування за допомогою комп’ютера, під час якого надання тестових завдань залежить від відповідей екзаменованого на попередні запитання. Звичайно, якщо екзаменована особа відповідає на запитання правильно, то наступне запитання буде складнішим, і навпаки, якщо екзаменований відповідає неправильно, то наступне запитання буде легшим. Отже, тест “орієнтується” на рівень здібностей екзаменованого. Тому різні екзаменовані, що тестуються за системою САТ, найімовірніше, складатимуть різні форми тесту. Компетентний екзаменований повинен мати мало (або зовсім не мати) однакових завдань порівняно з тим, чия компетентність значно нижча. Такого ніколи не було в традиційному тестуванні, де кожен отримував такі самі завдання, як і інші. У традиційному тесті вимір “кількість правильних відповідей” працює як головний показник результату тестування. В САТ це не працюватиме, тому що всі екзаменовані приблизно на половину запитань дадуть правильні відповіді. Більш компетентні екзаменовані дадуть правильні відповіді на половину запитань зі складного набору. Менш компетентні дадуть правильні відповіді на половину запитань зі свого більш легкого набору. Об’єднуюча основа, яка утримує всі ці тести разом, — особливий тип психометричних теорій, так звана Теорія Відповідей на Тестові Завдання (IRТ). У ній порівнюється компетентність екзаменованого зі складністю завдання і передбачається ймовірність, з якою дана особа дасть правильну відповідь на наступне запитання. Якщо рівень компетентності особи набагато вищий від рівня складності завдання, то така ймовірність буде високою. Якщо рівень складності завдання набагато виший за рівень компетентності особи, то така ймовірність буде низькою. Ми дізнаємося найбільше тоді, коли ця ймовірність складе приблизно 50 на 50 (р = 0,5). Алгоритм вибору завдань полягає у відборі завдань, які с найбільш інформативними і водночас відповідають специфікаціям змісту критичним для надійного тесту. Компетентність екзаменованого розраховується за складністю завдань, які він отримав і на які дав відповідь. Теоретичні та технологічні засади САТ лише розробляються і, як видно з наведеного, потребують не лише потужної бази каліброваних тестових завдань, а й чіткого алгоритму процесу тестування.

Системи комп’ютерного контролю знань – це програмні системи (системи тестування), що дозволяють проводити аналіз знань студентів за допомогою сучасних інформаційних технологій. Одна з переваг автоматизованих систем контролю знань в тому, що вони можуть використовувати складні методики подання завдань студентам, які називають стратегіями тестування.

На сьогоднішній день у світі існує велика кількість систем комп’ютерного тестування, що зумовлює необхідність певної їхньої класифікації. В основу класифікації покладені ті чи інші характерні ознаки, принципи побудови системи взаємодії з користувачем, предметно-галузева направленість.

Можна виділити такі типи системи комп’ютерного контролю знань:

- за можливістю поповнення бази запитань та внесення змін до програмної оболонки: відкриті і закриті;

- за схемою взаємодії з користувачем: гнучкі та формалізовані;

- за середовище застосування: локальні (паритетні, «клієнт-сервер»), глобальні;

- за предметно-галузевою направленістю: профільні та універсальні.

За алгоритмом тестування виділяють комп’ютерні системи з фіксованою послідовністю завдань, з випадковим вибором завдань, з адаптивним алгоритмом подання завдань.

Системи з фіксованою послідовністю завдань найбільш прості, не потребують створення зайвих варіантів завдань, відрізняються можливістю досягти найбільшої надійності тестових результатів. Але в умовах систематичного тестування у навчальному процесі завдання швидко стають відомими учням і втрачають свою діагностичну здатність. Проведення повторного тестування за тим самим тестом є неефективним.

 

Випадковий вибір завдань до тесту потребує створення досить великої бази, у якій завдання згруповані в блоки за трудністю і змістовною спрямованістю. Складним завданням авторів тесту є добір завдань однакової трудності до блоку, оскільки розбіжність у трудності знижує надійність тестових результатів. Але такі системи припускають багаторазове повторне тестування учнів, що дуже важливо для організації самоконтролю, систематичного контролю у процесі навчання з метою своєчасного виявлення пропусків у знаннях та навичках і підготовки учнів до залікових заходів.

 

Системи адаптивного тестування дозволяють скоротити час, необхідний для проведення діагностики. Спочатку за допомогою невеликої кількості завдань наближено визначається рівень навчальних досягнень учня, після чого йому пропонують завдання, які за трудністю найбільш відповідають визначеному рівню. Таким чином вдається забезпечити потрібну надійність результатів на основі меншої кількості завдань, тобто за менший час. Система автоматично контролює точність вимірювання, тому загальна кількість завдань, що пропонуються різним учням, відрізняється. Існує багато різних алгоритмів адаптивного тестування і аналізу точності вимірювання. Теоретичні основи адаптивного тестування активно розвиваються у сучасній педагогічній науці. Створення працездатної адаптивної системи потребує значних зусиль і високої кваліфікації авторів тесту.

     

2. Складові частини типової системи комп’ютерного тестування:

- підсистема тестування;

- підсистема створення, підготовки та редагування тестів;

- підсистема статистичних даних;

- підсистема керування користувачами;

- база даних запитань і пов’язані з ними статистичні інформації;

- бази даних користувачів.

Для того, щоб використання системи комп’ютерного тестування було доцільним, необхідне виконання декількох умов:

- комп’ютерне тестування повинне надавати результати не гірше, ніж його не автоматизований аналог;

- результат комп’ютерного тестування повинен якісно відображати результати іспиту;

- для того, щоб одержати додаткові переваги перед іспитом, тестування повинне максимально абстрагуватися від людського фактору при перевірці робіт і при визначені оцінки.

      На жаль, цей момент практично не досяжний при використанні неавтоматизованого тестування, оскільки той, хто перевіряє, майже завжди знає, з роботою якого учня він має справу, а отже, існує ймовірність необ’єктивної оцінки. Для уникнення цього необхідно залишати в тесті тільки найпростіші типи контрольних питань, а це, у свою чергу, сильно спрощує тест і знижує його якість.

Для виходу із такої патової ситуації необхідно чітко визначити основні характеристики і вимоги, які ставлять до систем комп’ютерного тестування:

- отримані результати повинні відповідати результатам усного іспиту;

- зміст тесту повинен бути нетривіальним і різноманітним;

- тимчасове навантаження на проходження тесту повинне бути мінімізоване;

- результати тестування повинні бути об’єктивними.

      У системах комп’ютерного тестування має бути передбачена:

      - точна і здатна до адаптації оцінка результатів тестування;

      - можливість використання як для внутрішнього так і відкритого тестування;

      - аналіз тестів з метою оцінки якості, придатності окремих питань і виявлення некоректно сформованих чи просто неправильних запитань, що здійснюється шляхом відправлення спеціальних повідомлень адміністратору системи від користувача;

      - легкість створення і модифікації тестів;

      - відсутність твердої прив’язки до предмету, галузі знань;

      - збір, збереження і представлення у зручній формі різноманітної статистичної інформації щодо процесу тестування;

      - можливість одночасного тестування необмеженої кількості користувачів;

      - відсутність твердої прив’язки до конкретного апаратного і програмного забезпечення;

      - висока безпека, захищеність і стабільність;

      - необмежена кількість тестів, тем, питань і варіантів відповідей на них;

      - зручний і ефективний імпорт і експорт тестів;

      - контроль часу тестування і збереження інформації щодо перерваного сеансу тестування;

      - підтримка безпечного й універсального механізму керування користувачами з розподілом прав доступу;

      - підтримка режиму модульного контролю у процесі якого існує ряд питань і час, у плині якого на них необхідно відповісти тощо.

      Серед переваг комп’ютерних систем тестування можна виділити: автоматизація обробки результатів; звільнення викладача від проведення типових іспитів і модулів; забезпечення об’єктивності контролю знань; підвищення оперативності тестування; можливість централізованого аналізу якості і підготовки студентів, які проходять тестування по великому колу різних запитань; зменшення витрат на організацію і проведення контролю успішності навчальних досягнень студентів.

 

3. Використання Інтернет-ресурсів для створення комп’ютерних тестових програм.

      Можливості Internet, що дозволяють знайти практично будь-яку інформацію, не виходячи з будинку чи корпусу університету, є досить ефективними інструментами в навчанні. Тому створення моделей системи тестування на базі інфраструктури Internet є перспективною та актуальною науковою задачею. Крім того, територіальна віддаленість навчальних закладів, міжнародна інтеграція навчального процесу спричиняють те, що будь-які локальні моделі систем комп’ютерного тестування поступово стають неефективними. Саме тому ми зупинимося на огляді лише тих, які орієнтовані на проходження тестів в мережі Internet через Web-інтерфейс. Ці системи відрізняються між собою за сферою застосування, технологіями реалізації, рівнем досяжності і відкритості. Кращими розробками в цій сфері є Brainbench, Neyron, системи Moodle і Венера.

      Розглянемо систему тестування Brainbench [5], що є світовим лідером on-line сертифікації. Пропонується величезний вибір он-лайн тестів, які постійно поновлюються і змінюються (за станом на даний момент число тестів більше 900). У даній системі існують як платні (вартість здачі тесту - $49.95), так і безкоштовні тести з різних дисциплін: інформаційні технології, мовні знання й ін. Тести представлені англійською мовою. Здаючи тест, необхідно відповісти на питання, вибравши один або кілька правильних варіантів відповіді. У тесті, як правило, 40 запитань, на кожне питання 5-6 варіантів відповіді, час на обмірковування від двох до п’яти хвилин. Перед здачею тесту варто уважно прочитати його опис. Як правило, до здачі основного тесту дається можливість пройти невеликий безкоштовний тест, що складається з 10-15 питань, для попередньої оцінки власних сил і складності тесту.

      За даними Brainbench їхніми послугами вже скористалися близько 6 мільйонів чоловік. При створенні цієї системи були використані сучасні технології і мови: НТМL, XML, SQL, PHP, JavaScript.

      У цілому, Brainbench є успішною й ефективною системою тестування знань, але все ж таки присутні деякі недоліки при проходженні тестів:

      - неможливість точно визначити особистість того, хто тестується, що дозволяє професіоналу проходити тести для інших користувачів;

      - можливість використовувати пошукові механізми Internet для відповіді на питання.

      Та ці недоліки не є істотними, тому що більшість систем мають такі ж властивості і це є особливістю тестування знань в мережі Internet.

      Якщо у студента проблеми з англійською мовою, то можна запропонувати альтернативний варіант у вигляді системи комп’ютерного тестування RetraTech [6].

      Пройти всі тести можна безкоштовно. Після успішного проходження тесту видається сертифікат (якщо необхідно паперовий варіант сертифіката, то вартість його виготовлення й пересилання оплачується окремо). Для проходження тесту потрібно набрати мінімум 70 балів зі 100 можливих. Один набраний бал можна прирівняти до одного відсотка правильно зроблених завдань. Якщо говорити про складності тестів, то близько 15% людей, що проходять тестування стають сертифікованими фахівцями. Тобто здати тести з першої спроби зовсім не просто, однак число спроб не лімітовано.

   BrainBench (у дівоцтві TekMetrics), є ресурсом в інтернеті, за допомогою якого будь-хто може зовсім безкоштовно (тобто задарма) "сертифікуватися" з певних знань. Зрозуміло, що серед напрямків "сертифікації" переважають білякомп’ютерні (програмування, системне адміністрування), але зустрічаються й такі сертифікати як, наприклад, "письмова англійська".

Методика тестування досить проста: ви замовляєте собі тестування з певної тематики й протягом місяця проходите його в зручний для вас час. Тест складається з декількох десятків питань, на відповідь по кожному з яких дається три хвилини. Як уважають автори цього ресурсу, даний проект буде корисний фахівцям (тому що дозволить їм оцінити свої знання) і потенційним роботодавцям (тому що дасть їм можливість відібрати собі фахівців з таким набором знань, потрібних для виконання якоїсь роботи).

      Варто відзначити систему комп’ютерного тестування Національного педагогічного університету імені М.П.Драгоманова [8], що організована за допомогою системи дистанційного навчання Moodle (модульне об’єктивно-орієнтоване середовище дистанційного навчання) [9]. Оболонку Moodle в університеті використовують як для навчання студентів, так і для навчання студентів, так і для навчання слухачів навчально-підготовчого відділення. Для усіх категорій були розроблені спеціальні програми дистанційного навчання і тестування. Дана система має такі переваги:

- комп’ютерні тести максимально наближені до тестів зовнішнього незалежного оцінювання;

- програма відразу визначає неправильні відповіді і вказує правильні;

- відповіді на будь-які тестові завдання можна знайти в довідковому матеріалі;

- можливість одержати консультацію у викладачів в он-лайн режимі;

- модульна побудова тощо.

      У цій системі автоматично відбувається підбір нових тестових питань і перемішування відповідей. Тому отримуємо на зорове запам’ятовування питання і відповіді, а запам’ятовування суті питання і правильної відповіді.

      Moodle.com.ua – це сайт українських розробників популярної системи Інтернет-освіти Moodle. Система Мудл (англ. Moodle (Modular Object-Oriented Dynamic Learning Environment) Модульне динамічне об’єктноорієнтоване середовище для навчання) є програмним комплексом для організації дистанційного навчання в мережі Internet. Мудл розповсюджується безкоштовно як Open Source-проект, за ліцензією GNU GPL (іншими словами: Вам дозволяється копіювати, використовувати й змінювати програмний код).

Система комп’ютерного тестування Венера [12] Національного педагогічного університету імені М.П. Драгоманова передбачає:

- модульно-рейтинговий контроль знань слухачів навчально-підготовчого відділення, підготовчих курсів, учнів випускних класів середніх навчальних закладів, що працюють в системі НПУ імені М.П.Драгоманова або інших вищи навчальних закладів;

- сертифікаційно-зовнішнє тестуваннястаршокласників;

- тестування слухачів засобами internet/intranet технологій;

- очний контроль в дистанційній формі навчання.

Перевага системи:

- оперативність видачі результатів оцінювання (кілька секунд після натискання кнопки «здати роботу») при кількості респондентів до 1000;

-  максимально можлива відкритість системи оцінювання;

- високий рівень автентичності відповіді слухача, завдяки спеціально розробленому протоколу;

- зміст тестів повністю відповідає шкільним програмам;

- тести адаптовані до рівня вимог, що ставляться допредметів при вивчені їх на відповідних спеціальностях;

- широкий діапазон обсягу матеріалу – охоплено усі загальноосвітні предмети;

- широкий вибір спеціальностей (83);

      Висновки. Впровадження до навчального процесу систем комп’ютерного тестування з метою контролю успішності навчальних досягнень студентів забезпечує об’єктивність, валідність, надійність, централізований аналіз якості підготовки студентів, зменшує витрати на організацію і проведення контролю тощо.

          

 

 

СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ

 

1. Аванесов B.C. Композиция тестовых заданий. - М.: Центр тестирования, 2002.
2. Аванесов В. Зміст тесту і тестових завдань // Вісник «Тестування і моніторинг в освіті» – № 9 – 2007 – С. 19-25
3. Аванесов В. С. Форма тестовых заданий: Учебное пособие. — М.: Иссл. Центр Гособразования СССР по проблемам качества подготовки специалистов, 1991.
4. Агрустi Г., Артемчук Л., Булах 1., Вiлмутдж., Лукiна Т., Мруга М. Основи педагогiчного оцiнювання. Частина 1. Теорія /Під заг. ред. 1. Булах. — К.: клас”, 2006.
5. Босін М., Рикова Л. Один із можливих підходів до складання тестів // Вісник «Тестування і моніторинг в освіті». – 1 – 2007. – С.41-44.
6. Булах І.Є., Мруга М.Р. Створюємо якісний тест: Навч. посібник.– К.: Майстер-клас,– 2006 – 160 с.
7. Ингенкамп К. Педагогическая диагностика: Пер. с нем. — М.: Педагогика, 1991. — 240 с.
8. Колгатін О.Г. Автоматизована педагогічна діагностика і точність вимірювання//Вісник. Тестування і моніторинг в освіті. — №10—11,2006. — С.29—33.
9. Колгатін О.Г., Єфіменко В.С. Методика аналізу внеску вгадування у похибку тестових результатів // Вісник. Тестування і моніторинг в освіті. 2007. — № 5. — С.35—40.
10. Критерії оцінювання навчальних досягнень учнів у системі загальної середньої освіти /За заг. ред. Віктора Огнев’юка, Олександра Савченка//Освіта України. — 2001. — № 6 (7 лютого 2001 р.). — C. 3—16.
11. Марцева Л. Розробка тестових завдань та їх роль в оцінюванні успішності учнів // Вісник «Тестування і моніторинг в освіті» – № 6-7 – 2007 С.75-77.

1. Мышко С. А. Тестирование как психолого-педагогическое средство оценивания академических способностей в системе образования СIiiА// Обзор. информ. Сер.: Высшая и средняя спец. школа за рубежом. — М.: НИИВШ, 1980, Вып. 6.

1. Паращенко Л. Тестування учнів у середній школі. / Л.Паращенко, В.Леонський, Г.Леонська. – К.: Шк. світ, 2009. – 128 с.
2. Педагогіка: Навчальний посібник / В.М. Галузяк, М.І. Сметанський, В.І. Шахов. – 4-е вид., випр. І доп. – Вінниця, 2007. – С. 244-254.
3. Ротаєнко П.А. Достовірність комп’ютерного тестування: результати дослідження//Комп’ютер у школі та сім’ї. — 2006. —№ 3. — С.7—11.
4. www testportal gov.ua
5. www.vintest.org.ua

 

[i] Шпильовий В.Д., Жила В.Г. Створення тестів та проведення тестового контролю якості підготовки. – Луганськ: В-тво Східноукр. держ. Ун-ту, 1997. – 78 с.

⇐ Предыдущая13141516171819202122

Поделиться: