ПОНЯТИЕ НАДЕЖНОСТИ ТЕСТА И ЕГО ВИДЫ.

Надежность теста – хар-ка психодиаг. методики, отражающая точность психодиаг. измерений, а также устойчивость результатов исследования к действию посторонних случайных факторов.Методически надежность пд методики определяется как степень согласованности рез-тов, получаемых при:а) первичном и вторичном применении методики у одних и тех же испытуемых в различные моменты времени (т.н. ретестовая, или диахронная надежность);б) одновременном исп-и разных, но сопоставимых по характеру наборов заданий (одномоментная, или синхронная надежность); различают также надежность отдельных пунктов, из которых она состоит. Причины ошибок: отклонения от стандартного проведения; неточность в процедуре обработки; применение методики вне пределов ее валидности, эмоциональное состояние испытуемых; отвлекающие факторы, климатические условия, недостаточная мотивация.

Ни одна из существующих пд методик не является идеальной с точки зрения надежности.

.r_t - коэффициент надежности методики.

При большом количестве повторных тестирований средние величины индивидуальных баллов образуют своё распределение, характеризуемое стандартной ошибкой мат. ожидания .

Вывод:Чем ниже надежность методики,т.е.чем выше дисперсия ошибки=> тем шире доверит.интревал т тем ниже дифференц.способность методики.(способность различать испытуемых по заданному св-ву.)

Для дифф.способности методики необходимо оценить ошибку измерения,обусл.индивид.разбросом.Относительная доля дисперсии ошибки δ – отношения дисперсии ошибки  к общей дисперсии  – легко определяется из формулы Рюлона:

.

Для увеличения надежностиисп. стандартизация процедуры обследования,кот.сниж.дисперсию ошибки.

Вопрос 39.

РЕТЕСТОВАЯ НАДЕЖНОСТЬ МЕТОДИКИ. ПРОЦЕДУРЫ ЕЕ ОПРЕДЕЛЕНИЯ.

РН – пд- методики вычисляется по соответствию рез-в первичного и повторного обследований той же выборки испытуемых (обычно через две недели после первого замера).

Коэффициент надежности r_t соответствует коэффициенту корреляции между рез-ми первого обследования и ретеста. При исп-и интервальных -коэффициент корреляции Пирсона, а для порядковых шкал — коэффициенты ранговой корреляции Спирмена или Кендалла.

Ретестовая надежность показывает, в какой степени рез-ты методики можно распространить на различные случаи ее применения. Чем выше ретестовая надежность, тем менее чувствительны рез-ты к обычным изменениям состояния испытуемого и обстановки тестирования.Разумеется, требование ретестовой надежности является корректным лишь по отношению к таким психическим характеристикам индивидов, которые сами являются устойчивыми во времени. 

 «+» ретест.надежности:простота процедуры.«-» ретест.надежности: 1)Фактор тренировки. 2)Запоминание испытуемыми отдельных решений и воспроизведение при ретесте .3)Эффект переноса. Повторное проведение методики может привести к измен-ю ее природы. В первую очередь =>упускается момент реш-я.Вывод: не для каждой пд методики имеется возможность опр-я ретестовой надежности.

        Для коррекции завышения эмп значений балльных оценок применяется формула

,х_∞ – истинный балл; х – эмпирический балл испытуемого; r_t – эмпирически измеренная надежность методики; М _t – мат. ожидание шкалы измерения.
Для стандартных шкал имеем: ;
Вывод: существует не один, а большое количество коэффициентов ретестовой надежности одной и той же психодиаг.методики.

 

Вопрос 40.

Одномоментная надежность методики. Процедуры её определения.

Способ опр-я одномоментной надежности состоит в коррелировании сопоставимых форм методики.

Одномоментные методики-это серии заданий,и.возможность приведения одних показателей к др. с пом спец.коэф-тов или таблиц эквивалентности.
3варианта вычисления одномоментной надежности: 1)метод параллельных форм, 2)метод расщепления 3)метод анализа согласованности ответов по всем пунктам методики (метод Кьюдера-Ричардсона).

1)Метод параллельных форм – исп-е взаимозаменяемых вариантов, соответствующих друг другу по основным хар-кам (объективности, надежности, валидности, трудности и дискриминативности). (снижает вероятность обмана, присутствует фактор тренировки).Вывод:относительная трудность двух параллельных форм методики может меняться от одного индивида к другому под действием факторов, связанных с прошлым опытом различных испытуемых.Метод расщепления методики - выполнение испытуемым заданий двух равноценных частей методики. Надежность, найденная методом расщепления, яв-ся мерой согласованности выборок содержания. Для оценки надежности методом расщепления выбирают две эквивалентные по характеру и степени трудности группы пунктов.

2)Способы разделения на 2 части:1) разделение пунктов методики на "четные" и "нечетные".2) распределение заданий по времени решения каждой из частей методики          

После расщепления методики на две половины отдельно по каждой части вычисляются:

1)общее кол-во пунктов2)суммарные баллы отд.по каждой части3) Дисперсии4)Коэф-т корреляции5)Коэф-т надежности.Если Дисперсии 2-х частей =,то индекс ОднН. вычисляется по формуле Спирмена-Брауна:

,где r – коэффициент корреляции между 1-й и 2-й частями методики.

Если Дисперсии не равны, то в случае больших выборок (>100) следует пользоваться формулой Фланагана,

а в случае малых выборок (<100) – формулой Кристофа:

3)Процедура определения согласованности выполнения заданий теста была разработана в 1937 г. американскими психологами Джорджем Кьюдером и М.В. Ричардсоном. Такова известная формула KR₂₀:

где KR₂₀ –обозначение для получаемого коэфф-та надежности всего теста;s² – дисперсия суммарных показателей по всему тесту;n – число пунктов (заданий) теста;p_i и q_i – доля испытуемых, соответственно справившихся и не справившихся с i-заданием:Здесь N₊ – число испытуемых, ответивших "верно", N – объем выборки.
Подведем итог рассмотрению надежности целой методики.Различные типы надежности отличаются друг от друга тем, какие факторы взяты в качестве источников дисперсии ошибки .Любой коэффициент надежности можно интерпретировать непосредственно в процентах дисперсии показателей. Причем суммарную дисперсию ошибки можно разложить на отдельные составляющие.

 

Вопрос 41. Надежность отдельных пунктов теста. Процедуры её определения.

Надежность целой тест. метод. обеспеч-ся надежн-тью. пунктов, из кот.она сост. До включения в метод.отдельн.пункт д/б.оценен с т.зр. объект-ти, валидн., устойчив., силы /трудности и дискриминат-ти.

Объект-ть пункта методики устанавл-ся экспертами-психол-ми. (>3)

Экспертн.оценка объект-ти каждого пункта предпол. его анализ с т.зр.:1)соответствия концепту (соотв.– частично соотв. – не соотв.);2)однозначн.формулировки вопроса / задачи (однозн.– не совсем однозн. – не однозн.);3)пригодности вар-тов ответа (подходит – частично подходит – не подходит).

Во время анализа надо учитывать, что если пункт хотя бы в 20 % случаев оценив-ся как "частично соотв. концепту", то он не пригоден для использ.в метод. В сомнительных случаях путем опроса экспертов нужно уточнить мотивировку оценок отдельн.пунктов.
Валидн. Задача считается валидной, когда в соотв.с критер.она чаще всего правильно решается теми испыт-ми, у кот.измеряем.признак более выражен, чем у др. Устойч-ть. Пункт явл.устойчивым, если при его повтор.предъявл.он вызывает у испыт-го эквивалентную I предъявлению реакцию.

Для дихотомич.пунктов устойч-ть измеряется с пом. 4х-клеточной матрицы сопряженности:

 

		Т 2
		Да	Не
Тест 1	Да	а	B
	Нет	c	D

 

В кач-ве меры коррел.вычис-ся фи-коэфф.

.Значимость фи-коэффициента опред-ся с пом.критерия : .

Если эмп. < табл.с одной степенью свободы, то гипотеза h₀ об отсутств.устойч-ти пункта не отверг. (т.е. пункт неустойчив.). Использ-ие фи-коэфф-та удобно т.к. он одновр.оценивает степень оптимальности данного пункта теста по силе вопроса или трудности задан.

трудность задан. – хар-ка, отражающая статистич-ий ур-нь его решаемости в конкретной выборке стандартизации.  2 вида трудности: субъективно – психологич.; статистич.

1)субъек.-психологич. (связана с индивид.-психологич.барьером, величина кот.опред-ся как обстоятельствами ,так и уровнем формиров.необходимых для решений знаний, умений и навыков, психич.состоян. испытуемого и рядом др.факторов.)

2)статистич.(объективн.) трудности. ,где  U_T – индекс трудности в %, N₊ – число испытуемых, правильно решивших задан.,N – общ.число испыт.

В тестах типа "Выбор" с неск.вар-ми ответов испытуемый может случайно угадать правильн. ответ. Для учета такого случайного успеха использ-ся формула:

,где N_– – число испытуемых, не решив.задан.,m – кол-во вар-ов ответа

В случаях, когда велика выборка стандартизации (> 100 испыт-ых) и кол-во пунктов теста, индекс трудности опред-ся с пом.сопоставления контрастных (крайних) подгрупп.

чем больше значен.индекса трудн., тем статистич. трудность задан.выше, и наоборот.

статистич. трудность задания явл-ся относительной хар-ой, т.к. зависит от особенностей выборки

Упорядочивание отдельн.заданий в тесте. Обычно если задан. решают большинство испыт-ых из выборки стандарт-ии, его (как легкое) помещают в начале теста. Если же задание решает незначит-ый % испыт-ых, то его (как трудное) помещают в конце теста. 1-2 самые легкие задачи ставят перед осн-ми заданиями теста и использ.в кач-ве примера.

Дискриминативность,- показатель согласованности пункта с тестом. В кач-ве меры соответствия успешности выполнения 1 задачи (пункта) всему тесту в ПД использ-ся:1) коэфф-т дискриминативности данного пункта теста;2) индекс дискриминации пункта;3) четырехпольный коэфф.корреляции.

Коэфф. дискриминативности отдельного пункта = коэфф-ту коррел.между ср.рез-ом анализируемого пункта и средн.первичным рез-ом по всем пунктам теста. Т.е.коэфф-т дискриминат-и учитывает амплитуду отклонения индивид-ых суммарных баллов от среднего балла.

Из множества известных коэфф-ов коррел.наиболее точной мерой оказался точечно-биссериальный коэфф-т коррел.:

,где – среднее арифметическое всех индивидуальных оценок по всему тесту (средний балл по всем испытуемым); – среднее арифметическое оценок по тесту у испытуемых, правильно выполнивших задание / показавших совпадение с "ключом";s _х – среднеквадратичное отклонение индивидуальных оценок всех испытуемых выборки по всему тесту;N₊ – число испытуемых, правильно решивших анализируемую задачу (или тех, чей ответ на данный пункт опросника соответствует "ключу");N – общий объем выборки.(>200)

Если <200:

,где – сред ариф индивидуальных оценок испытуемых, выполнивших данное задание;s _{х d} – среднеквадратич отклонение индивид-х оценок испытуемых, выполнивших данное задание; N_d – общее число испытуемых, выполнивших данное задание.

Коэфф-т дискриминат-и, как и любой коэфф-т коррел., может принимать значен.от –1 до +1. Высокие положит.значения этого коэфф-та свидетельствуют об эффект-ти деления испыт-ых; высокие отрицат. значения – о непригодности данного пункта для теста.

 Задачи, характеризующиеся средней трудностью (около 50), обладают высокой дискриминат-ой способн-ю.

Индекс дискриминации D отдельного пункта теста вычисл-ся как разность между долей лиц, правильно решивших данную задачу (показавших совпадение с "ключом"), из "высокопродуктивной" и "низкопродуктивной" групп. Каждая из контрастных групп включает в себя по 27 % испытуемых от численности выборки, имеющих соответственно лучшие и худшие результаты по тесту в целом:

,где ,  – числа испытуемых, выполнивших данное задание в "высокой" и "низкой" контрастных группах; ,  – объемы контрастных групп.

Наконец, для оценки дискриминативности можно воспользоваться четырехпольным коэфф-ом коррел.:

 

	Высокая	Низкая
Да	А	В
Нет	C	D

 

В 1 столбце суммир-ся ответы испытуемых из "высокой" группы (при норм.распред. – это "верхние" 27 %), во 2 столбце – из "низкой" (нижние 27 %). Четырехпольный коэфф-т коррел.рассчит-ся по след. формуле.

 

Если a > b: ;

         

    Если a < b: .

Крит. знач.этого коэфф-та, свидетельствующие о диагностич.ценности пункта, вычисл. по формуле:  и проверяются для одной степени свободы.

 

 

⇐ Предыдущая123456789Следующая ⇒

Поделиться: