Определение надежности теста

⇐ ПредыдущаяСтр 22 из 46Следующая ⇒

Тест обычно считается надежным, если с его помощью получаются одни и те же показатели для каждого обследуемого при повторном тестировании.

В психометрике термин надежность имеет два значения. На одном из них — надежности по внутренней согласованности — мы не будем останавливаться подробно, отсылая читателя к соответствующим справочникам и руководствам¹, отметив только, что требование к внутренней согласованности теста не случайно. Вполне естественно считать, что если некоторая переменная измеряется частью теста, то другие его части, не будучи согласованными с первой, измеряют нечто другое. Для того чтобы быть валидным, тест должен быть согласованным. Существует несколько способов определения надежности.

Надежность ретестовая — предполагает повторное предъявление того же самого теста тем же испытуемым и примерно в тех же условиях, что первоначальное, а затем установление корреляции между двумя рядами данных. При использовании этого способа определения надежности нужно отдавать себе отчет в том, что испытуемые могут запомнить свои ответы и воспроизвести их во второй раз, поэтому повторное тестирование должно быть отделено от первого более-менее значительным временным интервалом, обычно не менее месяца. Некоторые психологи настаивают на интервале между тестированиями не менее 6 месяцев (Клайн, 1994).

Мы не считаем требование П. Клайна об обязательном 6 месячном интервале между тестированиями безусловным. В подтверждение сошлемся на результаты. исследования канадских психологов. С помощью личностного опросника были обследованы 302 студента с интервалом в 3 недели. Условия повторного тестирования варьировались. Стандартный коэффициент ретестовой надежности, равный 0, 872, не отличался от коэффициентов надежности, полученных в трех группах испытуемых, получавших одну из трех специфических инструкций: 1) продумывать ответы; 2) использовать воспоминания о прошлых ответах; 3) выполнять параллельную форму теста. Было обнаружено, что стандартный коэффициент надежности выше коэффициента, полученного при инструкции воспроизводить прошлые ответы.

Наименьшим удовлетворительным значением для ретестовой надежности является коэффициент корреляции, равный 0, 7. Правда, для некоторых тестов этот показатель может быть несколько ниже.

¹ Изданный под нашей редакцией перевод с английского книги П. Клайна «Справочное руководство по конструированию тестов» (Киев, 1994), пока, к сожалению, единственная на русском языке достаточно подробная работа по конструированию тестов, может удовлетворить интерес читателя к этой проблеме.

162 Глава 3. Психометрические основы психодиагностики: основные этапы...

Надежность параллельных форм предусматривает создание эквивалентных форм опросника и предъявление их одним и тем же испытуемым для того, чтобы затем оценить корреляцию между полученными результатами. Основная проблема, препятствующая широкому распространению этого способа определения надежности, — необходимость подготовки двух наборов заданий, что чрезвычайно сложно, поскольку требуются убедительные доказательства их эквивалентности.

Надежность частей теста определяется путем деления опросника на две части (обычно на четные и нечетные задания), после чего и рассчитывается корреляция между этими частями. Обычно к этому способу определения надежности рекомендуется прибегать только в тех случаях, когда необходимо быстро получить результаты.

Для определения ретестовой надежности и надежности параллельных форм корреляции подсчитывается на основе коэффициента произведения моментов Пирсона. Эта процедура подсчета рассматривалась нами ранее, в разделе, посвященном анализу заданий. Для определения надежности частей теста ранее рассчитанный коэффициент произведения моментов Пирсона (между двумя половинами теста) используется в формуле Спирмена—Брауна. Формула Спирмена— Брауна имеет вид:

где Гц — надежность, оцененная для всего опросника; г, /, / — корреляция между двумя половинами опросника.

Например, если коэффициент корреляции произведения моментов Пирсона между двумя половинами теста равен 0, 80, то:

Подчеркнем, что наилучшей процедурой определения надежности является проведение повторных исследований через более или менее значительные временные интервалы.

Все исследования надежности должны выполняться на достаточно больших (рекомендуется 200 и более испытуемых) и репрезентативных выборках. Надежность — важная характеристика теста, но сама по себе ценности не представляет. Она необходима для достижения валидности.

Факторный анализ

Во многих случаях перед разработчиком теста встает задача «сжатия» информации или, иначе говоря, компактного описания изучаемых явлений при наличии множества наблюдений или переменных. Факторный анализ как раз и является методом снижения размерности изучаемого многомерного явления.

Напомним читателю, что факторный анализ зародился в психологической науке и связан в первую очередь с исследованиями Ч. Спирмена (Spearman, 1904). Последующими работами таких выдающихся психологов, как Т. Келли, Л. Тер-

*' 3.7. Факторный анализ 163

стоуна, Дж. Гилфорда и Р. Кэттелла, а также математиков К. Пирсона, К. Холзшг-гера, Г. Хармана и др., был достигнут значительный успех в математическом обосновании факторного анализа, и этот метод начинает активно применяться в различных науках.

Как хорошо известно, одной из типичных форм представления экспериментальных данных является матрица, столбцы которой соответствуют, например, различным тестам (заданиям тестов), а строки — отдельным результатам (значениям), полученным в результате их применения. Визуальный анализ сколь-ни-• будь значительной по величине матрицы невозможен, а поэтому требуется исходную информацию сжать, извлечь из нее наиболее важное, существенное. Прежде всего исследователю необходимо получить корреляционную матрицу (подсчет коэффициентов корреляции).

Воспользуемся в качестве примера исследованием Л. Айкена (Aiken, 1996). В этом исследовании 90 студентов колледжа просили оценить преподавателя с помощью пятибалльной шкалы (1 — низший балл, 5 — высший) по 11 параметрам: тактичность, вежливость, креативность, доброжелательность, увлеченность своим предметом, знание предмета, способность мотивировать студентов, организованность, терпеливость, подготовленность и пунктуальность.

Если поделить матрицу корреляций рейтинговых оценок, данных студентами по списку качеств личности преподавателя (табл. 3.4) на два равных треугольника, проведя диагональ из левого верхнего угла в правый нижний угол, то можно увидеть, что это — симметричная матрица, в которой первая верхняя строка состоит из тех же оценок, что и первая колонка. Аналогично вторая строка включает те же самые элементы, что и вторая колонка, и т. д. Также нужно обратить внимание на то, что все числа на основной диагонали (начиная сверху слева вплоть до чисел внизу справа) равны +1, 00 — это предполагаемая корреляция каждого задания шкалы с самим собой.

В психологическом тестировании цель факторного анализа заключается в том, чтобы найти несколько фундаментальных факторов, которые объясняли бы большую часть дисперсии в группе оценок по различным тестам или другим психометрическим измерениям. В вышерассмотренном примере — 11 переменных, поэтому для него задача факторного анализа заключается в том, чтобы найти матрицу факторных нагрузок или корреляции между факторами и заданиями шкалы. Существует несколько процедур факторного анализа, но все они предполагают две стадии: 1) факторизацию матрицы корреляций, с тем чтобы получилась первоначальная факторная матрица; 2) вращение факторной матрицы, с тем чтобы обнаружить наиболее простую конфигурацию факторных нагрузок (см. табл. 3.4).

Стадия факторизации в этом процессе призвана определить количество факторов, необходимых для объяснения связей между различными тестами, и обеспечивает получение первичных оценок нагрузки (веса) каждого теста по каждому фактору. Вращение факторов необходимо для того, чтобы сделать их более понятными (интерпретируемыми) с помощью создания конфигурации факторов, в которой совсем немного тестов имеют высокие нагрузки, тогда как большая часть тестов имеют низкие нагрузки по любому фактору.

164 Глава 3. Психометрические основы психодиагностики: основные этапы.

Таблица 3.4 Образец матрицы корреляций	между 1 1 заданиями шкалы
для оценки личности преподавателя
Задание
	1, 000	0, 727	0, 424	0, 573	0, 343	0, 294	0, 458	0, 200	0, 425	0, 091	0, 078
	0, 727	1, 000	0, 304	0, 620	0, 287	0, 258	0, 363	0, 075	0, 459	0, 115	0, 127
	0, 424	0, 304	1, 000	0, 470	0, 510	0, 080	0, 691	0, 206	0, 304	0, 129	0, 112
	0, 573	0, 620	0, 470	1, 000	0, 336	0, 195	0, 390	0, 061	0, 528	0, 026	0, 022
	0, 343	0, 287	0, 510	0, 336	1, 000	0, 171	0, 638	0, 374	0, 203	0, 243	0, 244
	0, 294	0, 258	0, 080	0, 195	0, 171	1, 000	0, 108	0, 227	0, 159	0, 490	0, 430
	0, 458	0, 363	0, 691	0, 390	0, 638	0, 108	1, 000	0, 218	0, 314	0, 108	0, 065
	0, 200	0, 075	0, 206	0, 061	0, 374	0, 227	0, 218	1, 000	00, 85	0, 524	0, 421
	0, 425	0, 459	0, 304	0, 528	0, 203	0, 159	0, 314	0, 085	1, 000	0, 114	0, 187
	0, 091	0, 115	0, 129	0, 026	0, 243	0, 490	0, 108	0, 524	0, 114	1, 000	0, 611
И	00, 78	0, 127	0, 112	0, 022	0, 244	0, 430	0, 065	0, 421	0, 187	0, 611	1, 000

Одна из наиболее известных процедур факторизации — метод главных осей (principal axis), а самая популярная процедура вращения — варимакс вращение¹.

Из табл. 3.5 видно, что выделяются три фактора, они представлены в колонках, обозначенных А, В, С. Величины, записанные под колонкой каждого фактора, — корреляции или нагрузки каждого из 11 заданий по этому фактору.

Например, задание 1 имеет нагрузку по фактору Л равную 0, 754; - 0, 271 по фактору В; и 0, 250 по фактору С. Сумма квадратов нагрузок по каждому из факторов позволяет определить долю дисперсии этого задания. Таким образом, доля дисперсии задания 1 равна:

(0, 754)² +(-0, 271)² +(0, 250)² =0, 704.

Это означает, что 70, 4 % вариаций показателей по заданию 1 объясняется действием этих трех факторов.

Факторно-аналитический подход позволяет также оценить надежность теста. Как известно, полная дисперсия теста равна сумме дисперсий для общих факторов, плюс дисперсии специфических факторов, плюс дисперсия погрешности. Следовательно, если мы осуществим факторный анализ теста, возведем в квадрат и суммируем нагрузки его факторов, то мы получим его надежность, поскольку нагрузки факторов представляют корреляцию теста с общими или специфическими факторами. Однако следует помнить, что такой способ установления надежности более всего подходит для уже факторизованного теста, нежели для тестов, которые могут измерять широкий набор разных факторов, часть которых могут и не входить в батарею изучаемых исследователем.

¹ По вполне понятным причинам здесь опущены этапы ручной факторизации матрицы, поскольку в настоящее время для этой цели используются различные компьютерные программы. Для читателя, желающего ознакомиться подробно с процедурой факторизации матрицы и ее вращением, рекомендуем обратиться к книге: Окунь Я. Факторный анализ / Пер. с польск.; Под ред. Г. 3. Давидовича. — М.: Статистика, 1974.

3.7. Факторный анализ 1? 5

Таблица 3.5

Матрица факторных весов с вращением и без вращения рейтинговых оценок по шкале оценки личности преподавателя (данные получены с помощью программы SPSS¹)

	Факторные веса
Задание	Матрица до вращения	Матрица после вращения	Доля
	Л	В	С	Л'	В'	С
	0, 754	-0, 271	0, 250	0, 783	0, 090	0, 288	0, 704
	0, 708	-0, 281	0, 415	0, 853	0, 089	0, 131	0, 752
	0, 689	-0, 206	-0, 440	0, 303	0, 015	0, 786	0, 710
	0, 702	-0, 392	0, 240	0, 790	-0, 041	0, 280	0, 704
	0, 674	0, 063	-0, 500	0, 148	0, 243	0, 792	0, 708
	0, 442	0, 477	0, 402	0, 353	0, 669	-0, 113	0, 585
	0, 714	-0, 216	-0, 485	0, 298	0, 009	0, 838	0, 791
	0, 434	0, 573	-0, 257	-0, 082	0, 649	0, 392	0, 582
	0, 594	-0, 201	0, 330	0, 691	0, 102	0, 120	0, 502
	0, 408	0, 769	0, 063	0, 011	0, 867	0, 100	0, 762
	0, 388	0, 718	0, 122	0, 052	0, 822	0, 048	0, 681

Факторная матрица после вращения представлена в колонках А', В'и С'таблицы. Доля дисперсии каждого задания та же самая, что и в факторной матрице до вращения факторов, но факторы, полученные после вращения, легче интерпретировать, чем в матрице до вращения. Вращение варимакс является процедурой ортогонального вращения, в которой факторные оси остаются перпендикулярными друг к другу. В противоположность этой процедуре факторные оси при обличе-ском (косоугольном) вращении формируют острые или тупые углы по отношению друг к другу. Ортогональные факторы обычно легче интерпретировать, чем косоугольные, поскольку эти факторы не коррелируют друг с другом (независимы).

При интерпретации факторной матрицы после вращения следует обратить особое внимание на задания, которые имеют вес 0, 50 и выше по данному фактору. Четыре задания — 1 (тактичный), 2 (вежливый), 4 (доброжелательный) и 9 (терпеливый) — имеют высокие нагрузки по фактору А'. Соответственно подходящим названием для этого фактора могло бы быть такое обозначение, как «деликатность» или «вежливость». Еще четыре задания имеют высокие нагрузки, но уже по фактору В': 6 (осведомленный), 8 (организованный), 10 (подготовленный) и 11 (пунктуальный), значит, соответствующим наименованием фактора В' могло бы быть «готовность». Наконец, три задания имеют высокие нагрузки по фактору С': 3 (креативный), 5 (увлеченный) и 7 (способный мотивировать); подходящим обозначением этого фактора могло бы быть — «стимулирующий» или «мотивирующий». Эти три фактора приобретают психологический смысл при определении типа личности преподавателя, который предпочитают студенты.

¹ SPSS - Статистический пакет для социальных наук (Statistical Package for the Social Sciences).

166 Глава 3. Психометрические основы психодиагностики: основные этапы...

Безусловно, имеется гораздо больше приложений для факторного анализа, чем те, на которых мы остановились. Сегодня факторному анализу посвящено множество книг и статей. В то же время существуют значительные разногласия не только относительно наилучших процедур факторизации и вращения факторов, но и в отношении их интерпретации. Тем не менее факторный анализ был и остается одним из наиболее мощных инструментов психолога, разрабатывающего тесты.

Валидность теста

Существует достаточно много разных способов доказательства валидности теста. О них и пойдет речь далее.

Тест называется валидным, если он измеряет то, для измерения чего предназначен.

Очевидная валидность — описывает представление о тесте, сложившееся у испытуемого. Тест должен восприниматься обследуемым как серьезный инструмент познания его личности, чем-то схожий с вызывающим уважение и в какой-то мере трепет медицинским диагностическим инструментарием. Очевидная валидность приобретает особое значение в современных условиях, когда представление о тестах в общественном сознании формируется многочисленными публикациями в популярных газетах и журналах того, что можно назвать квазитестами, с помощью которых читателю предлагается определить все, что угодно: от интеллекта до совместимости с будущим супругом.

Конкурентная валидность оценивается по корреляции разработанного теста с другими, валидность которых относительно измеряемого параметра установлена. П. Клайн отмечает, что данные о конкурентной валидности полезны тогда, когда есть неудовлетворительно работающие тесты для измерения некоторых переменных, а новые создаются для того, чтобы улучшить качество измерения. В самом деле, если уже существует эффективный тест, то для чего нужен такой же новый?

Прогностическая валидность устанавливается с помощью корреляции между показателями теста и некоторым критерием, характеризующим измеряемое свойство, но в более позднее время. Например, прогностическая валидность какого-либо теста интеллекта может быть показана корреляцией его показателей, полученных у испытуемого в возрасте 10 лет, с академической успеваемостью в период окончания средней школы. Л. Кронбах считает прогностическую валидность наиболее убедительным доказательством того, что тест измеряет именно то, для чего он был предназначен. Основная проблема, с которой сталкивается исследователь, пытающийся установить прогностическую валидность своего теста, состоит в выборе внешнего критерия. В особенной степени чаще всего это касается измерения личностных переменных, где подбор внешнего критерия — чрезвычайно сложная задача, решение которой требует немалой изобретательности. Несколько проще обстоит дело при определении внешнего критерия для когнитивных тестов, однако и в этом случае исследователю приходится «закрывать глаза» на многие проблемы. Так, академическая успеваемость традиционно используется в качестве внешнего критерия при валидизации тестов интеллекта, но в то же вре-

3.9. Стандартизация теста 1S7

мя хорошо известно, что успехи в обучении далеко не единственное свидетельство высокого интеллекта.

Инкрементная валидность имеет ограниченное значение и относится к случаю, когда один тест из батареи тестов может иметь низкую корреляцию с криге-рием, но не перекрываться другими тестами из этой батареи. В этом случае данный тест обладает инкрементной валидностью. Это может быть полезно при проведении профотбора с помощью психологических тестов.

Дифференциальная валидность может быть проиллюстрирована на примере тестов интересов. Тесты интересов обычно коррелируют с академической успеваемостью, но по-разному для разных дисциплин. Значение дифференциальной валидности, так же как и инкрементной, ограничено.

Содержательная валидность определяется через подтверждение того, что задания теста отражают все аспекты изучаемой области поведения. Обычно она определяется у тестов достижений (смысл измеряемого параметра полностью ясен! ), которые, как уже указывалось, тестами собственно психологическими не являются. На практике для определения содержательной валидности подбираются эксперты, которые указывают, какая область (области) поведения наиболее важна, например, для музыкальных способностей, а затем, исходя из этого, генерируются задания теста, которые вновь оценивают эксперты.

Конструктная валидность теста демонстрируется полным, насколько это возможно, описанием переменной, для измерения которой предназначается тест. По сути дела, конструктная валидность включает в себя все подходы к определению валидности, которые были перечислены выше. Кронбах и Мил (Cronbach & Meehl, 1955), которые ввели в психодиагностику понятие конструктной валидносги, пытались решить проблему отбора критериев при валидизации теста. Они подчеркивали, что во многих случаях ни один отдельно взятый критерий не может служить для валидизации отдельного теста. Можно считать, что решение вопроса с конструктной валидности теста представляет собой поиск ответа на два вопроса: 1) существует ли реально некоторое свойство; 2) надежно ли измеряет данный тест индивидуальные различия по этому свойству. Вполне понятно, что с конструктной валидностью связана проблема объективности в интерпретации результатов по изучению конструктной валидности, однако эта проблема общепсихологическая и выходит за рамки валидности (подробнее см. гл. 2).

Из вышесказанного следует, что не существует какого-либо единичного показателя, с помощью которого устанавливается валидность психологического теста В отличие от показателей надежности и дискриминативности, нельзя осуществит! точные статистические расчеты, подтверждающие валидность методики. Тем н« менее разработчик должен представить весомые доказательства в пользу валидности теста, что потребует от него психологических знаний и интуиции.

Стандартизация теста

Одним из важных отличий психометрических тестов является то, что они стандартизированы, а это позволяет сравнить показатели, полученные одним испытуемым, с таковыми в генеральной совокупности или соответствующих группах

168 Глава 3. Психометрические основы психодиагностики: основные этапы...

Тем самым достигается адекватная интерпретация показателя отдельного испытуемого. Таким образом, стандартизация теста наиболее важна в тех случаях, когда осуществляется сравнение показателей обследуемых. При этом вводится понятие нормы, или нормативных показателей. Для получения стандартных норм нужно тщательно отобрать большее количество испытуемых в соответствии с ясно обозначенным критерием. При формировании выборки стандартизации следует учитывать ее объем и репрезентативность. В руководствах по тестам чаще всего указывается на то, что для простого уменьшения стандартной погрешности достаточной будет выборка из 500 испытуемых. Однако репрезентативность выборки не зависит от ее объема. Например, для того чтобы получить нормативные показатели для всей популяции детей, обучающихся в начальной школе, потребуется выборка объемом более 10 тысяч, тогда как выборка из такой ограниченной популяции, как шеф-пилоты авиакомпаний, не может быть столь значительной. Репрезентативность выборки, таким образом, параметр более важный, нежели ее объем. В некоторых случаях приходится формировать несколько групп стандартизации или стратифицировать группу стандартизации относительно таких параметров, как возраст, пол, социальный статус. Устанавливать нормы не всегда обязательно. При использовании психологических тестов в научном исследовании нормы не столь важны и достаточно «сырых» показателей теста.

Нормы для каждой группы должны быть представлены в средних величинах и показателе стандартного отклонения. Расчет средней величины элементарен и хорошо известен, а стандартное отклонение определяется с помощью формулы, имеющей вид:

Я(я-1)

где SD — стандартное отклонение; X² — результат всего опросника всех испытуемых; п — количество испытуемых; 2 — сумма.

Сегодня на практике все больше используется такой тип производной оценки, как стандартные показатели, удовлетворяющий большинству требований, предъявляемых к психологическому измерению. Такие показатели выражают отличие индивидуального результата испытуемого от среднего в единицах стандартного отклонения соответствующего распределения. Стандартные показатели получают двумя путями: линейным и нелинейным преобразованием первичных («сырых») оценок. В случае линейного преобразования сохраняются все свойства исходного распределения «сырых» оценок, и такие показатели называются стандартными или г-показателями. Для вычисления г-показателя находят разность между первичной оценкой и средним для нормативной группы и делят ее на стандартное отклонение нормативной группы. Формула имеет вид:

Здесь необходимо сказать о том, что основной причиной преобразования первичных оценок в некоторую производную шкалу является желание получить показатели, которые сопоставимы между собой вне зависимости от того, по какому

3.9. Стандартизация теста

сту они получены. Линейное преобразование позволяет получить показателе |опоставимые лишь в том случае, когда распределения «сырых» оценок, по кото 5ым они рассчитываются, имеют примерно одинаковую форму. Для того чтобь сопоставлять показатели, полученные на основе распределений разной формы прибегают к нелинейному преобразованию, или к нормализованным стандарт ным показателям. Процедура нелинейного преобразования достаточно проста i описана в многочисленных руководствах по математической статистике. Такж показатели обычно рассчитывают с помощью таблиц. В этих таблицах приводится процент случаев, приходящихся на участки, которые отстоят от среднего нор мальной кривой на некоторое число единиц стандартного отклонения. Сначал; определяют процент лиц, чьи показатели превышают каждую «сырую» оценку а затем по этому проценту в таблице отыскивают соответствующее значение нор мализованного стандартного показателя. Эти показатели, как и линейно преоб разованные, будут иметь среднее (X), равное 0, и стандартное отклонение (5D) равное 1. Нулевое значение показывает, что испытуемый попадает в точку, соот ветствующую среднему нормальной кривой, превосходя 50 % группы. В случае если показатель равен —1, испытуемый превосходит примерно 16 % группы, а ее ли +1 — превосходит 84 % группы. Нормализованным стандартным показателя! ^ можно придать любую удобную форму, например, умножив его на 10 и прибави произведение к 50, получаем так называемый «Г-показатель» и в этом случае 7 равное 50, соответствует среднему, равному 60 — превышает среднее на одно стан дартное отклонение и т. д. С другими, не менее популярными нелинейными пре образованиями «сырых» показателей теста, можно ознакомиться в соответствую щей литературе¹.

Созданием стандартизованного теста и его публикацией обычно завершаете работа психолога, однако следует помнить и о том, что с течением времени не обходим пересмотр (ревизия) теста. Достаточно вспомнить о тестах интеллект; (см. гл. 4), нормы по которым устаревают через каждые 5 лет, и можно предполо жить, что процесс их старения будет ускоряться. Для наглядности этапы конст руирования теста представлены на рис. 3.1.

Пример из практики: определение надежности опросника 16 PFKerrejiJia Личностный опросник Раймонда Кеттелла 16 PF(16 личностных факторов) от носится к наиболее распространённым психодиагностическим инструментам и hi нуждается в специальном представлении. Уже без малого 50 лет психологи всеп мира используют его для решения разнообразных прикладных и научных задач Однако как в бывшем СССР, так и ныне во вновь образованных странах это-опросник, несмотря на достаточно большую популярность, используется непро фессионально, с нарушением всех норм и правил, предъявляемых к психологиче ским тестам.

Кроме различных переводов опросника, которые существенно отличаюто один от другого, в русскоязычной литературе часто встречаются и различны!

¹ См., напр., БурлачукЛ, Ф., Морозов С. М. Словарь-справочник по психодиагностике. — СПб.: Питер 1999, а также Гласе Дж., Стэнли Дж. Статистические методы в педагогике и психологии / Пер с англ. — М.: Прогресс, 1976.

170 Глава 3. Психометрические основы психодиагностики: основные этапы.

Определение теста и выбор метода шкалирования

Генерирование заданий для теста

Дотестовые задания

Конструирование шкалы

Пилотажное тестирование

Стандартизация теста

Сбор нормативных показателей

Публикация руководства

Пересмотры теста с течением времени

Рис. 3.1. Этапы конструирования теста

•«ключи» к его факторам. Опубликованные в многочисленных сборниках и брошюрах варианты опросника не защищены (! ) от ошибок и произвольного вмешательства в его текст. Если добавить к этому отсутствие нормативных данных, а также то, что не проводилась проверка гомогенности шкал опросника на отечественных выборках, то непонятно, какого рода результаты получали его многочисленные пользователи, какими диагностическими заключениями они оперировали. За последние пятнадцать лет у нас появились только три (! ) работы, в которых ставилась задача проверки факторной структуры 16PF на национальных выборках:

3.9. Стандартизация теста 171

это статьи В. М. Русаловаи О. В. Гусевой (1990), Ю. М. Забродина, В. И. Похиль-ко и А. Г. Шмелева (1987), наконец, украинского психолога А. Г. Виноградова (1997). Читателю нетрудно сравнить это количество публикаций с тем множеством работ, в которых опросник использовался для получения «диагностически значимых результатов». Сказанное позволяет сделать вывод о том, что с помощь» опросника 16Р7⁷измеряется нечто, имеющее неясное отношение к факторам личности, выделенным и описанным Кеттеллом.

Занимаясь работой по психометрической адаптации личностных опросников¹, мы не могли обойти вниманием и столь широко распространенный, как 16PF. За основу была взята форма «А» опросника 16PF. Были обследованы 227 человек (135 женщин и 92 мужчины) в возрасте от 16 до 51 года. Средний возраст исследуемых составлял 28 лет. Это были люди, которые проходили отбор на различные должности в коммерческие организации Киева, все они имели высшее или среднее специальное образование (бухгалтеры, коммерческие директоры, менеджеры разного уровня).

Как известно, точность измерения с помощью психодиагностического инструмента определяется его надежностью. С целью выяснить, насколько точен прогноз, даваемый психологом на основании результатов 16PF, данные, первоначально полученные нами, были оценены по авторским ключам на внутреннюю согласованность с помощью коэффициента Кронбаха, вычисляемого по следующей формуле:

ос = -

г-\

1--

\ /

где а — коэффициент Кронбаха; г — количество заданий теста; S ? — дисперсия по; '-му пункту теста; 5, — дисперсия суммарных баллов по всему тесту.

В табл. 3.6 содержатся данные о внутренней согласованности факторов личности, полученные по авторским «ключам» (приведено буквенное обозначение фактора). Как видно из таблицы, значение коэффициента Кронбаха неудовлетворительно для большинства факторов. А фактор N вообще измеряет нечто, не имеющее никакого отношения к проницательности, расчетливости и наивности (если употреблять обыденное название этого фактора). Лишь некоторые из факторов, например фактор /-" (сургенция—десургенция) и фактор Я пармия—тректия (смелость—робость), надежно измеряют то, что должны измерять. Таким образом, в результате проверки надежности—согласованности оригинальных ключей было показано, что ряд шкал опросника негомогенны. Можно предположить, что это следствия искажения смысла заданий при переводе на русский язык и/или существования известных культурных различий.

Для того чтобы выявить, что же именно стоит за данными, получаемыми с помощью 16PF, мы использовали факторный анализ. Факторы извлекались методом

¹ Автор выражает свою признательность за участие в этой работе своему бывшему аспиранту Виталик Духневичу.

172 Глава 3. Психометрические основы психодиагностики: основные этапы..

Таблица 3.6

⇐ Предыдущая 17 18 19 20 212223 24 25 26 Следующая ⇒