Психометрические основы психодиагностики.

Диагностические методики обычно называют измерительными инструментами, а психологическую диагностику – психометрией.

Психометрия – область психологической диагностики, связанная с теорией и практикой измерений в психологии.

В основе измерения лежит операция сравнения. Особенности психологического измерения позволяют вы­делить три его вида и четыре уровня.

Виды измерения

1. Нормативное измерение определяется сравнением тесто­вого показателя развития свойства испытуемого со среднегрупповым уровнем.

2. Критериальное измерение основано на прямой оценке качества выполнения теста испытуемым без сравнения с другими испытуемыми в соответствии с опреде­ленным объективным уровнем (критерием) развития качества (объективный критерий: выполнение функции).

3. Ипсативное измерение нацелено на оценку внутрииндивидуальных соотношений и не связано с изу­чением межиндивидуальных различий (сравнение показателя те­ста в различных ситуациях с показателем в нормальном состоя­нии: пульс после нагрузки — пульс в покое для данного субъекта).

Уровни изменения будут показаны в курсе математической статистики для психологов.

Прежде чем психодиагностические методики могут быть использованы для практических целей, они должны пройти проверку по ряду формальных критериев, доказывающих их высокое качество и эффективность.

 

К числу основных критериев оценки психодиагностических методов относятся надежность и валидность.

Под «надежностью» понимается относительное посто­янство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых. Но степень надежности зависит от многих причин.

Какие же факторы снижают точность из­мерений? К ним относятся:

1. Нестабильность диагностируемого свойства.

2. Несовершенство диагностических методик.

3. Меняющаяся ситуация обследования.

4. Различия в манере поведения экспериментатора.

5. Колебания в функциональном состоянии испытуемого.

6. Элементы субъективности в способах оценки и ин­терпретации результатов.

К. М. Гуревич предложил толковать надежность в трех смыслах:

1. Надежность самого измерительного инструмента.

2. Стабильность изучаемого признака.

3. Константность, т. е. относительная независимость результатов от личности экспериментатора.

На практике наиболее широко применяются 6 типов надежности:

a. Ретестовая надежность (тест-ретест надежность);

b. Надежность параллельных форм;

c. Надежность частей теста (надежность как гомогенность тестов);

d. Надежность по Кудеру-Ричардсону;

e. Надежность интерпретатора («оценщика»);

f. Стандартная ошибка измерений.

Определение коэффициентов надежности в первых двух случаях вычисляется по формулам расчетов коэффициентов корреляции (в зависимости от шкалы, в которой измерены данные) между первым и последующими измерениями или между параллельными формами теста.

Расчет коэффициента надежности при исследовании гомогенности теста осуществляется путем разбиения теста на равные субтесты и расчета корреляции между этими частями.

Надежность частей теста может также рассчитываться по формуле Кудера-Ричардсона.

При работе с клиническими опросниками, тестами креативности и проективными технологиями надежность методик определяется путем сравнения интерпретаций результатов двумя или более экспертами-психологами. Высокие корреляции между ними показывают надежность тестовой оценки.

Вторым после надежности ключевым критерием качества методики является валидность. Но вопрос о валидности методики решается лишь после того, как уста­новлена ее надежность.

Валидность теста - понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает» (А. Анастази)

Зарубежные специалисты выделяют четыре типа пока­зателей валидности:

1. Критерий исполнения (в т.ч.: количе­ство выполненных работ, успеваемость, время, затрачен­ное на обучение, темп роста квалификации и т.п.).

2. Субъективные критерии (они включают различные виды ответов, которые отражают отношение человека к чему-либо или к кому-либо, его мнения, взгляды, пред­почтения, субъективные критерии получают с помощью интервью, вопросников, анкет).

3. Физиологические критерии (они используются при изучении влияния окружающей среды и других ситуаци­онных переменных на организм и психику человека).

4. Критерий случайностей (применяется, когда цель исследования касается, например, проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

 

Валидность по своей сути — это комплексная характеристика, вклю­чающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, ка­кова ее действенность, эффективность, практическая полезность.

По этой причине не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валид­ности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизацией.

Валидность в первом ее понимании имеет отношение к самой мето­дике, т. е. это валидность измерительного инструмента. Такая проверка называется теоретической валидизацией.

Валидность во втором пони­мании уже относится не столько к методике, сколько к цели ее ис­пользования. Это прагматическая валидизация.

Обобщая, можно сказать следующее:

o при теоретической валидизации исследователя интересует само свойство, измеряемое методикой. Это, по существу, означает, что проводится собственно психологическая валидизация;

o при прагматической валидизации суть предмета измерения (пси­хологического свойства) оказывается вне поля зрения. Главный акцент сделан на то, чтобы доказать, что «нечто», измеряемое ме­тодикой, имеет связь с определенными областями практики.

Таким образом, провести теоретическую валидизацию методики — это доказать, что методика измеряет именно то свойство, качество, которое она по замыслу исследователя должна измерять.

Так, например, если какой-то тест разрабатывался для того, чтобы диагностировать умственное развитие детей, надо проанализировать, действительно ли он измеряет именно это развитие, а не какие-то другие особенности (например, личность, характер и т. п.). Следовательно, для теоретической валидизации кардинальной проблемой является отношение между психологическими явлениями и их показателями, посредством которых эти психологические явления пытаются познать. Такая проверка показывает, насколько замысел автора и результаты методики совпадают.

Не столь сложно провести теоретическую валидизацию новой ме­тодики, если для измерения данного свойства уже имеется методика с доказанной валидностью. Наличие корреляции между новой и ана­логичной, уже проверенной методикой указывает на то, что разработан­ная методика измеряет то же психологическое качество, что и эталонная. И если новый метод одновременно оказывается более компактным и экономичным в проведении и обработке результатов, то психодиа­гносты получают возможность использовать новый инструмент вместо старого. Такой прием особенно часто применяется в дифференциаль­ной психофизиологии при создании методик диагностики основных свойств нервной системы человека.

Что касается прагматической валидизации, то она подразумевает проверку методики с точки зрения ее практической эффективности, значимости, полезности, поскольку диагностической методикой име­ет смысл пользоваться только тогда, когда доказано, что измеряемое свойство проявляется в определенных жизненных ситуациях, в опре­деленных видах деятельности. Ей придают большое значение особен­но там, где встает вопрос отбора.

Если обратиться к истории развития тестологии, то можно выделить такой период (20-30-е гг.), когда науч­ное содержание тестов и их теоретический «багаж» интересовали в меньшей степени. Важно было, чтобы тест работал, помогал быстро отбирать наиболее подготовленных людей.

Эмпирический критерий оценки тестовых заданий считался единственно верным ориентиром в решении научных и прикладных задач.

Использование диагностических методик с чисто эмпирическим обоснованием, без отчетливой теоретической базы нередко приводи­ло к псевдонаучным выводам, к неоправданным практическим реко­мендациям. Нельзя было точно назвать те особенности, качества, ко­торые тесты выявляли. Б. М. Теплов, анализируя тесты того периода, назвал их «слепыми пробами».

Остановимся в общих чертах на том, как проверяется прагматическая валидность: выбирается какой-нибудь независимый от методики внешний критерий, определяющий успех в той или иной деятельности (учебной, профессиональной и т.п.), и с ним сравни­ваются результаты диагностической методики. Если связь между ними признается удовлетворительной, то делается вывод о практической значимости, эффективности, действенности диагностической ме­тодики.

 

Для проведения прагматической валидизации методики, т. е. для оценки ее эффективности, действенности, практической значимости, обычно используется независимый внешний критерий — показатель проявления изучаемого свойства в повседневной жизни.

 

Такими кри­териями могут быть:

1. успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта);

2. производственные достижения (для методик профессиональной направленности);

3. эффективность реальной деятельности — рисование, моделиро­вание и т. д. (для тестов специальных способностей);

4. субъективные оценки (для тестов личности).

 

Существует несколько видов валидности, обусловленных особен­ностями диагностических методик, а также временным статусом внеш­него критерия. Однако чаще всего называются следующие.

1. Валидность «по содержанию». Этот прием используется, напри­мер, в тестах достижений. Обычно в тесты достижений включается не весь материал, который прошли учащиеся, а какая-то его небольшая часть (3-4 вопроса). Можно ли быть уверенным в том, что правильные ответы на эти немногие вопросы свидетельствуют об усвоении всего материала? На это и должна ответить про­верка валидности по содержанию. Для этого проводится сопо­ставление успешности по тесту с экспертными оценками учителей (по данному материалу). Валидность «по содержанию» также подходит к критериально-ориентированным тестам. Иногда этот прием называют логической валидностью.

 

2. Валидность «по одновременности », или текущая валидность, определяется с помощью внешнего критерия, по которому инфор­мация собирается одновременно с экспериментами по проверя­емой методике. Другими словами, собираются данные, относя­щиеся к настоящему времени: успеваемость в период испытания, производительность в этот же период и т. д. С ними сопоставля­ют результаты успешности по тесту.

3. «Предсказывающая» валидность (другое название — «прогности­ческая» валидность ). Определяется также по внешнему крите­рию, но информация по нему собирается некоторое время спустя после испытания. Внешним критерием обычно бывает выражен­ная в каких-либо оценках способность человека к тому виду дея­тельности, для которой он оценивался по результатам диагнос­тических испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик — предсказанию будущей успеш­ности, — применять его очень трудно. Точность диагноза нахо­дится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измере­ния, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.

4. «Ретроспективная» валидность. Она определяется на основе критерия, отражающего события или состояние качества в прош­лом. Может быть использована для быстрого получения сведе­ний о предсказательных возможностях методики. Так, для проверки того, в какой мере хорошие результаты теста способностей соответствуют быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения и т. д. у лиц с высокими и низкими на данный момент диагностически­ми показателями.

При приведении данных о валидности разработанной методики важ­но точно указать, какой вид валидности имеется в виду (по содержанию, по одновременности и т. д.). Желательно также сообщать сведения о численности и особенностях индивидов, на которых проводилась валидизация. Такая информация позволяет пользующемуся методикой исследователю решить, насколько валиден этот прием для той груп­пы, к которой он собирается его применять. Как и в случае с надеж­ностью, необходимо помнить, что в одной выборке методика может обладать высокой валидностью, а в другой — низкой. Поэтому, если исследователь планирует использовать методику на выборке испыту­емых, существенно отличающейся от той, на которой проводилась про­верка валидности, ему необходимо заново провести такую проверку. Приводимый в руководстве коэффициент валидности применим толь­ко к группам испытуемых, подобных тем, на которых он определялся.

 

 

Валидность разделяют на внутреннюю и внешнюю.

Внутренняя валидность – это мера соответствия тестовых оценок уровню развития измеряемого свойства (концептуальная, содержательная, конструктная, операционная, эмпирическая).

Внешняя – мера возможности распространения результатов тестирования выборки на генеральную совокупность.

Репрезентативность выборки – это представительность экспериментальной выборки, которая отражает основные свойства генеральной совокупности.

Дискриминативность – способность методики (теста) дифференцировать испытуемых по степени проявления у них измеряемого качества.

⇐ Предыдущая1234Следующая ⇒

Поделиться:

Воспользуйтесь поиском по сайту: