 |
Оформление стимульного материала, опросной сетки и «ключей» для пилотажного исследования
|
|
|
|
Если тест является многомерным, то последовательность тестовых заданий может задаваться следующим образом: сначала идут первые задания по всем шкалам, затем – вторые задания, после – третьи и т.д. до окончания заданий по шкалам. Под стимульный материал создается опросная сетка и «ключ» для обработки результатов.
Оформление стимульного материала может включать дополнительную работу, например, проверку филологом пунктов тест-опросника на орфографию и пунктуацию.
Оценка содержательной валидности и очевидной валидности
4. Формирование выборки, сбор в пилотажном исследовании и обработка данных
Оценка репрезентативности выборки
При разработке, оценке и стандартизации методики суждение о степени репрезентативностивыносится на основе оценки минимального объема выборки и соответствия эмпирического распределения нормальному.
Полученные в первом пилотажном исследовании результаты могут использоваться для оценки ряда характеристик методики.
Оценка диагностической силы пунктов
Для каждого задания подсчитывается количество испытуемых в процентах к общему количеству участвующих в обследовании, которые дали значимые ответы. Это дает возможность оставить такие пункты шкалы, которые обладают средней диагностической силой, т.е. значимые ответы по которым выбирает среднее количество испытуемых – конкретно от 25 до 75% испытуемых, участвовавших в пилотажном исследовании. Каждое задание считается равноценным другим, хотя реально они, конечно, не равноценны. Какие-то пункты, условно говоря, могут обладать в два раза большей диагностической силой, чем другие. Это представляет собой «огрубление» шкалы, влияющее на точность измерения. Однако такое снижение точности считается допустимым, поскольку позволяет существенно упростить процедуру обработки результатов, получаемых с помощью теста.
|
|
|
Задания, по которым значимые варианты ответов выбрали менее 25 или более 75% от общего количества испытуемых, считаются «неработающими». Такие пункты будут загромождать шкалу, так как не позволяют дифференцировать испытуемых по измеряемым признакам. Следовательно, задания с высокой или низкой диагностической силой должны быть переработаны или вообще исключены из шкалы.
7. Оценка надежности-согласованности
Оценка конвергентной или дискриминантной валидности
9. Составление окончательного варианта стимульного материала, ключей, интерпретации
Из стимульного материала исключаются задания, которые были отсеяны на этапе оценки содержательной и очевидной валидности, диагностической силы и надежности-согласованности. В соответствии с новым вариантом создается опросная сетка и «ключи».
Для составления окончательного варианта интерпретаций по шкале учитывается ранее обозначенная природа психического качества и проводится содержательный анализ заданий, вошедших в шкалу.
Интерпретация готовится по статистическим зонам:
1) Зона «тенденции»:
- усиленное проявление одного полюса качества (высокие результаты тестирования);
- усиленное проявление противоположного полюса качества (низкие результаты тестирования);
2) Зона «патологии»:
- очень сильное проявление одного полюса качества (очень высокие результаты тестирования);
- очень сильное проявление противоположного полюса того же качества (очень низкие результаты тестирования).
Сбор данных во втором пилотажном исследовании
Второе пилотажное исследование проводится на той же выборке испытуемых, что и первое, с целью оценки:
а) ретестовой надежности шкал;
|
|
|
б) эмпирической валидности.
Оценка ретестовой надежности
Оценка эмпирической валидности
Составление нормативных данных
Нормативные данные и статистические зоны рассчитываются либо по всей выборке, либо по половому признаку (мужчины или женщины), либо по возрастному признаку (19-26, 27-35, 36-55 лет), либо одновременно по половому и возрастному признакам.
По необходимости проводится стандартизация первичных тестовых показателей.
Составление Руководства для пользователя
Руководство (или справочная система) включаетописание ПДМ последующим компонентам:
- теоретическая часть, содержащая концепцию диагностируемого психического свойства и методические принципы построения методики;
- руководство для Пользователя по работе с методикой;
- инструкция для испытуемого;
- стимульный материал (вопросы или утверждения, тексты, рисунки, фотографии или что-то иное, с чем непосредственно работает испытуемый);
- способ обработки результатов тестирования и постановки диагноза («ключи», математическая обработка, нормативные данные);
- интерпретации результатов (для каждого уровня проявления диагностируемого явления).
- указания (в некоторых случаях) по выработке определенных рекомендаций для испытуемых или третьих лиц (по согласию с испытуемыми);
- описание процедуры разработки методики, в том числе показатели стандартизации, репрезентативности, надежности, валидности.
Адаптация зарубежной психодиагностической методики
Проблема адаптации
В 1920-30-х г. и после вынужденного тридцатилетнего периода в 1960-70-х г. отечественные специалисты не понимали сложности создания русского аналога зарубежной ПДМ. Предполагалось, что достаточно дословно перевести текст опросника и в максимальной степени предохранить текст опросника от внесения в него каких-либо искажений. Это, якобы, позволяло использовать разработанные за рубежом нормативные данные, а также сохранять валидность и надежность опросника. Однако практическое применение таких русских аналогов зарубежных ПДМ вызвало обоснованные сомнения. Например, некоторые пункты зарубежных опросников при дословном переводе можно было перевести только с помощью редко используемых в русском языке слов или вообще невозможно было точно перевести из-за различий в культурах той страны, в которой был разработан опросник, и России. Попытка дословного перевода всех пунктов опросников приводила к тому, что в таких русских аналогах зарубежных тестов появлялось много «неработающих» пунктов, то есть таких пунктов, которые редко использовались испытуемыми и, загромождая опросник, по сути ничего не диагностировали. Сомнения в достаточности дословного перевода усиливались из-за неуверенности в валидности и надежности русских вариантов зарубежных методик и в возможности использования зарубежных нормативных данных.
|
|
|
В конечном счете, возникало сомнение в правильности диагностики. Стало очевидным, что требуется не просто дословный перевод зарубежного теста, а адаптация этого теста к новым социальным условиям.
Процедура адаптации
Адаптация зарубежного теста к условиям другой страны предполагает проведение такой же методической работы, как и при разработке нового теста.
|
|
|
