 |
Правила измерения классической и современной теории тестов
|
|
|
|
Правила измерения классической и современной теории тестов
Классическая теория тестов выдвигала определенные правила измерения. IRT предлагает новые правила измерения, которые значительно отличаются от правил КТТ.
Правила КТТ:
1. Все тестовые оценки в данной конкретной популяции имеют одинаковую ошибку измерения.
2. Чем больше пунктов в шкале, тем она надежнее.
3. Сравнение тестовых оценок во множественных тестах оптимально, если тесты параллельны.
4. Точная оценка параметров пунктов зависит от репрезентативности выборки.
5. Тестовые оценки имеют смысл только при сравнении их распределения в нормативной группе.
6. Свойства нормальной интервальной шкалы достигаются нормальным распределением оценок.
7. Смешанный тестовый формат вызывает дисбаланс в итоговых тестовых оценках.
8. Изменения в оценках не могут быть обоснованно сравнимы, если начальные уровни оценок различаются.
9. Факторный анализ бинарных данных предоставляет скорее артефакты, чем факторы.
10. Особенности пунктов не важны по сравнению с психометрическими свойствами.
Новые правила IRT:
1. Стандартная ошибка измерения изменяется в пунктах или паттернах ответов, но имеет общие величины в популяциях.
2. Тесты с меньшим числом пунктов могут быть надежнее тестов с большим числом пунктов.
3. Сравнение тестовых оценок у множественных форм тестов оптимально, когда уровни трудности пунктов варьируют среди испытуемых.
4. Точные оценки свойств пунктов могут быть получены на нерепрезентативных выборках.
5. Тестовые оценки имеют смысл, когда они сравниваются по отношению к пунктам.
6. Интервальные свойства шкалы могут быть получены применением обоснованных измерительных моделей.
|
|
|
7. Изменения в оценках могут сравниваться, если начальные уровни различаются.
8. Факторный анализ исходных данных представляет собой полноценный факторный анализ.
9. Смешанный тестовый формат может предоставлять оптимальные оценки.
10. Особенности пунктов напрямую связаны с психометрическими свойствами.
Анализ ключевых отличий
Ключевые отличия психометрических фокусов IRT-подхода и КТТ были описаны в работе Р. Массоф. КТТ ставит в центр внимания общую оценку по тесту, где в то же время IRT помещает в фокус эксплицитную математическую модель, которая описывает отношения между ответами на пункты и измеряемым конструктом. Тем самым IRT-подход возвращается к принципам шкалирования. Психологический конструкт не может быть оценен напрямую. Он измеряется на основе оценки поведения испытуемого по отношению к пунктам теста, таким образом, в отличие от КТТ современная теория тестов предоставляет информацию о том, как отвечают на пункты испытуемые с разным уровнем выраженности конструкта.
Преимущество современной теории тестов заключается в популяционной инвариантности параметров пунктов. Это означает, что параметры пунктов имеют одинаковые оценки в различных популяциях испытуемых. В IRT метрика не имеет жестких границ, поскольку сама по себе носит абстрактный характер и не зависит от наблюдаемых данных, а также IRT-модели не требуют нормальности распределения психологических переменных.
Можно сделать заключение, что IRT предлагает совершенно новый подход к оценке психометрических свойств психодиагностических методик. В сравнении с КТТ IRT — более продвинутый подход в оценке состоятельности диагностических пунктов, составляющих методику. В КТТ точность оценки психологического конструкта определяется только по коэффициенту надежности, при этом оценки всех испытуемых имеют одинаковые стандартные ошибки измерения. В IRT точность оценки связана с информативностью каждого пункта. На разных уровнях выраженности конструкта наблюдается разная информативность и различные стандартные ошибки измерения. Оценка конструкта в IRT не привязана к нормативной выборке. Интерпретация отражает истинный уровень его выраженности у испытуемого, а не положение испытуемого в ряду других испытуемых, что свойственно КТТ.
|
|
|
Модели IRT показывают, как измеряемый психологический конструкт и параметры диагностического пункта связаны с ответами испытуемого. Суть IRT состоит в моделировании измерения. Если в КТТ истинная оценка базируется на основе суммирования ответов на пункты, то в IRTтестовая оценка оценивается в процессе нахождения оптимальных оценок поведения модели.
Параметры пунктов в КТТ не соотносятся с оценкой конструкта. Влияние трудности пунктов на измерение конструкта и вероятности ответов озвучены только в IRT. В отличие от КТТ в IRT независимые переменные оцениваются отдельно друг от друга. В КТТ раздельная оценка ошибки и истинной оценки в рамках одного исследования невозможна.
В IRT линейная трансформация тестовых оценок в шкалу интервалов возможна без учета исходного нормального распределения. Построение интервальной шкалы проводится путем измерительного моделирования шкалы, а если тестовые данные соответствуют по качеству построенной модели, то в результате получается истинная интервальная шкала.
Интерпретация оценок выраженности конструкта в IRT отличается от интерпретации тестовых оценок в КТТ: если в КТТ интерпретация привязана к среднему значению и стандартному отклонению тестовой оценки нормативной группы, то в IRT интерпретация преломляется через параметр трудности пунктов.
Про инвариантность моделей IRT можно сказать, что все психометрические категории и индексы КТТ строго привязаны к особенностям выборки, па результатах исследования которой они рассчитывались. Категории и параметры современной теории тестов не зависят от выборки или, другими словами, они инвариантны по отношению к выборке. КТТ предоставляет только единичную оценку надежности и соответствующую стандартную ошибку измерения, в то время как IRT предлагает измерительную шкалу оценки конструкта на всем его протяжении. Еще один недостататок КТТ- зависимость полученной тестовой оценки от пунктов, на которые давались ответы. В шкалах, созданных на основе IRT, измерения конструкта независимы от конкретных диагностических пунктов.
|
|
|
Оба подхода существенно различаются и в отношении ошибки измерения. В КТТ стандартная ошибка измерения фиксирована для всех оценок шкалы. Считается, что ошибка измерения имеет нормальное распределение и является одинаковой на всем протяжении шкалы. В IRT для каждой оценки рассчитывается индивидуальная ошибка измерения. Наименьшие величины стандартной ошибки измерения отмечаются в среднем диапазоне шкалы, более высокие значения ошибки наблюдаются в крайних диапазонах. Это связано с тем, что крайние уровни выраженности конструкта имеют всегда меньшее число респондентов, по сравнению с количеством лиц, имеющих относительно средний уровень его выраженности.
Надежность шкалы в КТТ зависит от количества пунктов в шкале. Более длинные по количеству пунктов шкалы имеют более высокую надежность, независимо от свойств самих пунктов. Параметры пунктов не привязаны к свойствам всей шкалы и оцениваются в отрыве от оценки эффективности шкалы. В IRT конструктивность шкалы изначально выводится из свойств каждого пункта. Неконструктивные, дублирующие пункты могут быть удалены на этапе конструирования или оценки шкалы. Шкала может состоять из небольшого количества качественных пунктов и иметь высокую надежность. Параметры теста, свойства, пунктов в IRT инвариантны и не зависят от выборки, хотя изначально процесс оценивания основывается на наблюдаемых данных.
Расчет шкальных оценок в IRTимеет бесспорные преимущества перед КТТ. В классическом подходе суммарная шкальная оценка зависит от трудности пунктов, поэтому не является точным измерением конструкта. В IRT оценка конструкта производится на основе всей информации о паттернах ответов. Принимается во внимание, на какие пункты предоставлены ключевые ответы и на какие пункты ключевые ответы отсутствуют. Параметры трудности и дискриминативности непосредственно используются для оценивания психологического конструкта.
На сегодня только IRT- модели предлагают достаточно экономичные и обоснованные подходы к разработке и конструктивной оценке методик измерения психологических конструктов. Разработанная на основе IRT психодиагностическая методика состоит из проверенных и психометрически обоснованных пунктов, которые конструктивно соответствуют целевому назначению методики и позволяют получить максимальное количество диагностической информации
|
|
|
