Зависимость коэффициентов надежности от обследуемой выбории

Изменчивость. Важным условием, влияющим на величину коэффициента надежности, является характер группы, используемой для измерения надежности теста. В первую очередь на любой коэффициент корреляции влияет диапазон индивидуальных различий в группе. Если, к примеру, владение орфографией у всех членов группы находится примерно на одном уровне, то в этой группе корреляция орфографической способности с любыми другими способностями будет близка к нулю. Иначе говоря,

Глава 4. Надежность

125

внутри такой группы невозможно было бы предсказать относительное положение индивидуума по какой-либо способности на основе знания его показателя по орфографическому тесту.

Другим, менее контрастным примером может служить корреляция между двумя тестами способностей, такими как тест вербального понимания и тест арифметического рассуждения. Если эти тесты провести в достаточно однородной группе, скажем, среди 300 студентов второго курса, то корреляция между соответствующими показателями, вероятно, будет очень низкой. Вследствие ограничения диапазона изменчивости внутри такой «отборной» выборки студентов колледжа вряд ли удастся обнаружить какую-либо связь между вербальной способностью и способностью к рассуждению с числами у ее представителей. С другой стороны, проведи мы те же тесты на неоднородной выборке из 300 человек — от умственно отсталых до выпускников колледжей, — результатом наверняка будет высокая корреляция между их показателями. Умственно отсталые по обоим тестам получат более низкие показатели, чем лица с высшим образованием, и подобное соотношение показателей сохранится в других подгруппах внутри этой крайне неоднородной выборки.

Анализ гипотетической диаграммы рассеяния на рис. 4-5 послужит дополнительной иллюстрацией зависимости коэффициентов корреляции от диапазона изменчивости, или степени индивидуальных различий внутри группы. Диаграмма показывает высокую положительную корреляцию в полной, неоднородной группе, так как показатели тесно группируются вдоль диагонали, идущей от левого нижнего к правому верхнему углу. Если теперь рассмотреть только подгруппу, попадающую в небольшой прямоугольник в правой верхней части диаграммы, с первого взгляда видно, что корреляция между двумя переменными в этой подгруппе близка к нулю. Испытуемые, попадающие в выделенную прямоугольником ограниченную область значений обеих переменных, представляют собой весьма однородную группу, наподобие упомянутой выше группы второкурсников.

Как и все коэффициенты корреляции, коэффициенты надежности зависят от изменчивости выборки, на которой они определяются. Так, если коэффициент надежности, приводимый в руководстве к тесту, был определен на группе учеников 4-12-х классов, то нельзя полагать, что коэффициент надежности будет столь же высоким, скажем, в выборке восьмиклассников. Когда мы собираемся использовать тест для выявления индивидуальных различий в пределах более однородной выборки, чем группа стандартизации, коэффициент надежности следует заново определить именно на такой выборке. В элементарных учебниках по статистике приводятся формулы для расчета ожидаемого значения коэффициента надежности при увеличении или уменьшении стандартного отклонения показателей определенной группы. Однако предпочтительней пользоваться коэффициентами надежности, вычисленными эмпирически на группе, сравнимой с той, в которой предполагается использовать тест. Для тестов, охватывающих широкий диапазон возраста или способности, в руководствах должны приводиться отдельные коэффициенты надежности для относительно однородных подгрупп внутри выборки стандартизации.

Уровень способности. Коэффициент надежности изменяется не только в зависимости от степени индивидуальных различий в выборке, но его величина может также разниться в группах, различающихся средним уровнем измеряемой способности. Влияние последнего фактора обычно нельзя предсказать или оценить, пользуясь ста-

126

Часть 2. Технические и методологические принципы

Рис. 4-5. Влияние ограниченного диапазона изменчивости переменных на величину

коэффициента корреляции

тистическими методами. Это влияние может быть определено только эмпирической проверкой теста в группах, отличающихся возрастом или уровнем способности. Такие различия в надежности одного теста могут, отчасти, являться результатом того, что на каждом уровне трудности теста измеряется несколько иное сочетание способностей. Как, впрочем, могут вызываться и в результате изменения длины теста (количества заданий) на разных возрастных уровнях. Даже когда число предлагаемых заданий одинаково, верхний и нижний края теста часто не обеспечивают на соответствующем уровне трудности достаточного количества заданий, чтобы дать возможность испытуемым в полной мере продемонстрировать то, на что они способны (эффекты «потолка» или «пола»). В других тестах надежность может быть относительно низкой для младших и менее способных групп, так как в данном случае на показателях сильно сказывается стремление тестируемых угадать ответ.

Глава 4. Надежность

127

Очевидно, что каждый коэффициент надежности следует сопровождать полной типологической характеристикой группы, на которой он определялся. Особое внимание следует уделять изменчивости и уровню изучаемой способности в выборке. Приводимый коэффициент надежности применим только к выборкам, сходным с теми, на которых он был определен. В настоящее время при конструировании тестов все чаще применяется разбиение выборки стандартизации на более однородные подгруппы по признаку возраста, пола, года обучения, рода занятий и т. п., причем для каждой такой подгруппы приводятся свои коэффициенты надежности. При таких условиях коэффициенты надежности более соответствует тем выборкам, в которых тест будет применяться на практике.