Надежность. Валидность

НАДЕЖНОСТЬ

В традиционной тестологии термин «надежность» означает относи­тельное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испы­туемых. Вряд ли можно с доверием от­носиться к тесту интеллекта, если по нему в начале недели ребенок имел показатель, равный 100, а к концу 80. Повторное применение на­дежных методик дает сходные оценки. При этом в определенной мере могут совпадать как сами результаты, так и порядковое место (ранг), занимаемое испытуемым в группе. И в том, и в другом случае при по­вторении опыта возможны некоторые расхождения, но важно, чтобы они были незначительными, в пределах одной группы. Таким образом, можно сказать, что надежность методики — это такой критерий, кото­рый говорит о точности психологических измерений, т. е. позволяет су­дить о том, насколько внушают доверие полученные результаты.

Степень надежности методик зависит от многих причин. Поэтому важной проблемой практической диагностики является выяснение негативных факторов, влияющих на точность измерений. Многие авторы пытались составить классификацию таких факторов. Среди них наиболее часто называются следующие:

1) нестабильность диагностируемого свойства;

2) несовершенство диагностических методик (небрежно составлена инструкция, задания по своему характеру разнородны, нечетко сфор­мулированы указания по предъявлению методики испытуемым и т. д. );

3) меняющаяся ситуация обследования (разное время дня, когда проводятся эксперименты, разная освещенность помещения, нали­чие или отсутствие посторонних шумов и т. д. );

4) различия в манере поведения экспериментатора (от опыта к опыту по-разному предъявляет инструкции, по-разному стимулирует выполнение заданий и т. д. );

5) колебания в функциональном состоянии испытуемого (в одном эксперименте отмечается хорошее самочувствие, в другом — утом­ление и т. д. );

6) элементы субъективности в способах оценки и интерпретации результатов (когда ведется протоколирование ответов испытуемых, оцениваются ответы по степени полноты, оригинальности и т. п. ).

Если все эти факторы иметь в виду и постараться в каждом из них устранить условия, снижающие точность измерений, то можно добиться приемлемого уровня надежности теста. Одним из важ­нейших средств повышения надежности психодиагностической ме­тодики является единообразие процедуры обследования, его строгая регламентация: одинаковые для обследуемой выборки испытуемых обстановка и условия работы, однотипный характер инструкций, одинаковые для всех временные ограничения, способы и особенно­сти контакта с испытуемыми, порядок предъявления заданий и т. д. При такой стандартизации процедуры исследования можно сущест­венно уменьшить влияние посторонних случайных факторов на ре­зультаты теста и таким образом повысить их надежность.

В настоящее время надежность все чаще определяется на наибо­лее однородных выборках, т. е. на выборках, схожих по полу, воз­расту, уровню образования, профессиональной подготовке и т. п. Для каждой такой выборки приводятся свои коэффициенты надеж­ности. Приводимый показатель, надежности применим только к группам, подобным тем, на которых он определялся. Если методика применяется к выборке, отличающейся от той, на которой проверялась ее надежность, то эта процедура должна быть проведена заново.

ВАЛИДНОСТЬ

Другим после надежности ключевым критерием оценки качества методик является валидность. Вопрос о валидности методик реша­ется лишь после того, как установлена достаточная ее надежность, поскольку ненадежная методика без знания ее валидности является практически бесполезной.

Следует заметить, что вопрос о валидности до последнего време­ни представляется одним из самых сложных. Наиболее укоренив­шимся определением этого понятия является то, которое приведено в книге А. Анастази: «Валидность теста — понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает» Валидность по своей сути — это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли мето­дика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность. По этой причине не существует какого-то единого универсального подхода к опреде­лению валидности. Валидность в первом ее понимании имеет отношение к самой ме­тодике, т. е. это валидность измерительного инструмента. Такая проверка называется теоретической валидизацией. Валидность во втором понимании уже относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация.

Существует несколько видов валидности, обусловленных особенностями диагностических методик, а также временным стату­сом внешнего критерия.