Требования к методам психодиагностики и прогнозирования

Научное обоснование системы психодиагностики и прогнозирования профессиональной пригодности связано с необходимостью решения ряда вопросов по разработке, проверке и практическому использованию конкретных методик.

Разработка и подбор методов оценки индивидуально-психологических особенностей личности для решения различных задач диагностики и прогнозирования профессиональной пригодности (задачи отбора, подбора, комплектования, распределения, экспертизы и т. д.) должны быть основаны на результатах психологического анализа деятельности (професси-ографии) и, в частности, на профессиональных требованиях к личности обучающегося или специалиста (научная обоснованность применяемых методик). При этом необходимо учесть возможности компенсации и развития профессионально значимых качеств личности (психических процессов, свойств темперамента, эмоционально-волевых, характерологических качеств, мотивационной сферы личности), а также и то, что многие тесты характеризуют, оценивают искусственно выделенные или изолированные качества, хотя в процессе деятельности эти качества реализуются, функционируют во взаимосвязи и взаимообусловленности (интегративные качества личности).

Каждая методика (тест) должна быть направлена на оценку определенной психической функции или совокупности их (дифференцированностъ, уникальность методики). Интеркорреляционная связь между методиками должна быть наименьшей, что обеспечит дифференцированность в изучении различных профессионально важных качеств. Учет этого требования важен, когда к батарее тестов прибавляется еще один, и в этом случае он должен иметь возможно более низкую связь с уже применяющимися для диагностики методиками.

Личностные опросники, а также входящие в них утверждения должны обладать высокой дискриминантной способностью, то есть позволять четко отличать индивидов, у которых данная черта выражена сильнее, от тех, у которых она выражена слабо.

Система методик должна гарантировать, что результаты обследования и их оценки будут идентичными при проведении обследования и обработке материалов различными исследователями (объективность обследования). Под объективностью понимается также независимость получаемых результатов от сознательных стремлений обследуемого повлиять на них в нужном для него направлении. С этой целью используется, например, подача материала в форме, при которой ему не ясна цель испытаний и, следовательно, не возникает необходимость завышения или занижения его результатов. Кроме того, при этом широко применяются приемы контроля, а именно: шкалы лжи, симуляции и диссимуляции.

При проведении испытаний все обследуемые должны находиться в одинаковых условиях (стандартность условий). Это касается условий микроклимата, освещенности, тишины в помещении, организационной формы испытаний, порядка предъявления тестов, форм регистрации, анализа и интерпретации результатов. Следует не допускать контактов между ними во время испытаний, обеспечить их нормальное (удобное, свободное) размещение на рабочем месте.

Тесты должны иметь внутреннюю согласованность, быть однородными по содержанию и значимости (если нет, то вводится коэффициент), а материал распределен по бланку равномерно, с одинаковой степенью вероятности предъявления и в случайном порядке (гомогенность теста). Варианты теста должны быть равноценны по всем параметрам.

Для разработки теста, определения его диагностической и прогностической валидности необходимо наличие соответствующих эффективных внешних критериев или тестов, валидность которых установлена.

При разработке тестов профессиональных способностей необходимо, чтобы они моделировали наиболее сложные элементы профессиональной деятельности. Чем более адекватен тест особенностям конкретной деятельности, тем более вероятна его высокая прогностическая ценность. Важно, чтобы тест наиболее полно отражал психологическую структуру основных элементов деятельности, а не ее внешнее подобие.

Тест должен выявлять возможности развития измеряемых профессионально важных психических качеств, способностей в процессе обучения за счет взаимной компенсации. Поэтому необходимо анализировать динамику показателей выполнения теста. Изучение процесса обучения, хотя бы на коротком отрезке экспериментального исследования, дает возможность проследить влияние оцениваемой способности на скорость и качество формирования профессионального навыка в условиях, моделирующих деятельность. В результате исследований (испытаний) необходимо оценить исходный уровень изучаемой способности; коэффициент прогресса ее развития, то есть сравнить исходный и конечный результаты; число упражнений, время и другие критерии, потребовавшиеся обследуемому для выхода на собственное «плато»; число ошибок, пропусков по задачам.

Наиболее значимыми требованиями к методикам (тестам) психологического изучения личности является стандартизация их показателей и определение надежности и валид-ности методики [44, 224].

Стандартизация (нормирование) показателей тестов. Стандартизация состоит в переводе первичных результатов испытаний по тестам, выраженных в количестве правильных ответов, ошибок, времени выполнения задания и других величинах, в единую для всех методик шкалу балльных или других оценок (например, отношений вероятностей значений разных показателей). Это позволяет сравнивать результаты, полученные по разным методикам.

При анализе подходов к нормированию результатов психологических испытаний необходимо учитывать особенности измерения психологических свойств и качеств. Известны несколько уровней измерений, характерных для психологических методик:

1) номинальное измерение– приписывание одинаковых чисел-наименований объектам, имеющим общий признак;

2) вычисление статистической величины сводится к подсчету числа объектов каждого класса;

3) ординальное измерение – ранжирование объектов по выраженности определенного признака; вычисляются медиана, процентили или коэффициент корреляции рангов;

4) интервальное измерение – определение величины различий между объектами; вычисляются среднее арифметическое, стандартное квадратическое отклонение, коэффициент корреляции.

Помимо уровней измерения, выделяются также виды измерений, среди которых наиболее принятым является нормативное измерение. Оно предусматривает сравнение показателей обследуемого с распределением тестовых оценок в эталонной группе лиц с определенными признаками: социально-демографическими, половыми, образовательными и др.

Надежность тестов. Под надежностью понимается согласованность результатов теста, получаемых при повторном его применении одним и тем же испытуемым в различные моменты времени, с использованием разных наборов эквивалентных заданий или при изменении других условий обследования. Иными словами, это точность (устойчивость) измерения свойства. Надежность теста показывает, в какой степени индивидуальные различия в тестовых результатах оказываются «истинными», а в какой могут быть приписаны случайным ошибкам. Существуют три основных подхода к оценке надежности тестов, которые различаются факторами, принимаемыми за ошибки измерения.

Тест-ретест надежность– коэффициент надежности равен корреляции результатов повторных испытаний одних и тех же обследуемых по тесту. Ошибки измерения могут быть обусловлены различиями в состоянии обследуемых, в организации и условиях повторного испытания, запоминанием ранее полученных ответов, приобретением навыков работы с тестом и т. д.

Надежность параллельных (взаимозаменяемых) форм теста. Коэффициент надежности равен корреляции параллельных форм теста, то есть нескольким различным тестам, пред назначенным для оценки одного и того же свойства. Ошибки измерения в данном случае, кроме вышеуказанных факторов, определяются различиями в характере действий и операций, связанных с выполнением параллельных форм теста.

Надежность как гомогенность теста (метод расщепления). Надежность оценивается посредством вычисления интеркорреляций частей или элементов методики, которые могут рассматриваться как отдельные тесты. Источниками ошибок измерения являются различия между элементами теста с точки зрения их адекватности измеряемому свойству.

Считается, что надежность теста должна быть не менее 0,7 (по величине корреляции).

Валидность тестов. Это мера соответствия тестовых оценок представлениям о сущности измеряемых свойств или их роли в той или иной деятельности. Валидность определяет, что и насколько точно измеряет тест. Установление валид-ности теста необходимо для того, чтобы знать, с какой точностью данный тест позволяет судить о степени развития профессионально значимого свойства обследуемого, его поведении, а также о вероятности достижения им в будущем успехов в овладении профессией. Выделяются три основных вида валидности: валидность критериальная, конструктивная (концептуальная) и валидность по содержанию.

Критериальная валидность оценивается величиной связи, корреляции показателя теста с критериями успешности профессионального обучения или деятельности. Критериальная валидность показывает, в какой мере характеристики обучения или деятельности связаны с тестовыми оценками. Валидность этого вида, в свою очередь, может быть текущей (конкурентная валидность), когда критерий успешности определяется на момент исследования личности, и прогностической (предикативная валидность), когда значение критерия успешности устанавливается через некоторое время (через год, два и т. д.) после проведения психологического исследования.

Конструктивная (концептуальная) валидность является мерой соответствия показателя теста теоретическим пред ставлениям о сущности измеряемых свойств. Она устанавливается путем анализа всей совокупности теоретических и экспериментальных данных о тесте. Примером исследований, направленных на изучение и оценку концептуальной валидности, являются работы В Д. Небылицына по обоснованию предложенных им методик оценки свойств нервной системы [188].

Валидность по содержанию устанавливается путем экспертного анализа соответствия состава и содержания теста характеру измеряемых индивидуальных особенностей. Данный вид валидности наиболее тесно связан с критериальным измерением, для которого характерна четкая определенность действий и операций, подлежащих оценке, рассматриваемых чаще всего вне связи с общими свойствами.

Применительно к задачам диагностики и прогнозирования профессиональной пригодности валидность тестов определяется как мера соответствия действительности тех выводов (решений), которые принимаются на основе тестовых оценок. Таким образом валидность относится не столько к самим тестам, сколько к процессу их использования и интерпретации.

Для целей обоснования системы психологического отбора более предпочтительным является определение прогностической валидности, когда тестирование проводится до начала профессионального обучения или работы по специальности, а оценка успешности обучения или деятельности производится тогда, когда уже возможно высказать обоснованное суждение о степени подготовленности или профессионализме ранее обследованного лица (то есть через один, два, три и более года). Данные текущей (диагностической) валидности обладают меньшей прогностической ценностью, потому что лица, которые уже учатся или работают по специальности, прошли «естественный отбор», обладают профессиональными навыками и, следовательно, отличаются от того контингента, который был в начале обучения.

Для прогнозирования профессиональной пригодности используются, как правило, батареи (наборы) тестов – их валидность может оцениваться коэффициентом множественной корреляции и критериями профессиональной успешности. Для объединения тестов в батареи с целью прогноза профессиональной пригодности наиболее широко используются регрессионный и дискриминантный анализы [18, 44, 224].

При решении задачи рационального распределения по специальностям эта процедура чаще всего основывается на последовательном анализе пригодности кандидата к ряду профессий с использованием уравнений регрессии. Однако теоретические и методические вопросы рационального распределения кандидатов на основе оценки и учета степени их профессиональной пригодности до настоящего времени разработаны еще недостаточно.