 |
Валидность теста и теория принятия решений
|
|
|
|
Основной подход. Предположим, 100 человек, поступающих на работу, выполнили тест способностей и по прошествии какого-то времени были оценены их успехи в выполнении своих обязанностей. На рис. 6-1 изображено соответствующее двумерное распределение тестовых показателей и мер успешного выполнения работы. Корре-
Глава 6. Валидность: измерение и интерпретация
167
Рис. 6-1. Прирост доли «успешных работников» вследствие использования теста отбора
ляция между этими двумя переменными чуть ниже 0,70. Необходимый минимум выполнения работы, или критический показатель, отмечен на диаграмме жирной горизонтальной линией. Сорок случаев, лежащих ниже этой линии, соответствуют числу людей, не справившихся с работой, а 60 случаев выше нее — числу успешно работающих. Если на работу принимаются все 100 человек, подавших заявление, то, следовательно, 60 % справятся с ней. Подобным же образом, если бы меньшее число работников нанималось наугад, безотносительно к результатам тестирования, доля успешно справившихся с работой была бы, вероятно, близка к 60 %. Предположим, однако, что тестовые показатели используют для отбора из 100 претендентов 45 наиболее перспективных работников (коэффициент отбора = 0,45). В таком случае были бы выбраны 45 человек, попадающие в область справа от жирной вертикальной линии. На диаграмме видно, что из этих 45 человек 7 попадают ниже жирной горизонтальной линии, т. е. в разряд несправившихся с работой, и составляют долю ошибочно принятых, а 38 человек — в разряд успешных работников. Процент успешно справившихся с работой теперь уже равен не 60, а 84 (т. е. 38 / 45 = 0,84). Это увеличение обусловлено применением теста в качестве инструмента отбора. Заметим, что ошибками показателя предсказываемого критерия, не влияющими на принятие решение, можно пренебречь. Селективную эффективность теста будут снижать только те ошибки предсказания, которые ведут к пересечению линии критического показателя и, следовательно, к помещению индивидуума в ошибочную категорию.
|
|
|
Для полной оценки эффективности теста как инструмента отбора необходимо также изучить другую категорию случаев, отображенную на рис. 6-1. Это категория ошибочно непринятых, включающая 22 человека, у которых показатели по тесту ниже критического уровня, а показатели критериальной деятельности выше такового.
168 Часть 2. Технические и методологические принципы
Исходя из полученных данных, можно приблизительно оценить, что 22 % всей выборки претендентов на получение работы, являясь потенциально успешными работниками, будут потеряны в том случае, когда данный тест применяется в качестве инструмента отбора с выбранным таким образом критическим показателем. Устанавливая уровень критического показателя по тесту, следует учитывать процент случаев ошибочного отказа в приеме, а также процент успешных и неуспешных работников в группе отобранных. В определенных ситуациях уровень устанавливаемого критического показателя должен быть достаточно высоким, чтобы почти полностью исключить возможные неудачи. Это необходимо, когда характер работы таков, что недостаточно квалифицированный работник может нанести серьезный ущерб или вред. В качестве примера здесь уместно указать на отбор пилотов гражданской авиации. При других обстоятельствах бывает важнее нанять как можно больше квалифицированных работников, идя на риск принять и больше неспособных к данному роду деятельности. В последнем случае число ошибочных отказов сокращается за счет выбора более низкого уровня критического показателя. К другим факторам, которые обычно влияют на уровень критического показателя, относятся число претендентов, количество вакансий и сроки, в которые эти вакансии необходимо заполнить.1
|
|
|
Во многих кадровых решениях коэффициент отбора определяется практическими требованиями конкретной ситуации. В одних случаях соотношение спроса и предложения обусловливает, например, прием 40 %, а в других — 75 % претендентов (с лучшими показателями, разумеется). Если коэффициент отбора не диктуется внешними обстоятельствами, то критический показатель по тесту может устанавливаться на уровне, обеспечивающем наилучшую дифференциацию двух групп по критериальной деятельности. Приблизительно это можно сделать, сравнивая распределение показателей теста в группах «успешных» и «неуспешных» работников. Разработаны и более точные математические методы определения оптимального уровня критических показателей по тесту (Darlington, & Stauffer, 1966; I. Guttman, & Raju, 1965; Jaeger, 1989; Livingston, & Zieky, 1982; Martin, & Raju, 1992; Rorer, Hoffman, & Hsieh, 1966). Эти методы позволяют учитывать другие релевантные параметры, такие как относительная серьезность ошибочных отказов и необоснованного приема на работу. Однако поскольку такие оценки включаются в реализацию этих методов, постольку на определенном этапе все равно возникает потребность в человеческих, а значит и субъективных, суждениях.
На языке теории принятия решений, представленный на рис. 6-1 пример иллюстрирует простую стратегию отбора претендентов. В более широком смысле, стратегия — это способ использования информации для выработки решения в отношении определенного круга лиц. В данном случае стратегия состоит в приеме 45 человек с самыми высокими тестовыми показателями. Увеличение доли успешно справляющихся со своей работой лиц с 60 до 84 % могло бы послужить основанием для оценивания чистой выгоды от использования теста.
Теория статистических решений была разработана А. Вальдом (Wald, 1950) применительно к решениям, принимаемым, в основном, при выборочном контроле качества массовой продукции. Многие из ее выводов и следствий для конструирования и интерпретации психологических тестов систематически развивали Кронбах и Глесер
|
|
|
1 Сходные вопросы уже рассматривались под другим углом зрения при предварительном обсуждении критических показателей в главе 3.
Глава 6. Валидность: измерение и интерпретация
169
(Cronbach, & Gleser, 1965). В сущности, теория решений представляет собой попытку придать процессу принятия решения математическую форму, с тем чтобы использовать имеющуюся информацию для выработки в конкретных обстоятельствах наиболее эффективных решений. Основные понятия теории принятия решений оказываются полезными для переформулирования и прояснения ряда связанных с тестами вопросов. Некоторые из них были введены в тестирование еще до того, как был разработан формальный аппарат теории статистических решений, и позднее были признаны соответствующими ее аппарату.
Предсказание результатов. Своего рода предшественником теории принятия решений в психологическом тестировании явились таблицы Тейлора—Расселла (Н. С. Taylor, & Russell, 1939), позволявшие определить чистый выигрыш в точности отбора за счет использования теста. Для работы с таблицами нужно знать коэффициент валид-
Таблица 6-1 Доля «успешных работников», на которую можно рассчитывать при заданном коэффициенте отбора и заданной валидности используемого теста (базисная норма - 0,60)
Валидность Коэффициент отбора
0,05 0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,90 0,95
| 0,00 | 0,60 | 0,60 | 0,60 | 0,60 | 0,60 | 0,60 | 0,60 | 0,60 | 0,60 | 0,60 | 0,60 |
| 0,05 | 0,64 | 0,63 | 0,63 | 0,62 | 0,62 | 0,62 | 0,61 | 0,61 | 0,61 | 0,60 | 0,60 |
| 0,10 | 0,68 | 0,67 | 0,65 | 0,64 | 0,64 | 0,63 | 0,63 | 0,62 | 0,61 | 0,61 | 0,60 |
| 0,15 | 0,71 | 0,70 | 0,68 | 0,67 | 0,66 | 0,65 | 0,64 | 0,63 | 0,62 | 0,61 | 0,61 |
| 0,20 | 0,75 | 0,73 | 0,71 | 0,69 | 0,67 | 0,66 | 0,65 | 0,64 | 0,63 | 0,62 | 0,61 |
| 0,25 | 0,78 | 0,76 | 0,73 | 0,71 | 0,69 | 0,68 | 0,66 | 0,65 | 0,63 | 0,62 | 0,61 |
| 0,30 | 0,82 | 0,79 | 0,76 | 0,73 | 0,71 | 0,69 | 0,68 | 0,66 | 0,64 | 0,62 | 0,61 |
| 0,35 | 0,85 | 0,82 | 0,78 | 0,75 | 0,73 | 0,71 | 0,69 | 0,67 | 0,65 | 0,63 | 0,62 |
| 0,40 | 0,88 | 0,85 | 0,81 | 0,78 | 0,75 | 0,73 | 0,70 | 0,68 | 0,66 | 0,63 | 0,62 |
| 0,45 | 0,90 | 0,87 | 0,83 | 0,80 | 0,77 | 0,74 | 0,72 | 0,69 | 0,66 | 0,64 | 0,62 |
| 0,50 | 0,93 | 0,90 | 0,86 | 0,82 | 0,79 | 0,76 | 0,73 | 0,70 | 0,67 | 0,64 | 0,62 |
| 0,55 | 0,95 | 0,92 | 0,88 | 0,84 | 0,81 | 0,78 | 0,75 | 0,71 | 0,68 | 0,64 | 0,62 |
| 0,60 | 0,96 | 0,94 | 0,90 | 0,87 | 0,83 | 0,80 | 0,76 | 0,73 | 0,69 | 0,65 | 0,63 |
| 0,65 | 0,98 | 0,96 | 0,92 | 0,89 | 0,85 | 0,82 | 0,78 | 0,74 | 0,70 | 0,65 | 0,63 |
| 0,70 | 0,99 | 0,97 | 0,94 | 0,91 | 0,87 | 0,84 | 0,80 | 0,75 | 0,71 | 0,66 | 0,63 |
| 0,75 | 0,99 | 0,99 | 0,96 | 0,93 | 0,90 | 0,86 | 0,81 | 0,77 | 0,71 | 0,66 | 0,63 |
| 0,80' | 1,00 | 0,99 | 0,98 | 0,95 | 0,92 | 0,88 | 0,83 | 0,78 | 0,72 | 0,66 | 0,63 |
| 0,85 | 1,00 | 1,00 | 0,99 | 0,97 | 0,95 | 0,91 | 0,86 | 0,80 | 0,73 | 0,66 | 0,63 |
| 0,90 | 1,00 | 1,00 | 1,00 | 0,99 | 0,97 | 0,94 | 0,88 | 0,82 | 0,74 | 0,67 | 0,63 |
| 0,95 | 1,00 | 1,00 | 1,00 | 1,00 | 0,99 | 0,97 | 0,92 | 0,84 | 75 | 0,67 | 0,63 |
| 1,00 | 1,00 | 1,00 | 1,00 | 1,00 | 1,00 | 1,00 | 1,00 | 0,86 | 0,75 | 0,67 | 0,63 |
Примечание. Полный набор таблиц можно найти в Н. С. Taylor & Russell (1939) и в McCormick & Hgen (1980, Appendix В).
|
|
|
(Из Н. С. Taylor & Russell, 1939, р - 576)
170
Часть 2. Технические и методологические принципы
ности теста, долю претендентов, которых необходимо принять (коэффициент отбора), и долю успешно справляющихся с обязанностями работников, отобранных без использования теста (базисную норму). Изменение любого из этих условий может повлиять на предсказуемостную эффективность теста.
В целях иллюстрации воспроизведена одна из таблиц Тейлора—Расселла (табл. 6-1). Данная таблица предназначена для использования с базисной нормой (процентом успешных работников, отобранных до использования теста), равной 0,60. Аналогичные таблицы составлены Тейлором и Расселом для других базисных норм. В верхней строке таблицы приведены различные значения коэффициента отбора, в крайнем левом столбце — коэффициенты валидности теста, а числа на пересечении каждой строки и столбца показывают долю успешных работников, отобранных с помощью тестирования. Разность между любым таким числом и базисной нормой (0,60) показывает прирост правильно отобранных работников за счет использования теста.
Очевидно, если коэффициент отбора равен 100 %, т. е. когда пришлось бы принимать на работу всех претендентов, ни один тест, какой бы высокой ни была его валид-ность, не улучшил бы качества отбора. Из табл. 6-1 видно, что при коэффициенте отбора, равном 0,95, даже абсолютно валидный тест (;■ = 1,00) повысил бы долю успешных работников только на 3 % (с 0,60 до 0,63). Напротив, если из поступающих нужно отобрать только 5 %, то тест с коэффициентом валидности, равным всего 0,30, может повысить процент удачно отбираемых работников с 60 до 82. Этот прирост с 60 до 82 % отражает инкрементную валидность (incremental validity) теста (Securest, 1963), или увеличение прогностической валидности, свойственной данному тесту. Инкре-ментная валидность показывает вклад теста в отбор лиц, которые в дальнейшем будут удовлетворять минимальным требованиям критериальной деятельности. При применении таблиц Тейлора—Расселла, валидность теста, разумеется, должна определяться на группе того же типа, которая использовалась для оценки базисной нормы. Иными словами, вклад теста не оценивается относительно случайного успеха, если только претендентов до этого не отбирали наугад, что весьма маловероятно. Если же претендентов отбирали на основе сведений о предыдущей работе, рекомендательных писем и результатов собеседования, то и вклад теста следует оценивать по тому, что он добавляет к таким методам отбора.
|
|
|
Инкрементная валидность, вытекающая из использования теста, зависит не только от коэффициента отбора, но и от базисной нормы. В рассматриваемой нами иллюстративной ситуации базисная норма указывает на долю успешных работников до момента внедрения теста в целях профотбора. В табл. 6-1 приведены ожидаемые результаты при базисной норме 0,60. В случае других базисных норм нам придется обратиться к другим, соответствующим таблицам в указанном источнике (И. С. Taylor, & Russell, 1939). Давайте рассмотрим пример, когда валидность теста равна 0,60, а коэффициент отбора — 40 %. Каков был бы вклад инкрементной валидности теста при этих условиях, если бы мы начали с базисной нормы в 50 %? И что изменилось бы, если бы мы перешли к таким крайним значениям базисной нормы, как 10 % и 90 %? Обращение к соответствующим таблицам Тейлора—Расселла показывает, что процент успешных работников повысился бы с 50 до 75 в первом случае, с 10 до 21 во втором и с 90 до 99 в третьем. Таким образом, увеличение доли успешных работников, которое можно приписать применению теста, составляет 25 % при базисной норме в 50 %, но только 11 % и 9 % при крайних значениях базисной нормы.
Глава 6. Валидиость: измерение и интерпретация
171
Поведение инкрементной валидности при базисных нормах, близких к нулю или единице, представляет особый интерес для клинической психологин, где базисная норма говорит о частоте патологических состояний, диагностируемых в обследуемой популяции (Buchwald, 1965; Cureton, 1957a; Meehl, & Rosen, 1955; J. S. Wiggins, 1973/ 1988). Например, если у 5 % помещаемых в клинику лиц имеется органическое поражение мозга, то базисная норма для данного диагноза в данной популяции будет равна 5 %. Хотя внедрение любого валидного теста повысит точность диагностики или прогноза, улучшение точности будет максимальным лишь тогда, когда базисные нормы близки к 50 %.
При низких базисных нормах, соответствующих редким патологическим состояниям, это улучшение может оказаться незначительным. В таких случаях использование теста нельзя будет считать оправданным, учитывая издержки, связанные с его проведением и обработкой результатов. В условиях клиники такие издержки включали бы время квалифицированного персонала, которое иначе можно было бы потратить на лечение дополнительных больных (Buchwald, 1965). Какое-то количество ложных положительных диагнозов (false positives), т. е. нормальных лиц, ошибочно отнесенных к той или иной патологии, еще более увеличило бы эти общие издержки в клинической ситуации.
Когда редкая патология настолько серьезна, что необходим срочный диагноз, тесты с умеренной валидностыо можно использовать на раннем этапе последовательных диагностических решений. Например, всех пациентов можно обследовать с помощью легко проводимого теста с невысокой валидностыо. Если устанавливается достаточно высокий критический показатель (высокие показатели в данном случае предпочтительней), то число ложных отрицательных диагнозов (false negatives) будет мало, а число ложных положительных диагнозов, напротив, велико. Последние затем могут быть выявлены при более интенсивном индивидуальном обследовании всех получивших положительный диагноз по тесту. Такой подход целесообразен, когда, например, имеющееся оборудование не позволяет проводить интенсивного индивидуального обследоваш Гя всех пациентов.
Отношение валидности к продуктивности. Во многих практических ситуациях требуется оценить эффективность теста для профотбора не но проценту лиц, преодолевших «планку» минимальных требований к деятельности, а по предельной продуктивности труда отобранных с его помощью работников. Как реальный уровень квалификации работников (или выполнения ими критериальной деятельности), нанятых по результатам тестирования, сравнить с уровнем общей выборки кандидатов, которые могли бы быть приняты на работу без проведения данного теста? После появления работы Тейлора и Расселла некоторые исследователи заинтересовались этим вопросом. Брогден (Brogden, 1946b) первым показал, что ожидаемый прирост продуктивности прямо пропорционален валидности теста. Так, улучшение от применения теста с валидностыо 0,50 составляет 50 % улучшения, ожидаемого при использовании абсолютно валидного теста.
Связь между валидностыо теста и ожидаемым повышением критериальных достижений видна из табл. 6-2. Выражая критериальные показатели в виде стандартных показателей со средним, равным нулю, и SD = 1, эта таблица содержит ожидаемые средние критериальных показателей работников, отобранных при заданном коэффн-
172
Часть 2. Технические и методологические принципы
циенте отбора с помощью теста, имеющего определенную валидность.1 В этом контексте средняя базисная продуктивность, соответствующая деятельности работников, набранных без использования теста, приводится в колонке нулевой валидности. Использовать тест с нулевой валидностью — это все равно, что не использовать никаких тестов. Покажем, как пользоваться этой таблицей. Предположим, приему подлежат 20 % претендентов с самыми высокими показателями (коэффициент отбора 0,20), причем отбор производится с помощью теста, валидность которого равна 0,50. По табл. 6-2 находим, что средний критериальный показатель в отобранной группе превышает средний показатель базисной продуктивности на 0,7 SD, При том же коэффициенте отбора (0,20) и применении идеального теста (с коэффициентом валидности 1,00) средний критериальный показатель принятых на работу претендентов составил бы уже 1,40, т. е. оказался бы ровно в два раза выше, чем при использовании теста с валидностью 0,50. Подобная прямая линейная зависимость имеет место в пределах любой строки табл. 6-2. Например, при коэффициенте отбора 0,60 тест с валидностью 0,25 дает средний критериальный показатель 0,16, в то время как тест с валидностью 0,50 обеспечивает средний критериальный показатель 0,32. Опять-таки удвоение валидности ведет к удвоению показателя продуктивности.
Анализ продуктивности в связи с валидностью тестов, используемых для отбора кадров, был продолжен Шмидтом и его коллегами (Schmidt, Hunter, McKenzie, & Mul-drow, 1979). Выбрав в качестве иллюстративного образца работу программиста в федеральном правительстве, эти исследователи оценили в долларовом эквиваленте повышение продуктивности в результате использования в течение года теста компьютерных способностей (computer aptitude test) (коэффициент валидности равен 0,76) при отборе наемных работников. Они получили свои оценки, применяя методы теории принятия решений к данным, имеющимся в распоряжении Службы управления кадрами США (U. S. Office of Personnel Management). Ожидаемая прибыль рассчитывалась для девяти коэффициентов отбора, варьирующих от 0,05 до 0,80, и для пяти коэффициентов валидности методик предварительного отбора — от нуля (случайный отбор) до 0,50.
Результаты показали впечатляющий прирост продуктивности труда от использования теста при всех этих условиях. Когда отбор на основе теста сравнили со случайным отбором, прирост производительности в долларовом эквиваленте колебался от $97,2 млн при коэффициенте отбора 0,05 до $16,5 млн при коэффициенте отбора0,80. При валидности предварительного отбора 0,50 соответствующий прирост колебался от 33,3 млн до $5,6 млн. Вероятно, этот прирост можно было бы распространить на ожидаемый срок пребывания в должности вновь нанятых служащих, который для программистов в федеральном правительстве, в среднем, составлял чуть меньше 10 лет. Следует также отметить, что эти оценки основаны на предположении, что отбор начинается с претендентов, имеющих высшие показатели по тесту, и продолжается до тех пор, пока не будет достигнуто заданное значение коэффициента отбора. Иначе говоря, эта процедура предполагает оптимальные условия отбора.
Используя данные переписи населения для определения количества работающих программистами среди населения США, эти исследователи также вычислили оценки эффекта использования данного теста на национальном уровне. В еще более широком
1 Таблицу, включающую больше значений коэффициентов отбора и валидности, подготовили Нэйлор и Шайн (Naylor & Shine, 1965).
Таблица 6-2 Средние стандартных критериальных показателей принятых на работу в зависимости от валидности теста и коэффициента отбора
| Коэф- | Коэффициент валидности | ||||||||||||||||||||
| фици- | |||||||||||||||||||||
| бора | 0,00 | 0,05 | 0,10 | 0,15 | 0,20 | 0,25 | 0,30 | 0,35 | 0,40 | 0,45 | 0,50 | 0,55 | 0,60 | 0,65 | 0,70 | 0,75 | 0,80 | 0,85 | 0.90 | 0,95 | 1,00 |
| 0,05 | 0,00 | 0,10 | 0,21 | 0,31 | 0,42 | 0,52 | 0,62 | 0,73 | 0,83 | 0,94 | 1,04 | 1,14 | 1,25 | 1,35 | 1,46 | 1,56 | 1,66 | 1,77 | 1,87 | 1,98 | 2,08 |
| 0,10 | 0,00 | 0,09 | 0,18 | 0,26 | 0,35 | 0,44 | 0,53 | 0,62 | 0,70 | 0,79 | 0,88 | 0,97 | 1,05 | 1,14 | 1,23 | 1,32 | 1,41 | 1,49 | 1,58 | 1,67 | 1,76 |
| 0,15 | 0,00 | 0,08 | 0,15 | 0,23 | 0,31 | 0,39 | 0,46 | 0,54 | 0,62 | 0,70 | 0,77 | 0,85 | 0,93 | 1,01 | 1,08 | 1,16 | 1,24 | 1,32 | 1,39 | 1,47 | 1,55 |
| 0,20 | 0,00 | 0,07 | 0,14 | 0,21 | 0,28 | 0,35 | 0,42 | 0,49 | 0,56 | 0,63 | 0,70 | 0,77 | 0,84 | 0,91 | 0,98 | 1,05 | 1,12 | 1,19 | 1,26 | 1,33 | 1,40 |
| 0,25 | 0,00 | 0,06 | 0,13 | 0,19 | 0,25 | 0,32 | 0,38 | 0,44 | 0,51 | 0,57 | 0,63 | 0,70 | 0,76 | 0,82 | 0,89 | 0,95 | 1,01 | 1,08 | 1,14 | 1,20 | 1,27 |
| 0,30 | 0,00 | 0,06 | 0,12 | 0,17 | 0,23 | 0,29 | 0,35 | 0,40 | 0,46 | 0,52 | 0,58 | 0,64 | 0,69 | 0,75 | 0,81 | 0,87 | 0,92 | 0,98 | 1,04 | 1,10 | 1,16 |
| 0,35 | 0,00 | 0,05 | 0,11 | 0,16 | 0,21 | 0,26 | 0,32 | 0,37 | 0,42 | 0,48 | 0,53 | 0,58 | 0,63 | 0,69 | 0,74 | 0,79 | 0,84 | 0,90 | 0,95 | 1,00 | 1,06 |
| 0,40 | 0,00 | 0,05 | 0,10 | 0,15 | 0,19 | 0,24 | 0,29 | 0,34 | 0,39 | 0,44 | 0,48 | 0,53 | 0,58 | 0,63 | 0,68 | 0,73 | 0,77 | 0,82 | 0,87 | 0,92 | 0,97 |
| 0,45 | 0,00 | 0,04 | 0,09 | 0,13 | 0,18 | 0,22 | 0,26 | 0,31 | 0,35 | 0,40 | 0,44 | 0,48 | 0,53 | 0,57 | 0,62 | 0,66 | 0,70 | 0,75 | 0,79 | 0,84 | 0,88 |
| 0,50 | 0,00 | 0,04 | 0,08 | 0,12 | 0,16 | 0,20 | 0,24 | 0,28 | 0,32 | 0,36 | 0,40 | 0,44 | 0,48 | 0,52 | 0,56 | 0,60 | 0,64 | 0,68 | 0,72 | 0,76 | 0,80 |
| 0,55 | 0,00 | 0,04 | 0,07 | 0,11 | 0,14 | 0,18 | 0,22 | 0,25 | 0,29 | 0,32 | 0,36 | 0,40 | 0,43 | 0,47 | 0,50 | 0,54 | 0,58 | 0,61 | 0,65 | 0,68 | 0,72 |
| 0,60 | 0,00 | 0,03 | 0,06 | 0,10 | 0,13 | 0,16 | 0,19 | 0,23 | 0,26 | 0,29 | 0,32 | 0,35 | 0,39 | 0,42 | 0,45 | 0,48 | 0,52 | 0,55 | 0,58 | 0,61 | 0,64 |
| 0,65 | 0,00 | 0,03 | 0,06 | 0,09 | 0,11 | 0,14 | 0,17 | 0,20 | 0,23 | 0,26 | 0,28 | 0,31 | 0,34 | 0,37 | 0,40 | 0,43 | 0,46 | 0,48 | 0,51 | 0,54 | 0,57 |
| 0,70 | 0,00 | 0,02 | 0,05 | 0,07 | 0,10 | 0,12 | 0,15 | 0,17 | 0,20 | 0,22 | 0,25 | 0,27 | 0,30 | 0,32 | 0,35 | 0,37 | 0,40 | 0,42 | 0,45 | 0,47 | 0,50 |
| 0,75 | 0,00 | 0,02 | 0,04 | 0,06 | 0,08 | 0,11 | 0,13 | 0,15 | 0,17 | 0,19 | 0,21 | 0,23 | 0,25 | 0,27 | 0,30 | 0,32 | 0,33 | 0,36 | 0,38 | 0,40 | 0,42 |
| 0,80 | 0,00 | 0,02 | 0,04 | 0,05 | 0,07 | 0,09 | 0,11 | 0,12 | 0,14 | 0,16 | 0,18 | 0,19 | 0,21 | 0,22 | 0,25 | 0,26 | 0,28 | 0,30 | 0,32 | 0,33 | 0,35 |
| 0,85 | 0,00 | 0,01 | 0,03 | 0,04 | 0,05 | 0,07 | 0,08 | 0,10 | 0,11 | 0,12 | 0,14 | 0,15 | 0,16 | 0,18 | 0,19 | 0,20 | 0,22 | 0,23 | 0,25 | 0,26 | 0,27 |
| 0,90 | 0,00 | 0,01 | 0,02 | 0,03 | 0,04 | 0,05 | 0,06 | 0,07 | 0,08 | 0,09 | 0,10 | 0,11 | 0,12 | 0,13 | 0,14 | 0,15 | 0,16 | 0,17 | 0,18 | 0,19 | 0,20 |
| 0,95 | 0,00 | 0,01 | 0,01 | 0,02 | 0,02 | 0,03 | 0,03 | 0,04 | 0,04 | 0,05 | 0,05 | 0,06 | 0,07 | 0,07 | 0,08 | 0,08 | 0,09 | 0,09 | 0,10 | 0,10 | 0,11 |
(Из Brown & Ghiselli, 1953, p. 342.)
174
Часть 2. Технические и методологические принципы
исследовании Хантер и Шмидт (Hunter, & Schmidt, 1981) выясняли возможность применения тех же статистических методов для анализа рабочих ресурсов в масштабе страны, с учетом всего спектра профессий. Полученные ими предварительные оценки являются по общему признанию пробными и довольно грубыми, а альтернативные методы, применяемые для такого анализа, в общем дают более низкие оценки (Burke, & Frederick, 1984; U. S. Department of Labor, 1983b; Weekley, Frank, O'Connor, & Peters, 1985). Тем не менее имеющиеся на данный момент результаты убедительно свидетельствуют в пользу того, что эффективные методы распределения людских ресурсов по рабочим местам могут способствовать существенному увеличению валового продукта страны. Природа продуктивного труда, равно как и влияющие на производительность индивидуальные и организационные условия, привлекают все большее внимание исследователей. Прежде всего, это касается развивающейся области исследований критериев, используемых при валидизации тестов, в которой демонстрируются заметные теоретические и методологические достижения (J. P. Campbell, Campbell, & Associates, 1988; Hunter, Schmidt, & Judiesch, 1990; Raju, Burke, &Normand, 1990).
Понятие полезности в теории принятия решений. Именно теория принятия решений позволяет оценить тесты по их эффективности в конкретной ситуации. Такая оценка учитывает не только валидность теста при предсказании определенного критерия, но и ряд других параметров, включая базисную норму и коэффициент отбора. Еще одним важным параметром является относительная полезность (utility) ожидаемых результатов, определенным образом оцененная благоприятность или неблагоприятность каждого из них. Отсутствие адекватных методов для приписывания значений результатам с точки зрения единой шкалы полезности служило главным препятствием на пути применения теории принятия решений. В промышленности возможные результаты принимаемых решений часто можно оценить в долларах и центах. Но даже здесь трудно дать денежную оценку некоторым результатам, имеющим непосредственное отношение к доброй воле, социальным отношениям и моральному духу персонала. Решения в области образования должны приниматься с учетом целей учебного заведения, социальных ценностей и других трудно уловимых факторов, а при индивидуальном консультировании — с учетом предпочтений и системы ценностей конкретного человека. Однако уже неоднократно указывалось, что вовсе не теория принятия решений ввела проблему ценностей в процесс принятия решений, она просто сделала ее эксплицитной. Системы ценностей всегда входили составной частью в принимаемые решения, хотя и не сознавались так ясно, да и не согласовывались так систематично, как это имеет место теперь, при использовании теории принятия решений.
Иллюстрацией достижений в развитии методов приписывания ценности альтернативам в моделях принятия решений служит упоминавшееся выше исследование производительности, выполненное Шмидтом, Хантером и их коллегами. Хотя разработанные ими методы предполагают оценку создаваемых работниками товаров и услуг в долларовом эквиваленте, они применимы и для измерения других ценностей. Те же методы, базирующиеся на квантификации человеческих суждений, можно использовать с любой произвольной числовой шкалой, при условии, что эта шкала явно определена и последовательно применяется ко всем результатам. Следует отметить, что требуемые в моделях принятия решений оценки имеют отношение не к абсолютной, а лишь к относительной ценности различных результатов. Всестороннее рассмот-
ГЛава 6. Валидность: измерение и интерпретация 175
реиие технических аспектов оценки полезности в кадровых решениях можно найти в работе Boudreau (1991).1
При выборе стратегии решения цель заключается в максимизации ожидаемой полезности на всем множестве результатов. Схема простой стратегии, представленная на рис. 6-2, поможет прояснить суть метода. На этой схеме изображена стратегия принятия решений в ситуации, отображенной на рис. 6-1, когда в группе претендентов на получение работы проводился всего один тест и на основе сравнения индивидуальных показателей с критическим показателем но этому тесту выносились решения о приеме на работу или отказе. В этой ситуации имеется всего четыре возможных исхода, или результата: правильное/ошибочное принятие и правильное/ошибочное непринятие. Вероятность каждого результата можно вычислить, исходя из числа претендентов, попадающих в каждый квадрант на рис. 6-1. Поскольку в этом примере было всего 100 претендентов, то искомые вероятности, приведенные на рис. 6-2, рассчитываются путем деления каждого из четырех чисел на 100.
Кроме того, нужно знать полезности различных результатов, выраженные в единой шкале. Эти гипотетические величины, полученные с помощью любой оценочной процедуры, приведены в последнем столбце на рис. 6-2. Общую ожидаемую полезность стратегии можно найти, перемножая для каждого из результатов их вероятности и полезности, складывая полученные произведения, а затем вычитая из суммы величину, соответствующую издержкам тестирования. Эта последняя величина высвечивает тот факт, что тесту с низкой валидностыо скорее будет отдано предпочтение в ситуации выбора, если он краток, недорог, легко может проводиться малоквалифицированным персоналом и пригоден для группового проведения. Индивидуальному тесту, требующему для своего проведения квалифицированного специалиста или дорогостоящего оборудования, нужно было бы иметь более высокую валидность, чтобы оказаться выбранным для практического использования. В гипотетическом примере на рис. 6-2 величина издержек тестирования, оцененных по шкале полезности, составляет 0,10. Общая ожидаемая полезность (EU) этой стратегии вычисляется следующим образом:
EU = (038X1,00) + (0,07)(-1,00) + (0,33)(0) + (0,22)(-0,50) - 0,10 = +0,10.
Эту £[/можно затем сравнить с другими EU, вычисленными при различных значениях критического показателя, при применении разных тестов (различающихся по Валидности и затратам на проведение и обработку данных) или тестовой батареи, а также при использовании различных стратегий принятия решений.2
Последовательные стратегии и адаптивный подход. В некоторых ситуациях эффективность теста можно повысить, применяя более сложные стратегии принятия решений, учитывающие большее число параметров. Два примера помогут проиллюстрировать возможности таких стратегий. Во-первых, тесты могут использоваться не только в качестве основания для окончательного решения, но и для последовательного принятия решений. В случае простой стратегии (см. рис. 6-1 и 6-2) все решения носят окончательный характер. Напротив, на рис. 6-3 показана двухэтапная иоследователь-
Что касается других теоретических перспектив оценки полезности, см. Cascio & Morris (1990). Messick (1989, p. 78-81), Sadacca, Campbell, Difazio, Sclmltz, & White (1990).
Примеры нескольких стратегий принятия решения, в которых показаны все этапы вычислений, м"жно найти в работе Виггинса Q. S. Wiggins, 1973/1988, chap. 6).
176
Часть 2. Технические и методологические принципы
Рис. 6-2. Простая стратегия принятия решения
ная стратегия. В качестве теста А можно было бы использовать короткий, легкий в проведении, скрининговый тест. На основе результатов этого теста претендентов можно было бы распределить по трем категориям: те, кто будет принят на работу без дополнительных испытаний; те, кто получит окончательный отказ в приеме, и те, кто образует промежуточную группу «сомнительных» случаев. Далее последних можно было бы подвергнуть более интенсивному обследованию с помощью теста В, и уже по результатам второго этапа тестирования разделить эту группу на две категории: принятых и не принятых на работу.
Другая стратегия, пригодная для диагностики психологических расстройств, заключается в том, чтобы использовать только две категории, но дополнительно тестировать всех, кому на первом этапе тестирования был поставлен положительный диагноз (что указывает на возможную патологию). Эта стратегия уже упоминалась выше в связи с использованием тестов для диагностики патологических состояний при крайне низких базисных нормах.
Рис. 6-3. Последовательная стратегия принятия решения
Пилава 6. Валидность: измерение и интерпретация 177
1-------------------------------. ------------------------------------------.--------------------------------------------------
Следует также отметить, что в действительности многие кадровые решения принимаются в соответствии с последовательной стратегией, хотя это и не всегда осознается. Некомпетентные работники, принятые вследствие ошибки прогноза, обычно могут быть уволены по истечении испытательного срока; отчисляются также на ряде этапов не справляющиеся с учебными программами студенты. В таких ситуациях только отрицательное решение оказывается окончательным. Конечно, ошибки отбора, которые затем исправляются, могут дорого обходиться с точки зрения той или иной системы ценностей. Но все-таки они часто сопряжены с меньшими издержками, чем окончательное ошибочное решение.
Вторым условием, влияющим на эффективность психологического теста, является доступность альтернативных методов и возможность адаптивного подхода, учитывающего индивидуальные особенности. Примером может служить использование различных программ и методов подготовки персонала в зависимости от уровня их способностей или введение программ коррекции для учеников с определенными трудностями в обучении. В этих условиях стратегия принятия решения в отношении конкретного случая должна строиться с учетом имеющихся сведений о взаимодействии между первоначальным результатом теста и дифференцированным воздействием. Адаптивный подход нередко позволяет значительно повысить процент успешно справляющихся с учебой или работой. Поскольку подбор альтернативного воздействия или режима для конкретного человека является, по существу, проблемой классификации, а не отбора, соответствующая методология будет рассмотрена позже, в разделе, посвященном классификационным решениям.
|
|
|
