Перевод личностных тестов,

ТЕСТОВ СОЦИАЛЬНЫХ УСТАНОВОК

И СПОСОБНОСТЕЙ

 

Сравнительно-культурным исследованиям, исполь­зующим психологический инструментарий, немалый вред принесла идея «стандартизированных тестов», то есть убеждение, что существуют некие детально разработан­ные, пригодные в любых целях средства для сравнения, которым соответствуют наборы значимых «популяционных норм»¹. Это понятие стандартизированных тестов —

_____________________________________________________________________________

¹ Детально методологические проблемы использования вопрос­ников и тестов освещаются в ряде работ автора. См., например, C a m p b e l l D. T., F i s k e D. W. Convergent and discriminant validation by the multitrait-multimethod matrix. — Psychol. Bull., 1959, vol. 56, p. 81—105; C a m p b e l l D. T. Recommendations for APA test standards regarding construct, trait, or discriminant vali­dity.— Amer. Psychologist, 1960, vol. 15, p. 546—553; B r e w e r M. B., C a m p b e l l D. T., C r a n o W. D. Testing a single factor model as an alternative to the misuse of partial correlations in hypothesis-

 

 

чуть ли не магическая посылка, согласно которой пси­хологические тесты могут измерять непосредственно и успешно то, что они должны измерять, — ведет при пере­воде таких средств к прискорбной этноцентрической асимметрии. Версия теста на языке исследователя (например, на английском) считается неприкосновенной. Логический позитивизм даже рассматривал ее как опе­рациональное определение того научного конструкта, который предполагается данной методикой (Саmpbell [9], Саmpbell, Fiskе [10], Webb еt а1. [46]). В резуль­тате все усилия переводчиков направлялись на то, чтобы сохранить верность оригиналу. Образный, мета­форический перевод, при котором идиомы языка, на который осуществляется перевод, заменяют собой ана­логичные идиомы оригинала, не допускался из боязни нарушить взаимооднозначную идентичность вопросов. Иллюстративные ссылки сохранялись даже в тех слу­чаях, когда в них упоминались вещи, привычные с точки зрения языка оригинала и экзотические с точки зрения языка перевода. Отсюда и существенная асимметрия, вследствие которой привычные, разговорные, понятные вопросы теста на языке оригинала в тесте на другом языке становятся необычными, неуклюжими и трудными.

Ясно, что в случае интеллектуальных тестов одина­ково одаренные люди будут хуже справляться с вер­сией на местном языке. В случае других типов тестов.характер нарушений нельзя предсказать без учета их конкретного содержания, но и здесь они будут, несом­ненно, играть столь же важную роль. Чтобы исправить дело, нужно рассматривать версию на языке оригинала как саму по себе подлежащую пересмотру. Такой пере­смотр в сочетании с процедурами отбора вопросов при­ведет, очевидно, к тому, что оригинальная версия ста­нет более банальной, менее трудной, более эксплициро­ванной, менее разговорной, менее идиоматической, менее метафорической и не будет включать необычные вопросы. В итоге может быть получен тест, уступаю­щий в отношении надежности и валидности первона­чальной версии. Необходимо будет создать и сравнить

_____________________________________________________________________________

testing research. — Sociometry, 1970, vol. 33, p. 1—11; C r a n o W. D., K e n n y D. A., C a m p b e l l D. T. Does intelligence cause achieve­ment? A cross-lagged panel analysis. — Journ. of Educational Psy­chology, 1972, vol. 63, p. 258—275.

 

 

между собой новые группы обследуемых по новой методике испытуемых, говорящих на языке оригинала. Но, разумеется, лучше иметь сопоставимые данные по двум банальным тестам, нежели данные, несопостави­мые из-за того, что банален только один из них.

Преобладание неосознанного предположения о неиз­меняемости исходной версии можно проиллюстрировать следующим рассуждением Беррина [6], взятым из од­ной его в целом блестящей статьи: «При переводе суждений Эдвардса, взятых из набора суждений для определения личностных предпочтений, на японский язык Ивахара столкнулся еще с одной трудно разреши­мой проблемой. Вопросы, затрагивающие гетеросек­суальные интересы, были слишком грубы и откровенны для особой чувствительности японцев. Он поэтому впи­сал новые суждения по теме гетеросексуальных интере­сов, более приемлемые в данной культуре. Но в таком случае имеем ли мы право, сравнивать японские данные с ответами американцев?» (Berrien [6, с. 39]). В своем пространном ответе на этот вопрос, предполагающем, что решением является процедура валидизации бикультурных конструктов, он упускает из виду другое реше­ние — сбор в США новых данных, полученных при ис­пользовании хорошего обратного перевода на англий­ский язык более деликатных суждений японской версии.

Обратный перевод служит чрезвычайно полезным методом для возможного пересмотра оригинала, равно как и первой версии перевода. Он, кроме того, служит эпистемологической моделью для сложного процесса децентрации. Рассмотрим оригинальный тест, его пер­вый перевод и его первый обратный перевод. У нас теперь две версии на языке оригинала. Какую из них следует использовать при сборе данных на этом языке? Исследователь, сравнив оригинал с первоначальным обратным переводом, остановится, конечно, на ориги­нале. Но который из этих тестов более сопоставим с переводной версией? Без сомнения, обратный перевод — прежде всего вследствие своего сравнительно низкого качества. Если только перевод оказался возможным, у исследователя должно появиться желание собрать данные с помощью этого обратного перевода. Какие бы сомнения ни вызывал у него этот последний, те же самые чувства должен испытывать он и к переводной версии.

 

 

 

 

Р и с. 1. Многократно повторяющаяся последовательность обратных переводов.

 

Понятие обратного перевода, рассматриваемого как многофазовый повторяющийся процесс, служит идеаль­ной концептуализацией децентрированного перевода. В дополнение к значительному контингенту компетент­ных двуязычных переводчиков, для части которых в идеале исходным является один язык, а для какой-то другой их части — другой, следует привлечь одно­язычных экспертов по переводу на каждом из язы­ков. Эти эксперты должны судить об адекватности каж­дого двойного перевода, сравнивая соответствующий исходный текст и его обратный перевод на их родной язык. Попытки пересмотра перевода должны продол­жаться до тех пор, пока его качество не удовлетворит эксперта. Такой процесс иллюстрирует рис. 1. Для процесса децентрации важным моментом является при­сутствие эксперта, владеющего одним только языком перевода. Без него, при наличии одного-единственного эксперта (обычно самого исследователя), который вла­деет только языком оригинала, этот процесс будет по-прежнему приводить к уницентрированному продукту, хотя и не в такой степени, как в случае, когда версия на языке оригинала не подвергается вообще никаким модификациям.

Стратегия сравнения культур должна состоять в том, чтобы наблюдаемые нами культурные различия

 

 

получили одновременно несколько конкурентных интерпретаций и чтобы при этом различие в культурных установках или в личностных переменных было лишь одним из возможных объяснений. Недостатки пере­вода также будут фигурировать в этом ряду в ка­честве одной из правдоподобных конкурентных гипотез. Как и вообще в случае таких конкурентных гипотез (Segall, Campbell, Herskovits [41]; Frijda, Jahoda [16]), этот фактор можно исключить путем изучения влияния, оказываемого сознательно вносимыми вариа­циями. Так, если ответы на все вопросы теста для определения установок указывают на различия, несо­вершенство перевода перестает быть правдоподобной гипотезой. Обратите внимание здесь на следующие две рекомендации: во-первых, когда вопросов много, это лучше, чем когда задан один-единственный вопрос, и, во-вторых, анализировать результаты следует по от­дельным вопросам, а не только по суммарному показа­телю. Вероятность несовершенного перевода столь вели­ка, что даже в случае опроса общественного мнения, где, как правило, каждый отдельный вопрос рассчитан на выявление какого-то общего представления, следует ис­пользовать, по крайней мере, по два вопроса на каждое такое представление. Эти вопросы не должны содержать общих ключевых слов, но должны быть как можно бо­лее идентичны по смыслу.

Один из приемов проверки эквивалентности перевода и оригинала состоит в том, чтобы получить от билинг­вов ответы на одни и те же вопросы, заданные им на обоих языках (см., например, Schachter [40]). Исполь­зованный как формально-статистический подход, этот прием на деле имеет целью установление не столько взаимооднозначного тождества вопросов, сколько экви­валентности средних дисперсий, равно как и соответст­вующих корреляций между показателями по двум фор­мам вопросника или теста. Бенц [4] и Лоннер [32] сообщают о переводах стандартных тестов личности и интересов, которые приближаются к этим требованиям. В исследовании Бенца, в котором принимали участие 60 двуязычных латиноамериканских должностных лиц, межъязыковые корреляции по шести шкалам теста ценностей Олпорта — Вернона, полученные при пятиме­сячном перерыве между обследованиями, равнялись в

 

 

среднем 0,57, тогда как корреляция оценок первого и повторного тестирования с применением (на случайной популяции) одной только исходной англоязычной вер­сии теста после трехмесячного перерыва составила 0,74. Аналогичные цифры для «шкал интереса» Кудера были соответственно 0,75 и 0,90 при перерыве в два месяца. В исследовании Лоннера средняя межъязыко­вая корреляция, полученная на основе опроса 18 евро­пейских психологов по 62 шкалам анкеты на выявле­ние профессиональных интересов, которая предлагалась сначала на немецком, а через месяц на английском языке, равнялась 0,80, в то время как соответствующие корреляции между данными, полученными на гораздо менее однородной группе, которой дважды предлагалась английская версия, составили в среднем 0,91. И Лоннер, и Бенц утверждают, что оптимальный перевод должен был бы привести к тому, чтобы корреляции между разноязычными версиями приближались к дан­ным двукратного опроса с применением одной из них. Но это требование, конечно же, нецелесообразно, по­скольку, как мы уже подчеркивали, перевод в лучшем случае отличается от оригинала как его парафраз на том же самом языке. Если у нас есть парафраз каж­дого вопроса на том же языке и если мы в таком случае обладаем формой А и формой Б, то межъязы­ковая корреляция для формы А в лучшем случае должна быть не выше, чем внутриязыковая корреляция для форм А и Б при сопоставимом временном интер­вале между опросами. А эта последняя будет, разуме­ется, ниже, чем обычная корреляция между данными первого и повторного тестирования. Если у нас нет специально приготовленных парафразов, с этой целью можно использовать разбиение всех вопросов на пары с нивелированными различиями. Чтобы усложнить дан­ную эпистемологическую проблему, отметим, что Эрвин [14] приводит правдоподобный случай для билингвов, которые по-разному проявляются как личности в каж­дом из двух языков (см. также Anderson [2]).

Чаще же всего обращение к адекватному переводу тестов сводится к поиску сходства между разноязычны­ми формами по уровню надежности и валидности, по факторной структуре и другим статистическим параметрам. Это превосходно, когда показатели хорошие,

 

 

и они могут служить совершенно недвусмысленным свидетельством, как в пользу универсальности данной черты, так и в пользу адекватности перевода. Весьма впечатляющие параллельные оценки валидности полу­чил Гау [19, 20]. Однако даже здесь возникает неопре­деленность, связанная с недостатками уницентрированной привязанности к американской версии теста. Так, например, хотя шкала «женственности» была предназ­начена для измерения определенной черты личности для каждого из полов, ее валидность исчисляется уров­нем межполовых различий. Для американской версии этот уровень, определяемый бисериальным коэффициен­том корреляции, равен 0,71. Для других стран соответ­ствующие величины были значимыми, но более низ­кими: для Франции — 0,52, Италии — 0,47, Норвегии — 0,62, Турции — 0,47, Венесуэлы — 0,58. Если бы этот тест был де центрирован (то есть если бы американ­ская версия рассматривалась как столь же нуждающая­ся в редактировании, как и все остальные, если бы вопросы предполагали межполовые различия в интере­сах, наблюдаемые в равной мере в каждой стране, если бы статистические операции по выбору вопросов осуществлялись в едином ключе для всех стран и т. д. и если бы проводилась полицентрированная редакция с помощью обратного перевода), то полученный с его помощью результат мог бы означать, что наибольшие межполовые различия в интересах имели место в США, а наименьшие — в Италии и Турции. Однако наши антропологические знания наводят на мысль, что дело обстоит как раз наоборот, так что значение 0,71 от­ражает просто-напросто культурное смещение теста: будучи построен в расчете на максимизацию межполо­вых различий в США, в других культурах он, естест­венно, справлялся с этой задачей менее успешно.

Если методика разработки децентрированного теста включает в себя такие процедуры, как факторный ана­лиз или выбор вопросов, эти последние должны прово­диться в обоих языках, и для вычисления факторной оценки должны использоваться только те вопросы, ко­торые в обеих культурах предполагают одни и те же факторы (Gordon, Kikuchi [18], Kikuchi, Gordon [26]). И снова на пути к осуществлению этой программы стоит нежелание пересмотреть американскую версию.

 

 

Уницентрические смещения могут принимать крайне изощренные формы и с трудом поддаваться искоре­нению. Гордон (см., например, Gordon, Kikuchi [18]), тонко воспринимающий эти проблемы и указавший на измерения, которые остаются в стороне, когда исследо­вания ценностей имеют своим отправным пунктом толь­ко американский вопросник («ни один из опубликован­ных американских тестов не может измерить очень важную японскую ценность — «гири», или «сыновнюю почтительность»), в одной из более поздних работ [17] допустил ошибку: пользуясь переводом вопросов Q-сортинга, рассчитанного на максимизацию индиви­дуальных различий между американцами, он сделал вывод, что личности китайцев фактически более одно­родны, чем личности американцев. До тех пор пока он не осуществит противоположный процесс, то есть не раз­работает в Китае вопросы Q-сортинга, чтобы максими­зировать различия между китайцами, и не переведет их затем для предъявления в США, подобные выводы ни­чем не оправданы.

Особые проблемы возникают в связи со специфиче­скими характеристиками тестов, о которых, вероятно, можно говорить как о проблемах перевода разве что метафорически: они иллюстрируют собою фундамен­тальные проблемы из области межкультурной эквива­лентности. Шкалы личностных предпочтений Эдвардса, подобно многим более хорошим тестам личности, по­строены так, чтобы удержать респондента от соблазна льстить самому себе, заставляя его выбирать между двумя или тремя утверждениями, выбранными для оценки социальной желательности. Конструируя япон­скую версию теста, Беррин [5], собрав переведенные вопросы, включил их в шкалы социальной желатель­ности в Японии, а затем воспользовался этими совсем иными ценностями, чтобы по-новому объединить свои вопросы в пары. Так, несомненно, и следовало посту­пить, если бы речь шла о тесте для установления раз­личий между японцами. Однако с точки зрения разра­ботки теста для сравнения США и Японии это был не­верный шаг: безукоризненно выполненная процедура перевода должна была бы привести к уравниванию раз­личий в ценностях или потребностях между культу­рами (должны были бы совпасть средние значения

 

 

каждой ценности или потребности и внутри каждой из культур [26]). Фактами, дающими ключ к описанию культурных различий личности, были у Беррина его промежуточные данные, свидетельствовавшие о диффе­ренциальной оценке японцами и американцами социаль­ной желательности одних и тех же ответов. Точно так же шкалы, предложенные Кэнтрилом [11] и создающие, по-видимому, дополнительные возможности для меж­культурного сравнения, без сомнения, полезны с точки зрения сравнительного исследования внутри одной страны, но, поскольку в них берется в качестве основа­ния для сравнения локальный уровень адаптации и локальная система отсчета, в них не выявляются ясно различия, которые могли бы быть здесь обнаружены в противном случае.

В последние годы подчеркивается важность невер­бальных индикаторов социальной установки (см., на­пример, Webb et al. [46]) и применения в межкультур­ном исследовании невербальных задач как одного из способов избежать проблем перевода, связанных с вербальным материалом (Frijda, Jahoda [16]). Указы­ваются, в частности, преимущества задач, которые мо­гут быть предъявлены посредством жеста. Разрабаты­ваемые с целью избежать чрезмерной зависимости от вербальных методов, эти методики, обеспечивая пере­крестную валидизацию с помощью альтернативных средств, заслуживают всяческой поддержки. Невер­бальные методы и методы наблюдения имеют изъя­ны иного рода, нежели те, которые присущи вер­бальным процедурам, и это делает возможной извест­ную методологическую триангуляцию, которая отфильт­ровывает нерелевантные, систематически возникающие погрешности, связанные с каждым отдельным методом (Campbell, Fiske [10]; Webb et al. [46]). Следует, однако, отказаться от какой бы то ни было защиты невербальных задач и наблюдений в роли заменителей (а не дополнений) вербальных методов, поскольку эти невербальные процедуры имеют свои собственные нере­левантные и дезориентирующие компоненты, учитывать которые столь же важно, как и в случае вербальных процедур [46].

Следует, прежде всего, отказаться от мысли, что не­вербальные задачи и инструкции посредством жеста не

 

 

требуют перевода. Жесты действительно часто используются для простейших коммуникаций людьми, говоря­щими на разных языках; тем не менее, жест сам культурно-специфичен: так, члены некоторых этнических групп Новой Гвинеи указывают на предметы глазами и не понимают указания, когда оно делается рукой; болгары заявляют о согласии, качая головой из стороны в сторону, движением, которым мы пользуемся для выражения отрицания; тибетцы выражают одобрение, высовывая язык, и т. д. Невербальные средства иссле­дования нуждаются в столь же полном переводе, что и вербальный материал, но искусство перевода в этом случае совсем еще не развито. Вопросы невербального интеллектуального теста в целом зависят от культу­ры ничуть не меньше, чем вербальные. Обычно они обладают более высокой культурной специфичностью и уницентрированностью. Содержание используемых в тесте личности ТАТ картинок, к которым придумы­ваются рассказы, в очень большой мере обусловле­но культурой. Попытки исправить это положение путем использования новых картинок, соответствующих специ­фике данной культуры, ничуть не приблизили к реше­нию проблемы сравнительного исследования, так как при этом остается возможность, что различия в ответах вызваны различиями между картинками (Lindzey [31]; Doob [12]). В конце концов, прожективный тест лично­сти с вербальной инструкцией «Расскажи мне историю про маленького мальчика и его мать» поддается переводу лучше, чем методика ТАТ, стимулирующая рассказы при помощи картинок. (Этот простой пример помо­гает нам осознать те трудности, которые ожидают нас на этом пути.)

 

 

ЛИТЕРАТУРА

 

1. A l m o n d G., V e r b a S. The civic culture: political attitudes and democracy in five nations. Princeton, N. J., Princeton Univ. Press, 1963.

2. A n d e r s o n R. B. W. On the comparability of meaningful stimuli in cross-cultural research. Sociometry, 1967, 30, 124—136.

3. B a r i o u x M. Experience in the Time International Survey: techniques used in France. Public Opinion Quarterly, 1949, 12, 715—. 718.

 

 

4. B e n t z V. I. A comparison of the Spanish and English ver­sions of the Sears Executive Battery. Chicago, National Personnel Department, Sears, Roebuck and Company. 1955 (Mimeo).

5. B e r r i e n F. K. Japanese and American values. International J. of PsychoL, 1966, 1, 129—141.

6. B e r r i e n F. K. Methodological and related problems in cross-cultural research. International J.of Psychology, 1967, 2, 33—43.

7. B o h a n n a n P. J. Translation: a problem in anthropology. The Listener, 1954, May 13, 815—816.

8. C a m p b e l l D. T. Distinguishing differences of perception from failures of communication in cross-cultural studies. — In: F. S. C.

N o r t h r o p, H. H. Livingston (eds.). Cross-cultural understanding: epistemology in anthropology. N. Y., Harper and Row, 1964.

9. C a m p b e l l D. T. Pattern matching as an essential in distal knowing. — In: K. R. Hammond (ed.). Egon Brunswik's psycho­logy. N. Y., Holt, Rinehart and Winston, 1966.

10. C a m p b e l l D. T., F i s k e D. W. Convergent and discrimi­nant validation by the multitrait-multimethod matrix. PsychoL Bull., 1964, 56, 81—105.

11. C a n t r i l H. The pattern of human concerns. New Brunswick, N. J., Rutgers Univ. Press, 1965.

12. D o o b L. W. Psychology. — In: R. Lystad (ed.). The Afri­can world: a survey of social research. N. Y., Praeger, 1965.

13. D u i j k e r H. C. J. Comparative research in social science with special reference to attitude research. International Social Science Bulletin, 1955, 7, 555—556.

14. Ervin Susan M. Language and TAT content in bilinguals. J. of Abn. and Soc. PsychoL, 1964, 68, 500—507.

15. E r v i n S., B o w e r R. T. Translation problems in inter­national surveys. Public Opinion Quarterly, 1953, 16, 595—604.

16. F r i j d a N., J a h o d a G. On the scope and methods of cross-cultural research. International J. of Psychology, 1966, 1, 109— 127.

17. G o r d o n L. V. Q-typing of Oriental and American youth: initial and clarifying studies. J. of Soc. PsychoL, 1967, 71, 185—195.

18. G o r d o n L. V., K i k u c h i A. American personality tests in cross-cultural research — a caution. J. of Soc. PsychoL, 1966, 69, 179—183.

19. G o u g h H. G. A cross-cultural analysis of the CPI Femininity Scale. J. of Consulting PsychoL, 1966, 30, 136—141.

20. G o u g h H. G. An appraisal of social maturity by means of the CPI. J. of Abnormal PsychoL, 1966, 71, 189—195.

21. H e r s k o v i t s M. J. Man and his works. N. Y., Knopf, 1949.

22. H y m a n H. World surveys — the Japanese angle. Inter­national J. of Opinion and Attitude Research, 1947, 1, 18—30.

23. Jacobson E. H. Methods used for producing comparable data in the OCSR: Seven-Nation Attitude Study. J. of Soc. Iss., 1954, 10, 40—51.

24. J a c o b s o n E. H. Cross-cultural contributions to attitude research. Public Opinion Quarterly, 1960, 24,205—223.

25. K e n n e d y D. A., L e i g h t o n A. M. Pilot study of cultural items. — In: Medical diagnosis, a field report. USPMS Division of Indian Health, Health Education Branch, 1957.

 

 

26. K i k u c h i A., G o r d o n L. V. Evalution and cross-cultural application of a Japanese form of the Survey of Interpersonal Values. J. of Soc. PsychoL, 1966, 69, 185—195.

27. K l u c k h o h n F. H., S t r o d t b e c k F. Variations in value orientations. Evanston, 111., Row, Peterson, 1961.

28. L a m b e r t W. E. Measurement of the linguistic dominance of bilinguals. J. of Abn. and Soc. PsychoL, 1955, 50, 197—200.

29. L a m b e r t W. E., H a v e l k a J., C r o s b y C. The influence acquisition contexts on bilingualism. J. of Abn. and Soc. PsychoL, 1958, 56, 239—244.

30. L e V i n e R. A., Campbell D. T., Ethnocentrism field manual — In: LeVine R. A., Campbell D. T. Ethnocentrism. N. Y., Wiley, 1972, p. 249—296.

31. L i n d z e y G. Projective techniques and cross-cultural rese­arch. N. Y., Appleton-Century-Crofts, 1961.

32. L o n n e r W. J. The SVIB visits German, Austrian and Swiss psychologists. Amer. Psychologist, 1968, 23, 164—179.

33. M i t c h e l l R. E. Survey materials collected in the developing countries: sampling measurement, and interviewing obstacles to intra-and international comparisons. International Social Science Journal, 1965, 17, 677.

34. N i d a E. Linguistics and ethnology in translation. Word, 1945, I, 194—208.

35. N i d a E. Toward a scientific theory of translating. N. Y., J. J. Brill., 1964.

36. O s go o d E. E. Studies on the generality of affective meaning systems. Amer. Psychologist, 1962, 17, 10—28.

37. O s g o o d E. E., Sebeok T. A. (eds.). Psycholinguistics: a survey of theory and research problems. A Morton Prince Memorial Supplement to the Journal of Abnormal Social Psychology, 1954, 49.

38. P h i l l i p s H. P. Problems of translating and meaning in field work. Human Organization, 1959, 18, 184—192.

39. Q u i n e W. V. Word and object. N. Y., Wiley, 1960.

40. S c h a c h t e r S. Interpretative and methodological problems of replicated research. J. of Soc. Iss., 1954, 10, 52—60.

41. S e g a l 1 M. H., C a m p b e l l D. T., H e r s k o v i t s M. J. The influence of culture on visual perception. Indianapolis, Bobbs-Merrill, 1966.

42. S t e r n E., D ' E p i n a y R. L. Some polling experiences in Switzerland. Public Opinion Quarterly, 1948, 11, 553—557.

43. V o e g e l i n C. F. Multiple stage translation. International J. of American Linguistics, 1954, 20, 271—280.

44. V o e g e 1 i n C. F. Anthropological linguistics and trans­lation. To honor Roman Jakobson. Paris, Mouton, 1967, p. 2159— 2190.

45. V o e g e l in C. F., F l o r e n c e M. V o e g e l i n. Selection in Hopi ethics, linguistics, and translation. Anthropological Linguistics, 1960, 2, 48—77.

46. W e b b E. J., Campbell D. T., Schwartz R. D., S e c h r e s t L. B. Unobtrusive measures: nonreactive research in the social sciences. Chicago, Rand McNally, 1966.

 

 

 

ИЗМЕРЕНИЕ ВОЗДЕЙСТВИЙ,

ОКАЗЫВАЕМЫХ ЗАПЛАНИРОВАННЫМ

СОЦИАЛЬНЫМ ИЗМЕНЕНИЕМ ¹

 

Одна из отличительных особенностей всех современ­ных обществ состоит в том, что мы сознательно выби­раем и составляем проекты, которые призваны усовер­шенствовать наши социальные институты. Наше общее затруднение заключается в том, что наши проекты не всегда дают ожидаемые эффекты. Вполне вероятно, на практике все согласятся, что часто мы не можем опре­делить, оказал ли вообще данный проект какое-либо воздействие, — настолько сложен поток исторических изменений, идущих своим чередом, и так велико число других проектов, от которых можно ждать изменений тех же самых показателей.

Эта общая совокупность проблем в сочетании с яв­ной релевантностью процедур социального исследова­ния должна, по-видимому, неизбежно вести к появле­нию в большинстве стран особой отрасли методологии, а также специалистов-методологов, которые сосредото­чивают свое внимание на проблеме измерения воздей­ствий, оказываемых запланированным социальным из­менением. Настоящая работа основывается на допуще­нии, что эта методология в значительной своей части может быть с пользой для дела принята всеми, несмо­тря на различия в формах правления, а также в под-

_____________________________________________________________________________

¹ C a m p b e l l D. T. Assessing the impact of planned social change. — In: Social Research and Public Policies. Ed. by G. M. L y o n s. Hanover, New Hampshire, Univ. Press of New Eng­land, 1975. © University Press of New England, 1975. Один ва­риант работы был представлен на конференцию по социальной пси­хологии в Вышеграде (Венгрия), 1974 г. Публикуется с сокраще­ниями.

 

 

ходах к социальному планированию и выработке реше­ний. Методология оценки эффективности социальных проектов является одной из тех областей науки, кото­рые обладают достаточной универсальностью, чтобы сделать обмен научным опытом взаимовыгодным. Как часть этого обмена, настоящая работа информирует о методологии измерения эффективности программ в том ее варианте, который разрабатывается сейчас в США.

Наиболее распространенным в США наименованием этой развивающейся области исследования является «исследование по оценке эффективности», что в настоя­щее время почти всегда предполагает «оценивание про­грамм» (хотя термин «оценивание» уже давно употреб­ляется для обозначения процедур определения пригод­ности тех или иных лиц для выполнения тех или иных социальных ролей). В этой области уже имеется ряд публикаций — сборников и пособий (Suchman [87]; Caro [28]; Weiss [94, 95]; Rivlin [74]; Rossi, Williams [77]; Glaser [43]; Fairweather [39]; Wholey et al. [100, 101]; Caporaso, Roos [27]; Riecken, Boruch, Campbell, Caplan, Glennan, Pratt, Rees, Williams [73]). Издаются также журнал «Evaluation» и журнал, посвященный оценке программ в сфере образования, — «Evaluation Comment: The Journal of Educational Evaluations». Ряд других жур­налов, например «Social Science Research», «Law and Society Review» и др., публикует данные об исследова­тельских методах в этой области.

Специалисты приходят в эту область из самых раз­ных социальных дисциплин. Широко представлены эко­номисты. Вносят свой вклад специалисты в области исследований операций и других сфер «научного управ­ления». В работе участвуют статистики, социологи, психологи, специалисты в области политических наук, исследователи в сфере социального обслуживания, пе­дагогики. То, что их работы и рекомендации, в конеч­ном счете, сходны, свидетельствует о стремительном ста­новлении новой самостоятельной дисциплины, которая, отделившись от своих столь различных «родителей», может вскоре обрести свою собственную индивидуаль­ность.

Поскольку сам я пришел в эту область из социаль­ной психологии, я, хотя и рассматриваю то, над чем работаю сейчас, скорее как «прикладную социальную

 

 

науку», нежели как собственно социальную психологию, испытываю тем не менее потребность прокомментиро­вать тот особый вклад, который может внести социаль­ная психология в рассматриваемую область. Во-первых, из всех дисциплин, связанных с интересующей нас сфе­рой исследований, одна лишь психология характеризу­ется ориентацией на лабораторный эксперимент, и именно социальные психологи располагают наибольшим опытом распространения лабораторных эксперименталь­ных моделей на социальные ситуации. С тех пор как для уменьшения неопределенности того, «что чем вы­звано», в исследованиях по оцениванию программ по­является модель экспериментальной науки (см. осново­полагающую работу Шухмана [87]), это наиболее зна­чительный вклад, как в отношении общей ориентации, так и в отношении специфических умений.

Во-вторых, психологи лучше всего подготовлены к работе с критическими и аналитическими понятиями в области измерений. Психология благодаря давней тра­диции построения и критического анализа своих собст­венных мер разработала понятия и математические мо­дели надежности и валидности, в которых очень нужда­ется практика оценивания программ, даже, несмотря на то, что эти меры, вероятно, все еще непригодны для изучения некоторых специальных психологических проб­лем. Понятие отклонения, или «погрешности», в то ви­де, в каком оно разработано старой психофизикой при различении «постоянной ошибки» (bias) и «переменной ошибки» (ненадежности), а также более поздние труды по измерению личностных переменных и установок, включая измерение установок на ответ, галоэффектов, факторов социальной желательности, индексной корре­ляции, факторных методов и т. д. (Cronbach [33, 34]; Edwards [38]; Jackson, Messick [54]; Campbell, Siegman, Rees [25]; Campbell, Fiske [24]), также очень важны и не находят отражения в понятии валидности, если оно определяется как коэффициент корреляции с некоторым критерием. Конечно, это не является нашей монополией. В самом деле, кто, как не представители качественной социологии, исследует условия, при кото­рых складывает оружие социальная статистика (см., например, Becker et al. [6, 7]; Douglas [37]; Garfinkel [42]; Kitsuse, Cicourel [59]; Beck [5]), от кого, как не

 

 

от них, исходит необходимый скептицизм по поводу та­ких мер, как данные о частоте самоубийств и преступ­лений? Однако даже здесь именно у психологов оказа­лось достаточно опыта, чтобы различить степени валидности, располагающиеся между полной незначимостью и высшим совершенством, и именно у психологов яви­лось желание использовать, хотя бы критически, те меры, которые, как они знали, были отчасти ненадеж­ны и ошибочны.

В-третьих, многие методологические проблемы осу­ществления социальных проектов и измерения их воз­действий связаны с изучением социально-психологиче­ских аспектов взаимодействия между гражданами и проектами, или между гражданами и способами экспе­риментального воплощения проектов (рандомизация, контрольные группы), или между гражданами и специ­альными измерительными процедурами, используемыми при оценивании. Это специальные проблемы формиро­вания социальных установок и их влияния на ответы, явно находящиеся в сфере нашей компетенции.

После этих замечаний о профессиональных сторонах исследований по оценке эффективности программ в США я хотел бы перейти к проблемам, с которыми мы сталкивались до сих пор, и к решениям, которые нами предлагались. Замечу с сожалением, что со времени моей более ранней работы (Campbell [16]) мы ушли не слишком далеко; однако я попытаюсь привести но­вые иллюстрации.

Последующее изложение сосредоточено, таким обра­зом, на трудностях и проблемах, о которых я считаю необходимым предупредить. Если мы претендуем на то, чтобы быть методологами, мы тем самым намерены быть экспертами по этим проблемам, и, хотелось бы на­деяться, теми, кто вырабатывает решения. Не было бы нужды в такой специальности, если бы не существовали эти проблемы. С этой точки зрения не нужно никаких оправданий. Но мне хотелось бы привлечь новых участ­ников в новую профессию и вдохновить их на то, что­бы они посвятили свои усилия делу, которое может при­нести плоды только с большой отсрочкой. На потенци­альных новых участников, а также и на тех, кто уже занялся этим делом вплотную, полный перечень стоя­щих перед нами трудностей, включая проблему такого

 

 

использования наших умений, которое у нас самих не вызвало бы сожалений, может подействовать только расхолаживающе. Мы пока не можем предложить пол­ный перечень профессиональных умений, гарантирую­щих необходимую эффективность. В нескольких случаях успешного осуществления немногих выгодных программ, оцененных однозначно, общество вполне обходится (или могло бы обойтись) без нашей помощи. Мы все еще не можем привести примеров значительных вкладов в об­щественные нововведения, которыми эти последние были бы обязаны нашим методологическим умениям. Потребность в нашей специальности и конкретные ре­комендации, исходящие от нас, все еще должны быть обоснованы скорее обещаниями, чем уже достигнутыми результатами. Наши рекомендации априорны в том смысле, что они представляют собой экстраполяции в новом контексте, не прошедшие, однако, в этом контек­сте перекрестной валидизации. Что касается меня, то я склонен считать проблему проверки социальных образо­ваний реальностью настолько важной, что наши усилия и профессиональные обязанности полностью оправды­ваются обещанием. Я полагаю, что проблемы неодно­значности свидетельств в пользу эффективности про­грамм настолько близки общим проблемам научного вывода, что указанные экстраполяции в разработке ре­комендаций относительно процедур оценивания про­грамм при наличии соответствующей взаимной критики могут быть хорошо обоснованы. Как бы то ни было, исходя отчасти из представления о том, что слишком многочисленные обещания оказываются одним из основ­ных препятствий для осмысленного оценивания про­грамм, я стремлюсь, однако, с двойственных позиций дать честную пессимистическую картину этих про­блем.

Второй круг проблем связан с тем, что множество методологических трудностей неизбежно создается вза­имодействием различных аспектов политической ситуа­ции, образующих контекст социальных программ и их оценивания.

Именно в сфере методологических проблем, вы­званных к жизни политическими соображениями, теря­ют силу исходные посылки об универсальности наших методологических принципов, едва только мы сопоста-

 

 

вим практику резко отличающихся друг от друга соци­альных, экономических и политических систем. Ученым, собирающимся на международные конференции, боль­шей частью удается избежать разобщающих политиче­ских вопросов путем концентрации внимания на науч­ных задачах, которые объединяют их как ученых. Когда темой является измерение воздействия, оказываемого запланированными социальными изменениями, мы не можем позволить себе такую роскошь. И все же я не теряю надежды на разработку такой технологии, кото­рая принесет пользу любой политической системе. Я по­лагаю, что методология оценивания программ будет во многом независима от содержания самой программы. В пользу этого свидетельствует подчеркивание роли специалистов в области социальных наук, когда дело касается их помощи обществу при выявлении эффектов, вызванных происходящими в этом обществе политиче­скими процессами, и преуменьшение роли этих специа­листов в разработке новых программ. Возможна ли такая независимость от идеологии, и если да, то, как совместима она с долгом социального ученого способст­вовать развитию более аутентичного человеческого со­знания и созданию более человечных форм обществен­ной жизни, — вот вопросы, которые я пока что не рас­сматривал должным образом, не говоря уже об их ре­шении.

В последующих разделах я сгруппировал наши проб­лемы под тремя общими заголовками, однако не очень заботился о том, чтобы строго придерживаться этой рубрикации при обсуждении. Вначале идут специальные вопросы нашего научного сообщества: их следовало бы поставить даже в том случае, если бы ученые, оценива­ющие программы, стремились лишь к одноплановому оцениванию программ. Это «Метанаучные проблемы» и «Статистические проблемы». Последний раздел вклю­чает взаимодействие с общественным контекстом. В раз­деле «Проблемы политической системы» я обращаюсь к вопросам, которые касаются преимущественно поли­тических процессов и правительственных институтов. Некоторые из этих вопросов являются, вероятно, общи­ми для всех крупных бюрократических обществ, а дру­гие — специфическими для условий США.

 

 

Метанаучные вопросы

 

Количественная и качественная методология. Проти­воположность «качественной» и «количественной» форм знания, geisteswissenschaftlich (науки о духе) и naturwissenschaftlich (науки о природе), «гуманистиче­ского» и «сциентистского» подходов характерна сегодня для большинства с

⇐ Предыдущая20212223242526272829Следующая ⇒

Поделиться:

Воспользуйтесь поиском по сайту: