Отклонения, связанные с методом

Отклонения, связанные с конструктом

Отклонения, связанные с конструктом, могут появиться, если дефиниции конст­рукта в разных группах не вполне совпадают. Выше упоминалась работа Хо (Но, 1996) на тему сыновней благодарности. Другой пример касается работы по иссле­дованию личности. Янг и Бонд (Yang & Bond, 1990) предъявили американские и китайские личностные дескрипторы группе испытуемых из Тайваня. Факторный анализ показал различия в китайских и американских факторах. Подобным образом, Чеунг и соавторы (Cheung et al., 1996) пришел к выводу, что пятифакторная модель личности (McCrae & Costa, 1997), в основе которой лежат западные пред­ставления, не включает всех аспектов, уместных, по мнению китайца, при описа­нии личности. Помимо западных факторов (экстраверсия, согласие, сознатель­ность, невротичность/эмоциональная устойчивость и открытость) были обнару­жены два китайских фактора: лицо и гармония.

Отклонения, связанные с конструктом, могут также быть вызваны различиями в адекватности поведения, которое связано с данным конструктом в разных куль­турах. Можно привести пример из исследования умственных способностей. Запад­ные тесты умственных способностей обычно уделяют основное внимание способ­ности к рассуждениям и логическому мышлению (как делает это Тест прогрессив­ных матриц Равена), проверка которых дополняется, как правило, множеством тестов для определения суммы приобретенных знаний (такие, как шкалы оценки словарного запаса среди векслеровских шкал). Когда представителя западной культуры спрашивают, какие характеристики он связывает с понятием умный че­ловек, в ответ часто упоминаются способность к логическому мышлению и обшир­ные знания. Кроме того, упоминаются социальные аспекты интеллекта. Соци­альные аспекты значат гораздо больше в представлении об интеллекте для групп, представляющих незападные культуры. В племени кокуэт (Кения) матери счита­ют, что умный ребенок знает свое место в семье и умеет вести себя должным обра­зом, например знает, как следует обращаться к другим людям. Умный ребенок послушен и не создает проблем (Mundy-Castle, 1974, цит. по Segall, Dasen, Berry & Poortinga, 1990). Исследования, проведенные в Замбии (Serpell, 1993) и Японии (Azuma & Kashiwagi, 1987), также показывают, что описание умного человека вы­ходит за пределы области, связанной с обучением, с которой, как правило, ассоци­ируется интеллект в Соединенных Штатах и Европе, и что социальные аспекты, возможно, считаются в незападных странах более релевантными. Куо и Марселла (Kuo & Marsella, 1977), которые изучали макиавеллизм в Китае и Соединенных Штатах, приводят еще один пример. Сравнение результатов факторного анализа ясно показывает различия в характеристиках поведения, которые ассоциируются с данным конструктом в этих странах.

И, наконец, слишком узкая выборка релевантных видов поведения, показатель­ных для данного конструкта, также может послужить источником отклонений. Триандис (Triandis, 1978) более 20 лет назад жаловался, что, желая оценить доста­точно обширный конструкт, мы подходим к нему со слишком узкими критериями, которые дают лишь частичное представление о нем. Введенное Эмбретсоном (Embretson, 1983) понятие о неполном представлении конструкта связано с той же проблемой неудовлетворительных тестов для оценки широкого конструкта. При­зывы изменить эту практику, как правило, пропускают мимо ушей. Слишком уз­кое определение выборки может проистекать и из другого источника. В процессе ряда эмпирических исследований отклонений, связанных с тестовыми заданиями, обнаруживалась столь значительная доля тестовых заданий, приводящих к откло­нениям, что их исключение приведет к неполному представлению конструкта. Ван Лиист (Van Leest, 1997a, 1997b) обнаружил, что в Нидерландском личностном опроснике более половины вопросов вызывают отклонения при сравнении претендентов на работу, которые являются коренными жителями, и иммигрантов. Подоб­ным образом, в процессе кросс-культурного Раш-анализа[1] Культурно-свободного теста интеллекта Кеттелла, который был предложен американским и нигерийским студентам, Ненти и Динеро (Nenty & Dinero, 1981) были вынуждены снять 24 из 46 заданий, поскольку они либо не соответствовали модели Раша, либо вели к кросс-культурным отклонениям.

Отклонения, связанные с методом

Очевидно, отклонения, связанные с выборкой, представляют тем большую опас­ность для кросс-культурных сравнений, чем больше отличаются исследуемые культуры; значительная культурная дистанция часто увеличивает количество аль­тернативных объяснений кросс-культурных различий, которые приходится при­нимать во внимание. Как правило, конкурирующими являются два типа объясне­ний: кросс-культурные различия связываются с социальной желательностью или знакомством со стимулами (testwiseness — тестовая осведомленность). Основная проблема, касающаяся как желательности в социальном плане, так и тестовой ос­ведомленности, это их взаимосвязь с благосостоянием страны, которое в рабочем порядке часто определяется через валовой национальный продукт (на душу насе­ления). Ван Хемерт, ван де Вивьер, Пуртинга и Георгас (Van Hemert, van de Vijver, Poortinga & Georgas, в печати) исследовали взаимосвязь оценок по Шкале лжи (шкала желательности в социальном плане, которая является составной частью Личностного опросника Айзенка) и валового национального продукта. Они обнару­жили высокий уровень негативной корреляции -0,70. В странах с более высоким уровнем благосостояния оценки желательности в социальном плане были, как пра­вило, более низкими. Подобным образом, Уильяме, Саттеруайт и Сейз (Williams, Satterwhite& Saiz, 1998) обратились к студентам из 10 стран (Чили, Китай, Корея, Нигерия, Норвегия, Пакистан, Португалия, Сингапур, Турция и США) с просьбой расположить 300 терминов, описывающих человека, в порядке привлекательно­сти связанных с ними понятий. Привлекательность, очевидно, тесно связана с желательностью в социальном плане. Среднее значение по стране по 300 пунктам (которое предположительно отражает желательность в социальном плане, посколь­ку предложенные прилагательные представляли собой обширную выборку как привлекательных, так и не вызывающих одобрение качеств) находилось в соотно­шении -0,66 с уровнем благосостояния.

Процедура отбора испытуемых является еще одним потенциальным источни­ком отклонений, связанных с выборкой, при проведении когнитивных тестов. Так, мотивация при демонстрации установок или способностей может зависеть от об­щего количества психологических тестов, которые прошел испытуемый, от добро­вольности участия в тестировании и других моментов, влияющих на результаты.

Отклонения при проведении тестирования могут быть вызваны различиями физического, технического или социального характера, касающимися внешних условий проведения теста. Например, когда интервью проводится в доме респондента, физические условия (например, шум, присутствие посторонних) затрудня­ют проведение кросс-культурного исследования. Примерами внешних условий со­циального характера служат индивидуальное (или групповое) тестирование, про­странство между тестируемыми (при групповом тестировании) или размер класса (при тестировании в условиях учебного заведения). К прочим источникам откло­нений, связанным с проведением тестирования, относятся нечеткость инструкций при проведении теста и неопределенность установок проводящих тестирование или различия в восприятии данных инструкций. Степень влияния эксперимен­татора или интервьюера на результаты оценок изучалась эмпирическим путем; к сожалению, отдельные исследования характеризовались неадекватным планиро­ванием, при котором не изучались все возможные комбинации культур испытуе­мых и экспериментаторов. При когнитивном тестировании присутствие экспери­ментатора обычно не создает больших помех (Jensen, 1980). При опросах обще­ственного мнения имеется большее количество доказательств влияния, которое оказывает интервьюер (Singer & Presser, 1989). Зафиксировано проявление уважи­тельного отношения к интервьюеру; испытуемые склонялись к выражению более позитивного отношения к представителям определенной культурной группы, если интервью проводилось тем, кто к ней принадлежит (например, Aquilino, 1994; Cotter, Cohen & Coulter, 1982; Reese, Danielson, Shoemaker, Chang, Hsu, 1986).

Последним источником отклонений, связанным с проведением тестирования, являются проблемы коммуникационного характера, возникающие между респон­дентом и лицом, осуществляющим тестирование/интервьюером. Например, на конечный результат может повлиять вмешательство переводчика. Проблемы ком­муникации не сводятся к работе с переводчиками. Языковые проблемы могут быть источником значительных отклонений, когда, что нередко при проведении кросс-культурных исследований, тестирование или интервью проводятся на втором или третьем языке для интервьюера или респондента. Случаи непонимания носителя­ми языка тех, для кого он иностранный, можно найти в работе Гасса и Варониса (Gass & Varonis_T1991).

Отклонения, связанные с инструментарием исследования, распространены при проведении когнитивных тестов. Интересным примером является применение Писвангером (Piswanger, 1975) Венского теста матриц (Formann & Piswanger, 1979), рисуночного теста индуктивного мышления по Равену, в старших классах школ Австрии, Нигерии (арабской образовательной ориентации) и Того. Наиболее замечательным открытием были кросс-культурные различия, которые проявились в трудности выполнения тестовых заданий, предполагавших выявление и приме­нение закономерностей перемещения по горизонтали (то есть слева направо). Объяснялось это различным направлением письма латиницей (слева направо) и арабским шрифтом (справа налево).

Отклонения, связанные с тестовыми заданиями

Отклонения, связанные с тестовыми заданиями, обычно вызываются неудачным переводом тестовых заданий, неоднозначностью тестовых заданий, низким уров­нем осведомленности о содержании тестового задания или недостаточной адекват­ностью его содержания в отношении определенных культур, влиянием культурной

специфики, такой как факторы, создающие помехи, или иной коннотацией слов, входящих в состав тестового задания. Перевод тестового задания может оказаться неудачным как из-за ошибок при переводе, так и в связи с лингвистическими осо­бенностями определенного стиля. Даже переводы, корректные с точки зрения лин­гвиста, могут тем не менее обладать низким качеством с точки зрения психолога. Хороший пример дает Хамблтон (Hambleton, 1994, р. 235). Тест, проверявший достижения в учебе в рамках крупного международного исследования, содержал вопрос: «Где должны обитать птицы с перепончатыми лапами?» По сравнению с повсеместно полученными результатами, данный вопрос оказался чрезвычайно легким для шведов. Когда был сделан обратный перевод со шведского языка, ста­ло понятно, почему. Шведский перевод с английского языка сочетания «птица с перепончатыми лапами» был таков «птица с лапами для плавания», что давало куда более надежную подсказку для ответа на вопрос, чем английский вариант.

Культурная специфика, связанная с содержанием и/или с коннотацией тесто­вого задания, представляет собой распространенный источник отклонений, связан­ных с тестовыми заданиями. Следующий пример, данный Салей (Szalay, 1981), может служить иллюстрацией обладающей культурной спецификой коннотации.

Английское слово corruption (порча, развращенность, коррупция) вне всяких сомне­ний точно соответствует корейскому слову pupae [при его написании использован специальный фонетический значок. — Т. Г.], но это еще не гарантирует совпадение значения этих слов в разных культурах. Разный культурный опыт ведет к различной интерпретации, которая не дается в традиционных словарях. Систематическое срав­нение корейских и американских значений слова corruption показывает, что для обе­их групп данное понятие включает дурное, предосудительное поведение. Важное различие состоит в том, что в соответствии с американской интерпретацией такое поведение отвергается по соображениям нравственности: это недостойное поведение и это преступление. Для корейца коррупция не является недостойным поведением с точки зрения нравственности; такое поведение является неподобающим в том смысле, что создает помехи в выполнении правительством и социальными институтами своих функций; к тому же оно ведет к негативным социальным последствиям (р. 141).

Отклонения, связанные с тестовыми заданиями, могут возникать также в связи с идиоматическими выражениями или неточно переведенными словами, как, на­пример, известное немецкое Zeitgeist, которое не имеет точного соответствия в ан­глийском языке, или английское слово distress (страдание, несчастье, утомление, нужда, нищета), которое во многих языках не имеет эквивалента.

Как справиться с отклонениями

Есть разные пути, помогающие справиться с отклонениями (ср. Poortinga & Van der Flier, 1988). Первый способ — пренебречь ими. На первый взгляд предложение не принимать отклонения во внимание может показаться парадоксальным, по­скольку игнорирование отклонений не может рассматриваться как вариант реше­ния вопроса. Причина того, что этот путь упоминается здесь, в его популярности. Многие кросс-культурные исследования, отчеты о которых опубликованы в лите­ратуре, не включают анализ отклонений и интерпретируют все наблюдаемые кросс-культурные различия в соответствии с их видимой значимостью. С методе-

логической точки зрения, подход, которому свойственны такие «набеги», едва ли можно оправдать; именно он вполне может быть одним из факторов медленного теоретического прогресса в кросс-культурной психологии. Второе, отклонения могут рассматриваться как показатель того, что инструмент является неадекват­ным для кросс-культурного сравнения; если наблюдаются отклонения, исследова­тель может принять решение воздержаться от таких сравнений. Такой подход ра­зумен, однако ставит слишком много ограничений. Отклонения могут быть неиз­бежны, в особенности, когда речь идет о сравнении весьма непохожих культурных групп (например, различная тестовая осведомленность при сравнении учеников, представляющих различные системы образования). Третье, отклонения могут рас­сматриваться как источник важных сведений, дающих ключ к пониманию кросс-культурных различий. При таком подходе отклонения определяют культурную специфику, тогда как инструменты (или их части), которые не обнаруживают от­клонений, указывают на универсалии.

Сравнения вызывающих и не вызывающих отклонения составляющих инстру­мента дают богатый материал, касающийся кросс-культурных различий. Напри­мер, Танака-Мацуми и Марселла (Tanaka-Matsumi & Marsella, 1976) попросили японцев и американцев назвать слова, которые связаны с депрессией; вторая груп­па чаще называла слова, определяющие настроение, в то время как первая предпо­читала понятия соматического характера. Это говорит о том, что анализ отклоне­ний показал бы, вероятно, в данном случае наличие структурной эквивалентности для некоторых соматических симптомов и отсутствие структурной эквивалентно­сти для большинства прочих симптомов. Соматические реакции определяют об­щие аспекты, а настроение представляет собой культурную специфику данного явления.

Четвертое, можно попытаться снизить отклонения. Известным способом сни­жения отклонений, связанных с методом, является культурная децентрализация (Werner & Campbell, 1970) (табл. 5.2). Слова и понятия, которые специфичны для отдельного языка или культуры, опускаются (например, Cortese & Smyth, 1979). Этот подход работает наилучшим образом при проведении одновременно лингви­стической и культурной экспертизы всех культур, которые являются объектом исследования. Другой путь преодоления отклонений, связанных с конструктом, это конвергентный подход: инструменты исследования независимо разрабатывают­ся в рамках различных культур (на разных языках), затем все инструменты перево­дятся и предлагаются испытуемым, представляющим все эти культуры (Campbell, 1986).

Некоторые приемы снижения отклонений применимы при сочетании отклоне­ний, связанных с конструктом, с отклонениями, связанными с методом. Такие при­емы предполагают работу с нестандартными выборками или методами сбора дан­ных. Например, можно обратиться к информантам местного происхождения с просьбой оценить адекватность инструмента, провести на месте опросы обществен­ного мнения, использовать инструменты нестандартным путем, чтобы проверить, правильно ли понимаются задаваемые вопросы. Роль информантов местного про­исхождения хорошо проиллюстрирована в исследовании Брандта с соавторами (Brandt & Boucher, 1986), которые интересовались местом депрессии в эмоциональных лексиконах. Эти авторы не предъявляли список терминов, связанных с эмоциями, но собирали такие термины с помощью местных информантов (в Австра­лии, Индонезии, Японии, Корее, Малайзии, Пуэрто-Рико, Шри-Ланке и США). Четко выделенная совокупность терминов, связанных с депрессией, была обнаружена только в Японии, Индонезии, Шри-Ланке и США. Для других языков сло­ва, которые ассоциируются с депрессией, прежде всего связываются с совокупно­стями, обозначающими печаль.

То, что может быть полезна нестандартная процедура проведения теста, проил­люстрировано в исследовании Броера (Вгоег, 1996). Он хотел дать Венский тест матриц студентам первого курса в Чили и в Австрии. В процессе предварительно­го исследования было обнаружено, что чилийцам требуется больше времени для ответа на вопросы. В руководстве указывалось общая продолжительность прове­дения теста, составляющая 25 минут, время, достаточное для большинства испы­туемых из Австрии (где был разработан данный тест), чтобы выполнить задание. При кросс-культурном исследовании эти ограничения были сняты, чтобы у всех испытуемых было достаточно времени на выполнение теста. Выяснилось, что за 25 минут выполнили тест более 90 % австрийцев и лишь 55 % чилийцев. Средние тестовые оценки, полученные при неограниченном времени на выполнение теста, отличались не существенно. Интересно, что оценки были зарегистрированы и по истечении 25 минут, и на этот момент времени различия между представителями двух стран были весьма существенными. Данные по кросс-культурным различи­ям, полученные в соответствии со стандартными инструкциями, могли показать существенное расхождения, тем самым заставляя сделать неправильный вывод о разном уровне навыков индуктивного мышления в группах.

Иногда при проведении исследований есть возможность включить в них билин­гвов. Например, Хокевар, Эль-Захар и Комбос (Hocevar, El-Zahhar & Combos, 1989) дали билингвам англо-венгерского происхождения опросники тревожности и возбудимости на обоих языках. Работа с билингвами сама по себе весьма заман­чива, хотя, надо признать, имеет свои недостатки. Билингвы, как правило, не явля­ются типичными представителями населения, поскольку часто они более образо­ванны и находятся в более широком контакте с другими языками и культурами.

Более основательная подготовка экспериментаторов и стандартизация проце­дуры тестирования, которая должна быть детально изложена в руководстве по проведению теста, является важным средством, позволяющем уменьшить откло­нения, связанные с методом. Если культуры близки друг другу, такой стандар­тизации достаточно, чтобы предотвратить появление нежелательных различий в оценках.

 

Таблица 5.2

Стратегии выявления и преодоления отклонений при кросс-культурной оценке

Вид отклонений	Стратегии
Отклонения, связанные с конструктом	Децентрализация (то есть одновременная разработка одних и тех же инструментов в рамках нескольких культур) Конвергентный подход (то есть независимая разработка инструментов в рамках каждой из культур с последующей кросс-культурной апроба­цией всех инструментов)
Отклонения, связанные с конструктом и/или с методом	Использование информантов, обладающих специальными знаниями, связанными с местной культурой и языком Включение в выборки испытуемых-билингвов Использование опросов местного населения (например, контент-ана­лиз ответов на открытые вопросы) Использование нестандартных инструментов (например, размышле­ния вслух) Кросс-культурное сравнение помологических схем (например, иссле­дования конвергентной/дискриминантпой валидности, коннотация ключевых фраз)
Отклонения, связанные с методом	Более основательная подготовка экспериментаторов (например, повы­шение уровня культурной чувствительности) Подробное руководство/протокол по проведению тестирования, под­ведению итогов и интерпретации результатов Подробные инструкции (например, снабженные достаточным коли­чеством примеров и/или упражнений) Использование испытуемых с различными переменными (например, разный уровень образования) Использование побочной информации (например, поведение при по­лучении задания или отношение к тестированию) Оценка стиля ответов Использование тест-ретестовых, учебных и/или промежуточных ис­следований
Отклонения, связанные с тестовыми заданиями	Оценочные методы выявления отклонений (например, лингвистиче­ский и психологический анализ) Психометрические методы выявления отклонений (например, анализ различной функциональной значимости тестовых заданий) Анализ ошибок или сомнительных моментов

Источник: van de Vijver & Tanzer, 1997.

Если культурная дистанция между группами велика, основательной подготов­ки и подробного руководства, возможно, будет недостаточно, и потребуются допол­нительные меры. Примером таких мер могут стать использование побочной инфор­мации, связанной с тестированием (например, поведение при получении задания или время, требуемое на выполнение задания в тесте максимальных возможно­стей), оценка связанных с результатом характеристик, по которым отличаются культуры. Например, уместна оценка образовательного уровня при проверке ум­ственных способностей или использование опросников, определяющих желатель­ность в социальном плане, при исследованиях личности или установок. Пуртинга и ван де Вивьер (Poortinga & van de Vijver, 1987) для характеристик людей, выбо­рок и процедуры проведения теста, которые предположительно влияют на результат исследований, вводят термин переменные контекста.Включая перемен­ные контекста в исследование, становится возможным статистически проверить их влияние в процессе ковариационного анализа или иерархического регрессивного анализа, даже если культурная дистанция между группами столь велика, что дан­ные переменные нельзя сопоставить между собой или же такое сопоставление дает выборки, нетипичные для населения, которое они представляют.

В качестве примера Пуртинга (Poortinga & van de Vijver, 1987) исследовал вы­работку навыков ориентирования у представителей неграмотных индейских пле­мен и у голландских новобранцев. Амплитуда реакции электропроводимости кожи, зависимая переменная, была значительно выше в группе индейцев. Он выдвинул предположение, что причиной этих различий между группами могут быть разли­чия в возбуждении. Возбуждение измерялось как самопроизвольные флуктуации реакции электропроводимости кожи в контрольных условиях. Кросс-культурные различия в выработке навыков ориентирования исчезли после статистической проверки этих флуктуации методом иерархического регрессионного анализа.

Свидетельства наличия отклонений, связанных с методом, можно собрать так­же в процессе применения тест-ретестовых, учебных и/или промежуточных иссле­дований. Так Нкая, Нюто и Боннэ (Nkaya, Huteau & Bonnet, 1994) использовали Стандартные матрицы Равена, работая с учениками шестых классов во Франции и Конго. В условиях неограниченного времени оценки улучшались в обеих груп­пах сходным образом, но при временных ограничениях конголезские ученики меж­ду второй и третьей сессиями делали большие успехи по сравнению с учениками-французами. Группа ученых показала (Ombredane, Robaye & Plumail, 1956), что в некоторых группах повторное проведение теста также может оказывать влияние на взаимосвязь с внешними параметрами. Было обнаружено, что прогностичес­кая валидность оценок в соответствии с тестом Равена повышается после повтор­ного проведения в группе неграмотных конголезских рабочих. Судя по всему, на результаты обоих исследований оказывает влияние процесс научения, поскольку по ходу тестирования улучшается понимание испытуемыми поставленной задачи и растет их осведомленность о самом тесте и процедуре его проведения. С учетом этих доводов валидность результатов при первом проведении теста ставится под сомнение в связи с наличием источников отклонений, связанных с методом.

Последней группой подходов, позволяющих справиться с отклонениями, явля­ются подходы, которые имеют дело с отклонениями на уровне тестовых заданий. Отклонения, связанные с тестовыми заданиями, обычно определяются одним из двух методов: оценочным (лингвистическим и/или психологическим) и психомет­рическим. Пример лингвистического метода можно найти в работе Гриль и Бар-тель (Grill & Bartel, 1977). Они проанализировали Grammatic Closure субтест, вхо­дящий в Тест психолингвистических способностей штата Иллинойс, на предмет наличия отклонений в отношении носителей английского языка, не соответству­ющего установленным нормам. Ответы, содержащие ошибки, сделанные белыми и чернокожими американскими детьми, показали, что более половины ошибок были сделаны за счет ответов, приемлемых для языка, в котором не соблюдаются установленные нормы. За последние десятилетия были разработаны десятки статистических приемов, позволяющих выявить отклонения, связанные с тестовыми заданиями, определить такие отклонения позволяет и модификация существую­щих методов; примерами тому могут служить метод Мантеля-Хенцела (Holland & Wainer, 1993), логистическая регрессия (Pogers & Swaminathan, 1993) и теория реакции на тестовое задание (Hambleton & Swaminathan, 1985).

Эмпирические исследования психометрических методов весьма многочислен­ны. Валенсиа, Рэнкин и Ливингстон (Valencia, Rankin & Livingston, 1995) иссле­довали отклонения, связанные с заданиями Шкалы умственных способностей Оценочной батареи Кауфмана для детей, на базе выборок американских учеников мексиканского и европейского происхождения. Используя коэффициент частной корреляции (для поправки на возраст, пол и способности), авторы обнаружили, что из 120 заданий первой шкалы 17, а из 92 заданий последней шкалы 58 ведут к от­клонениям. Понятно, что вряд ли оставшиеся 34 задания представляют собой адек­ватный инструмент, при помощи которого можно оценить данный конструкт во всей его полноте. Эллис, Беккер и Киммел (Ellis, Becker & Kimmel, 1993) исследо­вали эквивалентность англоязычной версии Трирского личностного опросника и оригинальной версии на немецком языке. Из 120 заданий 11 были причиной от­клонений. Повторное исследование на базе новой выборки из США показало, что 6 заданий из выявленных 11 вновь вызывали отклонения. Это количество гораздо выше того, которое предполагается большинством исследований отклонений, свя­занных с тестовыми заданиями.

С моей точки зрения, на основании многочисленных исследований отклонений, связанных с тестовыми заданиями, можно сделать некоторые предварительные выводы. Выявление в процессе кросс-культурного исследования источников от­клонений на уровне тестовых заданий, вне всяких сомнений, весьма важно как с теоретической, так и с практической точки зрения, однако решение этой пробле­мы сопряжено со значительными трудностями. Первое, часто бывает трудно по­нять, почему тестовое задание вызывает отклонения. Второе, применение различ­ных методов по выявлению отклонений часто приводит к разным результатам. Конвергенция статистических данных по отклонениям изучалась с нескольких точек зрения. Иногда исследователи обращались к конвергенции данных, получен­ных при помощи различных статистических методик. Неоднократно отмечалась низкая или умеренная корреляция различных методов, в особенности в более ран­них исследованиях (например, Devine & Raju, 1982; Ironson & Subkoviak, 1979; Rudner, Getson & Knight, 1980; Shepard, Camilli & Averill, 1981). Более современ­ные исследования говорят о повышении уровня согласованности данных, возмож­но, в связи с тем, что становится понятны наиболее подходящие методы статисти­ческого анализа (например, Huang, Church & Katigbak, 1997; Raju, Drasgow & Slinde, 1993; Rogers & Swaminathan, 1993). К тому же стабильность статистических Данных по отклонениям, связанным с тестовыми заданиями, невысока, что пока­зывают тест-ретестовые и сравнительные исследования (например, Skaggs & Lissitz, 1992). Наконец, обнаружен низкий уровень соответствия результатов, полученных оценочными и статистическими методами (Engelhard, Hansche & Rutledge, 1990; Van Leest 1997a, 1997b). Таким образом, едва ли мы способны определить заранее, какого рода тестовые задания приведут к появлению отклонений или, как это выразил Л. Бонд (Bond, 1993): «Теории о том, почему тестовые задания по-разному воспринимаются разными группами, можно назвать не иначе как примитивными» (р. 278). Неудивительно, что исследования отклонений, свя­занных с тестовыми заданиями, не выработали определенных принципов прове­дения кросс-культурного исследования.

Сосредоточение на тестовых заданиях как на единственном источнике откло­нений привело к удивительной и прискорбной ограниченности современных пред­ставлений об отклонениях и методах обращения с ними. Эмпирические иссле­дования отклонений в основном сосредоточены исключительно на отклонениях, связанных с тестовыми заданиями, косвенно исходя из некорректного предполо­жения, что если устранить отклонения данного типа, то с отклонениями будет по­кончено (например, Thissen, Steinberg & Gerrard, 1986). Такой ход рассуждений базируется на упрощенном представлении об источниках отклонений в кросс-культурном исследовании и не воздает должное отклонениям, связанным с кон­структом и методом исследования. При этом именно отклонения, связанные с ме­тодом, оказывают разностороннее влияние на отдельные тестовые задания инст­румента. Различный уровень знакомства со стимулами часто влияет на все задания, которые содержит тест, задавая разные точки отсчета при оценивании разных групп. Эквивалентность единиц измерения является в таком случае максимально достижимым уровнем эквивалентности. Кроме того, если мы обращаемся только к отклонениям на уровне тестового задания, то будет невозможно обнаружить, что при оценке сыновней благодарности, проводимой среди испытуемых в США и в Китае, проявляются отклонения, связанные с конструктом. Игнорируя источники отклонений на уровне инструмента, выборки, процедуры тестирования и лежащего в основе конструкта, трудно или даже невозможно выявить, среди прочего, куль­турные различия при определении понятий на житейском уровне, различия, свя­занные с желательностью в социальном плане, различия в условиях процедуры тестирования и несравнимость выборок. Таким образом, сосредоточение на откло­нениях, связанных с тестовыми заданиями, становится помехой на пути преодоле­ния отклонений, вызываемых применением многих западных теорий и инструмен­тов, поскольку при таком сосредоточении упускаются из виду все остальные источники отклонений.

Многоязычные исследования

Кросс-культурное исследование часто является многоязычным. В литературе про­слеживается явная тенденция к интеграции лингвистических, психологических и методологических аспектов, когда речь идет о создании инструментария на разных языках. По общему признанию, перевод психологических инструментов представ­ляет собой нечто большее, чем просто передача текста на другом языке (Bracken & Barona, 1991; Brislin, 1986; Geisinger, 1994; Hambleton, 1994). Недавно группой пси­хологов, обладающих опытом перевода текстов, был опубликован ряд практиче­ских советов; их рекомендации представлены в приложении (см. также Hambleton, 1994; van de Vijver & Hambleton, 1996). В них ясно прослеживается интеграция лингвистических и культурных аспектов, а также обращение к проблемам откло­нений и эквивалентности.

Существуют две разновидности процедуры перевода в зависимости от того, разрабатывается ли для использования в условиях разных языковых сред новый инструмент исследования, или необходим перевод уже существующего инструмен­та. Первый случай определяется как одновременная разработка, а второй — как последовательная разработка. При одновременной разработке вероятность стол­кнуться с проблемой отклонений и отсутствия эквивалентности уменьшается, по­скольку существует достаточная свобода отбора стимульного материала, которая дает возможность пренебречь стимульным материалом, вызывающим сомнения по части отклонений. Основной причиной того, что мы уделяем достаточное внима­ние последовательной разработке, является частота ее применения в кросс-куль­турных исследованиях; случаи же одновременной разработки скорее исключение.

Помимо проблем, связанных с отклонениями и эквивалентностью и общих для всех кросс-культурных исследований, существуют методологические аспекты, уникальные для многоязычных исследований. Например, методика перевода, которую следует избрать. Существуют два подхода, которые на практике часто ис­пользуются вместе. Первый использует схему перевод — обратный перевод; обрат­ные переводы используются для проверки адекватности выполненного перевода (Werner & Campbell, 1970). Текст переводится с исходного на целевой язык, а за­тем осуществляется независимый перевод с целевого языка на исходный язык. Сходство оригинала и версии, полученной в результате обратного перевода, сви­детельствует об адекватности перевода. Этот метод получил широкое применение, и с его помощью можно выявить различные типы ошибок, даже если исследователь не владеет целевым языком. Недостатком метода обратного перевода является то, что первоочередное внимание уделяется точности перевода, при этом могут упус­каться из виду другие моменты, такие как удобочитаемость и легкость восприятия исходного текста, а также применимость содержания тестовых заданий в целевой культуре. Выявление последней проблемы делается возможным в процессе при­менения второго подхода, при котором создается комиссия по переводу. Перевод делает группа специалистов, в которую входят люди, компетентные в различных соответствующих исследованию областях (таких, как культура, лингвистика и пси­хология). Сильной стороной такого подхода является широкомасштабное сотрудни­чество специалистов, обладающих специальными знаниями в областях, значимых для данного перевода.

Результат перевода принимает одну из трех форм, в зависимости от того, насколько полученная версия сохранила то, что было в оригинале (van de Vijver & Leung, 1997a, 1997b). Первый вариант — наложение (или заимствование). В этом случае имеет место точный (часто практически дословный) перевод инструмента на целевой язык, причем косвенно предполагается, что нет необходимости вносить в инструмент изменения для предотвращения отклонений. Такой тип переводов получил наибольшее распространение. Второй вариант — адаптация. Он предпо­лагает дословный перевод части тестовых заданий, внесение изменений в некото­рые из тестовых заданий и/или создание новых тестовых заданий. Адаптация не­обходима, когда наложение ведет к появлению отклонений при использовании инструмента (например, содержание тестовых заданий может быть неадекватно исследуемой культуре). В современной литературе по многоязычным исследованиям необходимость корректировки инструментария настолько общепризнанна, что термин адаптация предложен как общее обозначение для переводов. И, нако­нец, адаптация инструмента может носить столь всеобъемлющий характер, что практически речь идет о создании нового инструмента. Это третий вариант — кон­струирование. В частности, когда существует непосредственная опасность откло­нений, связанных с конструктом, требуется прямое сравнение, а значит, конструи­рование нового инструмента (ср. Cheung et al., 1996).

Уровень эквивалентности, которого можно достичь при многоязычном иссле­довании, зависит от выбранного варианта перевода. Конструирование, которо

Поделиться:

Воспользуйтесь поиском по сайту: