С. Садмен, Н. Брэдбери Источники ошибок в ответах

Одним из критериев качества вопроса является степень соответствия получаемой информации той, что необходима исследователю. Этот крите­рий называется валидностью. Непосредственное измерение валидности в большинстве случаев затруднительно. Для многих типов вопросов это просто невозможно. Есть и вопросы, с которы­ми сложно соотнести само понятие валидности. Мы разделяем вопросы на два класса: 1) вопро­сы о поведении или фактах; 2) вопросы о психо­логических установках и субъективных мнениях. В поведенческих или фактологических вопросах выясняются характеристики людей или их дей­ствия, то есть то, что в принципе может быть про­верено сторонним наблюдателем. Другими сло­вами, эта группа вопросов связана с характери­стиками, событиями или действиями, которые являются внешними по отношению к конкретно­му человеку и могут наблюдаться со стороны. Возможность внешней верификации ответов реализуется далеко не всегда. В некоторых слу­чаях возникает проблема законности или этичес­кой допустимости такой верификации, напри­мер, когда речь идет о голосовании или сексу­альном поведении. Вопросы относительно Установок, мнений и отношений нельзя верифи­цировать в принципе, так как психологические состояния присутствуют только в сознании опра-иваемых и доступны (если это в принципе воз-°*^Но) только самим респондентам. Для пове­денческих актов валидность определяется инту-экс?^Вн°' посредством согласования мнений д_Пя^Пертов' наблюдающих одни и те же факты. Установок респондентов такое определение

валидности проблематично. Является ли сужде­ние валидным, когда респондент говорит о себе в минуты откровения либо когда общается с близкими друзьями? Или мы вправе говорить о валидности только при появлении возможности сопоставить его высказывания с поведением? Ответ лежит в большей степени в теоретическом обосновании, чем в достигнутом согласии. Даже если нет отчетливого представления о кри­терии валидности для вопросов об установках, вполне очевидно, что на вопросы, заданные раз­ными способами, могут последовать различные ответы. Кроме того, вопросы об одних установ­ках более подвержены влиянию формулировки, чем о других. Мы не знаем, почему так происхо­дит. В настоящее время мы можем только ска­зать, что некоторые мнения более чувствитель­ны к способу их измерения, нежели другие. Ра­нее мы использовали понятие «эффект ответа» {response effect)', которое включает в себя ком­поненты смещения и вариабельности. Смещение понимается как отклонение от истинной величи­ны. Вариабельность — как чувствительность из­мерений к различным формулировкам вопроса. Для понимания эффекта ответа рассмотрим ти-' пичный фактологический вопрос: «Каким был ваш общий семейный доход из всех источников в прошлом году?» Мы понимаем, что существу-

Эффект ответа — это общее понятие для сме­щений ответов, которое включает различия е ответах на атиттюдные вопросы, вызванные формой вопроса, контекстом и методами оп­роса. Он используется тогда, когда невозмож­но применить критерии внешней валидности Для вопросов о поведении эффект ответа со­впадает со смещением ответа.

1.Существует опасение, что некоторые слова непонятны. В пробном иссле­довании проводится тестирование респондентов по списку этих слов. Если по­тенциально непонятных слов мало, то их содержание проверяется дополнитель­ными вопросами в устной форме во время пробного исследования. Кроме того, понимание языка анкеты контролируется также методом наблюдения во время пробного опроса, когда анкетер фиксирует все случаи непонимания прямо в анкете вместе с вопросами.

2.Проверяется соответствие вариантов ответов в закрытом вопросе языку и системе представлений опрашиваемых, уровню их информированности. В проб­ном исследовании «подозреваемые» вопросы задаются в открытой форме, а за­тем полученные ответы сравниваются с «кабинетными» вариантами и произво­дится доработка. При этом проверку нельзя заменить использованием «полу­закрытой» формы вопроса. Среди социологов распространено мнение, что «кабинетный» вариант вопросов не нуждается в апробации, если к нему доба­вить вариант «другое мнение». Неявно предполагается, что все недостающие

ет правильный ответ на этот вопрос, хотя можем его никогда и не узнать (поскольку даже сумма подоходного налога, предполагающая знание о всех источниках доходов, содержит собственные источники ошибок). Мы можем получить ошибоч­ный ответ, потому что респондент просто забыл о некоторой сумме доходов из небольших или непостоянных источников (таких, как дивиденды от акций или проценты от вкладов). Или респон­дент мог отнести полученный доход к другому периоду времени. Неверное отнесение событий к определенному периоду времени называется

временным сдвигом, который может быть пря­мым или обратным. При прямом сдвиге респон­дент включает события предшествующего пери­ода в тот, о котором его спрашивают. При обрат­ном сдвиге респондент относит текущие события к предшествующему периоду. Прямой сдвиг при­водит к преувеличению числа событий, а обрат­ный — к их приуменьшению. Оба типа времен­ных сдвигов могут возникать в опросе с одина­ковой частотой, что приводит к их взаимному погашению. Однако методические исследования показывают, что прямой сдвиг наблюдается чаще, что приводит к увеличению числа фикси­руемых в большинстве опросов событий. Третьим источником ошибки может быть наме­ренное или мотивированное нежелание рес-

пондента сообщать о скрытом доходе, напри­мер, о нелегальном доходе или доходе, не включенном в налоговую декларацию. Четвер­тая категория ошибок включает сознательное искажение величины дохода, вызванное жела­нием отвечающего произвести впечатление на интервьюера. Обычно этот тип ошибок сводит­ся к искусственному завышению доходов, хотя в некоторых случаях респонденты, особенно имеющие высокий уровень дохода, могут и снижать фактическую сумму. Пятый источник ошибок связан с непониманием респондентом смысла анкетного вопроса. Например, респон­дент может не сообщить о доходе, полученном в форме подарка, хотя интервьюер подразуме­вал, что этот вид дохода включен в ответ. В кон­це концов, респондент может просто не знать о некоторых доходах, полученных другими чле­нами семьи, но о которых ему следовало сооб­щить.

Обобщая все перечисленные типы ошибок, мож­но выделить четыре фактора, определяющих эти ошибки: память, мотивация, коммуника­бельность и знание. Это означает, что (1) респон­денты могут забыть как информацию, так и пе­риод времени к которому она относится; (2) они могут быть заинтересованы в сокрытии правды из опасения последствий или из-за желания пред­ставить себя в более выгодном свете; (3) респон­денты могут не понимать, о чем их спрашива­ют, и давать ответ в рамках собственного пред­ставления; и, наконец, (4) они могут просто не знать ответа на вопрос, но дать его, не говоря о своем незнании. Все эти факторы требуют бо­лее детального рассмотрения. Сокращено по источнику: Садмен С, Брэдбери Н-Форма вопроса в социальном контексте / Пер. ^с англ. А.А. Виницкой // http://www.nir.ru/Socio/ scipubl/sj/sj3-4-00sad.html

варианты допишет респондент. Однако практика показывает, что дополнений бывает очень мало. Респонденты подбирают варианты из предложенного спис­ка даже в тех случаях, когда последний не соответствует их личному мнению.

3. Существует сомнение по поводу формы вопроса: ставить ли его в от­крытой или закрытой форме, какую выбрать шкалу (трех-, пяти-, семичлен-ную), сделать ли вопрос в виде теста на незавершенное предложение либо в виде картотеки? В таком случае, после логического обоснования формы воп­роса, надо провести экспериментальную проверку отобранных вариантов, сравнить результаты и выбрать наиболее пригодный.

4. Возникли сомнения в однозначности восприятия смысла вопроса. Здесь надо заранее продумать, какой (какие) дополнительный вопрос следует задать респонденту, чтобы проверить понимание смысла вопроса и ответа. Обычно до­статочно попросить респондента прокомментировать или пояснить свой ответ.

Результатом логического контроля анкеты выступает совокупная оценка ее качества, характеризуемая числом полученных замечаний. Те вопросы анкеты, которые содержат очевидные методические просчеты, заменяются другими, имеющими методическое решение. Весь описанный процесс пред­варяет разработку задач пилотажного исследования.

Окончательный вердикт качеству всей анкеты выносит пилотажное (проб­ное) исследование. Оно вскрывает все недочеты анкеты и особенно в составле­нии вопросов. Один из верных показателей непригодности вопроса — боль-

Врезка

Т.П. Резникова