Ошибки анкетера и контроль поля

Ошибки поля имеют следующие разновидности: 1) ошибки заполнения анкеты; 2) ошибки сбора данных; 3) ошибки обращения с полученными дан­ными; 4) ошибки анализа собранных данных; 5) ошибки интерпретации полученных результатов. Кроме того, существуют ошибки, обусловленные нечетким выявлением проблем, использованием неоднозначных терминов и т.п. Ошибки поля можно разделить на две большие группы: а) ошибки анкетеров (интервьюеров) и б) ошибки респондентов. Кроме того, ошибки подразделяются на преднамеренные и непреднамеренные¹⁴.

Преднамеренные ошибки анкетера происходят в тех ситуациях, когда он сознательно нарушает установленные исследователем требования к сбору данных. Например, ленивые студенты, для которых участие в исследова­нии — всего лишь средство заработка, зашли в соседний подъезд и сами за­полнили всю стопку анкет. Весьма распространенный сегодня случай, зас­тавляющий многие, если не большинство профессиональных фирм отказы­ваться от услуг дешевой рабочей силы. А в советские времена массовым было другое явление: академические ученые приезжают на попавший в выборку завод, идут в нужный цех, а мастер просит их, чтобы не отвлекать людей от работы, оставить анкеты табельщице. Когда социологи приходят к концу смены, анкеты уже заполнены, но не рабочими, а начальником цеха и табель­щицей. В этих случаях ошибку совершили именно анкетеры.

Непреднамеренные ошибки анкетера чаще всего возникают вследствие неправильного понимания процедуры опроса, технологии заполнения анке­ты, общения с респондентом и т.д. Виновником часто выступает не только невнимательный или несообразительный анкетер, но и плохо проведший инструктаж прораб поля. Под этим понятием скрываются организатор и

См.: Методология и методы социологических исследований (Итоги работы поисковых исследова­тельских проектов за 1992-1996 годы) / Ин-т социологии РАН. М., 1996; Замбржицкая А.К. Эмпи­рическая апробация вопросника в маркетинговом исследовании // Социологические исследования. 1999.№ 11. С. 115—116; Погосян Г.А. Метод интервью и достоверность социологической информа­ции. Ереван: Изд-во АН Армянской ССР, 1985; Давыдов А.А., Крыштановский А.О. Ремонт вы­борки // Социологические исследования. 1989. № 5. С. 100-105; Голубков Е.П. Маркетинговые исследования // Маркетинг в России и за рубежом. 2001. № 1.

руководитель практической части полевого исследования. Его также назы­вают супервайзером исследования.

Как и анкетер, респондент также может допускать двоякого рода ошиб­ки — преднамеренные и непреднамеренные.

Преднамеренные ошибки респондента появляются в ситуациях, когда оп­рашиваемый: 1) намеренно лжет, скрывая истинную информацию; 2) он не лжет, но у него нет точной информации, и он дает приблизительные данные;

3) говорит полуправду на вопросы, связанные с а) интимно-личными пробле­мами, б) подозрительной (как ему кажется) информацией, разглашение ко­торой может нанести респонденту вред: имущественным положением, источ­никами и размером доходов, местом работы или видом бизнеса, националь­ностью; 3) его не оказалось на месте на время проведения опроса (умер,находится в больнице, длительном отъезде, командировке, в гостях и др.);

4) находится дома, но не открывает анкетеру дверь либо заявляет (по телефо­ну или через приоткрытую дверь) о том,что не желает участвовать в опросе. В туже группу надо занести такие причины неучастия, как отказ респондента отве­чать на вопросы из-за своей занятости, предубежденность к опросам.

Выделяют три типа ошибок, обусловленных нежеланием респондентов отвечать на вопросы: отказ вообще от принятия участия в обследовании, прекращение участия в нем, отказ отвечать на определенные вопросы.

Непреднамеренные ошибки респондента возникают в случаях, когда: 1) респондент, думая, что говорит правду, на самом деле дает ошибочный от­вет; 2) не думая, дает моментальный (реактивный) ответ, но его подводят память, внимательность и т.д.; 3) умственная неполноценность или психи­ческое нездоровье не позволяют грамотно отвечать на вопросы.

Контроль за преднамеренными ошибками анкетеров (интервьюеров) осу­ществляется двумя способами:

♦ надзором за их работой;

♦ проверкой выполненной работы.

Надзор осуществляется, например, незаметным подключением к телефон­ной линии, по которой берется интервью. При устном интервьюировании интервьюера может сопровождать проверяющее лицо.

Контроль за преднамеренными ошибками респондентов направлен на снижение числа случаев лжи и отказа участвовать в обследовании. Для этого прежде всего необходимо сохранять анонимность и конфиденциальность.

Контроль за непреднамеренными ошибками респондентов осуществля­ется в различных формах. Необходимо тщательно составлять вопросники и инструкции к ним, использовать разнонаправленные шкалы измерений. Для уменьшения числа ответов-предположений в шкалы вводятся такие града­ции, как «не имею мнения», «не могу вспомнить», «не уверен».

Некачественный сбор данных возникает по двум причинам: 1) сбор инфор­мации обычно осуществляют несколько анкетеров, с разным уровнем подго­товки, в разных условиях и с разным подходом к выполнению своих обязан­ностей; 2) если исследование растягивается на долгое время, то данные, по­лученные в начале и конце опроса, могут существенно различаться. Когда данные оказываются неоднородными, необходимо их корректировать. Если различия в массивах данных обусловлены влиянием анкетера или условиями

опроса, то следовало бы провести повторный опрос в данной выборочной со­вокупности с помощью других анкетеров. Но это в идеале, а на практике — дефицит времени, материальных и людских ресурсов. Кроме того, если одних и тех же людей опросят другие анкетеры, то это не значит, что они дадут те же ответы. Они могут быть другими. Но кто виной тому — более тактичный ин­тервьюер или изменившееся отношение к опросу самих респондентов?

В принципе эту погрешность можно было бы уменьшить, увеличив чис­ло повторных посещений с трех до восьми-девяти, как делают западные со­циологи. Однако это привело бы, во-первых, к значительному увеличению расходов на проведение полевых работ, а во-вторых, к увеличению сроков проведения поля, — справедливо полагают Е.В. Козеренко и С.Г. Новиков¹⁵.

Когда переспросить тех же респондентов другими анкетерами или устра­нить проблему при помощи повторных посещений нельзя, применяют вто­рую процедуру — перевзвешивание данных. Суть ее состоит в следующем: с помощью эмпирически найденных весов так скорректировать данные, что­бы влияние смещений снизить до оптимальных пределов. Величина смеще­ния находится либо с помощью экспертного опроса, либо как отклонение средних значений в подвыборках от среднего значения по всему массиву¹⁶.

Жестких правил в данной области не существует, правила основаны на традициях, опыте и т.п., т.е. на неформальных подходах к определению того, какие анкеты пригодны для последующего анализа, а какие нет. Поэтому лучше ужесточить контроль за сбором данных, уменьшив таким образом проблемы предварительной оценки собранных данных.

Наиболее распространенная форма контроля качества работы интервью­ера (анкетера) — выборочное повторное посещение респондентов. Контро­леры-интервьюеры выясняют, состоялась ли беседа и с кем именно, спра­шивают о содержании интервью и впечатлении, которое произвел интервью­ер. По результатам контроля поощряются или порицаются интервьюеры, осуществляется выбраковка ненадежных бланков интервью. Другим спосо­бом контроля может быть почтовая анкета, которая рассылается респонден­там, участвовавшим в опросе. В такой анкете присутствуют вопросы, подоб­ные тем, которые задают контролеры-интервьюеры.

Фирма «УЛТЕКС Сервис А.О.», проведшая в 1994 г. исследование в Мос­кве и Московской области, Санкт-Петербурге и Ленинградской области, Туле, Владимире и Иваново (всего опрошен 1001 респондент), осуществля­ла контроль качества информации после проведения опроса, связываясь с 10% опрошенных по телефону и направляя им письма. Полученные опрос­ные листы проверялись также на правильность заполнения. Если судить по литературе, а также информации, доступной в Интернете, большинство ком­паний, занятых рекламой и маркетинговыми исследованиями, проводит не более чем 10%-ный контроль поля методом повторного посещения или те­лефонным звонком. Полный, т.е. 100%-ный, контроль практически невоз­можен, так как он существенно повышает стоимость полевых работ.

В компании ГфК MP минимальная начальная квота контроля — 20% ин­тервью, но она может быть увеличена, если клиент готов платить. Контроль

Козеренко Е.В., Новиков С.Г. Выборка мониторинга: апостериорный контроль// Экономические и социальные перемены: мониторинг общественного мнения. 1993. № 5. С. 8—10. Давыдов А.А., Крыштановский А.О. Ремонт выборки//Социологические исследования. 1989. № 5. С 100-105.

проводится повторными посещениями, по телефону и почте. Если в процессе интервью выявляется большое количество ошибок у одного и того же интер­вьюера, то проводится 100% -ная проверка его анкет. По результатам проверки составляется протокол, и нерадивые интервьюеры штрафуются в меру их нерадивости (до 100% штрафа). С ними компания расстается, а их фамилии заносятся в «черный список». Такая же схема применяется для региональ­ных супервайзеров, но их штрафуют за суммарный процент ошибок в своем регионе¹⁷. По результатам работы за определенный период лучшие интервью­еры премируются. Центр бизнес-информации, социологических и маркетин­говых исследований BISAM Central Asia, который ориентируется в своей де­ятельности на международные стандарты ESOMAR, проводит контроль как минимум 25% завершенных интервью по специально разработанным конт­рольным вопросам; осуществляет визуальный контроль 100% анкет; контроль ошибок ввода с помощью специальных программ.

В Аналитическом центре «Бизнес и маркетинг» после завершения исследова­ния проводится обязательная многоступенчатая проверка качества полевых ра­бот. Первым шагом является ручная проверка полноты и качества информации, содержащейся в анкетах, а также выборочная проверка 3—4 анкет каждого интер­вьюера на наличие «галло-эффекта» (психологический эффект повторяемости ответов на похожие по форме вопросы). На этом этапе контроль осуществляют специально назначенные сотрудники полевого отдела, ответственные за данный проект. В этот момент методом случайного отбора сотрудниками полевого отде­ла, не участвующими в проекте (это необходимо для обеспечения объективнос­ти), проводится телефонный контроль 10—25% опрошенных респондентов (про­цент варьируется в зависимости от размера выборки — при малых размерах есть возможность проконтролировать больший объем) на предмет соответствия соци­ально-демографических характеристик респондента квотам (целевой группе) '⁸.

На третьем этапе, который проводится параллельно со вторым, осуществля­ется сплошная компьютерная сверка данных на соответствие логике (валид-ность) и взаимоисключаемость ответов. Осуществляют ее сотрудники отдела обработки. В случае если для опроса применялись методы СА TI или CAPI (ин- тервьюирование с использованием компьютерных технологий), часть работы по проверке на валидность проводится интервьюером уже на этапе проведения интервью. Заказчик может, при желании, принять непосредственное участие в проведении контроля исследования совместно со специалистами фирмы¹⁹.

Однако современные методы не всегда лучше тех, которые использовались нашими предшественниками 50 лет назад. 3 ноября 1951 г. Совет Министров СССР принял постановление об улучшении организации обследований бюдже­тов рабочих, служащих и колхозников. В постановлении отмечалось, что основ­ной задачей ЦСУ СССР в области бюджетной статистики следует считать раз­работку данных о бюджете квалифицированных и малоквалифицированных рабочих по отраслям промышленности, тружеников совхозов и колхозов по производственным направлениям и экономическим районам. Метод контроля поля можно проследить лишь на одном регионе — Сибири. Здесь в 1950-е гг. бюджетными наблюдениями, а это самый трудоемкий вид эмпирического ис-

Веб-сайт: http://www.gfk.rU/ru/marketing/conference/archive/9 1.html Информация с веб-адреса: http://www.gelman.ru/news/projects/vybor.html ¹⁹ Информация с веб-сайта: http://www.bma.ru/

следования, было охвачено более 1 тыс. человек. Сбор бюджетной информации осуществляли специально подготовленные сотрудники статистических управ­лений. За каждым из них было закреплено 20—25 рабочих семей, которые он посещал не менее двух раз в месяц. Обследуемые семьи вели вспомогательные записи, где ежедневно регистрировали все данные о доходах, расходах и потреб­лении. Бюджетный бланк заполнялся статистиком путем опроса взрослых чле­нов семей с учетом сделанных ими записей. Кроме того, использовался ряд документов: пенсионные книжки, квитанции об оплате жилплощади и комму­нальных услуг, различные расчетные ведомости. Каждое предприятие, где ра­ботали члены обследуемых семей, предоставляло статистическим органам све­дения об их заработной плате, полученных премиях, пособиях, количестве от­работанных дней и др. Правильность данных, вносимых статистиком в бюджетный бланк, не реже двух раз в квартал проверялась контролерами обла­стных статистических управлений и инспекторами ЦСУ СССР²⁰.

Американские специалисты по методике политологических исследований Дж. Мангейм и Р. Рич²¹ дают следующие советы. В случае почтового опроса каж­дая возвращенная анкета должна быть вскрыта, проверена на предмет правиль­ности ее заполнения и подшита в общий комплект (файл). Каждой анкете дол­жен быть придан серийный номер, так чтобы впоследствии можно было легко установить время ее возврата. Число анкет, поступивших задень, должно отме­чаться в особом журнале, чтобы исследователь имел возможность следить за ходом возврата анкет. Если по возвращенной анкете можно установить личность респондента, то исследователю следует фиксировать поступление анкет таким образом, чтобы при этом выявлялись возможные диспропорции в ходе их воз­врата. Если выяснится, что какая-то географическая или демографическая груп­па респондентов очень пассивно отвечает на анкеты, то может понадобиться лишний раз напомнить им об опросе — иначе выборка может стать нерепрезен­тативной. Вдобавок к этому просматривание поступающих анкет помогает об­наружить промахи, допущенные респондентом, например пропуск последней страницы инструмента или неверное прочтение инструкции в той ее части, где говорится, как следует отмечать нужные пункты анкеты. Последующий теле­фонный звонок или уточняющее письмо (в случае не анонимного опроса) мо­жет помочь спасти анкету, которую иначе придется признать недействительной.

В процессе проведения анкетирования или личных интервью руководитель проекта должен постоянно проверять выполнение порученного дела. Один из эффективных способов — выслушивать устные отчеты возвращающихся с объек­та интервьюеров. Руководитель также проверяет заполненные бланки интервью или анкеты с целью определить: 1) те ли люди (те ли семьи) были опрошены; 2) все ли опросные листы были заполнены и возвращены; 3) указаны ли в путе­водителе дата и время проведения интервью; 4) проставлены ли в бланке код интервьюера и опознавательный номер респондента; 5) для всех ли отказов да­вать интервью изложены соответствующие причины и везде ли, где надо, отме­чена договоренность о сроке дополнительного визита к респонденту (если во время первого визита интервьюера респондент почему-либо был недоступен).

Алексеев В.В., Букин С.С. Бюджетные обследования советских рабочих (репрезентативность, зна­чение, методы анализа) // Источниковедение истории советского общества. Вып. 4. М.: Наука, 1982. ₂₁ ^с- П1-173.

Мангейм Дж.Б., Рич Р.К. Политология. Методы исследования. М.: Весь мир, 1997.

При телефонном опросе у руководителя поля есть дополнительные возможно­сти: тайно прослушивать выборочные интервью. Эта мера усиливает у интер­вьюеров чувство ответственности, а также помогает обнаруживать и устранять недочеты, допускаемые ими в ходе применения инструмента²².

Контрольная проверка важна не только при анкетировании, но и при других формах опроса, например, когда интервьюер — в случае его недобросовестно­сти — получает возможность незаметно сфальсифицировать результаты интер­вью, да и добросовестный интервьюер может ошибиться, опросив не того, кого надо. Бывали случаи, вспоминают Дж. Мангейм и Р. Рич, что непрофессиональ­ные интервьюеры, чтобы избежать долгих хождений, сочиняли вымышленные интервью, а приходящие няни выдавали себя за хозяев-респондентов. Конт­рольная проверка позволяет исследователю устранить ошибки этого типа и удос­товериться в том, что выборка формируется согласно установленной процедуре²³.

Рис. 15. Контрольная проверка важна не только при анкетировании

Контроль результатов личного интервью обычно сводится к дополнитель­ной встрече (разговору) с тем или иным респондентом с целью определения: 1) имело ли место интервью на самом деле; 2) все ли вопросы задал интервью­ер, и все ли ответы он правильно записал. Чтобы это выяснить, спросите рес­пондента, когда имело место интервью к сколько приблизительно оно длилось. Если респондент подтвердит факт проведения интервью, попросите его отве­тить еще раз на два простых вопроса (взятых из середины и из конца интервью) под тем предлогом, что его первоначальные ответы были записаны неразбор­чиво. Надо сверить новые ответы с теми, которые были зафиксированы ранее.

²² Thomas R., Purdon S. Telephone methods for social surveys // http://www.soc.surrey.ac. uk/sru/SRU8.html

²³ Мангейм Дж.Б., Рич Р.К. Политология. Методы исследования. М.: Весь мир, 1997. С. 215-216.