Предварительное тестирование

Предварительное тестирование опросного инструментария и всех сопутствующих процедур организации опроса столь же важен для успеха исследования, как пробная поездка – для успешной покупки подержанного автомобиля. Он помогает обнаружить проблемы, которые в полной мере могут проявиться только в реальных полевых условиях.

Предварительное тестирование проводится с помощью опроса небольшой выборки респондентов, сходных по ряду свойств с теми, которые будут опрашиваться в составе большой выборки. Выборка в предварительном тестировании не обязательно должна быть представительной в отношении более крупной группы населения. Куда важнее, чтобы она была построена таким образом, чтобы в процедуру предварительного тестирования оказались включенными члены всех таких групп респондентов, которые способны реагировать на инструментарий по-разному. Если, к примеру, имеются основания полагать, что малообразованные люди будут испытывать трудности в пользовании инструментарием, исследователь должен приложить все усилия, чтобы включить в предварительное тестирование респондентов с низким уровнем образования, даже если они составляют лишь незначительную часть исследуемой группы населения. [c.211]

Предварительное тестирование может служить как для тестирования инструментария, в котором исследователь вполне уверен, так и в целях усовершенствования инструментария в ситуации, когда предмет исследования хуже известен исследователю. В первом случае инструментарий проходит предварительное испытание в своем окончательном варианте. Во втором же случае исследователь может захотеть поэкспериментировать с разными вариантами (макетами) инструмента, чтобы узнать, какой из них удобнее в работе. Предварительное тестирование такого типа может включать в себя:

1. Тестирование различных словесных формулировок и форм вопросов.

2. Опробование анкеты, предназначающейся для самостоятельного заполнения респондентом, в очном интервью, чтобы в процессе живого общения с респондентом выявились возможные трудности ее заполнения.

3. Употребление открытых вопросов для выявления типичных ответов, которые затем можно будет включить в набор ответов на закрытые вопросы, с тем чтобы использовать последние в окончательном варианте.

4. Тестирование различных видов инструментария (почтовых анкет, очных интервью, телефонных интервью) с целью определения годности каждого из них.

После внесения в инструментарий коррективов исследователю следует еще раз опробовать его в предварительном тестировании, чтобы выяснить, не сохранилось ли в нем каких-либо недочетов и не возникло ли новых ошибок.

При предварительном тестировании инструмента, рассчитанного на интервьюирование, исследователь может сам провести ряд интервью, чтобы почувствовать инструмент в работе и чтобы увидеть, сколь он эффективен в работе с типическими респондентами. Если это невозможно, то исследователь по крайней мере должен сразу после того, как интервьюеры вернутся с опроса, сесть с каждым из них за стол и еще раз детально просмотреть весь инструмент и сопутствующие процедуры, чтобы установить, в каких пунктах инструкция неясна, какие конкретно процедуры неуклюжи или неудобны в применении, какие вопросы смущают или сбивают с толку респондентов.

Зачастую предварительное тестирование является способом проверки не только опросного инструмента, но и [c.212] техники взятия выборки, а также процедур оперирования с данными. Если в результате применения интервьюером предписанной выборочной техники выясняется, что выборка в предварительном тестировании совершенно нерепрезентативна или что число отобранных респондентов неоправданно мало, то применимость данной выборочной техники в данной исследовательской ситуации ставится под вопрос и требует пересмотра. Если интервьюер, используя отобранные для предварительного тестирования процедуры, испытывает затруднения в фиксировании и получении данных, то для массового полевого исследования следует разработать другие процедуры.

Иногда, когда социологи и политологи предполагают осуществить совершенно новый для них проект исследования, они должны взять на вооружение процедуру пилотажного исследования. Пилотажное исследование – это и есть осуществление широкомасштабного проекта, только в миниатюрном виде. Оно составляется на основе логического осмысления всей проблемы будущего исследования, приблизительного расположения вопросов с точки зрения их очевидной целесообразности. В ходе пилотажа проверяются все процедуры, весь инструментарий исследования, выбраковываются неудачные вопросы, вносятся коррективы на отдельных этапах исследования.

Конечно, предварительное тестирование требует средств и времени, но оно абсолютно необходимо, потому что без его проведения исследователь рискует получить негодные или вводящие в заблуждение данные. К проведению предварительного тестирования надо относиться как к покупке страховки, без которой вы можете в какой-то момент оказаться перед целой горой очень дорогостоящей, но негодной информации, чего не случится, если вы вовремя обнаружите и откорректируете все возможные недочеты. [c.213]

ПРОВЕДЕНИЕ ОПРОСА

Завершив подготовительную работу, мы можем наконец приступить к собственно опросу. Он является ядром всего исследования, поскольку именно в ходе него происходит непосредственный сбор данных. То, какие процедуры производятся на этом этапе, зависит от типа [c.213] проводимого опроса. В гл.7 мы приведем несколько советов касательно очного и телефонного интервьюирования. Здесь же мы упомянем о важнейших моментах проведения почтового опроса.

Самые серьезные проблемы, связанные с почтовым опросом, – это невозвращение и задержки с возвращением анкет, искажения в ответах и неправильно заполненные анкеты. В среднем для почтового опроса считается вполне допустимым возврат анкет в размере 50% общего числа разосланных, а 70%-ный возврат считается очень хорошим показателем. Однако отсутствие искажений в ответах важнее, чем высокий процент возврата анкет, поскольку задержка с возвращением анкет чревата лишь тем, что выборка будет нерепрезентативной. Существует несколько методов обеспечения большего процента возврата. Они включают в себя следующее.

В почтовом опросе обычно в одном конверте посылаются анкета, сопроводительное письмо, разъясняющее цель опроса, и пустой конверт для отсылки анкеты обратно. Если опрос невелик, анкеты могут непосредственно вручаться респондентам кем-нибудь из персонала опроса, а затем таким же путем забираться у них обратно. В этом случае респонденту труднее забыть по рассеянности об опросе и не заполнить анкету.

Повторное напоминание по почте помогает не только существенно ускорить возврат анкет, но и установить, кто из респондентов почему-либо не получил первого письма. Обыкновенно бывает достаточно трех почтовых отправлений (первого и двух других с напоминаниями). При условии, если возможно легко определить адреса респондентов, уже вернувших анкеты, повторные письма из соображений экономии имеет смысл рассылать только тем, кто анкет не вернул. Если же адреса вернувших анкеты установить затруднительно или не удается вовсе, хорошим решением может явиться рассылка повторных писем всем членам выборки с выражением благодарности в адрес тех, кто ответил, и с напоминанием о необходимости ответить всем остальным. Повторное почтовое отправление должно содержать письмо с просьбой прислать обратно заполненную анкету и дополнительный экземпляр анкеты на тот случай, если первый экземпляр был утерян или не дошел до респондента. [c.214]

Во все почтовые отправления бывает разумно вложить номер телефона, по которому респонденты могут обращаться с вопросами. Это ускоряет процесс возврата анкет и, кроме того, снижает число анкет, заполненных неправильно. Следует также учитывать, что люди, как правило, более склонны отвечать на вопросы анкеты, если она анонимна. Поэтому процент возврата анкет увеличится, если на анкете не будет стоять никаких лишних, непонятных респонденту отметок или цифр (например, ее порядкового номера), которые респондент может воспринять как способ опознания его личности.

Некоторые исследователи предпочитают платить респондентам за возврат анкеты. Процесс получения ответов может ускориться, однако при этом увеличивается риск искажения результатов, ибо те, кого привлекают столь небольшие суммы денег, какиеим обычно готов предложить исследователь, вполне могут оказаться нетипичными для данной группы населения в целом и практика денежного вознаграждения может привести к нерепрезентативному переполнению выборки подобными респондентами. Кроме того, оплачивание труда респондентов исключает анонимность опроса, поскольку, прежде чем заплатить, исследователь должен быть в состоянии определить, кто из респондентов вернул анкеты, а кто нет. [c.215]