Пилотажное исследование NES 1987 г.

В последнее время в Центре национальных предвыборных исследований при Мичиганском университете в неэлекторальные годы регулярно проводились небольшие опросы для того, чтобы протестировать новые вопросы и идеи для будущих работ. Совет наблюдателей NES выходит на специалистов в области общественного мнения и принимает наиболее перспективные предложения. Данные, приведенные ниже, были собраны в 1987 г. в пилотажном исследовании NES на основании идей, высказанных Фелдманом (Государственный университета штата Нью-Йорк), Брук и мной. И, разумеется, все они доступны (через ICPSR)6.

В рамках пилотажного исследования 1987 г. последовательно проведено два телефонных опроса респондентов, ранее участвовавших в предвыборном обследовании NES 1986 г. На первом этапе в начале лета опрошено 450 респондентов, а на втором, через месяц, 357 из них дали повторные интервью. В обследовании задавался ряд стандартных вопросов о федеральных трудовых гарантиях, оценке деятельности государственных служб и поддержке чернокожего населения. Сразу после этого случайно отобранным 50% респондентов задавался вопрос: "Пожалуйста, все еще размышляя о вопросах, которые были заданы вам только что, скажите, какие идеи приходили вам в голову, когда вы на них отвечали? Какие мысли у вас появились?" Этот тест предложен для того, чтобы выявить наиболее важные суждения, определяющие ответы. Другой половине опрошенных интервьюеры обычным образом зачитывали вопросы, но, не ожидая ответов, немедленно просили высказать мнение об отдельных образах и понятиях, использовавшихся в вопросе. После проведения теста "остановись-и-подумай"7 интервьюеры повторяли первоначальные вопросы и фиксировали ответы.

Фельдман и я спроектировали эти два типа вопросов для разных целей. Ретроспективные вопросы, которые задавались уже после того, как человек ответил на обычные вопросы, были разработаны для того, чтобы разобраться с чем-то вроде "свалки памяти", которой обладает респондент на момент опроса. Предварительные тесты "остановись-и-подумай" задавались перед тем, как респонденты отвечали на вопросы, и были предназначены для того, чтобы заставить людей более тщательно, нежели обычно, обдумать свое мнение. Предполагалось, что более тщательное обдумывание сделает ответы более достоверными. Тесты "остановись-и-подумай" были также направлены на то, чтобы косвенным образом выявить ряд суждений, которые респондент считал уместными в конкретном случае.

Интервьюеры записывали ответы на открытые вопросы-тесты с максимально возможной точностью8. Расшифрованные комментарии были подвергнуты классификации, по каждому тесту кодировалось четыре суждения. Респонденты предлагали в среднем четыре кодируемых суждения по каждому вопросу о политике; при этом почти все из них могли дать по крайней мере одно кодируемое суждение9. Каждый комментарий или замечание оценивались по нескольким параметрам в Институте социальных исследований (Institute for Social Research — ISR) при Мичиганском университете. Поскольку задача кодирования оценивалась как очень трудная, работой занимались только опытные кодировщики. Наиболее важной и самой простой переменной была "направленность комментария", которая показывала, какую из позиций по данному вопросу (если она была) поддерживало суждение. Хотя кодировщикам давалась инструкция отмечать амбивалентность, замешательство и несущественные замечания, три четверти всех комментариев были определены как имеющие явную направленность. Около 8% комментариев оказались некодируемыми из-за того, что, хотя направленность могла и подразумеваться, кодировщики были не в состоянии распознать, какова она. Другая кодируемая переменная — "точка зрения" (frame of references); здесь классификация включала более 140 категорий и предназначалась для того, чтобы описать содержательный аспект каждого замечания10. Около одной десятой всех интервью перекодировалось дважды независимыми кодировщиками. Точные данные о надежности недоступны, но имеется информация о разнице между двумя кодированиями в 10-15% всех случаев; такая разница расценивается как приемлемая для сложных открытых вопросов11.

Весь материал, хотя и собранный для специфических целей, которые будут описаны ниже, страдает определенной ограниченностью. Прежде всего отличия в работе кодировщиков. Пусть и в допустимых пределах они тем не менее довольно значительны и могут существенно снизить возможности тщательной проверки гипотез. Надо указать и на сложность в четком разграничении суждений. Когда два суждения имеют противоположную направленность — одно в защиту какой-то конкретной политики, а другое против, никаких проблем нет. Но иногда респонденты предлагают ряд последовательных замечаний, отстаивающих одну и ту же позицию по какому-то вопросу. Представляют ли данные замечания отдельные суждения или же просто уточнения одного и того же суждения? Даже человеку, присутствовавшему на интервью и прослушавшему его целиком, бывает трудно ответить на этот вопрос, а для кодировщика, работающего с несовершенным транскриптом, проблема представляется еще более серьезной. Поэтому, хотя в дальнейшем иногда делаются попытки подсчитать число высказанных индивидом суждений "за" и "против", читателю следует помнить, что мы имеем дело в лучшем случае с приблизительными расчетами.

Еще три — более общие — проблемы измерения также заслуживают внимания. Во-первых, это малая выборка. После отказа респондентов участвовать во второй серии интервью и отсева "не имеющих мнения" (no opinion) оставалось только чуть более сотни полностью заполненных анкет с ретроспективными тестами. Отсюда и вторая проблема. Респонденты, хуже разбирающиеся в политике, гораздо чаще выбывают из исследования. Предвидя это, в пилотажном исследовании увеличили подвыборку менее осведомленных граждан (на основании баллов в тесте политической информированности в крупномасштабном предвыборном обследовании 1986 г.). Но при таких условиях малоинформированные респонденты, прошедшие через три интервью и ответившие на целевые вопросы на обоих этапах пилотажного исследования, являются уже неслучайно отобранной и поэтому нерепрезентативной выборкой политически неосведомленных граждан. В частности, они при прочих равных условиях окажутся, вероятно, более интересующимися вопросами интервью, чем респонденты, получившие такие же баллы по шкале осведомленности, но либо выпавшие из исследования, либо не сумевшие дать ответ на вопросы оба раза. И, наконец, вследствие необычайно короткого промежутка времени между интервью (один месяц), неустойчивость ответов оказалась меньшей, чем обычно.

Все три проблемы снижают возможность статистически зафиксировать и понять неустойчивость ответов — ключевую из анализируемых переменных. Но, несмотря на эти проблемы (а первые две имеют место при любой попытке собрать данные о суждениях по национальной репрезентативной выборке), переменные, характеризующие суждения респондентов в пилотажном исследовании 1987 г., представляют лучшие из известных мне данных. В сущности они являются единственно доступной информацией, позволяющей проверить определенные импликации ВПФ-модели.