О точности электоральных прогнозов

В маркетинговых исследованиях существует естественный показатель их качества и эффективности: это — прибыль, получаемая за счет принятия и внедрения аналитических рекомендаций. В частности, так оценивались итоги исследований в сфере рекламы, проводившихся Гэллапом, Кроссли и Роупером. Для технологий измерения общественного мнения важнейшим индикатором их работоспособности в США является точность электорального прогноза.

Успех выборочной технологии изучения общественного мнения в 1936 году и позитивные итоги этой деятельности в последующем десятилетии породили в среде полстеров, а также значительной части политиков и населения иллюзии о всемогуществе выборочных приемов опроса населения. Гэллап говорил: «Благодаря нам население считает, что опросы достигли уровня абсолютного совершенства. …Мы создали у людей впечатление, что можем ходить по воде» [22]. Отрезвление принес 1948 год: Гэллап, Кроссли и Роупер предсказали победу республиканцу Томасу Дьюи, но первым к финишу президентского марафона пришел демократ Гарри Трумэн. В политическую историю Америки, коллективную память страны и историю изучения общественного мнения случившееся вошло как фиаско-1948.

Компетентная комиссия, тщательно проанализировавшая опросные технологии Гэллапа, Кроссли и Роупера, назвала две главные причины неверного прогноза: использование квотной выборки вместо случайной и преждевременное прекращение опроса. Ошибка первого вида, если она существует, распространяется на все проводимые опросы, второго — касается собственно анализа электоральной ситуации и прогноза ее исхода. Еще до завершения работы экспертной комиссии Гэллап, Кроссли и Роупер заявили, что в своих прогнозах исходили из факта стабильности, медленной изменчивости электоральных установок, и поэтому рано прекратили мониторинг. И хотя эти исследователи не в полной мере согласились с выводами комиссии о погрешностях комплектования выборки и неточностях в формулировке ряда вопросов, все произошедшее они классифицировали как вызов, на который должны ответить.

Не отраженный в американской специальной литературе шестнадцатистраничный буклет Гэллапа [19], обнаруженный нами в архиве Университета Оклахомы¹, дает представление об огромной аналитической работе, осуществленной им в период подготовки к электоральному мониторингу 1948 года. Самым тщательным образом была проанализирована статистика электоральных прогнозов, сделанных им самим, а также Кроссли и Роупером, начиная с 1936 года. В основу буклета положено выступление Гэллапа на семинаре нью-орлеанского отделения Американской статистической ассоциации в апреле 1948 года, но по встречающимся в тексте временным отметинам можно заключить, что он был завершен во второй половине августа 1948 года.

По оценкам Гэллапа, к апрелю 1948 года его институт сделал 392 электоральных прогноза, средняя погрешность которых составляла 3,9%. Средняя погрешность прогнозов, выполненных с ноября 1944 года, была еще меньше — 2,9%. Анализу были подвергнуты итоги прогнозов общенациональных электоральных кампаний, а также выборов, проходивших во многих штатах США и в более чем десяти других странах.

Общий вывод о надежности выборочной процедуры изучения общественного мнения сопровождался еще тремя заключениями. Во-первых, во всех американских и зарубежных электоральных прогнозах средняя погрешность варьировалась в одном и том же интервале. Во-вторых, с ростом опыта в проведении опросов средняя ошибка прогнозов снижалась. В третьих, точность прогноза общенациональных референдумов была такой же, как точность предсказания выборов с участием партий или отдельных кандидатов. Как бы предвидя ситуацию, возникшую через несколько месяцев, Гэллап отмечал существование многих факторов, снижающих точность прогноза выборов: от активности голосования до погоды. К тому же он подчеркивал, что с научной точки зрения точность прогноза определяется лишь величиной его отклонения от результатов выборов, но не верностью или ошибочностью в предсказании победителя. Гэллап писал: «Прогноз может быть успешным с точки зрения предсказания имени победителя, но иметь ошибку точности в 20%. С другой стороны, ошибка может равняться 1% и при этом победитель может быть определен неверно» [19, p. 5].

В начале 1949 года вышла в свет небольшая книга Линдсея Роджерса (Lindsay Rogers, 1891–1970) "The Pollsters” — «Полстеры» [33]. Ее автор — известный политолог, консультант сената по международным проблемам, профессор Колумбийского университета. Ему принадлежит термин «полстер» (от poll — опрос общественного мнения), который должен был вызывать ассоциации со словом «хакстер» (huckster) — пренебрежительным названием создателей коммерческой рекламы. «Полстер» закрепился, из него ушел «второй план». Сама же книга, резко антиполстерская, почти забыта.

Роджерс доказывал, что родоначальники изучения общественного мнения переоценивали роль последнего в системе демократии, а их методы далеки от научных. Погрешности Гэллапа, Кроссли и Роупера в прогнозе 1948 года рассматривались Роджерсом в качестве одного из сильнейших аргументов в защиту его теоретической позиции и практико-ориентированных выводов. Он приводит слова Талейрана: «Я знаю нечто, что обладает большей мудростью, чем Наполеон, Вольтер, чем все министры настоящего и будущего: это мнение [народа]». И затем добавляет: «Но д-р Гэллап не выявляет мнение населения. Он лишь оценивает, с какой частотой люди будут отвечать “да”, “нет” или “не знаю” на задаваемые вопросы. Д-р Гэллап слышит не пульс демократии, а детский лепет» [33, p. 17].

В письме, опубликованном в “Public Opinion Quarterly” [18], Гэллап опроверг утверждение Роджерса о том, что полстеры хотели, чтобы политическая система действовала по подсказке общественного мнения. Наоборот, согласно их позиции, настоящий лидер стремится убедить людей принять его точку зрения и разделить его цели.

В конце 1950-х годов в программной статье о прошлом и будущем исследований общественного мнения Гэллап вспомнил о книге Роджерса: «В этой широко известной книге Роджерс противоречит себе почти в каждой главе, если не в каждом параграфе. Однако она очень полезна, так как представляет собрание всех критических заявлений, когда-либо сделанных по поводу опросов. И я могу абсолютно честно сказать, что если бы я был профессором, я бы рекомендовал прочесть ее каждому студенту, изучающему курс общественного мнения» [21, p. 25]. Необходимость тщательного анализа всех звеньев процедуры при измерении общественного мнения осознавалась отцами-основателями и до фиаско-48. Но после всего случившегося их работа по совершенствованию инструментария приобрела особое значение. Они понимали, что еще одна ошибка в прогнозе выборов может серьезно подорвать доверие населения и бизнеса к выборочной технологии изучения общественного мнения.

Приводимое ниже письмо Гэллапа сенатору-демократу Элмеру Томасу (John William Elmer Thomas, 1876–1965) из архива Университета Оклахомы, скорее всего, никогда не публиковалось. Письмо написано 2 июля 1949 года, через полгода после завершения выборов 1948 года; в нем чувствуется радость человека, разрешившего навалившиеся на него серьезные проблемы: «Уважаемый сенатор Томас. Действительно, век живи, век учись. На недавних выборах в Канаде мы приложили все усилия, чтобы использовать уроки, полученные в ноябре. Результаты, честно говоря, даже лучше, чем мы надеялись. Искренне Ваш, Джордж Гэллап» [11].

К письму приложен одностраничный отчет Гэллапа о прогнозе итогов парламентских выборов в Канаде (средняя ошибка для разных партий составляла 1,2%). В нем также содержится обобщенная статистика гэллаповских электоральных исследований. Он пишет: «Прогноз выборов в Канаде был 515-м за прошедшие 13 лет… Средняя ошибка в 515 прогнозах составляет 4%» [20].

Трудно сказать, какие исследовательские направления были бы для Гэллапа важнейшими, если бы не было фиаско-48. Но после этого совершенствование технологии измерения мнений и доведение результатов опросов до общества стало для него первостепенной задачей. Возможно, что в 1948 году Гэллап не смог бы сформулировать своего отношения к произошедшему так точно и тонко, как сделал это через четверть века. Однако думается, что именно тогда он пришел к мыслям, изложенным в 1972 году во вступлении к «книге жизни» — “The Gallup Poll”, — ежегодным сборникам результатов его зондажей общественного мнения. Он писал: «Многие социальные исследователи в США обескуражены сложностью предсказания человеческого поведения. После ошибочного прогноза исхода президентских выборов 1948 года ряд исследователей рынка присоединились к хору тех, кто настаивал на невозможности предсказать поведение людей в конкретных ситуациях. Я придерживаюсь противоположного мнения и считаю, что человеческое поведение предсказуемо и мы реально можем содействовать прогрессу, делая прогнозы и обучаясь на совершенных ошибках. Я уверен, что страх ошибиться и понести наказание тормозит развитие социальной науки в целом. Было бы нелепо утверждать, что чье-то поведение может быть предсказано совершенно точно. Это невозможно сейчас и будет невозможным всегда. Но в ряде наук уже накоплено достаточно свидетельств того, что поведение людей может быть предсказано достаточно надежно. Наша цель заключается в том, чтобы увеличить эту надежность» [37].

В стратегическом отношении увеличение надежности достигалось за счет постоянного совершенствования выборки и техники интервьюирования. Несколько десятилетий предпочтение отдавалось личному интервью, но постепенно доминирующим стал метод телефонного интервью на основе случайного отбора номеров. К 1970-м годам более 96% населения страны имело домашний телефон, и уже можно было не опасаться, что телефонный опрос априори приведет к нарушению репрезентативности выборки. Проблемы оставались, но они в большей степени приобрели технолого-организационный характер. Ряд трудностей удалось преодолеть с появлением компьютерно-телефонной технологии опросов (Computer Aided Telephone Interview, CATI), но многие проблемы сохраняются и в начале XXI века. Наш анализ тематики докладов на 58-й ежегодной конференции Американской ассоциации исследователей общественного мнения (The American Association for Public Opinion Research), состоявшейся в мае 2003 года, выявил, что наибольшее внимание исследователей привлекала проблематика создания (design) опросных документов. Второй по количеству докладов была тематика, касающаяся реализации запланированной выборки. Хотя телефонные опросы в США проводятся с конца 1920-х годов и различные аспекты этого метода анализируются не менее полувека, на конференции было четыре секции, посвященные проблемам достижимости респондентов при случайном наборе номеров в телефонных опросах [2].