Пример использования экспертных опросов - прогнозирование результатов выборов президента 2008

	Усредненные значения	Максимальный экспертный прогноз	Минимальный экспертный прогноз	ЦИК РФ
Богданов А.Ю.	1,2	1.0	1,8	1,1
Жириновский В.В.	10,2	8	12	9,35
Зюганов Г А.	14,4	12,1	17	17,72
Медведев Д.А.	74,3	70	77,5	70,28

 

Источник: Данные экспертных опросов ВЦИОМ.

С точки зрения теории вероятностей, экспертный прогноз будет не менее точным, чем любой индивидуальный прогноз. Комбинированный экспертный прогноз, имея разные основания отклонений от реальности, может быть более точным, чем отдельные прогнозы, его составляющие. Поэтому ошибки этих прогнозов не коррелированы и отчасти взаимно уничтожаются. Комбинированный прогноз имеет в основе большее количество информации, чем составляющие его прогнозы.

Ряд вариантов постановки задачи использования экспертных оценок для прогнозирования результатов голосования был предложен И.В. Задориным и реализован группой "Циркон”. Целью экспертного опроса являлось получение прогнозных оценок, касающихся возможных исходов выборов в Законодательные Собрания 8 регионов РФ [Выборы в законодательные собрания. 2006]. По партийным спискам в шести регионах из 8-ми (кроме национальных республик) экспертные прогнозы оказались довольно точными. Расхождения между прогнозными и официальными итогами голосования характерны в основном для "малых" партий".

Крупные российские исследовательские компании, занимающиеся оценками социологических прогнозов и построением рейтингов, взяли данный метод на вооружение, однако применяют его для корректировки электоральных расчетов, построенных на базе массовых опросов населения [Прогнозы ВЦИОМ, ФОМ. 2011]. Опыт избирательной кампании 2008 г. показал, что экспертные оценки позволили получить достаточно точный прогноз результатов выборов (табл.1).

Примеры построения и использования экспертных оценок для прогнозирования результатов выборов известны и по зарубежным источникам. Одной из наиболее интересных постановок здесь является эксперимент университета Айовы, которой формирует комбинированный формализованный экспертный прогноз результатов выборов по биржевому методу (основанному на заключении систем пари) уточнения рейтингов [Iowa electronic markets http:. iem].

Применение экспертного прогноза основано на его гипотетической способности аналитически учитывать некоторую "априорную информацию”; а именно: резкие колебания информационного поля незадолго до выборов, наступление иных событий, способных качественно повлиять на предпочтения избирателей и результаты голосования; историю и традиции электорального поведения конкретной страны (региона); влияние на результаты выборов "административного ресурса" во всех его проявлениях.

Опыт использования экспертных прогнозов в ходе избирательной кампании 2011-2012 гг. За период с июня по ноябрь 2011 г. были проведены 5 волн экспертного опроса с интервалом примерно один месяц. Данные экспертных прогнозов не публиковались, а использовались для коррекции электоральных расчетов на основе массовых опросов.

экспертный массовый опрос россия прогноз

Реализация экспертного прогноза ВЦИОМ в ходе избирательной кампании 2011-2012 гг. потребовала решения ряда методологических вопросов [Бестужев-Лада, 1993]:

как наилучшим образом выбрать, рекрутировать и мотивировать экспертов; как определить оптимальную периодичность опросов;

как выстроить процедуру интерпретации экспертных оценок.

Сложности подбора оптимального количества и состава экспертов описаны в литературе. Соображение о том, что можно остановить расширение выборки, когда новые значения перестают оказывать существенное влияние на среднее, не применимо, когда необходимо реализовать многоволновой проект в сжатые временные рамки. Во-первых, для соблюдения графика исследования необходимо планирование. Во-вторых, когда речь идет о политической сфере и политических оценках, важно отследить не столько количество экспертов, сколько их состав, обеспечивающий "идеологический баланс”.

Первоочередным критерием качества экспертов являются их квалификация и компетенция, их способность дать электоральный прогноз. Перечень формально-ритуальных критериев включает наличие профильного образования, опыта профильной деятельности, статуса и авторитета в профессиональных кругах. В условиях описанной постановки, выдержать критерии многостороннего анализа компетентности экспертов не представляется возможным (Шляпентох, 2006). В практической плоскости критерий профильного образования имеет достаточно малый вес, как и формальный статус. Значение приобретают личные политические предпочтения эксперта (оценки должны быть несмещенными), его информированность о текущих политических событиях (которая не всегда гарантируется родом занятий). На представления эксперта влияет и сфера его деятельности: к политике отношение имеют исследователи-политологи (сотрудники вузов), государственные служащие и партийные функционеры, политические консультанты. Учет всех перечисленных факторов и текущих возможностей привел нас к нижеописанному конкретному решению.

В ходе предвыборной кампании 2011 г. в опросах ВЦИОМ принимали участие 12 экспертов, в каждой волне на вопросы отвечали в среднем 10. В качестве экспертов выступали представители исследовательских организаций, консалтинговых компаний, СМИ, научных учреждений. Им рассылался формализованный опросный лист, где предлагалось указать максимальный и минимальный результат каждой партии, предсказать явку и указать источники, которые он принимает во внимание. Участие было конфиденциальным, состав экспертов не разглашался.

Периодичность опроса определялась двумя факторами: опрос необходимо проводить достаточно часто, чтобы отслеживать динамику изменения событий; опрос не следует проводить слишком часто, чтобы не демотивировать экспертов и не вызвать формальное к нему отношение.

Высокий статус признанных специалистов в сфере прикладного политического анализа и политического консалтинга исключал возможность материальной мотивации.

Интерпретация полученных результатов требовала выбрать способ комплексирования экспертных оценок. Нетривиальность задачи определяется следующими факторами:

•         Широта разброса оценок. Когда разброс является существенным (например, в ситуации разделения экспертов на сторонников двух противоположных сценариев), простое усреднение дает "среднюю температуру по больнице” и с высокой вероятностью окажется ошибочным при любом сценарии развития событий.

•         Наличие "выбросов”, т.е. оценок, существенно выходящих за пределы усредненного диапазона оценок. С одной стороны, сложность представляет оценка таких выбросов - являются они "инсайтом” или результатом недостаточной добросовестности эксперта. С другой - проблемно комплексировать такие оценки с оценками других экспертов.

•         Малый объем выборки, ограничивающий возможности формальной обработки.

Меняющийся состав экспертов, соглашающихся ответить на вопросы анкеты. Каждый второй эксперт пропустил, по меньшей мере, одну волну опроса.

 

Рис. 1. Динамика агрегированных количественных и экспертных прогнозов в 2011 г.

 

Перечисленные факторы по-разному проявляются в ходе различных волн экспертных опросов. Установить единые правила комплексирования и свертки представляется возможным на длинных, многоволновых исследованиях с постоянной группой экспертов, тогда как для сравнительно коротких проектов процесс обработки каждой волны опроса может иметь свои особенности. Когда эксперты практически едины в своем мнении, а разброс оценок невелик, вполне приемлемо применение средних оценок. При обратном раскладе приходится прибегать к более сложным процедурам обработки. К примеру, при малом разбросе и наличии единичных выбросов последние исключаются из рассмотрения (решение становится близким к выбору классической медианной оценки [Кемени, Снелл. 1972]). При широком разбросе устанавливаются усредненные верхняя и нижняя границы диапазона возможных результатов и проводится их последующее сближение путем сопоставления с данными предыдущих волн опроса и данными массовых опросов.

На рис.1 приведено сопоставление динамики электорального расчета и усредненного экспертного прогноза по трем ведущим партиям. Как видно из диаграммы, в ходе кампании электоральные рейтинги по результатам опросов заметно менялись, тогда как экспертный прогноз по всем партиям оставался на удивление стабильным. Результаты малых партий также оценивались стабильно, хотя в относительных величинах (по отношению к доле голосов, которые набирает партия) колебания рейтинга малых партий выглядели достаточно заметно (показатели менялись в 1,5-2 раза). Таким образом, можно говорить о том, что эксперты "сглаживали” динамику изменения ситуации, которую фиксировали массовые опросы населения. Особенно наглядно расхождение экспертных оценок с массовыми опросами заметно в отношении "Единой России”. В то время как опросы и сделанные на их основе электоральные расчеты демонстрировали снижение общественной поддержки данной партии, эксперты практически не меняли исходные оценки ее электоральных перспектив и не отразили в своих оценках возможность роста "протестного" голосования за оппозиционные партии.

В итоге экспертный прогноз оказался менее точным, чем электоральный расчет на основе массовых опросов населения (табл.2).

Сопоставление результатов выборов с экспертными прогнозами, приведенное на рис.2, показывает, что по большинству партий (4 из 7 партий: ЕР, КПРФ, СР, Яблоко) результаты выборов вышли за рамки диапазона предложенных экспертами прогнозов.

В целом, эксперты верно определили порядок партий по результатам выборов, а размер отклонения не превышает обычной ошибки выборки. Тем не менее, можно констатировать, что в целом экспертные прогнозы результатов выборов в ходе избирательной кампании 2011 г. оказались сравнительно неуспешными в отличие от прогнозов, составленных в ходе избирательной кампании 2007, несмотря на сохранение методики.

 

Рис. 2. Сопоставление результатов выборов с экспертными прогнозами (НД - недействительные бюллетени)

 

В период избирательной кампании 2012 г. перед выборами президента РФ также был проведен экспертный опрос с целью прогнозирования результата выборов. Короткий срок кампании (чуть более месяца после завершения больших новогодних каникул) дал возможность провести только одну волну опроса (рис.3).

Опрос показал, что экспертные оценки вновь не учитывают динамики развития событий. Низкие результаты "Единой России” в 2011 г. были спроецированы экспертами на возможный результат В. Путина-2012. Также обращает на себя внимание большой разброс оценок лидеров электорального рейтинга (В. Путин и Г. Зюганов) и низкие оценки шансов нового кандидата М. Прохорова, которые оценивались ниже, чем шансы постоянных участников гонки за президентский пост.

Как и в случае с думскими выборами, результаты ряда кандидатов (Путин, Жириновский, Миронов) вышли за рамки указанных экспертами диапазонов (рис.4). Эксперты занизили результаты В. Путина и завысили результаты его оппонентов по сравнению с официальными данными. В отношении результатов президентских выборов средняя ошибка экспертных оценок получилась заметно выше, чем в отношении результатов думских выборов. Электоральный расчет по результатам массового опроса снова дал существенно более точную информацию (табл.3).

Таблица 2. Отклонения прогнозов от результатов выборов-2011

	Итоговый прогноз	Электоральный расчет на основе опросов населения	Экспертный прогноз
Единая Россия	-2,58	1,22	-2,88
КПРФ	2,69	3,49	2,39
Справедливая Россия	0,34	-1,56	2,44
ЛДПР	-1,43	-1,83	-1,23
Яблоко	0,83	0,43	1,03
Правое дело	-0,3	-1,2	-0,7
Патриоты России	0,17	-0,93	-0,03
Недействительные	0,28	0,38	-1,02
Стандартное отклонение средней ошибки	1,56	1,78	1,85

 

* Из результата каждой партии по данным ЦИК РФ вычитается прогнозное значение.

Вероятной причиной неточности экспертных оценок явилось наличие смещенности оценок за счет собственных политических воззрений эксперта. Выборка не включала партийных экспертов, имеющих собственные выраженные политические предпочтения. Однако объективность формально независимых экспертов - политических консультантов, государственных служащих, исследователей тоже вызывает вопросы. Может ли человек, разбирающийся в политике, внимательно следящий за событиями, занимающийся профессиональной деятельностью в сфере политических исследований и консалтинга, оставаться беспристрастным арбитром - вопрос, не получивший пока ответа.

 

Рис. 3. Бокс-плоты разброса экспертных прогнозов по кандидатам в президенты ‘Верхняя граница прямоугольника - средняя максимальная экспертная оценка по кандидату, нижняя граница соответствует средней минимальной экспертной оценке. Линии вверх и вниз показывают абсолютные максимальные и минимальные экспертные оценки.

 

Результаты эксперимента. Проведенный опыт экспертных опросов с целью прогнозирования результатов выборов дает основания подвести некоторые итоги. Полученные результаты позволяют выдвинуть ряд объяснительных гипотез и зафиксировать определенные особенности использования экспертных оценок как для электорального прогнозирования, так и для более широкой сферы политических прогнозов.

Выделим основные содержательные результаты, касающиеся собственно прогноза, и технологические результаты, касающиеся особенностей организации исследования.

Содержательные результаты: Экспертные оценки, которые показывают хороший результат в периоды политической стабильности (пример - точность прогнозов 2007г.), "буксуют" и отстают в период неопределенности, высокой динамики изменения ситуации (кампания 2011-2012 гг.). Эксперты следуют за событиями, а не предсказывают их. Поэтому экспертные оценки следует рассматривать как некоторую "отправную точку" для оценки изменений, фиксируемых количественными опросами.

Таблица 3. Выборы президента РФ: отклонение прогнозов от результатов

	Экспертный прогноз	Электоральный расчет на основе опросов населения	Итоговый прогноз
Путин	9,45	3,2	3,1
Зюганов	1,63	2,08	0,98
Прохоров	0,98	-0,72	-0,22
Жириновский	-4,23	-1,48	-1,68
Миронов	-2,35	-3,25	-1,95
Недействительные	-1,33	0,07	-0,23
Станд. отклонение ошибки	4,8	2,3	1,9

 

* Из результата каждого кандидата по данным ЦИК РФ вычитается прогнозное значение

•         Экспертные оценки высоко устойчивы. В то время как динамичность избирательной кампании задает высокий ритм изменений информационного пространства, эксперты не успевают осмыслить быстротекущие изменения и повторяют те же оценки, что и в предыдущем опросе.

Технологические результаты:

•         Существенную техническую проблему представляет мотивация экспертов к участию в опросе, особенно когда речь идет о лицах, обладающих достаточно высоким статусом. Эксперты склонны давать качественные оценки (в интервью для СМИ или в глубинных интервью), но избегают формализованных оценок в форме анкетного опроса. Необходимость формулировать четкий прогноз на определенный период с перспективой его верификации в самое ближайшее время повышает уровень ответственности экспертов, заставляя их в определенном смысле "рисковать экспертным статусом”, что затрудняет получение согласия на участие в опросе. Формализованный опрос заставляет экспертов перестраховываться и максимально расширять границы диапазона оценок. Есть и обратная проблема - недостаточно взвешенное, а порой легкомысленное отношение экспертов к формированию прогнозных оценок.

•         Опрос политических экспертов оказался сложно технологизируемым. Эксперт часто не желает осваивать предлагаемый ему формат, если такой формат для него исходно неочевиден. Эксперт с относительно высоким статусом предоставляет прогноз в том формате, который он сам считает правильным и удобным, заполняет лишь часть предложенных форм, что усложняет обработку полученных данных.

В целом, экспертный прогноз оказался успешным. Прогнозируя результаты парламентских и президентских выборов, эксперты в обоих случаях верно определили победителя, а также порядок кандидатов. Эксперимент иллюстрирует применимость формализованных экспертных оценок для прогнозирования результатов федеральных выборов.

Пути повышения точности экспертных и комбинированных прогнозов лежат в технологизации прогнозирования с применением действенных механизмов отбора и мотивации экспертов, а также методов математического моделирования, и использовании систем пари в рамках модерируемых социальных сетей. Дальнейшее совершенствование методов экспертного опроса и оценивания пойдет именно в этом направлении (например, с учетом опыта такой интересной разработки как вышеупомянутая система lowaelectronicmarket).

Список литературы

 

1. Баскакова Ю.М. Экзит-полл и его задачи // Мониторинг общественного мнения: экономические и социальные перемены. 2011, № 4.

2. Бестужев-Лада И.В. Экспертный сценарно-прогностический мониторинг: принципы организации // Социол. исслед. 1993. № 5.

3. Выборы в законодательные собрания субъектов РФ. Весна 2006. Аналитический отчет по результатам экспертного прогнозирования итогов голосования. <http://www.zircon.ru/upload/File/> russian/publication/1 /060320. pdf

4. Кемени ДДж., Снелл ДжЛ. Кибернетическое моделирование. Некоторые приложения. М.: Советское радио, 1972.

.   Описание электоральных расчетов ФОМ в еженедельнике "Доминанты" http://bd. fom.ru/ <http://bd.fom.ru/> pdf/d07pv12. pdf или описание электоральных расчетов ВЦИОМ <http://wciom.ru/index>. php? id=270&uid=112099

.   Прогнозы ВЦИОМ http://wciom.ru/fileadmin/vybory/prognoz_23-11-2011. pptx <http://wciom.ru/fileadmin/vybory/prognoz_23-11-2011.pptx>, а также прогнозы ФОМ http://bd. fom.ru/pdf/d4911 <http://bd.fom.ru/pdf/d4911>. pdf

Поделиться:

Воспользуйтесь поиском по сайту: