 |
Коллективные экспертные оценки
|
|
|
|
При коллективных экспертных оценках используются методы «мозговой атаки», «комиссий» («метод круглого стола»), «Дельфи», матричные, метод эвристического прогнозирования и т.д.
Одним из наиболее перспективных методов формирования групповой оценки экспертов является метод Дельфи, получивший название от греческого города Дельфи и мудрецов, славившихся в древности предсказаниями будущего. Метод представляет собой ряд последовательно осуществляемых процедур, направленных на формирование группового мнения по проблемам, по которым ощущается недостаток информации. Он был разработан и применен впервые в США в 1964 г. сотрудниками научно-исследовательской корпорации РЭНД О. Хелмером и Т. Гордоном[29].
Для разработки прогноза необходимо сформировать репрезентативную группу экспертов, провести экспертизу (опрос), статистически обработать результаты.
Опрос проводится по заранее разработанным анкетам в несколько туров. Целью первого тура является уточнение перечня событий для прогноза в определенной области. После того, как события идентифицированы: одинаковые события объединены, второстепенные исключены, - перечень событий становится основой второй анкеты.
Во втором туре опроса эксперты непосредственно работают над вопросами в анкетах. Их просят также привести соображения, по которым они считают свои оценки правильными, т.е. указать причины выбора. После второго тура опроса производят обработку полученных оценок. При статистической обработке результатов опросов экспертов рассчитываются средние значения, дисперсии и доверительные интервалы, коэффициенты вариации оценок по каждому из направлений. Полученные таким образом показатели принимаются за характеристики распределения оценок. Каждому эксперту сообщаются значения этих характеристик. Экспертов, чьи оценки оказались в крайних квартилях, просят их мотивировать, т.е. обосновывать причины расхождения с групповым мнением. Эксперты могут приводить любые аргументы или возражения. Они могут пересмотреть свои мнения и при желании исправить оценки. С полученными обоснованиями знакомят остальных экспертов, не указывая при этом, чьи они. Такая процедура позволяет всем экспертам принять в расчет обстоятельства, которые они могли случайно пропустить или которыми пренебрегли во время первого и второго туров опроса.
|
|
|
В третьем туре опроса анкета состоит из перечня событий, групповой медианы событий и верхнего и нижнего квартилей для каждого события, а также сводных данных (аргументов) о причинах оценок. Участников экспертизы просят рассмотреть аргументы и сформулировать новые оценки событий. Если их новая оценка не попала в интервалы между квартилями, полученными во втором туре опроса, то их просят обосновать свою точку зрения и прокомментировать точку зрения тех, кто придерживается противоположных взглядов.
При необходимости могут быть проведены еще несколько туров опроса. Практика показывает, что мнения экспертов достаточно быстро сходится к единому.
При использовании данного метода следует учитывать следующее:
1) группы экспертов должны быть стабильными и численность их должна удерживаться в благоразумных рамках;
2) время между турами опросов должно быть не более месяца;
3) вопросы в анкетах должны быть тщательно продуманы и четко сформулированы;
4) число туров должно быть достаточным, чтобы обеспечить всех участников возможностью ознакомиться с причиной той или иной оценки, а также критики этих причин;
5) отбор экспертов должен проводиться систематически;
|
|
|
6) необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам;
7) нужна формула согласованности оценок, основанная на данных самооценок;
8) следует установить влияние различных видов передачи информации экспертам по каналам обратной связи;
9) необходимо установить влияние общественного мнения не экспертные оценки и на сходимость этих оценок.
В узких областях науки, техники, технологии, организации производства может быть применен метод эвристического прогнозирования.
Методом эвристического прогнозирования называется метод получения и специализированной обработки прогнозных оценок объекта путем систематизированного опроса высококвалифицированных специалистов (экспертов). Прогнозные экспертные оценки отражают индивидуальное суждение специалиста относительно перспектив развития его области и основаны на мобилизации профессионального опыта и интуиции[30].
Эвристическим метод назван в связи с однородностью форм мыслительной деятельности эксперта при решении научной проблемы и при оценке перспектив развития объекта прогнозирования, а также в связи с использованием экспертами специфических приемов, приводящих к правдоподобным умозаключениям. В основе метода лежат три допущения:
1) существование у эксперта психологической установки на будущее, сформулированной на основе профессионального опыта и интуиции;
2) тождественность процесса эвристического прогнозирования с однотипностью получаемого знания в форме эвристических правдоподобных умозаключений, требующих верификации;
3) возможность адекватного отображения тенденции развития объекта прогнозирования в виде системы прогнозных моделей синтезируемых из прогнозных экспертных оценок.
Эти допущения реализуются в методе эвристического прогнозирования путем системы приемов работы с экспертами, способами оценок и синтеза прогнозных моделей.
Информационным массивом для разработки прогнозов методом эвристического прогнозирования является набор заполненных экспертами таблиц и анкет. Таблицы содержат перечень строго сформулированных вопросов. К вопросам предъявляются следующие требования:
1) они должны быть сформулированы в общепринятых терминах;
|
|
|
2) их формулировка должна исключать всякую смысловую неоднозначность;
3) все вопросы должны логически соответствовать структуре объекта прогноза;
4) они должны быть отнесены к одному из трех перечисленных видов.
К первому виду относятся вопросы, ответы на которые содержат количественную оценку. Ко второму виду относятся содержательные вопросы, требующие свернутого ответа не в количественной форме. К третьему виду относятся вопросы, требующие ответа в развернутой форме.
После того как все вопросы уточнены и сведены по тематическим признакам в соответствующие разделы анкет или таблиц, переходят к работе с экспертами, анализу и обработке экспертных оценок.
Анализ обработка экспертных оценок проводится в следующем порядке.
По результатам опроса экспертов формируем матрицу (табл. 8.1), в которой: первая строка соответствует ответам первого эксперта на все вопросы по обследуемому объекту (вопросы, на которые эксперт не отвечал, также записаны в этой строке); вторая строка соответствует ответам второго эксперта на вопросы и т.д. Внутри каждого вопроса могут быть несколько подвопросов или альтернатив, которые должен оценить эксперт. Столбец матрицы обозначает совокупность ответов всех экспертов по данному конкретному подвопросу или альтернативе.
Таблица 8.1
Матрица ответов экспертов
| Номер эксперта | Номер вопроса | |||||||||||
| m | ||||||||||||
| j | N-1 | N | ||||||||||
| a11 | a12 | a13 | a14 | a15 | a16 | a17 | а1j | a1,N-1 | a1,N | |||
| … | ||||||||||||
| n | an1 | an2 | an3 | an4 | an5 | an6 | an7 | anj | an,N-1 | an,N |
Специфической особенностью такого опроса является то, что практически ни один эксперт не является компетентным во всех вопросах и поэтому «Матрица ответов экспертов» содержит либо пустые места, не имеющие никакого ответа эксперта, либо ответы эксперта на вопросы, в которых данный эксперт недостаточно компетентен. Поэтому, кроме «Матрицы ответов экспертов» необходима еще «Матрица компетентности экспертов», характеризующая уровень осведомленности каждого из экспертов по каждому из m вопросов. Для построения «Матрицы компетентности экспертов» каждому эксперту кроме основных анкет предлагается еще заполнить таблицу, характеризующую его уровень осведомленности и специализацию. Такую самооценку компетентности экспертов можно допустить, поскольку опрос анонимный.
|
|
|
Затем исследователь, на основе таблицы «Уровень осведомленности эксперта» (табл. 8.2.) составляет матрицу специализации эксперта. Обозначим: n- число экспертов, S – число рассматриваемых специализаций, Qав (а =1,2,…, S; в=1,2,…, n) – условное число (балл), характеризующий уровень осведомленности эксперта с номером в специальности а.
Для того, чтобы установить наибольшую компетентность в конкретных вопросах строится матрица характеризующая предпочтительность специализации эксперта.
Таблица 8.2
|
|
|
