Точность и доверие к результатам экспертизы. Оценка экспертов

Важным вопросом экспертизы является формирование группы экспертов. Если экспертов много, то в группу с высокой вероятностью попадают некомпетентные эксперты. Если экспертов мало, то результат экспертизы существенно зависит от конкретных лиц, попавших в число экспертов. Поэтому имеет смысл, опросив экспертов r_i и получив результат экспертизы R, оценить объективность каждого из членов экспертного коллектива по следующей формуле:

αi — коэффициент объективности эксперта; ri — мнение i -го эксперта; R — результат экспертизы (среднее мнение), вычисленное ранее изложенными способами; d (ri, R) — расстояние от мнения i -го эксперта до среднего мнения R; n — количество экспертов; — сумма расстояний от всех мнений экспертов до среднего мнения R.

Для нашего примера можно просчитать объективность каждого эксперта. Рассмотрим уже полученное ранее решение (см. табл. 36.15).

Расстояние d (r_i, R) от мнения i -го эксперта до результата (среднего мнения R):
d (r ₁, R) = |1 – 1| + |2 – 2| + |3 – 3| + |4 – 4| = 0;
d (r ₂, R) = |1 – 1| + |3 – 2| + |2 – 3| + |4 – 4| = 2;
d (r ₃, R) = |2 – 1| + |1 – 2| + |3 – 3| + |4 – 4| = 2;
d (r ₄, R) = |1 – 1| + |3 – 2| + |4 – 3| + |2 – 4| = 4.

= 0 + 2 + 2 + 4 = 8.

α ₁ = 1 – 0/8 = 1;
α ₂ = 1 – 2/8 = 0.75;
α ₃ = 1 – 2/8 = 0.75;
α ₄ = 1 – 4/8 = 0.5.

Итак, как видим, первый эксперт имеет наибольшую объективность; наименьшую объективность имеет четвертый эксперт (см. рис. 36.8). Кстати, неслучайно в методе «Медиана Кемени» мнение первого эксперта было принято в качестве ответа экспертизы, а четвертый эксперт стоял на периферии многоугольника мнений экспертов ABCD (см. рис. 36.1 и рис. 36.2)…

Рис. 36.8. Диаграмма объективности экспертов

Вообще-то рекомендуется отсеять мнения экспертов с малым значением α и результат R пересчитать снова без их учета.

Вторая проверка экспертов касается согласованности их коллектива. Для расчета согласованности мнений рассчитаем дисперсию мнений (см. табл. 36.16) и оценим ее величину статистической формулой W = 12 · D /(n ² · (m ³ – m)), где n — число экспертов, m — число проектов.

Для нашего случая имеем: W = 12 · 46/(4² · (4³ – 4)) = 552/960 = 0.575. При W = 1 эксперты находятся в полном согласии; при W = 0 наблюдается полная несогласованность. В нашем примере согласие экспертов слабое. Поэтому можно порекомендовать изменить число экспертов — либо удалить четвертого эксперта, как самого необъективного, либо увеличить число экспертов для большей статистической устойчивости результатов. Посмотрим, как возрастет согласованность экспертов, например, после удаления четвертого эксперта (см. табл. 36.17).

W = 12 · 29/(3² · (4³ – 4)) = 0.64 — как видим, согласие увеличилось.

Таким образом, экспертиза помогает нам провести неформальный анализ в моделировании, отобрав из множества предложенных методами генерации идей наиболее перспективный вариант будущего проекта. В выбранный проект в дальнейшем будут вложены значительные средства для его детализации (процесс проектирования и моделирования — см. лекцию 01. Понятие моделирования. Способы представления моделей и Рис. 1.14. Схема процесса, способов и приемов моделирования (полный вариант)).

Обычно для уверенного принятия решения, так как все методы экспертиз субъективны, используют сразу несколько методов и выводят общее решение.

Полученное решение обязательно следует проверить. Мы рассмотрели две проверки — на качество эксперта (объективность эксперта) и качество группы (согласованность группы).

Сама величина критерия, полученная в результате проверки, дает только относительную оценку. Рекомендуется наблюдать изменение величины в результате изменения некоторого существенного фактора и добиваться наилучшего значения этой величины, сознательно управляя этим фактором (см., например, табл. 36.16 и табл. 36.17). Таким фактором чаще всего может служить величина группы, качественный состав группы экспертов, система критериев, состав проектов. Хорошие результаты дает применение итераций в экспертизе.

Но всегда следует иметь в виду, что никакое количество проверок, даже очень большое, не гарантирует абсолютной правильности выбора решения.