 |
Методы обработки экспертных оценок
|
|
|
|
Обработка экспертных оценок при групповой экспертизе имеет специфику в зависимости от характера информации, выражающей предпочтения экспертов и содержательное обоснование своих предпочтений, целей, назначения и других факторов проводимой экспертизы и заключается в следующем:
•определение обобщенной оценки исследуемых объектов или рассматриваемого объекта по ряду свойств, показателей и относительной их значимости;
• оценка согласованности и зависимости мнений экспертов;
• оценка достоверности полученных расчетных величин.
Целью обработки экспертных оценок является получение обобщенных данных по исследуемым объектам, анализ которых позволяет получать дополнительную информацию об особенностях процесса оценки, позволяющую формулировать выводы о качестве проведенной экспертизы и причинах возможных расхождений мнений коалиций экспертов.
Определение обобщенной оценки исследуемых объектов осуществляется при групповой экспертной оценке на основе применения методов осреднения индивидуальных оценок экспертов с учетом предположения о том, что они являются достаточно точными «измерителями» и их оценки образуют одну или несколько компактных групп. Алгоритмы получения обобщенной оценки зависят от применяемых разновидностей методов субъективного измерения экспертами предпочтительности оцениваемых объектов или их свойств. Если результаты применяемых методов субъективных измерений представляют собой числа или баллы, то построение групповой оценки заключается в определении среднего значения (математического ожидания) или медианы (наиболее вероятной оценки). В другом случае, если результаты представляют собой ранги, то задачей обработки является построение обобщенной ранжировки объектов на основании наилучшего способа согласования индивидуальных ранжировок экспертов в виде медианы, сумма расстояний от которой результатов индивидуальных ранжировок является минимальной.
|
|
|
Количественная оценка согласованности мнений экспертов необходима в том случае, если мнения экспертов по рассматриваемым объектам расходятся, для более обоснованной интерпретации их расхождения. При этом, индивидуальные оценки рассматриваемого объекта, высказанные экспертами, представляются в виде точек в некотором пространстве, в котором имеется понятие расстояния. Если указанные оценки расположены на небольшом расстоянии друг от друга, образуя компактную группу, то можно говорить о хорошей согласованности мнений экспертов, иначе о невысокой. Если оценки экспертов образуют в пространстве две или более компактные группы, то это означает, что в экспертной группе существуют соответствующие коалиции с существенно отличающимися точками зрения на оценку объектов. Многообразие предлагаемых в литературе способов оценки согласованности мнений экспертов обусловливается использованием для оценки объектов различных субъективных методов измерения, результатами которых могут быть числа, баллы или ранги, а также различные меры степени согласованности.
В качестве показателей степени согласованности мнений экспертов применяют: коэффициент вариации, коэффициент парной ранговой корреляции (Спирмена или Кендалла), коэффициент конкордации.
Коэффициент вариации (Vj) оценок, данных j -му объекту, определяется по формуле:
,
где С ij - оценка в баллах i -м экспертом j -го объекта;
М j - среднестатистическое значение величины оценки объекта в баллах, определяемое по формуле:
,
где m j - количество экспертов, оценивающих j - ый объект.
|
|
|
Чем меньше значение этого коэффициента, тем выше степень согласованности мнений экспертов.
Коэффициент парной ранговой корреляции Спирмена(
) для двух экспертов 
и 
определяется по формуле:
,
где 
, 
- ранговые оценки j - го объекта экспертов и ;
n - количество оцениваемых объектов;
, 
- показатели связанных (равных) рангов оценок экспертов и , вычисляемые следующим образом: если все n рангов оценок, назначенных i - м экспертом различны, то Т i = 0, иначе для равных рангов:
,
где L- количество групп связанных рангов;
t1 - количество связанных рангов в 1-й группе.
Значение коэффициента 
указывает на полную согласованность мнений экспертов и ; значение 
- о полной противоположности мнений экспертов; значение 
- об отсутствии связи между
Для оценки степени согласованности мнений всей группы экспертов в целом применяется коэффициент конкордации. Коэффициент конкордации определяется в следующей последовательности: вначале вычисляется среднее арифметическое 
сумм рангов оценок всех объектов:
,
затем вычисляются отклонения 
суммы рангов оценок, полученных j-м объектом от 
:
в конечном итоге рассчитывается коэффициент конкордации:
,
где m – количество экспертов;
n – количество объектов экспертизы;
Коэффициент конкордации изменяется в пределах от 0 до 1. Увеличение значения коэффициента конкордации соответствует увеличению степени согласованности мнений экспертов. Небольшое значение коэффициента конкордации может быть обусловлено либо действительно невысокой степенью согласованности мнений экспертов, либо существованием групп с высокой согласованностью противоположных мнений.
Метод анализа иерархий
Метод анализа иерархий (МАИ) состоит в декомпозиции проблемы на более простые составляющие и дальнейшей обработке последовательности суждений лица принимающего решения по парным сравнениям. В основе метода анализа иерархий лежат три принципа:
- принцип декомпозиции,
- принцип парных сравнений,
- принцип синтеза приоритетов.
Принцип декомпозиции
В МАИ основная цель исследования и все факторы, в той или иной степени влияющие на достижение поставленной цели, распределяются по уровням. На первом уровне всегда находится одна вершина – цель проводимого исследования. Второй уровень иерархии составляют факторы, непосредственно влияющие на достижение поставленной цели. На последнем уровне определяются все возможные альтернативы достижения поставленной цели. Принцип декомпозиции можно представить в виде следующей схемы:
|
|
|
Рис. 1. Декомпозиция задачи в иерархию
Принцип парных сравнений
Принцип парных сравнений заключается в том, что все элементы задачи (факторы) сравнивается попарно по отношению к воздействию на общую характеристику, то есть определяется вес или интенсивность каждого элемента (фактора). Обозначим множество сравниваемых элементов: С1, С2 , С3 … Сn. Веса этих элементов обозначим, соответственно: V1, V2, V3 … Vn. Результаты сравнения представляются в виде матрицы парных сравнений, которая имеет вид:
Таблица1
Матрица парных сравнений
| C1 | C2 | … | Cn | |
| C1 | V1 /V1 | V1 /V2 | … | V1 /Vn |
| C2 | V2 / V1 | V2 /V2 | … | V2 / Vn |
| … | … | … | … | … |
| Cn | Vn / V1 | Vn / V2 | … | Vn / Vn |
Если веса элементов V1, V2, V3 … Vn. заранее неизвестны, то сравнения производится с использованием субъективных суждений, оцениваемых по шкале относительной важности.
Таблица 2
Шкала относительной важности
| Интенсивность относительной важности | Определение |
| 0 | варианты не сравнимы |
| 1 | равная важность |
| 3 | умеренное превосходство одного над другим |
| 5 | существенное или сильное превосходство |
| 7 | значительное превосходство |
| 9 | очень сильное превосходство |
| 2,4,6,8 | промежуточные решения между двумя соседними суждения |
|
|
|
