Обработка количественных ответов экспертов

 

В результатe работы экспертов обычно является целая палитра мнений. Задача обработки полученных результатов предполагает поиск ответа на два вопроса: первый – чему собственно равен коллективный ответ экспертов, второй – можно ли им доверять.

В зависимости от содержания поставленных вопросов ответы экспертов могут быть количественными или качественными. Количественные ответы получаются у экспертов при оценке ими прогнозируемой величины с использованием двух типов шкал - шкалы отношений или интервальной шкалы.

Оценки по шкале отношений это оценки в обычных натуральных измерителях: метрах, рублях, килограммах и т.д. В этом случае информативна как сама величина, так и ее отличие от другой подобной величины. Другими словами, в случае оценки по шкале отношений можно говорить и о том, насколько велика оцениваемая величина и о том, насколько она отличается от другой такой же величины.

Оценки по интервальной шкале получаются в тех случаях, когда оцениваемый параметр не удается измерить натуральным измерителем, например чувства и эмоции людей. В этом случае экспертов просят оценить прогнозируемую характеристику по какой-то цифровой шкале. Абсолютная величина получаемой оценка не имеет смысла сама по себе, но разность между двумя такими оценками говорит о степени близости двух объектов друг к другу по оцениваемому свойству.

В обоих вариантах количественной оценки методика обработки результатов одна и та же. Для ответа на вопрос о коллективном мнении экспертов традиционно используется среднее значение. Но эта величина не является лучшим выражением коллективного мнения экспертов, так как она может сильно меняться при наличии сильно отличающихся мнений, особенно в тех случаях, когда эти сильно отличающиеся мнения не симметричны, т.е. число оптимистов не равно числу пессимистов. Более правильно считать, что коллективное мнение экспертов точнее оценивается медианой. Медиана это такое значение, которое делит все ответы экспертов пополам, одна половина ответов меньше медианы, вторая – больше. Проиллюстрируем это утверждение на следующем примере. Имеем оценки трех экспертов – 2, 3, 1. Медиана и средняя для них одинаковы и равны 2. Теперь добавим мнение четвертого эксперта, оно равно 10. В результате средняя для четырех ответов равна 4, а медиана 2.5.

Ответ на вопрос о том можно ли доверять мнению экспертов решается с помощью оценки степени согласованности их мнений. В основе такого решения лежит подход, основанный на здравом смысле: мы склонны верить утверждению других, когда все говорят одно и тоже, и не доверять, если каждый из них говорит что-то сильно отличающееся от ответов других.

С целью оценки степени согласованности мнения экспертов необходимо найти первую и третью квартили. Кварта в переводе с латинского это четверть. Первая квартиль это такое значение, которое делит ответы экспертов в пропорции одна четвертая и три четвертых. Одна четвертая это ответы меньшие первой квартили, три четвертых - все ответы которые больше первой квартили. Третья квартиль делит ответы экспертов соответственно в пропорции три четвертых и одна четвертая. Три четвертых это ответы, которые меньше третьей квартили, а одна четверть – ответы которые больше. Для нахождения медианы и квартилей необходимо ответы экспертов отсортировать по возрастанию оценок и по полученному таким образом ряду необходимо построить график зависимости прогнозируемой величины от числа экспертов. На этом графике находятся такие значения, которые отделяют ¼, ½, ¾ от ответов экспертов (рис. 4.).

Рис. 4. Схема определения медианы и квартилей.

Мнение экспертов считается согласованным, если выполняются условия:

и .

Иными словами мнение экспертов согласовано если разность квартилей 3 и 1 меньше медианы.

Обработка качественных оценок экспертов

В тех случаях, когда прогнозируемый параметр не удается оценить в количественной шкале, его оценивают в качественной шкале. Полученные в этом случае качественные оценки представляют собой результаты ранжирования объектов, т.е. расположения их по степени возрастания или убывания оцениваемого параметра. Присвоенные объектам ранги говорят степени выраженности измеряемого свойства, но не говорят насколько это свойство сильнее или слабее выражено у объектов имеющих разные ранги. Ранги могут присваиваться по возрастающей (чем сильнее выражено свойство, тем выше ранг) или по убывающей (чем сильнее свойство, тем меньше ранг).

В случае, когда эксперт считает, что все объекты различаются между собой по оцениваемому свойству, то он присваивает каждому объекту свой, отличный от других, ранг, таким образом, число рангов равно числу оцениваемых объектов или иными словами оценка производится по шкале с числом делений равным числу объектов. Если на взгляд эксперта среди оцениваемых объектов имеются такие у которых измеряемое свойство выражено одинаково, то он присваивает им одинаковые ранги. Каждое повторение рангов приводит к уменьшению длинны шкалы, по которой производится ранжирование, на единицу. В результате при наличии в оценках эксперта повторяющихся рангов его оценки могут быть сопоставлены с оценками другого эксперта только в том случае, если число повторяющихся рангов у них совпадает. В противном случае сопоставление этих оценок между собой без специальной обработки не возможно, так как эти оценки фактически получены путем измерения с использованием шкал различной длинны.

Процедура приведения ранговых оценок экспертов к сопоставимому виду называется стандартизацией рангов. Ее содержание проще всего уяснить на конкретном примере. Имеем ранговые оценки тремя экспертами вклада пяти объектов (исполнителей, отделов и т.д.) в достижение общего. Ранжирование проведено по убывающей (первый ранг – наиболее ярко выраженное свойство). Результаты их работы представлены в таблице 1.

Таблица 1. Исходные ранговые оценки экспертов.

	Исп. 1	Исп. 2	Исп. 3	Исп. 4	Исп. 5	Всего
Эксперт 1
Эксперт 2
Эксперт 3
Итого

 

Как видно из этих данных первый эксперт оценил вклад двух исполнителей одинаково, второй эксперт – дважды признал вклад двух пар исполнителей одинаковым, и только третий эксперт посчитал, что вклад каждого исполнителя различен. В результате получены оценки вклада исполнителей в шкалах различной длины (от 3 до 5). Подтверждением того, что оценки несопоставимы между собой, является различная сумма оценок по каждому эксперту. В том случае, когда они использовали бы одну и туже шкалу, эта сумма была бы одинакова.

В процессе стандартизации рангов вместо рангов всем измерениям одного эксперта присваиваются места по следующему правилу. Последовательно просматриваются все его оценки и находятся те из них, которые имеют самый низкий ранг. Первому объекту, имеющему самый низкий ранг присваивается, первое место, всем последующим объектам, имеющим тот же ранг, присваиваются места возрастающие на единицу. Номер места также увеличивается на единицу при переходе к объектам, имеющим следующий ранг, а сам процесс присвоения мест повторяется, т.е. каждому последующему повторению нового ранга присваивается место на единицу большее. В результате этой процедуры получаем число мест для оценок одного эксперта равное числу оцениваемых объектов (табл. 2).

Таблица 2. Места для оценок экспертов.

	Исп. 1	Исп. 2	Исп. 3	Исп. 4	Исп. 5	Всего
Эксперт 1
Эксперт 2
Эксперт 3

 

Далее для каждой группы объектов, имеющих один и тот же повторяющийся ранг (в таблице 2 это ячейки одинаковой штриховки), вычисляется среднее значения мест. Найденные средние значения мест для объектов с повторяющимися рангами, а также места (исходные ранги) для остальных объектов представляют собой стандартизованные ранги (табл. 3). Полученные стандартизованные ранги в отличии от исходных рангов сопоставимы между собой так как являются результатом измерения в одной и той же шкале для всех экспертов. Сумма стандартизованных рангов по каждому объекту отражает коллективное мнение экспертов и является итоговой коллективной оценкой (последняя строка табл. 3).

Таблица 3. Стандартизованные ранги.

	Исп. 1	Исп. 2	Исп. 3	Исп. 4	Исп. 5	Всего
Эксперт 1	2.5	2.5
Эксперт 2	4.5	2.5		4.5	2.5
Эксперт 3
Сумма стандартизованных рангов				14.5	10.5
Результаты оценки исполнителей экспертами

Следует отметить, что стандартизация рангов не является процедурой простого равномерного растяжения более коротких шкал до требуемой длинны. Удлинение шкал при стандартизации производится за счет их растяжения только в тех местах, где имеются повторения.

Оценка степени согласованности мнения экспертов осуществляется с помощью коэффициента конкордации (согласия). Для этого вначале необходимо рассчитать среднюю сумму рангов по формуле:

где: – число экспертов;

– число оцениваемых исполнителей.

Для рассматриваемого примера . Далее по каждому объекту необходимо найти – сумму квадратов отклонений суммы стандартизованных рангов от средней суммы рангов :

где: – сумма стандартизованных рангов по i-му объекту.

Результаты расчетов сведены в таблицу 4.

Таблица 4. Расчет .

	Исп.1	Исп.2	Исп.3	Исп.4	Исп.5	Всего
Сумма стандартизованных рангов (табл. 3.)				14.5	10.5
Средняя сумма рангов
Разность	-1	-1	-5	5.5	1.5
Квадрат разности				30.25	2.5	59.5

В случае если бы все эксперты были единодушны, т.е. их оценки совпадали, и они оценили бы всех исполнителей, так как это получилось по стандартизованным рангам, то была бы в этом случае максимальной. Обозначим ее через , она может быть рассчитана по формуле:

Коэффициент согласия это отношение к , если его значение превышает 0.4, то мнение экспертов считается согласованным.

Для рассматриваемого примера = 90, / =0.66>0.4 и мнение экспертов можно признать согласованным.

 

⇐ Предыдущая12345678910Следующая ⇒

Поделиться:

Воспользуйтесь поиском по сайту: