Методы оценки и отбора экспертов

Подготовительный этап экспертизы заключается в создании формализованной модели экспертизы и материально-техническом обеспечении отдельных ее этапов. Несмотря на многообразие таких моделей, что обусловлено разнообразием объектов экспертизы и ре­шаемых проблем, возможно ориентировочно наметить следующие операции, осуществляемые инициаторами проведения экспертизы, специалистами, входящими в рабочую группу аналитиков, или руко­водством экспертной организации: формулирование целей и задач, формирование рабочей группы аналитиков, оценка и отбор (назначе­ние) экспертов для проведения экспертизы.

На подготовительном этапе применяются методы оценки и отбора

экспертов.

Отбор и формирование группы экспертов начинается с опреде­ления области их компетенции, что позволяет надеяться на достаточ­ную степень надежности экспертов, включаемых в экспертную груп­пу. При формулировании целей и задач устанавливаются области знаний, которые обеспечивают решение проблемы. Исходя из этого, составляется список кандидатов в эксперты, включающий специали­стов, компетентных в данной области знаний и имеющих практиче­ский опыт работы в решении аналогичных проблем. Как отмечалось, эксперт должен отвечать определенным требованиям, а в отдельных случаях и быть аттестованным в определенной системе. Кроме того, могут учитываться служебное положение, стаж работы, профессия.

После составления списка кандидатов в эксперты проводится оценка их качества или соответствия установленным требованиям. В литературе приводится несколько методов такой оценки, но, по на­шему мнению, наиболее полная оценка достигается с помощью сово­купности методов (рис. 15), предложенных Э.П. Райхманом и Г.Г. Аз-гальдовым [30].

Рис. 14. Классификация экспертных методов

Рис. 15. Методы оценки качества экспертов Методы оценки качества экспертов подразделяются на пять

групп:

• эвристические; i

• статистические;

• тестовые;

• документальные;

• комбинированные.

Глава 4. Методы товарной экспертизы

§5. Экспертные методы

 

Каждая из указанных групп делится на виды (частные оценки) и методы их получения.

Эвристические оценки — оценки, назначаемые человеком и ос­нованные на предположении правильности отражения качества экс­перта через оценку окружающих или самооценку.

Различают следующие виды эвристических оценок: самооценка, оценка аргументированности и знакомства с объектом экспертизы, взаимооценка, оценка рабочей группой.

Самооценка — вид и метод эвристической оценки компетентно­сти самим экспертом. Установлено, что достоверность усредненной экспертной оценки тем выше, чем больше среднее значение само­оценки членов группы. В то же время следует иметь в виду, что само­оценка отличается значительной субъективностью, а это влечет опре­деленные ее недостатки. Самооценка зависит от психологических особенностей экспертов (наличия высокой или заниженной само­оценки, иногда и необоснованно), степени удовлетворенности собой, понимания оценочной шкалы. Этим объясняется несовпадение ре­зультатов самооценки и взаимооценки.

Для снижения субъективизма самооценку проводят дифференци­рованно, что повышает точность результатов. Для этого показатель самооценки определяется как функция двух коэффициентов: знаком­ства и аргументированности. Для экспертной оценки товаров само­оценку эксперта рекомендуется определять с учетом его информиро­ванности и знакомства с оцениваемой продукцией путем заполнения «Анкеты самооценки» (приложение 3). Эксперт отмечает регуляр­ность чтения перечисленных в анкете источников информации и сте­пень знакомства с оцениваемой продукцией.

Самооценка вычисляется по формуле [30]:

где К_сам э — коэффициент самооценки /-го эксперта;

М_э — весомость показателей информированности и знакомства;

К_э— оценка, зависящая от степени информированности и степени знакомства.

Примеры расчета К_сам. _э приведены в приложении 4.,

Оценка аргументированности и знакомства с объектом экс­пертизы — вид и метод эвристической оценки степени специализации эксперта и факторов, влияющих на его компетентность. Эвристическая оценка компетентности, основанная на учете степени специализации и знакомства, обладает высокой эффективностью и достоверностью при условии тщательной проработки методов количественной оценки каждо­го из этих факторов в виде оценочных анкет.

Взаимооценка — вид и метод эвристической оценки, определяе­мой как средняя из оценок, назначаемых другими экспертами. Пред­назначена для уменьшения субъективности оценки компетентности каждого эксперта. Установлено, что существует тесная взаимосвязь между компетентностью эксперта и его усредненной оценкой, полу­ченной от коллег.

Сущность этого вида оценки заключается в том, что каждый экс­перт дает оценку всем остальным экспертам, а затем рассчитывается усредненный результат.

В зависимости от числа экспертов в группе применяются две раз­ные процедуры:

• при численности менее 15 экспертов в группе каждый эксперт
оценивает всех остальных;

• при численности 15 экспертов и более заполняется специальная
анкета, в которой эксперты по квалификации разделены на три
группы — выше средней, средней и ниже средней квалификации,
а также по рангам внутри подгрупп (по 6—8 человек в каждой).
Затем ранжируют экспертов каждой подгруппы. Ранг 1 — самый
квалифицированный эксперт, 2 — следующий по квалификации и
т. д. Каждому оцениваемому эксперту присваивается числовая
оценка от 10 баллов (самый квалифицированный) до 0 (совершен­
но неквалифицированный) с точностью до 0,5 балла.
Недостатки взаимооценки:

• эксперты могут недостаточно знать друг друга;

• на результаты оценки могут влиять взаимные симпатии или ан­
типатии;

• эксперты, как правило, стремятся избегать сверхвысоких и сверх­
низких оценок;

• неоднозначность восприятия понятия «качество эксперта».

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

 

Для уменьшения указанных недостатков рекомендуется:

• применять взаимооценку только в тех группах, где большинство
экспертов хорошо знают друг друга. Если некоторые из оцени­
ваемых экспертов незнакомы, рекомендуется ставить прочерк в
соответствующей графе;

• проводить анонимное анкетирование;

• разъяснять, что результаты анкеты будут использованы только
для корректировки оценок товара;

• знакомить экспертов со структурной схемой свойств и их частных
оценок.

Оценка эксперта рабочей группой — вид и метод эвристической оценки, предназначенной для количественной характеристики заин­тересованности эксперта в экспертной оценке и его внимательности в ходе опроса. Оценка дается специалистами-аналитиками, проводя­щими опрос экспертов. При этом они оценивают отношение экспер­тов к проводимой экспертизе и их активность при обсуждении оце­нок. Оценки рабочей группой целесообразно выносить по 10-балль­ной шкале.

Статистические оценки — оценки, полученные в результате обработки суждений экспертов об объекте оценки.

Эти оценки применяются с целью уменьшения по мере возможно­сти погрешностей, возникающих при экспертных оценках. Их необ­ходимость обусловлена тем, что в отличие от измерений с помощью технических устройств, основанных на сравнении неизвестных вели­чин с известными, при экспертных методах зачастую отсутствует из­вестная величина (или образец, или эталон товара), значение которой принимается за действительное, т. е. максимально приближенное к истинному.

В то же время на точность экспертных оценок, как отмечалось, влияет множество объективных и субъективных факторов, вследствие чего возникают погрешности оценки, имеющие систематическую и случайную составляющие.

Систематическая погрешность — постоянно повто­ряемая часть погрешности. Основной причиной ее возникновения яв­ляется недостаточная или неправильная информированность экспер­тов. Снизить ее можно путем ознакомления эксперта с необходимой

информацией перед началом экспертизы или путем проведения инст­руктажа, а также обсуждения, в ходе которого эксперт получает до­полнительную информацию от специалистов-аналитиков или других экспертов. Систематическую погрешность можно оценивать степенью отклонения от среднего мнения экспертной группы.

Случайная погрешность зависит от психолого-физиологических особенностей эксперта (собранности, уверенности в правоте, внимательности, других личных качеств) и снижается при многократных повторениях оценок. Установить ее величину можно по воспроизводимости результатов. Следует также учесть, что систе­матическая погрешность эксперта является случайной погрешностью групповой экспертной оценки, уменьшить которую можно путем ус­реднения оценок группы. В конечном счете это позволяет повысить точность оценки качества.

Различают следующие виды статистических оценок: оценка по отклонению от среднего мнения экспертной группы; оценка объек­тивности эксперта.

Оценка по отклонению от среднего мнения экспертной груп­пы — оценка, основанная на предпосылке, что действительным зна­чением групповой экспертной оценки является средняя оценка экс­пертной группы. Поэтому чем меньше отклонение индивидуальной экспертной оценки от групповой, тем более высоким признается ка­чество эксперта, давшего эту оценку.

Индивидуальные экспертные оценки могут быть двух типов:

• ранжирование экспертом оцениваемых величин (в порядке убы­
вания или возрастания);

• определение экспертом числовых значений оцениваемых величин
(например, при определении коэффициентов весомости показате­
лей качества каждому коэффициенту эксперты присваивают оп­
ределенные числовые значения).

Оценка по отклонению от среднего мнения экспертной группы может быть выражена через совокупность абсолютных отклонений (А,), рассчитываемых как разница между средней групповой оценкой (jc) и индивидуальной оценкой (х,):

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

 

Кроме того, может быть подсчитано среднеквадратичное откло­нение (S):

Чем больше Si, тем выше разброс индивидуальных оценок и, сле­довательно, меньше согласованность между экспертами в группе.

При этом методе может быть оценена степень надежности экспер­тов.

Под степенью надежности эксперта понимается отно­сительная частота случаев, когда эксперт приписал наибольшую ве­роятность гипотезам, которые в последствии подтвердились. Однако учитывая, что эксперт обычно работает в группе, вводят понятие об его относительной надежности (Н_о), которая рассчитывает­ся как отношение степени надежности данного эксперта (Н_и) к сред­ней степени надежности, вычисленной для некоторой группы экспер­тов (Н_с):

Оценка объективности эксперта — оценка соблюдения экспер­том принципа объективности, его способности к беспристрастной оценке конкретных образцов товаров. Эта очень важная характери­стика качества эксперта существенно влияет на точность результатов групповой экспертной оценки. Статистические методы непосредст­венной оценки объективности экспертов не разработаны, поэтому на практике довольствуются косвенной оценкой по отклонению от сред­него мнения экспертов.

Тестовые оценки — оценки с помощью тестирования психолого-физиологических особенностей экспертов.

Данные оценки предназначены для оценивания объективности, квалиметрической и профессиональной компетентности эксперта.

Достоинством этих оценок является возможность оценить личные качества эксперта, для чего другие методы и виды оценок неприемле­мы. Недостаток их заключается в том, что полученные при тестиро-

вании результаты невозможно сравнить с данными, полученными ка­ким-либо объективным методом.

При проведении таких оценок к тестам предъявляются следующие требования [30]:

• испытуемый эксперт должен понимать постановку тестовой зада­
чи и условия, которым должно отвечать ее решение;

• вероятность случайного угадывания решения задачи должна быть
близка к нулю;

• тестовая задача должна иметь точное решение;

• обоснование близости тестовой задачи и тех реальных задач,
которые приходится решать эксперту при оценке качества про­
дукции.

Разновидностями тестовых оценок являются оценки воспроизво­димости результатов, квалиметрической компетентности эксперта, объективности корректирования своих оценок.

Оценка воспроизводимости результата — оценка степени бли­зости индивидуальных оценок эксперта, проведенных через опреде­ленные промежутки времени. Обычно применяется в случаях, когда качество экспертов оценивается в несколько туров, при этом сравни­ваются оценки одного и того же эксперта в разных турах. Наиболее часто оценка воспроизводимости результатов применяется при орга-нолептическом анализе пищевых продуктов.

Известен случай, когда при проведении международной дегустации вин во Франции была проведена оценка воспроизводимости результа­тов у дегустатора-женщины, одного из членов российской делегации, под предлогом утраты ранее полученных данных. Результаты трех­кратной оценки были поразительными: испытуемый эксперт на трех повторных дегустациях одних и тех же проб вин показал высокую вос­производимость результатов — с точностью до нескольких сотых бал­ла. Это объяснялось не только высокой компетентностью эксперта, но и такими индивидуальными свойствами, как отличная память на вкусы и запахи, высокие пороги ощущения показателей.

Необходимо учитывать следующее: промежуток между турами должен быть невелик, чтобы исключить влияние возможной новой информации, изменяющей суждения эксперта, но в то же время дос­таточен, чтобы он забыл данные оценки в предыдущем туре.

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

 

Оценка воспроизводимости результатов может быть обработана при помощи коэффициентов ранговой корреляции.

Оценка кеалиметрической компетентности эксперта — оценка теоретических знаний методов оценки качества и умения их применять. Оценка теоретической подготовки эксперта может про­водиться путем устного или письменного контроля знаний с ис­пользованием тестов в определенной области знаний. Несколько сложнее обстоит дело с проверкой умения, которое подразделяют на три типа:

• умение использовать разные типы оценочных шкал;

• умение определять субъективные вероятности;

• умение различать достаточное число градаций оцениваемого
свойства.

 

1. Умение использовать разные типы шкал (порядка, отношений,
интервалов) очень важно, так как достаточно часто экспертные оцен­
ки проводятся путем ранжирования показателей качества товаров
(например, вкус очень сладкий, сладкий, слабовыраженный, неслад­
кий). Эксперты, не умеющие оперировать некоторыми видами шкал,
должны быть отклонены на этапе формирования рабочих групп. На­
пример, в проведении органолептического анализа не могут участво­
вать эксперты, не различающие основные вкусы и запахи.

2. Умение определять субъективные вероятности — способность
эксперта оценивать вероятность наступления определенных событий.
Эта способность у разных людей различна. Эксперты, у которых та­
кая способность отсутствует, не должны привлекаться к экспертизам,
связанным с прогнозированием. Субъективную вероятность иногда
еще называют субъективной уверенностью, которая предполагает, что
в этом заключается один из способов повышения точности эксперт­
ных оценок.

3. Умение различать достаточное число градаций оцениваемого
свойства — способность эксперта улавливать различия в интенсив­
ности проявления каждого свойства. Эта способность в значитель­
ной мере обусловлена чувствительностью эксперта к самым незна­
чительным изменениям свойств и показателей объектов экспертизы.
Например, при органолептическом анализе дегустаторов проверяют
на умение выявлять разницу во вкусах, запахах, оттенках цвета и

т. д. Тренированный глаз эксперта может различать до 30 оттенков белого цвета. От способности эксперта различать градации оцени­ваемого свойства зависит также точность индивидуальных и груп­повой оценок, поэтому тестовые испытания по выявлению указан­ной способности должны помочь отобрать в экспертную группу специалистов высокого качества.

Оценка объективности корректирования своих суждений — способность экспертов оценивать испытуемый объект независимо от оценок других экспертов; необходима для выявления отсутствия у эксперта конформизма.

Конформизм (лат. conformis — подобный, сходный) — при­способленчество, пассивное принятие существующего порядка, мне­ния большинства, отсутствие собственной позиции, некритическое следование общим мнениям, тенденциям, авторитетам.

При экспертной оценке конформизм играет отрицательную роль, поэтому качество эксперта определяется также отсутствием у него этого свойства. Для проверки применяют метод подставной группы, в задачи которой входит вынесение заведомо ложных (неверных) суж­дений об испытуемом объекте. Например, члены подставной группы при опробовании дистиллированной воды всеми членами экспертной группы утверждают, что она обладает слегка горьким вкусом. После чего проверяется оценка испытуемых экспертов.

Степень приближения оценки испытуемого эксперта.к оценке подставной группы характеризует меру его конформизма. При этом важным условием применяемого метода подставной группы является то, что испытуемый эксперт не должен подозревать о ее заведомо ложной оценке.

Оценки объективности эксперта (К_кон) могут быть рассчитаны по формуле

где Ci — количество ошибок испытуемого при самостоятельной оценке объекта;

Сг — количество ошибок испытуемого при оценивании того же объекта совместно с подставной группой.

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

 

Следует отметить, что другие методы оценки объективности пока еще не разработаны, а рассмотренный метод подставной группы в связи с определенными этическими проблемами применяется нечасто. К достоинствам указанного метода относится его обучающий харак­тер: испытуемому эксперту после доведения результатов оценки объ­ясняют, что была смоделирована ситуация, когда определенная часть экспертов в группе могла в силу даже объективных причин высказы­вать ошибочное мнение. В результате этого эксперт подготавливается психологически к такой ситуации.

Документальные оценки — оценки эксперта, основанные на документальном подтверждении соответствия его установленным требованиям.

Документальное подтверждение таких требований может быть представлено способами, указанными в табл. 4.

Таблица 4 Способы документального подтверждения требований к эксперту

 

Требования к эксперту

Документальное подтверждение

Компетентность Независимость Практический опыт работы

Общие сведения (возраст, владение иностранными языками) — анкета; число лет работы по специально­сти — копия трудовой книжки; профессиональная подготовка — диплом о профессиональном об­разовании; специальная подготов­ка — аттестат или свидетельст­во установленного образца о про­хождении специальной подготовки; повышение квалификации — ди­плом или аттестат Сведения о занимаемых должно­стях и местах работы в течение ряда лет — копия трудовой книжки Тоже

В необходимых случаях может быть представлен список научных работ эксперта, отмечено участие его в конференциях, симпозиумах, совещаниях разного уровня, а также состояние здоровья, отражаю­щееся на работоспособности, и др.

Документальные оценки не играют самостоятельной роли, а лишь дополняют другие группы оценок качества эксперта. Это обусловлено тем, что часть информации, содержащейся в докумен­тах, по сути дела, дублирует самооценку, взаимооценки и другие частные оценки. Кроме того, документальная оценка в значитель­ной мере определяется областью работы эксперта и не всегда на­прямую коррелирует с его компетентностью. Так, кандидат в экс­перты может занимать достаточное и даже высокое служебное положение, но при этом не обладать индивидуальными качествами для экспертных оценок (например, не обладает сенсорной чувстви­тельностью).

Комбинированные оценки — оценки, основанные на совмест­ном использовании разных методов оценки качества экспертов.

Рассмотренные ранее методы и виды оценки качества экспертов обладают определенными достоинствами и недостатками. Их совме­стное использование позволяет усилить достоинства и смягчить не­достатки отдельных методов.

Необходимость применения комплексных оценок качества экс­пертов объясняется разнообразием предъявляемых к ним требова­ний, каждое из которых может быть объективно оценено одним или несколькими методами. Однако не каждый применяемый ме­тод позволяет дать количественную характеристику отдельных свойств эксперта. К тому же степень разработки и применимости предлагаемых методов неодинакова. Наиболее разработаны и при­менимы для практического использования три эвристические оценки (самооценка, взаимооценка и оценка рабочей группой), две статистические оценки, которые целесообразно применять для комбинированных оценок экспертов.

Для сведения частных оценок в комплексную целесообразно ис­пользовать формулу средневзвешенной. Весомость частных оценок может быть определена группой специалистов, профессионально за­нимающихся методологией экспертных оценок.

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

 

Исходя из этого, комплексную оценку качества экспертов (К_э) можно рассчитать по формуле

к_э = м_сам к_сам + м_вз к_вз + м_рг Кр_Г + м_ос к_ос + м_вр к_вр,

где М — коэффициенты весомости частных оценок: сам — самооцен­ки; вз — взаимооценки; рг — оценки рабочей группой; ос — оценки отклонения от средней; вр — оценки воспроизводимости результатов;

К — значения соответствующих частных оценок.

Анализ частных оценок, полученных экспертом, может свиде­тельствовать о его качестве. Так, сочетание высокой самооценки (К_сам) с низкой оценкой рабочей группой (К_рг) свидетельствует о не­достаточно серьезном отношении к работе, чрезмерной самоуверен­ности. Высокие оценки рабочей группой (К_рг), воспроизводимости ре­зультатов (К_вр) с низкой оценкой отклонений от средней (К_ос) означают неправильную информированность эксперта.

При комбинированной оценке в зависимости от ее целей могут быть использованы не все, а лишь отдельные частные оценки. Напри­мер, при выборе лучших кандидатов в экспертную группу нельзя получить оценки К_рг, Ко_С, К_вр до начала экспертизы, тогда ограничи­ваются упрощенной комбинированной оценкой, зависящей от само­оценки (К_сам) и взаимооценки (К_вз).

Кроме указанных возможны и другие способы расчета комплекс­ных оценок [30].

Число экспертов. Точность групповой экспертной оценки во многом зависит от числа экспертов в группе. Чем больше экспер­тов, тем выше точность и достоверность оценки. Однако с увеличени­ем их числа возрастают затраты на проведение экспертизы, появля­ются сложности в выявлении согласованного мнения экспертов.

В связи с этим возникает необходимость установления опти­мального числа экспертов в группе при одновременном обеспече­нии достоверности полученных результатов. Исследованию данной проблемы посвящено значительное количество работ, авторы ко­торых называют минимальное предельное число экспертов в груп­пе от 5 до 40 человек, а в отдельных работах — даже до 500—700 человек [16, 30].

Приведенные данные свидетельствуют об отсутствии единства мнений в вопросе о численности экспертных групп. Кроме точности и достоверности экспертных оценок, на численность групп экспертов влияет еще ряд факторов:

• допустимая трудоемкость опроса;

• возможность управления экспертной группой;

• возможности организации, в которой формируется экспертная
группа.

В последние годы разработаны расчетные формулы численности экспертов, но они довольно трудоемки, основаны на значительных допусках и предположении, что качество всех экспертов в группе одинаково.

Один из распространенных расчетных методов базируется на оп­ределении экономической эффективности экспертизы. При этом про­водится сравнение экономического эффекта от повышения точности экспертной оценки с дополнительными затратами, вызванными уве­личением числа экспертов.

Другой способ определения численности экспертной группы ос­нован на выявлении корреляционной зависимости между численно­стью экспертной группы и средней групповой ошибкой (рис. 16).

С помощью кривых можно выбрать минимально допустимое чис­ло экспертов. Однако эта кривая не имеет универсального характера, и для каждой конкретной экспертизы характерны свои особенности.

На практике указанные способы определения численности экс­пертов применяются довольно редко, а ограничиваются численно­стью групп 8—12 человек. При формировании экспертных групп также зачастую не учитывается и качество экспертов, хотя и существуют рекомендации о подборе их с учетом компетентности. Группа не должна состоять из представителей узкой специальности, поскольку их мнение может быть тенденциозным.

Кроме того, необходимо обращать внимание на степень сложно­сти объекта экспертизы и наличие у экспертов необходимых квали­фикации, опыта работы. Должны учитываться и личностные отноше­ния между экспертами.

При отборе экспертов важное значение имеет их предыдущий опыт участия в аналогичных экспертизах, а также наличие соответст­вующей тренировки и обучение в кандидаты эксперта.

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

 

Рис. 16. Роль численности группы

Однако при любом методе формирования экспертных групп от­сутствует полная гарантия высокой достоверности получаемой от экспертов информации. Основная цель формирования экспертных групп — обеспечение процедуры отбора экспертов, минимизирующей искажения информации, возникающие вследствие некомпетентности отобранных специалистов или их нежелания давать достоверную и надежную информацию.

⇐ Предыдущая12345678910Следующая ⇒

Поделиться:

Воспользуйтесь поиском по сайту: