 |
Процедуры и способы организации экспертиз
|
|
|
|
В сложных ситуациях выбора ЛПР может не обладать всей необходимой информацией или опытом, что повышает степень риска принятия ошибочного решения. Кроме того, многие проблемы, требующие решения, полностью или частично не поддаются количественному анализу, и, следовательно, не дают возможности использовать методы моделирования. В подобных случаях значительный эффект приносят экспертные технологии.
Применение экспертных технологий в процессе принятия решений целесообразно, в основном, в следующих случаях:
Определение целей. При разработке наиболее важных, стратегических решений очень важно точно определить и сформулировать цели, к достижению которых стремится ЛПР. Для сложных ситуаций разработан и применяется метод «дерева целей», позволяющий определить иерархическую структуру системы целей.
Экспертный прогноз. При принятии решений довольно часто возникает необходимость определения и оценки тенденции ожидаемого развития ситуации, а также результатов реализации рассматриваемых альтернатив.
Разработка сценариев развития ситуации. При разработке решения необходимо выявить основные факторы, под влиянием которых находится ситуация, и определить динамику их возможного изменения.
Генерирование альтернатив. В случае возникновения новой, ранее не встречавшейся проблемы, не существует и готовых вариантов ее решения. Их необходимо найти и сформулировать.
Определение рейтингов. В ряде случаев принятие решений основано на сравнительной предпочтительности оцениваемых по специальной методике объектов (рейтинг банков, политиков, спортсменов и т.д.).
Формирование оценочных систем. Для сравнительной оценки альтернативных вариантов решения, а также для оценки степени достижения поставленной цели необходима оценочная система, в состав которой входят:
|
|
|
• критерии, характеризующие объект оценки;
• шкала для измерения каждого критерия;
• правила выбора наиболее предпочтительных альтернатив.
Принятие коллективных решений — это открытое обсуждение альтернативных вариантов решения с учетом результатов экспертизы, согласование различных точек зрения, поиск компромисса и т.п.
Сущность экспертных методов принятия решений заключается в получении ответов специалистов на поставленные перед ними вопросы. Полученная от экспертов информация в целях минимизации погрешностей и влияния субъективного фактора обрабатывается при помощи специальных логических и математических процедур и преобразуется в форму, удобную для выбора решения.
Для подготовки и проведения экспертизы формируется организационная группа, обеспечивающая условия для эффективной работы экспертов. Основные задачи этой группы:
• постановка проблемы, определение цели и задач экспертизы;
• разработка процедуры проведения экспертизы;
• отбор, проверка компетентности и формирование группы экспертов;
• проведение опроса экспертов и получение их оценок;
• обработка, формализация и интерпретация полученной информации.
В зависимости от процедуры и способов организации и проведения экспертизы среди методов экспертных оценок различают следующие методы группового опроса.
Метод комиссий. Предполагает регулярные собрания экспертов для проведения групповых дискуссий по обсуждаемой проблеме и выработки в ходе таких дискуссий согласованного решения. Этот метод при умелом использовании способствует созданию творческой обстановки в группе экспертов и разработке альтернатив решения. Однако метод комиссий обладает и недостатками, прежде всего это отсутствие анонимности. Оно может приводить к довольно сильным проявлениям конформизма со стороны экспертов, присоединяющихся к мнению более компетентных или авторитетных специалистов даже при наличии противоположной собственной точки зрения. Дискуссия часто сводится к полемике наиболее авторитетных экспертов. Другой существенный негативный фактор — различная активность экспертов, не всегда связанная с их компетентностью. Кроме того, публичность высказываний может приводить к нежеланию некоторых экспертов отказаться от ранее высказанного мнения, даже если оно в процессе дискуссии изменилось. Поэтому организаторы экспертизы должны уделить особое внимание подбору экспертов: привлекать специалистов, обладающих независимостью мнений, устойчивостью к мнению большинства (нонконформистов), способных не поддаваться «магии авторитета» и, кроме того, способных работать в команде, психологически совместимых.
|
|
|
Метод мозговой атаки (коллективной генерации идей) применяется, как правило, в тех случаях, когда решается новая, малоизученная проблема, или требуется найти новое, нетривиальное решение. Отличительная особенность этого метода заключается в том, что он запрещает критику предлагаемых альтернатив в процессе их выдвижения, что обеспечивает наиболее полное выявление и использование творческого потенциала экспертов и возможность свободного высказывания и появления самых «безумных» идей. Проведение экспертизы методом мозговой атаки предполагает следующую последовательность этапов.
Этап 1 — формирование экспертной группы. Эмпирическим путем установлено, что наиболее продуктивной является группа численностью 10 - 15 человек. В состав группы рекомендуется включать специалистов как в области решаемой проблемы, так и в других областях знаний, что способствует более широкому исследованию и разнообразию предлагаемых альтернатив. При этом целесообразно учитывать, что экспертную группу следует формировать из специалистов примерно одного ранга, если они знают друг друга. Если же эксперты не знакомы, они могут быть и разного ранга и положения, но тогда их участие в группе должно оставаться анонимным.
Этап 2 — составление проблемной записки. Ее составляет группа анализа проблемы. Записка содержит:
|
|
|
• описание метода мозговой атаки и правил ее проведения;
• краткое описание проблемной ситуации и причин ее возникновения;
• описание вероятных последствий возникшей проблемы (при этом считается полезным некоторое преувеличение, чтобы необходимость найти решение ощущалась острее);
• анализ опыта решения подобных проблем (если он имеется);
• перечень возможных альтернатив решения проблемы;
• формулировку проблемной ситуации в виде главного вопроса и нескольких дополнительных вопросов.
Этап 3 — генерация идей. Он начинается с того, что ведущий раскрывает содержание проблемной записки и обращает внимание участников экспертной группы на необходимость соблюдения следующих правил поведения:
• высказывания участников обсуждения должны быть четкими и краткими;
• каждый эксперт может выступать несколько раз, но не подряд;
• критика предыдущих выступлений и какие-либо скептические замечания и реплики не допускаются;
• запрещается зачитывать заранее подготовленные выступления.
На этом этапе большая роль отводится ведущему, который должен быть хорошим психологам, войти в контакт с аудиторией и пробудить у людей потребность найти решение проблемы, а также создать творческую и непринужденную обстановку в группе. Однако этим роль ведущего почти исчерпывается, так как после начала обсуждения проблемы и генерации идей он должен лишь следить за соблюдением участниками правил поведения.
Чем больше количество и разнообразие мнений и предложений, тем лучше, так как шире охват проблемы и больше вероятность появления ценной идеи. Продолжительность этапа генерации идей (собственно, это и есть мозговая атака) рекомендуется от 20 до 90 мин. в зависимости от количества и активности участников.
Высказываемые идеи записываются на магнитофон, чтобы не пропустить ни одного ценного предложения и иметь возможность их последующей систематизации.
Этап 4 — систематизация идей. Группа анализа проблемы систематизирует полученные от экспертов предложения в следующей последовательности:
|
|
|
• составляется перечень всех высказанных идей;
• каждая идея формулируется в общеупотребительных терминах;
• определяются дублирующие или дополняющие идеи и объединяются в виде одной комплексной идеи;
• определяются признаки, по которым могут быть классифицированы (сгруппированы) идеи;
• по этим признакам производится объединение идей в группы;
• в каждой группе идеи упорядочиваются от более общих к частным.
Этап 5 — деструкция (разрушение) идей. Под «разрушением» понимается специальная процедура оценки идей на практическую реализуемость, когда каждая из них подвергается всесторонней критике, т.е. как бы испытывается на прочность. На этом этапе эксперты — участники мозговой атаки — меняются. Это уже новая группа, сформированная из высококвалифицированных специалистов в области решаемой проблемы, численностью 20 — 25 человек. Суть этого этапа в том, что каждая из предложенных идей рассматривается с точки зрения препятствий на пути ее осуществления и в то же время может быть высказана контридея, снимающая эти препятствия или ограничения. Процесс деструкции продолжается до тех пор, пока каждая из идей не будет проанализирована и не подвергнется критике.
Этап 6 — составление перечня практически применимых идей. Снова работает группа анализа проблемы. Ее действия осуществляются следующим образом:
• составляется сводная таблица предложенных альтернатив, соответствующих им критических замечаний и опровержений и оценок практической применимости;
• вычеркиваются нереальные, практически не применимые альтернативы решения;
• составляется окончательный список возможных альтернатив.
В настоящее время одним из наиболее распространенных методов коллективной экспертной оценки является метод Дельфи.
Метод Дельфи. Достоинство данного метода состоит в том, что он позволяет обобщать индивидуальные мнения отдельных экспертов в согласованное групповое мнение. Метод Дельфи характеризуют три специфические особенности:
• анонимность экспертов;
• регулируемая обратная связь;
• статистическая обработка результатов опроса и формирование группового ответа.
Анонимность экспертов заключается в том, что в ходе проведения экспертизы участники экспертной группы неизвестны друг другу и их взаимодействие в процессе опроса полностью исключено. Это достигается использованием специальных анкет, а также другими способами индивидуального опроса, например, в режиме диалога с компьютером.
Регулируемая обратная связь обеспечивается проведением нескольких туров опроса, результаты которых сообщаются экспертам.
|
|
|
Статистическая характеристика группового ответа заключается в том, что группа экспертов рекомендует вариант решения, опирающийся на мнение большинства, т.е. такую альтернативу, которую выбрало бы большинство членов группы.
Например, при помощи метода Дельфи проводится экспертиза с целью оценки возможных альтернатив решения некоторой сложной проблемы и выбора наиболее предпочтительной. В этом случае опрос проводится в несколько туров (как правило — четыре), на каждом из которых экспертов информируют о результатах предыдущего и просят обосновать свое мнение, что дает возможность уменьшить разброс индивидуальных оценок. Но это не значит, что эксперт должен соглашаться с чьим-то мнением, он может остаться и при своем.
С другой стороны в результате такой процедуры эксперт может и изменить свою оценку без огласки, не «теряя лица», так как опрос анонимный. В каждом туре опроса эксперт дает свою количественную оценку параметрам сравниваемых альтернатив (например, срок реализации или уровень риска) по заранее разработанной шкале. Получают числовой ряд, который обрабатывают следующим образом. Допустим, в результате получено 17 оценок: n1, n2,..., n17. Все эти оценки располагают в порядке убывания. Средний член такого ряда — n9 — называется медианой. Медиана делит ряд таким образом, что количество оценок с большим и меньшим значениями признака одинаково. Затем ряд делят на четыре равные части — квартили. В средних квартилях, соседних с медианой, собраны наиболее предпочтительные альтернативы, которые и принимаются в расчет. Таким образом, медиана служит характеристикой группового ответа, а диапазон квартилей — показателем разброса индивидуальных оценок.
Метод сценариев. Суть этого метода — написание экспертами сценариев развития анализируемой ситуации с целью определить тенденции возможного развития и сформировать картину состояний, к которым она может прийти под влиянием тех или иных факторов, в том числе под воздействием определенных управленческих решений или при их отсутствии. Государственный деятель, принимающий ответственное политическое решение, и бизнесмен, выбирающий стратегию развития фирмы, военачальник, анализирующий ход военной операции, и конструктор, закладывающий основы принципиально нового объекта, при разработке принципиально важных решений, как правило, пытаются предугадать возможный сценарий развития событий, чтобы принять решение, приводящее к успеху. Поэтому данный метод широко используется для разработки стратегических решений в различных сферах деятельности: политике, военном деле, экономике и реализуется в двух основных модификациях:
•метод получения согласованного мнения — несколько независимых групп экспертов разрабатывают сценарии возможного развития событий, а затем при помощи процедуры, используемой в методе Дельфи, вырабатывают согласованный сценарий;
•метод повторяющегося объединения сценариев — эксперты сначала выявляют наиболее важные факторы, влияющие на развитие проблемной ситуации, и по каждому их них разрабатывают соответствующий сценарий, а затем эти сценарии постепенно сближаются, согласовываются друг с другом и в итоге объединяются.
Построение сценариев — творческий процесс, который не укладывается в рамки какой-либо строгой формальной процедуры. В каждом конкретном случае схема процесса складывается в зависимости от объекта прогнозирования, наличия информационных технологий и математических моделей, личных качеств членов экспертной группы и других факторов. Процесс построения сценариев можно представить как выдвижение исследователями различных альтернативных гипотез развития рассматриваемой ситуации и последующую проверку каждой из этих альтернатив на системе моделей. Выдвижение альтернатив — сугубо творческий процесс, в котором неформальные знания, опыт, научная интуиция и интеллект эксперта играют ведущую роль. Информация, генерируемая специалистами, получает затем с помощью моделей количественную оценку. Реализация этой процедуры связана с проблемой перевода качественных понятий в количественные значения параметров системы. Например, как тот или иной политический курс высшего руководства страны выражается в конкретных значениях управляющих параметров, т.е. в распределении государственного бюджета, налоговом законодательстве, значении учетных ставок банковского кредита, размерах импортных и экспортных пошлин и т.п. Строго логических и тем более формальных путей решения этой задачи не существует, хотя иногда удается использовать математические методы оптимизации.
Процесс прогнозирования обычно заканчивается составлением итогового документа, в котором содержатся:
• цели и задачи прогноза;
• краткое описание объекта прогнозирования, гипотеза о механизме его функционирования и развития, принятая система допущений и ограничений;
• подробное описание разработанных сценариев и соответствующих им тенденций развития с указанием возможных в будущем проблемных ситуаций;
• рекомендации для принятия решений с подробным описанием возможных последствий реализации каждой из предложенных альтернатив.
Метод суда. Основан на иcпользовании процедуры судебного заседания. При этом одна часть экспертов — сторонники обсуждаемой альтернативы решения — выступают в качестве «защиты», приводя всевозможные доводы в ее пользу, другая — противники — в качестве «обвинения», приводя аргументы против, а третья часть экспертов — «суд» — выступают в качестве присяжных, вынося окончательное решение.
Экспертные оценки (даже с учетом процедуры их согласования и статистической обработки) носят в значительной мере субъективный характер, поэтому при использовании подобных методов возникает весьма важный вопрос: кого считать экспертом и как выбрать «хорошего» эксперта, или, другими словами, как оценить качества эксперта?
Оценка качеств эксперта
Эксперт — специалист (профессионал), оценки и суждения которого ЛПР считает полезным учитывать при принятии решений.
Дадим некоторые пояснения. Естественно, что мнения начинающего терапевта и всемирно известного кардиолога несопоставимы по уровню оценки состояния больного и рекомендаций по его лечению в достаточно сложной ситуации. Однако если больному необходима экстренная помощь, а специалист высокого профессионального уровня по той или иной причине не может быть приглашен, то решение будет принимать тот, кто окажется рядом, даже если он и менее квалифицирован. В этой ситуации в роли эксперта оказывается именно он. Таким образом, формирование состава экспертной комиссии зависит от:
• конкретной ситуации принятия решения;
• возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов;
• возможностей специалистов принять участие в работе экспертной комиссии.
Необходимо также отметить, что в настоящее время не существует общепринятой единой методики оценки качеств эксперта, поэтому мнения о профессиональном уровне специалиста нередко существенно расходятся. В реальной практике ЛПР стремится либо сам составить мнение о профессиональном уровне кандидата в эксперты, либо доверяет это тем, кому поручена организация экспертизы. Поэтому при отсутствии возможностей и опыта организации и проведения экспертиз имеет смысл обращаться к услугам независимых центров экспертизы, информационно-аналитических центров и т.п., основными задачами которых являются анализ ситуации, оценка объектов экспертизы, подготовка и оценка альтернативных вариантов решений.
При оценке качеств эксперта необходимо учитывать его профессиональные знания, опыт деятельности и эффективность работы в составе экспертных комиссий. Существует много способов оценки качеств эксперта, каждый из которых может быть удачно использован в конкретном случае. Они подразделяются на три основные группы: априорные, апостериорные, тестовые[1].
Априорными называются методы оценки качеств эксперта, при которых не используется информация о результатах его участия в предшествовавших экспертизах.
Апостериорными называются методы оценки качеств эксперта, основанные на информации о результатах его участия в предыдущих экспертизах.
Тестовыми являются методы оценки качеств эксперта, предполагающие проведение специального испытания.
Априорные методы оценки эксперта. К этой группе относятся прежде всего наиболее распространенные методы самооценивания, суть которых заключается в том, что эксперт сам дает оценку своим качествам. При этом могут использоваться следующие способы:
1) самооценка по одной из балльных шкал (3-, 5-, 10- или 100-балльной);
2) самооценка с использованием вербально-числовых шкал, которые, наряду с численными значениями градаций, содержат их качественное описание;
3) самооценка по вербальной шкале, при которой эксперт дает словесную оценку своим знаниям и опыту, используя для этого качественные градации заранее разработанной шкалы;
4) самооценка при помощи дифференциального метода, при котором эксперт оценивает свои качества, используя два основных частных критерия: а) характеризующий его знакомство с основными источниками информации в данной области (например, специальные отечественные и зарубежные периодические издания, патентная информация, внутрифирменная информация и т.п.) и б) характеризующий знакомство с объектом экспертизы (например, знание отраслевой специфики, конкретного предприятия, знакомство с образцами продукции и т.д.). В этом случае комплексная самооценка эксперта рассчитывается по формуле:
,
где Кк — комплексная самооценка эксперта,
Кк — коэффициент информированности (в долях единицы);
КЗ — коэффициент знакомства с проблемой;
β — весовой коэффициент.
Более подробно вопросы измерения показателей и типы шкал рассмотрены в следующем параграфе.
Точность методов самооценки довольно спорна. С одной стороны, никто лучше самого эксперта не представляет всю совокупность знаний и опыта, которыми он обладает. С другой стороны, человек больше всего ошибается, оценивая свои собственные возможности.
К другой группе априорных методов оценки качеств эксперта относятся методы взаимной оценки, использование которых предполагает, что эксперты оценивают друг друга. Наиболее распространенный из них — метод списка экспертов. Процедура его применения заключается в следующем. Каждый из экспертов составляет список специалистов, которых он считает компетентными в данной области. Затем на основе этих списков рассчитывают коэффициент компетентности эксперта — отношение числа списков, в которых данный специалист присутствует, к общему числу составленных списков.
К числу априорных методов оценки качеств эксперта относится также наиболее распространенный документационный, или анкетный, метод. В нем для оценки определенных качеств специалиста предлагается пользоваться объективными характеристиками, имеющими документальное подтверждение, например, такими, как стаж работы, ученая степень, ученое звание, занимаемая должность, количество публикаций, индекс цитирования и т.п. При этом следует иметь в виду, что основываясь только на этих объективных факторах, невозможно адекватно оценить пригодность и полезность участия эксперта в работе конкретной экспертной группы.
Апостериорные методы оценки. Эти методы предполагают при оценке качеств эксперта использование результатов его участия в предшествовавших опросах. С их помощью в определенной степени могут быть выявлены такие качества, как конформизм, конъюнктурность, компетентность эксперта.
В частности, для оценки уровня компетентности специалиста может быть применен метод парных сравнений. Его суть заключается в том, что эксперту последовательно предъявляются пары сравниваемых объектов оценки, и он выбирает из каждой пары наиболее предпочтительный с его точки зрения объект. После предъявления всех пар у аналитиков имеется информация о сравнительных предпочтениях эксперта в отношении оцениваемых объектов. При этом может возникнуть ситуация, когда при непосредственном сравнении первый объект предпочтительнее второго, второй предпочтительнее третьего, но в то же время третий объект оказывается предпочтительнее первого, т.е. возникает очевидное противоречие.
В реальной практике такие противоречия (конечно, в более длинных цепочках сравнения) случаются не так уж редко. Естественно, чем меньше противоречий в оценках эксперта, тем более обоснована его компетентность.
Апостериорный метод предполагает также оценку достоверности суждений эксперта. В качестве критерия, позволяющего оценить такую достоверность, используется коэффициент достоверности — относительная частота случаев, в которых эксперт приписывал наибольшую вероятность впоследствии подтвердившимся событиям.
При использовании данного метода рассчитывают также среднее значение коэффициента достоверности экспертной комиссии и сравнивают с ним индивидуальные коэффициенты экспертов.
Еще одним методом апостериорной оценки является метод отклонения от результирующей групповой оценки. Этот метод основан на расчете коэффициента отклонение КО.
где Koi — коэффициент отклонения суждений i-го эксперта;
Doi — отклонение индивидуальной оценки i -го эксперта
от результирующей оценки;
Dmax — максимально возможное отклонение оценки эксперта
от результирующей оценки.
Тестовые методы оценки качеств эксперта. Их суть — выполнение испытуемым экспертом некоторого заранее подготовленного задания. Эти методы достаточно хорошо известны, широко используются для определения профессиональной пригодности специалистов в различных областях деятельности. Достоинство этих способов состоит в том, что они позволяют не только установить наличие у эксперта определенного профессионального уровня, но и выявить навыки и опыт, необходимые для продуктивного участия в работе экспертной комиссии.
Необходимо, однако, помнить, что проведение тестовых экспериментов требует соблюдения следующих важных правил:
• тест должен быть разработан специально под конкретные объекты экспертной оценки;
• истинные значения оцениваемых параметров (правильные ответы) должны быть известны аналитической группе, проводящей испытание, но не известны испытуемому эксперту;
• должна быть разработана шкала для определения точности оценок, даваемых экспертом;
• вероятность случайного угадывания истинной оценки должна быть очень мала.
Использование тестовых методов позволяет оценить такое важное профессиональное качество эксперта, как воспроизводимость экспертных оценок. Для этого проводят несколько тестовых экспериментов, приближенных к условиям реальной экспертизы. При этом интервал времени между ними должен быть достаточным для того, чтобы испытуемый успел забыть результаты предыдущего. После чего сравнивают между собой полученные оценки.
Более стабильные (воспроизводимые) оценки эксперта свидетельствуют как о большей его профессиональной компетентности, так и о большей пригодности для участия в экспертной комиссии.
|
|
|
