 |
Методы высказывания суждений
|
|
|
|
Основы экспертного оценивания
Экспертúза (франц. expertise, от лат. expertus – опытный) - исследование специалистом (экспéртом) каких-либо вопросов, решение которых требует специальных познаний в области науки, техники, искусства и т.д.
Экспéртные оценки – это количественные или порядковые оценки процессов или явлений, не поддающихся непосредственному измерению, поэтому основанные на суждениях специалистов.
Классическим примером применения метода экспертного оценивания может служить эпизод, описанный Н.В.Гоголем в самом начале поэмы «Мертвые души»[2]:
«В ворота гостиницы губернского города NN въехала довольно красивая рессорная небольшая бричка, в какой ездят холостяки: отставные подполковники, штабс-капитаны, помещики, имеющие около сотни душ крестьян, - словом, все те, которых называют господами средней руки. В бричке сидел господин, не красавец, но и не дурной наружности, ни слишком толст, ни слишком тонок; нельзя сказать, чтобы стар, однако ж и не так, чтобы слишком молод. Въезд его не произвел в городе совершенно никакого шума и не был сопровожден ничем особенным; только два русские мужика, стоявшие у дверей кабака против гостиницы, сделали кое-какие замечания, относившиеся, впрочем, более к экипажу, чем к сидевшему в нем. «Вишь ты, - сказал один другому, - вон какое колесо! что ты думаешь, доедет то колесо, если б случилось, в Москву или не доедет?» - «Доедет», - отвечал другой. «А в Казань-то, я думаю, не доедет?» - «В Казань не доедет», - отвечал другой …».
В приведенном примере мужики на основании собственного жизненного опыта, как специалисты, оценивают не что иное, как один из показателей надежности брички – долговечность (ресурс работы) колеса, выраженный в расстояниях до определенных пунктов назначения.
|
|
|
Экспертные методы оценивания применяются только тогда, когда невозможно применение других, более объективных методов измерений. Такие случаи возникают:
· при общей (обобщенной) оценке уровня качества продукции;
· при классификации оцениваемой продукции;
· при определении номенклатуры показателей качества;
· при определении весовых коэффициентов в комплексном методе оценки уровня качества продукции;
· при оценке показателей качества продукции органолептическими методами;
· при выборе базовых образцов;
· при измерении эстетических, эргономических показателей качества и др.
Различают индивидуальные и групповые экспертные оценки. Понятно, что групповая экспертная оценка получается на основе индивидуальных оценок.
Под методом экспертного оценивания следует понимать процедуру получения от экспертов информации (в качественном или количественном виде) и последующей ее обработки с целью представления в заранее предусмотренном виде. Следовательно, эта процедура предполагает наличие и применение заранее предусмотренных шкалы измерения информации, метода высказывания суждений экспертом и метода обработки результатов экспертизы.
Измерительные шкалы
Результаты измерений могут быть выражены и представлены в различных формах, называемых шкалами. Существуют номинальные, порядковые, интервальные шкалы и шкала отношений.
Номинальные (или классификационные, назывные) шкалы представляют собой простейший тип измерений, в которых числа или символы используются только для классификации объектов. Номер класса сам по себе не имеет количественного содержания, он может быть заменен названием либо шифром. Типичные примеры номинальных шкал – классификация психотипов человека по знакам Зодиака в астрологии, деление литературных и музыкальных произведений на стили и жанры, деление жизненного цикла продукции на этапы и др.
|
|
|
Порядковые (или ранговые) шкалы служат для выявления упорядоченности объектов по какому-либо признаку. Например, капитан I ранга, капитан II ранга, капитан III ранга в Военно-морском флоте; система оценки знаний в средних и высших учебных заведениях: отлично, хорошо, удовлетворительно, неудовлетворительно; сравнительная оценка твердости минералов по шкале Мооса и др. Применение порядковой шкалы измерений называют также ранжированием.
Шкала интервалов – это такой метод оценивания, при котором существенной характеристикой является разность между значениями оцениваемых параметров, измеряемая числом установленных в шкале единиц. При этом начало отсчета может быть установлено произвольно. Измерения в шкале интервалов отвечают на вопрос: на сколько? (больше – меньше, лучше – хуже, ближе – дальше и т.д.). Примером применения шкалы интервалов могут служить измерения температуры в градусах Цельсия (или Реомюра, или Фаренгейта), измерение периодов времени – в годах, месяцах, неделях, днях и т.д.
Шкала отношений – это такой метод оценивания, при котором существенным становятся ответы на вопрос: во сколько раз значение какого-либо параметра объекта больше или меньше (лучше или хуже и т.д.) по сравнению с эталоном? Шкала отношений применима к большинству измерений физических величин: размера, массы, плотности, силы, скорости и т.д.
Рис. 1. Уровни развития измерительных шкал | Номинальные и порядковые шкалы – это чисто качественные шкалы, а шкалы интервалов и отношений – количественные. Причем нетрудно заметить, что все шкалы упорядочены по уровням развития, или уровням совершенства измерений, от наименее совершенной – номинальной - до наиболее совершенной – шкалы отношений (рис.1). Применение каждой последующей шкалы в этом ранжированном ряду предполагает обязательное применение всех предыдущих шкал. |
Измерения в порядковой шкале требуют, чтобы объекты были проклассифицированы в номинальной шкале. Для измерений в шкале интервалов необходимо, чтобы объекты были проклассифицированы в номинальной шкале, упорядочены (проранжированы) по какому-либо признаку в порядковой шкале и т.п.
|
|
|
В порядковой шкале возможны логические операции (больше – меньше, лучше – хуже), но невозможны арифметические действия. На отградуированной шкале интервалов может быть определена разность между любыми двумя значениями параметра, но нельзя определить, во сколько раз значение параметра больше или меньше (лучше или хуже) по отношению к эталону. На все вопросы отвечает шкала отношений, в ней возможны все логические и арифметические действия.
Выбор той или иной шкалы для измерений обусловлен спецификой решаемой задачи, уровнем компетентности экспертов и другими факторами.
Методы высказывания суждений
Существует несколько методов высказывания экспертами своих суждений.
1. Метод разбиения множества. При его использовании определенная совокупность объектов разбивается на группы по наличию или отсутствию одного либо некоторой комбинации признаков. Используется при классификации объектов. Например, вузы можно разделить по направлениям деятельности на технические, педагогические, медицинские, гуманитарные и т.д.; менеджмент – по областям приложения на менеджмент качества, финансовый, инновационный, производственный, информационный и другие виды менеджмента.
2. Последовательный выбор. Из совокупности объектов выбирается наиболее предпочтительный по заданному признаку, затем из оставшихся опять выбирается наиболее предпочтительный и т.д. (например, составление букета из цветов, выбор елочных украшений и др.).
3. Последовательное упорядочение от предыдущего отличается тем, что вниманию эксперта представляется не сразу вся совокупность объектов, а последовательно, по одному, в произвольном порядке. Задача эксперта сводится к упорядочению объектов по важности (предпочтительности, степени выраженности) заданного признака. Примеры: музыкальные, танцевальные конкурсы, соревнования по фигурному катанию и др.
4. Метод парных сравнений. Эксперт сравнивает все объекты попарно и для каждой пары высказывает суждение о предпочтительности одного из объектов по заданному признаку либо об их равноценности.
|
|
|
5. Метод балльной оценки. Оценка предпочтительности по заданному признаку производится в баллах. Различают два вида балльных оценок: с общепринятыми эталонами и без эталонов.
6. Метод непосредственной количественной оценки. Производится в абсолютных величинах (измерение массы, расстояния, объема и др.).
7. Метод деления пополам. Из совокупности оцениваемых по определенному признаку объектов выделяются два, имеющих максимальную и минимальную степени выраженности данного признака. Выбирается количественная мера и присваиваются значения X min и X max. Выделяется объект, имеющий среднюю оценку 
. Далее – объект, имеющий среднюю оценку между уже известными, и т.д. до тех пор, пока все объекты не получат количественные оценки.
Методы групповой экспертной оценки позволяют повысить уровень объективности индивидуальных оценок благодаря использованию суждений большего числа экспертов и применению определенных процедур приведения индивидуальных мнений к единому, групповому.
Некоторые методы организации групповой экспертизы
1. Заочный опрос. Осуществляется путем передачи или пересылки по почте всем экспертам, участвующим в экспертизе, специально подготовленных анкет. Этот метод характеризуется низкой надежностью получаемых результатов ввиду возможного неправильного истолкования экспертом некоторых вопросов анкеты. На часть вопросов он может вообще не дать ответа. Однако метод достаточно прост в организации и не требует больших затрат.
2. Опрос методом интервью. Этот метод позволяет исключить недостатки, присущие методу заочного опроса, однако требует большего времени на проведение. Кроме того, здесь не исключена возможность психологического воздействия на эксперта со стороны лица, осуществляющего опрос.
3. Метод дискуссии. Этим методом достигается согласованность мнений экспертов, однако необходимо учитывать, что на компромиссное решение возможно влияние таких психологических факторов, как нежелание отказаться от ранее высказанных суждений, давление мнения большинства, эмоциональные воздействия кого-либо из участников дискуссии.
4. Метод Дельфы [3]. Суть метода сводится к следующему. Опрос производится в несколько туров. После каждого опроса эксперты анонимно выставляют количественную оценку, заполняя опросный лист. Затем лица, занятые обработкой результатов экспертизы, располагают полученные оценки по некоторой шкале в порядке убывания (или возрастания) их значений. Находят медиану – результат, делящий упорядоченный ряд на две равные по объему группы. При этом 25% самых высоких и 25% самых низких оценок исключаются из рассмотрения. Перед каждым последующим туром экспертов информируют о результатах предыдущего и при необходимости предлагают обосновать (анонимно) свое мнение. С этими обоснованиями знакомят экспертов и предлагают им пересмотреть и при необходимости исправить предыдущие ответы. Результаты экспертного опроса вновь обрабатываются и доводятся до сведения всех экспертов и т.д. Такая процедура обеспечивает высокую степень согласованности мнений экспертов, лишена недостатков, присущих другим методам, абсолютно корректна, хотя и требует больших затрат времени на проведение.
|
|
|
|
|
|
