Неформальные методы оценивания

В процессе моделирования больших систем неизбежно приходится оценивать значения различных параметров этих систем. Значения некоторых параметров удается непосредственно измерить (например, геометрические характеристики доступных предметов, отрезки времени и т.п.) или вычислить по известным аналитическим зависимостям (например, вероятность сложного события по вероятностям составляющих его событий, площади геометрических фигур по известным их размерам и т.п.). Если имеются данные о функционировании моделируемой системы или ее аналога за достаточно продолжительное время, то значения некоторых параметров можно определить путем статистической обработки их значений, зафиксированных в процессе наблюдения. Общеизвестные методы математической статистики позволяют не только определить текущее значение параметра, но и оценить достоверность такого определения в зависимости от продолжительности (числа) наблюдений и их совпадения (разброса), установить необходимое число наблюдений для определения значения параметра с заданной точностью.

Иногда значения интересующих параметров удается определить по аналогии со значениями других, схожих с определяемыми, значения которых известны.

Однако нередки случаи, когда значения параметров моделируемых систем не удается получить названными выше методами. Такая ситуация бывает особенно характерной для систем с высоким уровнем неопределенности и не имеющих достаточной предыстории функционирования. Именно такими являются рассматриваемые здесь системы защиты информации. Например, в настоящее время нет данных, необходимых для определения таких параметров, как вероятности проявления дестабилизирующих факторов в различных КИС и различных условиях их функционирования, вероятности успешного использования злоумышленником проявившихся дестабилизирующих факторов, показатели эффективности функционирования различных средств защиты и многих других. В таких случаях неизбежно приходится пользоваться неформальными методами оценивания, основанными на оценках людей -специалистов в соответствующей сфере.

Из неформальных методов оценивания наиболее известными являются методы экспертных оценок. Экспертными оценками называются такие методы поиска решений сложных, не поддающихся формализации задач, которые основаны на суждениях (оценках, высказываниях) специально выбираемых (назначаемых) экспертов. Эти методы достаточно просты по своей сущности, они нашли широкое отражение в специальной литературе. Последовательность и содержание решения задач методами экспертных оценок в самом общем виде могут быть представлены следующим образом: разработка постановки задачи; обоснование перечня и содержания тех параметров задачи, для определения значений которых целесообразно использовать экспертные оценки; обоснование форм и способов экспертных оценок; разработка реквизитов (бланков, инструкций и т.п.), необходимых для проведения экспертных оценок; подбор и подготовка (обучение, инструктаж) экспертов, привлекаемых для решения задачи; организация и обеспечение работы экспертов; контроль и первичная обработка экспертных оценок; базовая обработка экспертных оценок.

По способам привлечения экспертов к решению задач различают: простые суждения, интервьюирование и анкетирование. При использовании метода простых суждений эксперт устно или письменно высказывается по поставленному вопросу, при интервьюировании каждый эксперт устно или письменно отвечает (в диалоговом режиме) на серию вопросов, которые ставит организатор экспертизы, при анкетировании каждый эксперт отвечает письменно на вопросы, содержащиеся в заблаговременно составляемых одной или нескольких анкетах.

Принципиально важным для методов экспертных оценок является получение такой выборки оценок экспертов, на которой статистически устойчиво проявилось бы их общее мнение по решаемой проблеме. Отсюда одно из основных требований и одна из основных трудностей состоят в подборе такого количества компетентных экспертов, которого достаточно для получения статистически устойчивых решений. Однако при этом возникает серьезный вопрос о соизмерении компетентности различных экспертов по решаемой проблеме. Для решения этого вопроса в подавляющем большинстве существующих методик экспертных оценок вводится так называемый коэффициент компетентности, представляющий собою число в интервале от 0 до 1, причем оценке каждого эксперта присваивается вес, равный этому коэффициенту. Значение коэффициента компетентности определяется либо самим экспертом (самооценка) либо коллегами по экспертизе (взаимная оценка). В некоторых случаях используются одновременно обе оценки.

Технология использования методов экспертных оценок представляет собой последовательность следующих операций:

1)Формирование достаточно представительной группы компетентных экспертов.

2)Выбор способа организации работы с экспертами.

3)Выбор метода формирования экспертами суждений (оценок) по решаемым вопросам и проведение экспертизы.

4)Выбор метода обработки оценок группы экспертов.

Ниже кратко излагаются возможные подходы к решению перечисленных задач.

1. Формирование группы экспертов. В решении данной задачи существенно значимыми представляются два вопроса: персональный подбор экспертов и формирование представительной их группы.

При персональном подборе экспертов рекомендуется руководствоваться следующей совокупностью критериев:

• компетентность - наличие знаний и опыта по решаемой проблеме;

• креативность - способность решать творческие задачи;

• антиконформизм — неподверженность влиянию авторитетов;

• конструктивность мышления - способность давать практически значимые решения;

• коллективизм - способность работать в коллективе в соответствии с общепризнанными этическими нормами поведения;

• самокритичность — способность критично относиться к собственной компетенции и своим суждениям;

• наличие времени для работы в экспертных группах;

• заинтересованность — наличие желания в решении рассматриваемой проблемы.

Численность группы должна быть достаточно представительной для того, чтобы на основе совокупной обработки их суждений можно было определить статистически устойчивую оценку. Считается, что группа должна иметь численность не менее 20 человек.

2. Выбор способа работы с экспертами. Наиболее эффективными способами работами с экспертами считаются интервьюирование и анкетирование. Первый способ заключается в том, что руководитель экспертизы последовательно берет интервью (в общепринятой интерпретации этого понятия) у экспертов, второй - в том, что каждый эксперт самостоятельно заполняет заблаговременно разработанную анкету. К достоинствам первого способа относится возможность уточнять по ходу интервью оценки эксперта, используя для этого подходы метода психоинтеллектуальной генерации), второго - возможность экспертам не только глубоко сосредоточиться на решаемой проблеме, но и дополнительного изучения проблемы. Названные способы могут комбинироваться: например, проводится предварительное интервьюирование экспертов, затем эксперты заполняют анкеты, после чего осуществляет ся заключительное интервьюирование в целях изучения мотивов экспертов относительно их оценок и возможного уточнения этих оценок.

3. Выбор метода формирования экспертами оценок. Данная задача относится к наиболее важным в общей процедуре экспертных оценок. Она заключается в решении двух подзадач: выбора формы выражения оценки и выбора способа ее формирования.

Форма выражения оценки может быть неявной и явной. Неявное выражение состоит в том, что эксперт ранжирует оцениваемые элементы (объекты, явления) по степени их важности (линейное ранжирование) или делит на группы с возможным ранжированием в группах (групповое ранжирование). При явном выражении эксперты дают элементам лингвистические или количественные оценки. При этом количественная оценка может выражаться коэффициентом (весом) на непрерывной шкале (чаще всего от 0 до 1) или баллом из предложенного множества (пять, десять и т.п.).

По способу формирования оценки могут быть непосредственными (эксперт определяет значение каждого оцениваемого элемента на заданной шкале) и сравнительными, формируемыми на основе сравнения пар оцениваемых элементов и означающими ту степень предпочтения (значимости), которая, по мнению эксперта, имеет место в условиях решаемой задачи.

4.Выбор метода обработки результатов экспертизы. В табл. 2.1 приведены примеры возможных конечных результатов для всех их разновидностей, образуемых рассмотренной выше классификационной структурой.

а) Оценки экспертов осуществляются в форме ранжирования. Пустьr_ij(i = 1,2,...,n;j = 1,2,...,m)

есть ранг, присвоенный i-му элементу j-м экспертом. Обработка результатов заключается в построении обобщенной ранжировки. Для этого вводится конечномерное дискретное пространство ранжировок и метрика этого пространства. Ранжировка каждого эксперта представляется точкой в данном пространстве, а обобщенная - такой точкой в нем, которая наилучшим образом согласуется с точками, являющимися ранжировками экспертов. Однако определение обобщенной ранжировки представляется чрезвычайно сложной процедурой, что существенно ограничивает возможности практической реализации. Поэтому излагать здесь эту процедуру не будем, заинтересованным рекомендуем обратиться к специальным публикациям.

Более простым является метод ранжирования по величинам сумм рангов, присвоенных каждому элементу всеми экспертами. В этих целях для матрицы rij вычисляются величины

т

Г- = 7 Т- (2.1)

i = 1,2,..., n

 

и элементы упорядочиваются по возрастанию величин r_i

б) Оценки экспертов осуществляются в количественном выражении по непрерывной шкале. Пусть Ху (i = 1,2,..., n; j = 1,2,..., m) есть оценка i-го элемента ^j-м экспертом. Тогда в самом простом случае групповая оценка определяется как среднее арифметическое оценок экспертов, т.е.

 

 (2.2)

 

Для более точного определения x_i вводится понятие весов оценок экспертов как некоторой меры близости их к групповой оценке. В этом случае групповая оценка вычисляется по рекуррентной процедуре, имеющей вид:

 

 

Доказано, что сходимость этой процедуры обеспечивается практически во всех случаях.

Заметим, однако, что приведенная рекуррентная процедура справедлива лишь для случая нормированных оценок группы взаимооцениваемых элементов. В случае же ненормированных оценок или независимого оценивания отдельных элементов групповая оценка может быть вычислена по такой (тоже рекуррентной) процедуре:

 

 

 

Нетрудно видеть, что в данном случае может быть построена рекуррентная процедура аналогично тому, как это представлено выше в п. «б».

д) Оценки экспертов осуществляются в лингвистическом выражении. Как показано в табл. 2.1, в данном случае могут быть получены две групповые оценки: лингвистические значения оцениваемых элементов и/или количественная оценка.

Лингвистические оценки могут быть получены процедурой «голосования», т.е. выбором того значения, которое дано большинством экспертов. Для элементов повышенной значимости может быть использовано правило квалифицированного большинства ("за» - не менее 75% оценок экспертов).

Количественная групповая оценка по совокупности оценок лингвистических может быть определена следующим образом. Пусть, например, каждому эксперту предлагается дать лингвистическую оценку требуемого уровня защиты информации на конкретном объекте одним из следующих значений: 1) не нужна; 2) невысокая, 3) средняя, 4) высокая, 5) очень высокая. Кроме этого, каждый эксперт приводит тот диапазон на шкале 0-1, в котором, по его мнению, находится его оценка. Тогда в качестве количественной его оценки может быть принята середина указанного интервала, а затем оценки всех экспертов могут быть обработаны по методике, рассмотренной в п. «б».

Такая лингвистико-количественная экспертиза особенно целесообразна в тех случаях, когда оценке подвергается сложное многофакторное событие с высоким уровнем неопределенности.

Предыдущая234567891011121314151617Следующая

Поделиться:

Воспользуйтесь поиском по сайту: