Экспертные оценки в здравоохранении

Как говорилось выше, существует несколько вариантов оценки с помощью профессиограмм. И один из вариантов - это ЭО определенного работника. Суть любого метода ЭО – изучение мнения компетентных лиц (лица) о каком-то явлении.

Для грамотного, адекватного, корректного использования ЭО при построении профессиограмм нужно иметь определенные теоретические знания и практические навыки по проведению ЭО.

Существует много видов экспертных оценок, основные из которых можно классифицировать следующим образом (рис.2.1).

 

Экспертные оценки

 

 

Индивидуальные Коллективные

 

 

Интервью Анализ Консультация Метод Метод Дельфийский

комиссий мозговых метод -

атак анкетирование

 

Рис. 2.1. Основные виды экспертных оценок

При проведении индивидуальной ЭО привлекают какого-либо одного специалиста в нужной области. Как правило, процедура проведения этих ЭО менее трудоемка и, следовательно, дешевле коллективных; но при индивидуальной ЭО возрастает риск ошибки, так как приглашенный эксперт может иметь свое очень оригинальное видение проблемы, вопроса.

Коллективные ЭО требуют для проведения больших усилий и средств, но вероятность ошибочности результатов экспертизы снижается вследствие учета мнений нескольких (многих) экспертов.

Со многими видами ЭО достаточно часто приходится иметь дело в повседневной жизни.

Интервью (англ. interview) – предназначенная для опубликования в прессе, передачи по радио или телевидению беседа представителя соответствующей редакции с каким-либо человеком.

Анализ (греч. analysis - разложение) – метод научного исследования, заключающийся в расчленении целого на составные элементы с целью выявления причинно-следственных связей, взаимообусловленности процессов и явлений, более глубокого и детального понимания происходящего (например, анализ деятельности поликлиники).

Консультация (лат. consultatio) – совет специалиста по какому-либо вопросу (например, консультация офтальмологом больного в терапевтическом отделении).

Метод комиссий – выработка группой специалистов общего мнения о каком-либо явлении, процессе, выражаемом, как правило, в форме заключения. В процессе выработки общего мнения целесообразно начинать изучение индивидуальных мнений членов комиссии с лиц, находящихся на более низких иерархических ступенях должностной лестницы, чтобы исключить влияние «начальника» на «подчиненного». Если кто-то из членов комиссии не согласен с общим заключением комиссии, он вправе записать свое особое мнение.

Метод мозговых атак очень перспективен при поиске решений каких-либо новых, доселе не возникавших задач, проблем.

Основателем данного метода считается Алекс Осборн, который во время второй мировой войны был капитаном небольшого торгового судна, совершавшего рейсы между Америкой и Европой, переправляя военную технику и продукты питания. Однажды в Атлантическом океане судно оказалось без охраны, и была получена радиограмма о возможной атаке немецкой подводной лодки. Осборн собрал всю команду на палубе, сообщил о готовящемся нападении и попросил каждого подумать и высказать свои соображения по поводу того, что необходимо сделать, чтобы предотвратить гибель судна. Кок предложил всей команде встать вдоль борта, к которому будет приближаться торпеда, дружно дуть на торпеду и «отдуть ее в сторону». К счастью, рейс закончился благополучно, но смешная абсурдная идея кока оказалась плодотворной. Осборн поставил по бортам своего судна мощные водяные насосы и однажды действительно "отдул" сильной струей воды торпеду, чем спас судно и жизнь команде и себе. Так у А.Осборна родилась идея создания метода коллективного поиска идей для устранения затруднительных ситуаций. Метод окончательно оформился и стал известен широкому кругу специалистов с выходом книги А. Осборна "Управляемое воображение: принципы и процедуры творческого мышления" в 1953 году.

Процедура ЭО по методу мозговых атак заключается в следующем. Организаторы экспертизы тщательно продумывают формулировку проблемы, подбирают состав экспертов и обеспечивают возможность стенографической или магнитофонной записи мнений экспертов. Приглашенных экспертов знакомят с формулировкой проблемы и просят вносить любые (даже самые фантастические) предложения по ее решению. При этом никому не дается право кого-либо критиковать, но разрешается дополнять и развивать понравившиеся предложения. Все высказывания фиксируются и впоследствии анализируются. Если 3–5% предложений будут оценены как достойные реализации, мозговая атака считается очень успешной. Причем любое предложение или решение считается результатом коллективного труда, даже если точно известен его автор.

Дельфийский метод получил название от древнегреческого города Дельфы, где в храме Аполлона, по преданиям, находился Дельфийский оракул, дававший людям советы или предсказывавший будущее. По одной из версий, в качестве оракула выступали жрецы храма, располагавшиеся на расстоянии друг от друга – чтобы не слышать высказываний коллег. Каждый посетитель храма мог задать свой вопрос по очереди многим жрецам, а затем обобщить их советы в качестве комплексной оценки.

Этот принцип и заложен в современный метод анкетирования экспертов: им раздают анкеты и просят высказать мнение, не информируя об индивидуальных мнениях других экспертов. Однако после первого тура опроса мнения экспертов обобщают, и с результатами знакомят каждого эксперта, предоставляя ему право изменить свое первоначальное мнение.

С помощью экспертных оценок можно прогнозировать процессы и явления, оценивать состояние здоровья человека или деятельность учреждения, вырабатывать управленческие решения и т.д.

Например, в процессе подготовки к какому-то собранию или конференции можно проанкетировать будущих участников и результаты опроса после соответствующей статистической обработки огласить на собрании с последующим обсуждением и выработкой решения.

Или другой пример. Главный врач намерен улучшить деятельность какого-то подразделения управляемого им ЛПУ. Процесс выработки решений в этом направлении может сочетаться с проведением экспертных оценок следующим путем:

1. Выработка предложений по улучшению деятельности данного подразделения: сотрудникам подразделений ЛПУ (всем или части из них) предлагается составить по своему усмотрению план мероприятий по улучшению деятельности подразделения.

2. Отбор наиболее приемлемых и конструктивных предложений: главный врач и его помощники отбирают предложения, имеющие практический интерес.

3. Разработка анкет: по отобранным предложениям составляются анкеты для последующей работы.

4. Анкетирование (опрос) экспертов: группу лиц, отобранных в качестве экспертов, опрашивают по разработанным анкетам.

5. Статистическая обработка результатов.

6. Выбор оптимальных предложений.

В организации и проведении экспертных оценок по дельфийскому методу выделяют шесть этапов.

Этап 1. Формирование цели экспертизы и рабочей группы. Цель экспертизы должна иметь четкую формулировку, а также пояснения, если она может толковаться неоднозначно. Рабочая группа – это люди, участвующие в организации, проведении экспертизы и анализирующие результаты. Они должны уметь мыслить логически, иметь способность к творческому процессу, знать смежные дисциплины и аппарат математической статистики.

Этап 2. Разработка анкеты.

Данный этап очень важен, ибо надо поставить вопросы так, чтобы исключить двойное толкование, иметь возможность перепроверить одни ответы другими, получить всю необходимую информацию, но не затрагивать ненужной.

Вопросы анкет бывают четырех типов:

а) с предусмотренным ответом: перечисляются все возможные ответы, нужный подчеркивается.

Например, Ваш возраст – до19 лет

20-39 лет

40-59 лет

60 и более лет;

б) с выявлением поведения эксперта в определенных условиях: «Как бы Вы поступили в данной ситуации?»;

в) с числовой оценкой: «Оцените по 5-ти бальной шкале степень влияния перечисленных факторов на результативный показатель»;

г) с ранговой оценкой: «Расставьте перечисленные факторы в порядке убывания (возрастания) их влияния на результативный показатель».

Этап 3. Разработка правил опроса.

На точность ответов экспертов влияет множество условий: время опроса, место, личность опрашиваемого, анонимность анкеты и пр. Это все необходимо учитывать при разработке правил опроса.

Непосредственно опрос можно проводить заочным (по почте) и очным путем. Заочный удобен для исследователя, требует меньше затрат, но не точен, так как ряд корреспондентов может дать неправильные ответы. Лучше к каждому эксперту прислать представителя рабочей группы.

Этап 4. Отбор экспертов.

Цель данного этапа – подбор качественно однородной группы экспертов. Это самый важный и спорный этап экспертизы, состоящий из двух подэтапов:

1) определение количества экспертов; лучше иметь не менее 30 человек, т.к. в меньших группах вступают в силу законы малых выборок, что затрудняет в дальнейшем обсчет результатов; но и очень большое число экспертов тоже не является положительным качеством, т.к. подобрать большое количество экспертов одинаковой компетентности весьма трудно;

2) определение годности быть экспертом.

Эксперт должен:

- быть компетентным в своей и эрудирован в смежных областях знаний;

- уметь предвидеть ход событий и последствия принятых решений;

- уметь рассматривать проблему с различных позиций, противостоять предубеждениям и сложившемуся мнению;

- аргументировано отстаивать свое мнение;

- творчески мыслить.

Подобрать несколько десятков специалистов в определенной области знаний, обладающих перечисленными качествами примерно в равной степени, очень трудно. Нередко в качестве экспертов отбирают людей, занимающих одинаковые должности, или имеющих равный стаж работы, или ученую степень. Все это не обеспечивает однородности группы экспертов, т.к. люди, имеющие одинаковый стаж, ученую степень или должность могут иметь разную компетенцию в изучаемом вопросе.

В настоящее время разработаны методы оценки самих экспертов (особенно в ряде зарубежных стран) – своего рода экзамены на право быть экспертом. Эти экзамены позволяют определить не только годность быть экспертом, но и степень годности или вес эксперта в различных вопросах. Например, один человек после экзамена на эксперта получил весовой коэффициент в экономике здравоохранения – 2, в статистике здравоохранения – 3. Другой – в обоих случаях – по 1. Исходя из этих оценок, ответы первого эксперта в области экономики здравоохранения будут в два раза весомее ответов второго, а в области статистики – в три раза. Следует отметить, что реалии нашего здравоохранения предопределяют очень часто нарушения тех или иных требований к отбору экспертов.

Этап 5. Обработка результатов.

Проводится по законам статистики: вычисляют среднюю арифметическую, среднее квадратическое отклонение, коэффициент вариации.

Этап 6. Обобщение результатов, выводы.

Для получения согласованной обобщенной оценки могут потребоваться несколько туров опроса экспертов. При обработке результатов опроса полученные экспертные оценки усредняются, определяется коэффициент вариации (V). При этом если величина V 33%, то формулируются выводы. Если же коэффициент вариации V>33%, то это говорит о нетипичности средней арифметической, т.е. несогласованности мнений экспертов, что требует проведения второго тура ЭО. На втором туре каждому эксперту сообщаются значения полученных по итогам предыдущего тура характеристик. Так как ответы экспертов анонимны, они имеют возможность пересмотреть свои мнения, данные на предыдущем туре, и при желании исправить оценки. Такая процедура позволяет всем экспертам принять в расчет обстоятельства, которые они могли случайно пропустить или которыми они пренебрегли в предыдущих турах. После получения новых оценок определяют повторно среднюю арифметическую, среднее квадратическое отклонение и коэффициент вариации. Процедура может повторяться 3-4 раза и более. Этот процесс продолжается до тех пор, пока эксперты не перестанут изменять свои оценки. Упорно выдающих нетипичные оценки экспертов просят обосновать свое мнение (чтобы не упустить какого-либо оригинального, специфического подхода) и из дальнейших расчетов их мнения, как правило, исключают.

Рассмотрим пример проведения экспертных оценок дельфийским методом.

Пусть работников условной кафедры общественного здоровья и организации здравоохранения медицинского вуза интересует, какой из методов деловой оценки медицинского персонала наиболее информативен по мнению руководителей ЛПУ.

Этап 1. Целью экспертизы будет: балльная оценка информативности ряда методов, применяемых для оценки медицинского персонала. В рабочую группу войдут сотрудники кафедры, проводящие данную работу.

Этап 2. В анкете экспертам будет предложено оценить степень информативности перечисленных ниже методов деловой оценки персонала, исходя из того, что сумма баллов не должна превысить 100. Методам с большей информативностью следует давать большее число баллов (рис.2.2).

Анкета

Уважаемый эксперт!

Оцените степень информативности перечисленных ниже методов деловой оценки персонала, исходя из того, что сумма баллов не должна превысить 100.

 

Методы	Баллы
1. Градации.
2. Оценочных шкал с описанием количественной оценки.
3. Альтернативных характеристик.
4. Оценки с помощью профессиограммы.
	100,0

Рис.2.2. Образец анкеты для опроса экспертов

Методы, подлежащие оценке:

1. Метод градации (оценивающему предлагается шкала с балльным определением значений показателей, причем эти баллы представляют степень выраженности показателя). Пример использования метода градации проиллюстрирован ниже:

Показатель:

Проведение текущей

периодической оценки

медицинских сестер

_______________________________________________

1 2 3 4 5

(редко) (часто не (в основном) (с некоторым (всегда)

проводится) исключением)

2. Метод оценочных шкал с описанием количественной оценки (числовые значения шкалы интерпретируются более подробным описанием образа действий, соответствующего данному числовому значению). Пример использования данного метода показан ниже в табл.2.1.

Таблица 2.1

Интерпретация числовых значений шкалы в методе оценочных шкал

Показатель оценки деятельности менеджера: сотрудничество
Ярко выраженная способность к сотрудничеству; при этом имеет собственное мнение и может позитивно влиять на других, считается с мнением окружающих, конструктивно воспринимает критику.	Хорошая способность к сотрудничеству; имеет собственное мнение, которое ценится другими, считается с мнением окружающих, позитивно воспринимает критику.	Способен к сотрудничеству; собственное мнение ставит на передний план, в целом хорошо воспринимается другими, не всегда воспринимает мнение окружающих и критику.	Показывает небольшую склонность к сотрудничеству, воздерживается от выражения собственного мнения, остается незаметным.	Не показывает склонности к сотрудничеству.

 

3. Метод альтернативных характеристик (оценивающему предлагается перечень высказываний об образе сотрудника, и он отмечает галочками соответствие или несоответствие конкретного высказывания этому образу). Пример такого перечня приведен ниже:

Менеджер:

- открыт для всего нового

- соблюдает все сроки выполнения работы

- имеет сложности при координации различных задач

- чувствительно реагирует на критику

- работает больше, чем требуется

- умеет спланировать деятельность сотрудников

- нелегко находит контакт с внешним окружением

- в условиях дефицита времени работает безошибочно

- активно поощряет и поддерживает инициативные предложения

- постоянно контролирует процесс выполнения работы

4. Метод оценки с помощью профессиограммы (графическое изображение перечня и степени выраженности количественно не измеряемых признаков, явлений, процессов, которыми должно обладать определенное должностное лицо). Пример данного метода приведен на табл.1.3.

Этап 3. Эксперты будут опрашиваться с помощью анкет во время занятий на кафедре.

Этап 4. В качестве экспертов будут опрошены 30 слушателей цикла усовершенствования главных врачей и их заместителей.

Поскольку определить годность в эксперты и весовые коэффициенты каждого слушателя не представляется возможным, условно все будут считаться годными и имеющими весовой коэффициент, равный единице.

Этап 5. После первого тура опроса мнения экспертов обобщаются (вычисляются средняя арифметическая () и коэффициент вариации (V) для каждого метода). Величина V>33% говорит о нетипичности средней арифметической, т.е. несогласованности мнений экспертов. С полученными в этом туре результатами знакомят каждого эксперта, предоставляя ему право изменить свое первоначальное мнение. И эту процедуру повторяют до тех пор, пока мнения экспертов не станут согласованными. В приведенном примере после второго тура мнения экспертов оказались однородными (т.е. V≤33%). Результаты двух туров опроса следующие (табл.2.2).

Этап 6. В результате, по мнению руководителей ЛПУ, наиболее информативным методом при деловой оценке персонала оказалась оценка с помощью профессиограмм.

 

Таблица 2.2

Оценка методов деловой оценки персонала

Методы	Туры	Оценка в
1	2	долях единицы
	V		V
1. Градации.	24,7		25,5		0,26
2. Оценочных шкал с описанием количественной оценки.	15,4		15,3		0,15
3. Альтернативных характеристик.	11,4		11,0		0,11
4. Оценки с помощью профессиограммы.	31,0		31,2		0,31
	100,0		100,0		1,0

 

Рассмотрим еще один пример.

Перед главной медицинской сестрой ЛПУ стоит задача – оценить медицинский персонал для выдвижения на конкурс лучшей медицинской сестры года города Х.

Этап 1. Целью экспертизы будет: оценка медицинских сестер ЛПУ.

В рабочую группу, участвующую в организации, проведении экспертизы и анализирующую результаты войдут все старшие медицинские сестры ЛПУ.

Этап 2.

1 подэтап. Рабочая группа разрабатывает и утверждает перечень оцениваемых признаков силами административно-управленческого звена. Предположим, что работники аппарата управления ЛПУ просмотрели оцениваемые признаки, внесли необходимые изменения, и этот перечень представлен в анкете (табл. 2.3).

2 подэтап. В анкете экспертам будет предложено оценить лучших медицинских сестер четырех отделений ЛПУ по перечисленным ниже признакам. Каждый эксперт должен отметить любым значком (точка, крестик, кружок, звездочка и т.д.) на соответствующем поле в соответствии со своим мнением оцениваемому баллы от 1 до 9 по каждому признаку.

Этап 3. Эксперты будут опрашиваться с помощью анкет в течение рабочего дня.

Этап 4. В качестве экспертов будут опрошены сотрудники отдела кадров и другие работники аппарата управления ЛПУ. Так как определить годность в эксперты и весовые коэффициенты каждого эксперта не представляется возможным, условно все будут считаться годными и имеющими весовой коэффициент, равный единице.

Этап 5. При статистической обработке результатов опроса будут вычисляться средняя арифметическая и коэффициент вариации по каждому признаку для каждой медицинской сестры (табл.2.4). В результате формируют единый бланк с профессиограммами медицинских сестер для наглядного сравнения оцениваемых признаков (табл.2.5).

Этап 6. В результате, по мнению административно-управленческого звена ЛПУ наиболее хорошими качествами обладает медицинская сестра А и она будет участвовать на конкурсе лучшей медицинской сестры года города Х.

 

Таблица 2.3

Анкета

Уважаемый эксперт!

Просим Вас оценить медицинскую сестру, отметив любым значком (точка, крестик, звездочка и т.д.) на соответствующем поле в соответствии со своим мнением

баллы от 1 до 9 по каждому признаку

Медицинская сестра_________________________________________

№ пп.	Признаки	Плохая	Средняя	Хорошая
		1	2	3	4	5	6	7	8	9
	Профессиональные знания:
	Организации работы в целом отделения
	Основных синдромов острых нарушений функций систем и органов
	Современных методов интенсивной терапии и реанимации при заболеваниях и критических состояниях
	Правил приёма больных, санобработки
	Особенности работы с наркотическими средствами, их списания
	Основных учетных форм медицинской документации отделения
	Профессиональные умения:
	Осуществления всех этапов сестринского процесса при уходе за пациентами
	Организации своевременного обследования пациентов в диагностических кабинетах, у врачей-консультантов и в лаборатории
	Обеспечения правильного хранения, учета и списания лекарственных препаратов
	Обучения пациентов и семьи правилам применения лекарственных средств и организации лечебного питания, соблюдения правил приема лекарств пациентами
	Ведения медицинской документации
	Своевременного и точного выполнения назначений лечащего врача
	Осуществления ухода и наблюдения за пациентами на основе принципов медицинской деонтологии
	Личностно-интеллектуальные:
	Воспитанность
	Ответственность
	Заботливость, милосердие
	Внимательность
	Доброжелательность
	Психофизиологические:
	Физическое здоровье
	Работоспособность
	Терпеливость

 

Таблица 2.4

Оценка медицинских сестер ЛПУ

Признаки	Медицинские сестры
А	Б	В	Г
	V		V		V		V
Профессиональные знания:
Организации работы в целом отделения	8,7		8,6		8,5		7,4
Основных синдромов острых нарушений функций систем и органов	9,0		7,5		8,0		7,5
Современных методов интенсивной терапии и реанимации при заболеваниях и критических состояниях	8,1		8,0		8,0		4,3
Правил приёма больных, санобработки	8,7		8,8		8,8		5,8
Особенности работы с наркотическими средствами, их списания	7,9		6,1		6,8		5,3
Основных учетных форм медицинской документации отделения	9,0		7,9		8,6		8,2
Профессиональные умения:
Осуществления всех этапов сестринского процесса при уходе за пациентами	6,7		4,2		5,1		3,8
Организации своевременного обследования пациентов в диагностических кабинетах, у врачей-консультантов и в лаборатории	7,5		6,3		8,2		7,7
Обеспечения правильного хранения, учета и списания лекарственных препаратов	8,5		7,2		7,8		6,1
Обучения пациентов и семьи правилам применения лекарственных средств и организации лечебного питания, соблюдения правил приема лекарств пациентами	8,9		8,7		9,0		7,4
Ведения медицинской документации	7,7		7,8		6,5		6,3
Своевременного и точного выполнения назначений лечащего врача	9,0		7,6		7,2		5,9
Осуществления ухода и наблюдения за пациентами на основе принципов медицинской деонтологии	8,8		4,5		5,3		6,8
Личностно-интеллектуальные:
Воспитанность	8,5		5,0		7,2		6,5
Ответственность	8,8		7,0		7,4		4,6
Заботливость, милосердие	7,9		5,3		6,3		5,6
Внимательность	8,3		8,3		6,7		6,2
Доброжелательность	8,9		6,5		2,4		3,0
Психофизиологические:
Физическое здоровье	8,9		7,2		8,7		8,2
Работоспособность	9,0		4,9		7,8		4,7
Терпеливость	8,4		5,4		4,1		3,0

 

Таблица 2.5

⇐ Предыдущая12345Следующая ⇒

Поделиться:

Воспользуйтесь поиском по сайту: