 |
Природа оценивания и исследования
|
|
|
|
Следует различать оценивание и исследование, несмотря на то что они имеют много общего. Вилер и Лёш (Wheeler & Loesch, 1981) отмечают, что эти термины часто концептуально не различаются и нередко используются как синонимы. Краускопф (Krauskopf, 1982) утверждает, что нет «существенной разницы между этими двумя терминами. Оба предполагают один и тот же эмпирический подход и требуют применения одних и тех же приемов» (р. 71). Бурки Петерсон (Burckand Peterson, 1975), напротив, указывают на различия между этими понятиями. По их мнению, оценивание «более ориентировано на конкретную задачу, менее зависимо от субъекта, в большей степени направлено на получение информации для лиц, принимающих решения. Эта процедура, как правило, менее строга и скрупулезна и касается главным образом объяснения событий, установления их взаимосвязей с поставленными целями и задачами» (р. 564). Например, в учебных заведениях, где обучаются консультанты, в качестве курсового проекта студенты могут подготовить серию работ, по которым они будут оцениваться (получать оценку). Основываясь на оценке, преподаватели и сами студенты решают, есть ли прогресс и стоит ли продолжать обучение. Независимо от направленности оценивания – академической или клинической – можно выделить три компонента добротной программы консультирования: «качественное обеспечение, тщательное оценивание и хорошая презентация результатов оценивания» (Ohlsen, 1983, р. 357). Если оценивание не проводится или если позитивные результаты оценивания не распространяются, программа, как правило, страдает.
Исследование, в свою очередь, больше ориентировано на теорию, ограничено рамками определенной дисциплины, поэтому требует большей строгости при проведении. Оно чаще дает результаты, которые не могут иметь немедленного применения. Исследование требует большей изобретательности в условиях строгого и точного выполнения плана и больше концентрируется на объяснении и предсказании явлений (Burck and Peterson, 1975, p. 564). Например, консультанты могут проводить исследование, чтобы оценить, какой из нескольких методов теории дает лучший результат применительно к популяции клиентов, имеющих одинаковое расстройство, например тревожность. В этом случае такие переменные, как пол, возраст и особенности культуры, должны контролироваться как можно тщательнее, чтобы исследователь мог представить точную и ясную картину того, какой именно фактор действует и на кого, и чтобы полученные результаты и выводы могли быть должным- образом представлены. Занимаясь исследованиями в консультировании, большинство консультантов выступают в качестве прикладных исследователей: они используют информацию, полученную в исследовании, для своей практической работы.
|
|
|
В следующих разделах мы рассмотрим, как эти термины обычно используются в практике профессионального консультирования.
Оценивание
Оценивание обычно включает в себя сбор значимой информации о разных аспектах программы консультирования с целью распределения ресурсов и достижения максимальной эффективности программы (Gay, 1996; Wheeler & Loesch, 1981). Для оценивания характерно немедленное использование его результатов. Оно обеспечивает консультанту или администратору непосредственную обратную связь в ходе работы и указывает на необходимость добавления новых форм работы. Оно также дает возможность клиентам систематически положительно воздействовать на программу. Некоторые виды оценивания являются обязательными для всех программ консультирования независимо от того, где она проводится (Но-sie, 1994; Oetting, 1976).
|
|
|
Некорректные методы оценивания
Хотя существует множество надежных моделей оценивания, есть методики, которые нередко применяются некорректно из-за недостаточной компетентности консультанта (Daniels, Mines & Gressard, 198i). Недостаточно продуманные методы оценивания, приводящие к ошибочным и ненадежным результатам, имеют следующие признаки (Burck & Peterson, 1975):
· ограниченность выборки;
· сравнение неэквивалентных групп;
· направленность не на оценивание как таковое, а на рекламу и продвижение услуг;
· попытка оценить программу без четко поставленных целей.
Этапы оценивания
Оценивание программы представляет собой последовательный пошаговый процесс систематического характера. Предложенная Бурком к Петерсоном (Burck & Peterson, 1975) процедура является достаточно обоснованной, чтобы ей следовать, хотя предлагаемые шаги могут различаться в разных вариантах оценивания.
Согласно этим авторам, первый шаг при составлении программы оценивания заключается в выявлении потребностей. Ответственные консультанты в первую очередь постараются выявить проблемы пли спорные вопросы в своих программах. Потребность – это «принятое среди членов определенной группы... понятие, которое отражает актуальный недостаток чего-либо, осознание (ощущение) того, что чего-то не хватает» (Collison, 1982, р. 115). Потребности, как считается, обусловлены рядом факторов, таких как групповая или индивидуальная философия, правительственная политика, доступные ресурсы, история и традиции, мнение экспертов. «Процедуры выявления потребностей включают четкую идентификацию задачи, определение метода взаимодействия и решение вопросов, связанных с измерениями» (Cook, 1989, р. 463).
Второй шаг связан с «определением целей и параметров деятельности». При этом как ближайшие результаты применения программы (те, что сказываются немедленно), так и отдаленные описываются в терминах измеримых параметров деятельности. Обычно имеется «несколько параметров деятельности применительно к каждой из целей» (Burck & Peterson, 1975, p. 567).
Третий шаг в оценивании – это разработка программы. Если разработанные программы отвечают поставленным целям и условиям, действия, направленные на их решение, могут быть точно спланированы.
|
|
|
Четвертый шаг – пересмотр и совершенствование программы. Оценивается правильность применения специальных приемов и адекватность способов коммуникации.
Пятый, последний шаг – это «документирование и составление отчета о результатах применения программы» (Burck & Peterson, 1975, p. 567). Эта работа проводится, в первую очередь, путем представления выводов по оцениванию программы широкой публике. Такая информация необходима потенциальным клиентам для того, чтобы они могли осознанно делать свой выбор, а также нужна самим консультантам, работающим по этой программе, как вид обратной связи, способствующий совершенствованию их работы.
В процесс оценивания должны включаться все участники программы, с тем чтобы полученные результаты могли непосредственно повлиять на программу. Так, люди, которые вносят свой вклад в выявление потребностей, скорее помогут консультантам удовлетворить обнаруженные потребности и достичь целей программы, чем люди, которые не участвовали в выявлении потребностей.
Выбор модели оценивания
Поскольку оценивание составляет значительную часть профессиональной деятельности консультантов, их подготовка в этом вопросе должна быть соответствующей (Wheeler & Loesch, 1981). Эта подготовка включает в себя резервирование времени для проведения оценивания. Не менее важным является знание всех возможных моделей оценивания. Хауз (House, 1978) предлагает целый ряд моделей оценивания и описывает критические параметры каждой из них (табл. 19.1). Это следующие модели: системный анализ, анализ выполнения целей деятельности, анализ принятия решений, свободная оценка, художественная критика, аккредитация, рецензирование и оценка взаимодействия,
Дэниэлс и его коллеги (Daniels et al., 1981) исследовали параметры, по которым оценивались модели, и предложили несколько практических методов сравнения различных моделей, что позволяет для каждого конкретного случая подобрать наиболее подходящую модель. Дэниэлс отмечает, что как внутренние, так и внешние ограничения «определяют зону эффективного применения каждой модели» (р. 580). Ими предложена структура, предназначенная для того, чтобы помочь консультантам выбрать подходящую модель для каждой ситуации (рис. 19.1).
|
|
|
Если вопросы сформулированы до оценивания (априорные вопросы), существует большая вероятность получить удовлетворительные ответы на эти вопросы, чем на вопросы, появившиеся после проведения оценивания (вопросы, поставленные постфактум). Следовательно, оценивающие должны с самого начала уяснить, что они собираются оценивать и как они собираются это делать (Davidson, 1986). Две модели объединяют оба этих аспекта: модель «системы планирования, программирования и составления бюджета» (the planning, programming, budgeting systems – PPBS) и модель «контекст – исходные данные – процесс –результат» (conte input- process- product – CIPP) (Humes, 1972; Stufflebeam et al, 1971).
В модели PPBS упор делается на программы планирования со специально подобранными целями, задачами и критериями оценивания. Ситуация, популяция и применяемые процедуры – вот основные составляющие данной модели. Хьюмз (Humes, 1972) отмечает, что информация, получаемая в рамках модели PPBS, является в большей степени параметрической (критериально-ориентированной, т. е. непосредственно относящейся к измеряемым величинам), а не нормативно-ориентированной (относящейся к сравнению с другими членами группы, как в случае применения стандартизованных тестов). Следовательно, если планирование и составление программы выполнены правильно, проводящий оценку консультант в состоянии показать, что эффективное консультирование является существенным фактором улучшения состояния клиента. Кроме того, когда принимается решение о бюджете, могут быть четко продемонстрированы эффективность консультирования и соотношение «эффективность – стоимость»; сила и слабость программы могут быть подтверждены документально. В этом случае администраторы служб консультирования находятся в лучшем положении, обосновывая запрос на дополнительное финансирование разработки и оказания услуг. Поэтому этот аспект анализа программ является жизненно важным.
Таблица 19.1
Сравнение основных моделей оценки
| Тип модели | Основная аудитория | Результат | Принятые предположения | Методология | Типичные вопросы |
| Системный анализ | Экономисты, менеджеры | Эффективность программ | Цели, известные причины и следствия, количественные величины | PPDS, анализ расходов и прибыли | Достигнуты ли ожидаемые эффекты? Какие программы наиболее эффективны? |
| Анализ достижения целей деятельности | Менеджеры, психологи | Продуктивность, подотчетность | Предусмотренные параметры, количественные величины | Цели деятельности, тесты достижении | Достигают ли обучающиеся поставленных целей? Продуктивна ли работа преподавателя? |
| Оценка принятия решений | Администраторы | Эффективность, контроль качества | Общие задачи, критерии оценок | Обзоры, опросники, интервью, естественное разнообразие | Эффективна ли программа? Какие разделы эффективны? |
| Открытая модель | Пoтребители | Предпочтения потребителей, Общественная полезность | Последствий, критерии оценок | Контроль отклонений, логический анализ | Перечислить вес эффекты программы |
| Художественная критика | Знатоки, потребители | Улучшенные стандарты | Критики, нормы критики | Критическое обозрение | Улучшит ли критика данную программу? |
| Аккредитация | Профессиональные эксперты, общественность | Профессиональное одобрение | Комиссия экспертов, процедуры и критерии оценок | Отчет комиссии, самоотчет | Как профессионалы оценивают программу? |
| Рецензирование | Жюри, общественность | Решения | Процедуры, суждения | Полуформальные процедуры | Доводы «за» и «против» программы |
| Взаимодействие | Практикующие врачи или юристы, а также представители других профессий, требующих непосредственной работы с клиентом | Понимание | Переговоры, деятельность | Изучение случаев, интервью, наблюдения. | Как программа воспринимается разными людьми |
|
|
|
Рис. 19.1
Источник: A meta-model for evaluating counseling programs, by M. H. Daniels, R. Mines & C. Gressard, 1981, Personnel and Guidance Journal, 59, 581.
Модель CIPP предлагает четыре типа оценивания. Первый – содержательное (context) оценивание – сравнение того, что задумывалось, с тем, что осуществлено, в программе. Второй тип – оценивание исходной (input) ситуации: собирается информация о том, какие ресурсы нужны и что доступно для осуществления программы. Эта часть оценивания демонстрирует соотношение «стоимость – эффективность» и указывает на необходимость дополнительных ресурсов. Третий тип – оценивание процесса (process) – направлен на выявление сильных и слабых сторон программы. При выявлении слабых мест, например, если запланированные возможности информационного обмена недостаточны, могут быть предприняты корректирующие меры. Четвертый тип оценивания концентрируется на конечном результате (product) всей программы. На этом этапе оценивающий выясняет, насколько эффективной оказалась программа в действительности. Может быть принято решение продолжить, повторить, расширить или ограничить программу. Независимо от применяемом модели, заключительная и проводится с использованием методов исследования.
|
|
|
