Воздействие положения негров на американское общество 12 глава

ному критическому разбору со стороны тех, кто их финансирует. Внимательное изучение программ отвечало интересам общества с его противоборствующими точками зрения по поводу социальных программ и самой соци­альной работы как профессии.

Подходы к оценке программ

Многообразные подходы, применяемые при оценке программ, затрагивают и теорию, и практику, они взаимосвязаны и смещают центр внимания со специфических процедур, используемых при оценивании, на различ­ные акценты социальных ценностей, фило­софию и идеологию применения программ. Может быть выделено пять моделей для изу­чения социальных программ. Первая из них — модель результата — оценивает все достижения программы, в то время как в го-рая — модель цели — фокусирует внимание лишь на результатах в рамках декларирован­ных целей. Системный анализ, или третья модель, изучает позитивное и негативное воз­действие других организаций и окружения на социальные программы. Эта модель иссле­дует взаимоотношения большого количества переменных величин, которые могут касать­ся программных изменений. Четвертая — стоимостная аналитическая модель — ис­пользует затраты как независимые перемен­ные для определения их влияния на результат действия программы, что характеризует ее эффективность Пятая — дескриптивная мо­дель — служит для корректировки программ, опирающихся на предписанные стандарты. Целью оценивания здесь является наблюде­ние за тем, в какой степени персонал и управ­ляющие программами придерживаются стандартов.

Отмечаются три подхода к оценке соци­альных программ: научное исследование, уп­равляемое социальное изменение и теория социальной справедливости. Первый под­ход — научное исследование — заимствован из естественных или общественных наук и посвящен изучению взаимодействия пере­менных. Он представляет собой либо тестиро­вание теорий социальных наук, скажем эко­номики или образования, либо же применение научного эксперимента. Другой подход — управляемое социальное измене­ние — акцентирует внимание на использова­нии результатов оценки и роли оценивающе­го во взаимодействии и сотрудничестве с потенциальными пользователями. Подход к оцениванию с позиции теории социальной справедливости основан на достижениях прикладной социальной философии.

Возможно, наиболее существенным явля­ется отличие суммирующего и развивающего подходов в оценивании (М. Скрайвен, 1967) Суммирующее оценивание обобщает резуль­таты с точки зрения других программ, ситуа­ций и групп населения. Сведения, получен­ные при суммирующем оценивании, используются при принятии решений о за­крытии старых или создании новых программ аналогичного типа. В то же время развиваю­щее оценивание концентрирует внимание на модификации самой программы. Результаты 1акого оценивания применяются для того, чтобы сделать ее более эффективной и квали­фицированной.

Процесс исследования по оценке программ

Процесс исследовательской работы по оценке программ динамичен и состоит из вза­имосвязанных задач и решений. Он включает ряд последовательных этапов: определение 1 ого, что подлежит оценке; выявление подхо­дящих потребителей результатов исследова­ния; поощрение сотрудничества руководите­лей программы и персонала; установление цели программы; выбор переменных; разра­ботка плана исследования; проведение иссле­дования; анализ и интерпретация получен­ных данных; составление отчетов и внедрение результатов исследования.

Для определения того, что подлежит оцениванию, проводятся обсуждения среди руководителей программы или персонала, снятого ее реализацией. Число и характер участников процесса планирования зависят от объема и сложности программы. Первым встает вопрос о том, следует ли проводить оценивание и имеются ли для исследования достаточные средства, персонал, время и деньги. С этим вопросом связан и другой — определение потребителя (или потребите­лей) результатов программы. Главным потре­бителем часто бывает спонсор исследования. Другими потребителями могут быть спонсо­ры программы, руководство, персонал или клиентура. Во всех случаях оценщикам необ­ходимо заручиться поддержкой руководства программы и ее штата, что позволяет поднять компетентность оценки. Важно, чтобы полу­ченная информация помогла программе или организации и при этом облегчала сбор данных.

В целях изучения эффективности про­граммы должны быть отчетливо определены ее направления. В случае, когда направления не выделены, оценивание может быть преж­девременным. Если программные цели неяс-

ны, то какая-либо информация о программе все же может оказаться полезной, и тогда це­лесообразно изучить изменения в тех пере­менных, которые, по-видимому, имеют отно­шение к оцениваемой программе. Иными словами, может быть использован системный подход, при котором оценщик изучает переменные, потенциально связанные с решения­ми по данной программе. Данные для измерения переменных должны содержаться в имеющихся документах и отчетах или быть собраны в процессе анкетирования и интер­вьюирования. Главной задачей в оценивании является сбор, классификация и измерение подходящих данных.

План исследования — это логическая стратегия, которая используется для выра­ботки доказательств, связанных с желаемыми уровнями познания. Необходимо составлять планы, квалифицированные и реальные с точки зрения целей оценивания, с развитием идей и гипотез. При внедрении исследова­тельских проектов эксперты должны макси­мально учитывать социополитические усло­вия, в которых реализуется программа, и должны принимать во внимание возможные изменения в ней. В конечном итоге оценка обобщает результаты исследования, причем должны быть учтены другие программы и группы населения. Полученные данные дол­жны передаваться потребителю в понятной и доступной форме, а в выводах и рекомендаци­ях факты должны быть четко отделены от гипотез, нуждающихся в апробации.

Исследовательские проекты для оценки программ

Логика планирования. Цели оцени­вания выводятся из четырех требуемых уров­ней знаний: гипотетически-эволюционный, количественно-описательный, корреляцион­ный и каузальный. Гипотетически-эволю­ционные знания относятся к качественным описаниям и гипотезам социальных про­грамм; количественно-описательные знания включают факты, описывающие программы, работников и клиентуру; корреляционные знания касаются эмпирических связей между" переменными величинами программ и ожи­даемыми результатами; каузальные знания показывают, какие переменные величины программ ответственны за происшедшие в них изменения. _

При разработке планов исследования эксперт рассматривает обоснования, необхо­димые для получения знаний. Эта процедура помогает добиться эффективности плана, так как разные планы целесообразны и уместны

 

ОЦЕНКА СОЦИАЛЬНЫХ ПРОГРАММ

196

197

ОЦЕНКА СОЦИАЛЬНЫХ ПРОГРАММ

 

в зависимости от тех уровней знаний, под ко­торые они пытаются подвести основу.

Под исследуемостью гипотезы понимает­ся та степень, до которой данная гипотеза поддается исследованию. Гипотезы должны быть четко сформулированы и включать ка­тегории, которые можно измерить и соотне­сти с определенным временем и определен­ным пространством.

Количественно-описательные знания требуют точного, достоверного и обоснован­ного измерения переменных — критерий, не­обходимый для получения корреляционных и каузальных знаний. Как корреляционный, так и каузальный уровень знаний требуют обоснования эмпирических связей между программными переменными величинами и теми переменными, которые используются для демонстрации результатов программ. Кроме того, каузальные знания требуют обос­нования того, что никакие другие факторы, кроме переменных, не были ответственны за те или иные изменения в программе. Эксперт принимает решение о том, в какой степени нужно обобщить результаты. Если оценка имеет суммирующую цель, то эксперт дол­жен решить, для кого и для какой ситуации следует обобщать полученные данные.

Экспериментальные и квазиэкспериментальные проекты. Экспери­ментальные планы давно рассматривались как основная исследовательская стратегия для выработки каузальных знаний об эффек­тивности социальных программ. Такие пла­ны необходимы для обнаружения позитив­ных и негативных результатов программ. В базовой модели эксперимента определяются предметы исследования, с одной стороны, для экспериментальной группы, пользующейся программой, а с другой — для контрольной группы, не пользующейся такой программой. Затем проводятся измерения для обеих групп по зависимым переменным до и после выпол­нения программы. Изменения, происшедшие в экспериментальной и контрольной группах, сравниваются.

У. Рид и П. Ханрахан (1982) отобрали 22 исследования в области социальной рабо­ты и суммировали каждый эксперимент, описав основную проблему, клиентов и усло­вия; план и размер выборки; сущность программы; результаты, связанные с полу­ченными наблюдениями, сделанными по окончании исследования. Исследованные ти­пы деятельности включали групповое обсуж­дение, поведенческую терапию, групповую социальную работу, психотерапию и т. д. Об­зор показал, что результаты 19 из 22 исследо-

ваний могли быть расценены как позитив­ные, т. е. социальные работники сочли по­следствия желательными.

Квазиэксперименты приблизительно со­ответствуют подлинным экспериментам. Сравнительные группы и многократные из­мерения используются в целях устранения побочных факторов, которые могут повлиять на наблюдаемые изменения. Наиболее часто используемым квазиэкспериментом является план исследования неэквивалентной конт­рольной группы. Учитывая, что эксперимен­тальная и контрольная группы могут быть различны по ряду переменных и что эти раз­личия могут быть причиной отмеченных из­менений, базовой стратегией для квазиэкспе­риментального плана является обоснование способов сравнения этих групп. Так, для про­граммы лечения группы, бросающей курить, был использован квазиэкспериментальный план. Измерения, касающиеся привычек, связанных с курением, были проведены до и после лечения, а также во время последую­щего трехмесячного наблюдения лиц из экс­периментальной и контрольной групп. Лица в контрольную группу были набраны при по­мощи газетных объявлений. Делалась попыт­ка уравнять мотивацию желания бросить ку­рить путем поиска лиц контрольной группы, которые хотели этого, но не были включены в программу лечения. Результаты пришлось интерпретировать весьма осторожно из-за от­сутствия контроля за такими возможными факторами воздействия, как неэквивалент­ность групп, дифференциация в составе вы­бывших и т. д. Результаты программы были оценены как умеренно позитивные.

Оценивание отдельных про­грамм. Такие планы могут быть использова­ны для оценки эффективности программы или для работы с отдельными клиентами, группами, организациями или общинами. Основной план включает проведение повто­ряющихся измерений по зависимым пере­менным, пока не достигается стабильность. Затем осуществляется работа и проводятся повторные измерения по тем же зависимым переменным за определенные периоды. Сравнения серии измерений проводятся до и после проведения работы. Например, при осуществлении плана множественных базис­ных линий деятельность может планировать­ся для двух или более субъектов, если у них есть примерно одинаковая потребность в по­мощи. Повторные измерения проводятся для всех субъектов до тех пор, пока не появится стабильная базисная линия для каждого. Тог­да с одним из клиентов проводится работа, а с

другим не проводится. Все клиенты спустя какое-то время подвергаются повторному из­мерению по зависимым переменным. Если клиент, с которым проводилась работа, доби-пается желаемых изменений, а у других зави­симые переменные существенно не измени­лись, то работа проводится со вторым клиентом, и процесс повторяется. Если изме­нения отмечаются у каждого клиента только в случае проведения работы, становится оче­видным ее значение. Таким образом оценива­лась эффективность программы тренировки, запланированной для изменения привычек, связанных с приемом пищи, у лиц с отстава­нием в умственном развитии, помещенных в лечебницу. Чтобы получить относительно стабильные базисные линии для трех групп субъектов, измерения осуществлялись еже­дневно. Тренинг по использованию столовых приборов проводился с первой группой, пока не было отмечено улучшение поведения во время еды; у других субъектов изменения не были отмечены. Вторая группа также прохо­дила тренинг до тех пор, пока не было зафик­сировано желаемое изменение. Никаких из­менений, связанных с приемом пищи, в поведении третьей группы не произошло. Тогда был проведен тренинг и с этой группой, и здесь также наблюдались существенные из­менения. Таким образом, были установлены условия для плана множественных базисных линий. Когда тренинг проводился в течение короткого периода, а затем прекращался, на­блюдался эффект реверсирования. Затем тренировки возобновлялись, и вновь наблю­дались желаемые изменения.

Корреляционные исследования.

Целью этих неэкспериментальных исследо­ваний является обоснование связей между запрограммированными переменными и предполагаемыми результатами программ. Основными корреляционными планами яв­ляются групповой сравнительный план и план оценивания результатов для одной груп­пы до и после осуществления программы.

При групповом сравнительном плане со­поставляют контрастирующие формы дея­тельности, проводят измерения зависимых переменных и в конечном итоге получают корреляции, или статистически значимые ассоциации. Речь идет об определении отно­шения зависимых переменных к различным формам воздействия программных перемен­ных. Например, при оценивании программы пo консультированию, целью которой являются овладение определенной работой, может иметь место следующий сценарий. Все участ­ники программы, завершившие ее, тестиру

ются на предмет их познаний в области при­менения работы. Затем проводятся статисти­ческие сравнения между данными участни­ками и членами группы сравнения, которые или не были задействованы в программе, или участвовали в отдельных ее частях.

Наиболее популярным корреляционным исследованием является оценивание резуль­татов для одной группы до и после осуществ­ления программы. При этом плане одна и та же группа участников программы измеряется по зависимым переменным до и после программного воздействия. Различия в зави­симых переменных сравниваются с измене­ниями, полученными при участии в иденти­фицируемой программе и без такого участия. Например, такой план был использован для оценивания программы, направленной на по­вышение родительских навыков и предназна­ченной для молодых, малоимущих, незамуж­них чернокожих матерей. Эта программа должна была оказывать благоприятное воз­действие на душевное здоровье их детей. При этом работники, изучающие условия жизни неблагополучных семей и оказывающие им помощь, составили контрольные списки для измерения взаимодействия "родитель—ребе­нок", а также видов деятельности, связанных со здоровьем и питанием. Оценивание осуще­ствлялось в начале работы и после 90-дневно­го интервала. Изменения в этом взаимодейст­вии и видах деятельности наблюдались между началом действия программы и време­нем возникновения последующих уровней, при этом никаких угроз внутренней стабиль­ности семьи не отмечалось.

Описательно-обзорные проекты.

Главной целью обзоров проектов является точное качественное описание, которое мо­жет быть обобщено для отдельных категорий населения. Базовая стратегия этих проектов опирается на процедуру достаточно предста­вительной выборки. Как правило, участники дают интервью или заполняют анкету, а полученные данные анализируются средст­вами корреляционной статистики. В допол­нение к получению измерений по зависимым переменным в различные моменты времени обзорные обследования могут быть использо­ваны для оценивания потребностей и для оп­ределения удовлетворенности клиентов про­граммами.

Обзорные обследования для оценивания потребностей предназначаются для населе­ния общины, общинных агентств, оказываю­щих социальные услуги и услуги здравоохра­нения, а также для руководителей общины. Исследование относительных достоинств со-

 

ОЦЕНКА СОЦИАЛЬНЫХ ПРОГРАММ

ОЦЕНКА СОЦИАЛЬНЫХ ПРОГРАММ

 

циальных показателей и опросы показали, что руководители общины могут испытывать постороннее влияние, особенно если они го­ворят скорее от собственного имени, чем от имени людей, которых они представляют. Поэтому экспертам рекомендуется внима­тельно отбирать руководителей и дополнять информацию, полученную от них, данными обследований жителей общины и производи­телей услуг.

Данные оценки потребностей могут ис­пользоваться для планирования социальных программ. Однако многие исследователи не уверены, что общепринятые модели обследо­вания могут дать точные сведения в случаях, когда респонденты социально удалены от ин­тервьюеров, будучи, к примеру, представите­лями различных этнических и культурных групп, слоев общества. Важно поэтому при­менить такую модель подготовки интервьюе­ров, чтобы они умели учитывать культурный уровень респондентов и вовлекать их в плани­рование и проведение обследований. Обсле­дования, при которых измеряются уровни удовлетворенности клиентов, используются для контроля за качеством выполнения про­грамм. Одним из наиболее широко использу­емых вопросников для оценки психотерапев­тических программ является "Вопросник по удовлетворенности клиента". Вопросник включает восемь пятибалльных шкал. Шка­лы содержат вопросы, например, такие: 1) Как Вы оцениваете качество предостав­ленного Вам обслуживания? 2) До какой сте­пени наша программа соответствует Вашим потребностям? 3) Насколько в целом Вы удовлетворены обслуживанием? Следует при этом учесть, что выборка, хронометраж изме­рения удовлетворенности, предоставление инструментария, процент ответивших и т п. — все может влиять на оценки. Напри­мер, данные по удовлетворенности клиентов, собранные в конце курса лечения, могут разительно отличаться от данных, собранных во время лечения или последующего за лечени­ем наблюдения.

Оценивание одиночных объектов и качество проектов. Основной целью иследования отдельных случаев является оценка социальных программ и развитие взглядов и идей, касающихся расширения и внедрения лих программ. Для сбора данных используется множество процедур и стратегий, начинай с наблюдения за участвующими и интервьюирования и кончая анализом письменных документов.

Длительные наблюдения могут отражать образцы развития программ с течением вре-

мени. При этом зависимые переменные эффективности повторно измеряются, а качественная информация из журналов наблюдения, дневников, интервью может использоваться для определения возможных программных факторов, связанных с желаемыми изменениями. По-видимому, привлечение больших объемов данных дл проведения обобщений, касающихся контрастирующего опыта, является основным для трех качественных стратегий, которые предлагаются для программного оценивания: стратегия наблюдения за участвующими, стратегия сравнения многочисленных случаев и так называемый метод суда присяжных.

Основной предпосылкой успешного на блюдения за участвующими является понимание того, как группы людей рассматриваю себя и свои виды деятельности, а для этой необходимо находиться как можно ближе к ним в их естественном окружении. Наблюде­ние за участвующими может быть полезно для описания процесса внедрения и действия программы, так же как и отношения к ней клиентов. Главной проблемой при использо­вании стратегии наблюдения за участвующи­ми является то, как сформулировать доста­точно точные выводы из объемистых заметок, сделанных во время наблюдения. Для реше­ния этой проблемы может быть применен структурированный план исследования слу­чаев в различных местах. Он включает: а) концептуальную основу, обеспечиваю­щую наилучшую структуру; б) план выбор­ки, предусматривающий достаточную пред­ставительность групп населения при выборе случаев; в) процедуру проведения исследова­ний отдельных случаев, которые обеспечива­ют их сравнимость; г) перекрестный анализ, позволяющий установить ограничения при использовании этих данных.

Имеется ряд примеров того, как можно использовать модель суда присяжных для оценки социальных программ. Например, та­ким образом оценивалась одна из программ подготовки выпускников, специализирую­щихся по психологии. В этих целях прово­дился как бы судебный процесс перед при­сяжными, в состав которых входили преподаватели и студенты. Защитник высту­пал в поддержку программы, его напарник — против нее. Были выслушаны показания сви­детелей и представлены необходимые коли­чественные и качественные данные. Оцени­вание также включало перекрестный допрос и представление контрдоказательств. Заклю­чение суда присяжных, по-видимому, осно­вывалось на качественных оценках, которые

похожи на процессуальные нормы дачи пока-4ШШЙ, применяемые в суде.

Использование информационных систем для оценки программ

Информационная система — это серия технических приемов, при помощи которых ни. тематически собирается, сортируется и накапливается информация, используемая дли составления отчетов. Все социальные агентства имеют какой-либо вид информационной системы. Хорошо разработанная система, во-первых, предусматривает установ­ленный порядок сбора и систематическое кодирование важных данных об особенностях клиента, о действии и результативности услуг и, во-вторых, использует компьютеры дли накопления, нахождения и умелого использования данных, содержащихся в системе.

В социальной работе информационные системы разработаны для различных агентств, включая агентства по уходу за деть­ми и агентства общественного благосостоя­ния. Такие системы могут быть использованы для количественного описания программной деятельности, включая особенности клиентов и социальных работников, их связи между собой, достижение поставленной цели. Кро­ме того, информационные системы могут способствовать развитию гипотез, касаю­щихся эффективности и целесообразности программ, учитывая необходимость раздель­ного подхода по признакам национальности, социальной группы, возраста, пола и дохода. Соответствующие информационные системы могут обслуживать потребности клиници­стов, практических работников, администраторов и исследователей. Информационные системы для клиентов должны включать дан­ные о клиенте, описание плана лечения, его эффективность в процессе и по завершении лечения, а также при последующем наблюде­нии. Административные информационные системы должны включать сведения о нали­чии средств и обобщенные данные о клиен­тах. Все они используются для оценки сто­имости и эффективности использования данной программы.

В целом информационная система полез­на для социальных агентств и программ в за­висимости от того, насколько она соответст­вует шести критериям: 1) собранные данные должны иметь отношение к потенциальным пользователям; 2) данные должны быть до­стоверными и обоснованными, а их сбор и обработка должны проводиться при помощи установленных процедур; 3) необходим план

обеспечения обратной связи для пользовате­лей данных в определенные заранее моменты времени; 4) стоимость информационной сис­темы должна быть доступной для агентства или программы; 5) информация должна быть полезной для принятия решений, связанных с развитием программы; б) система должна быть гибкой, позволять вносить изменения в процесс сбора данных.

Качество и достоверность системы зави­сят от точных, правдивых и обоснованных ан­кет, а также от других средств сбора данных. Могут ли они использоваться для программ­ного оценивания или нет, зависит от уровня знаний, требуемого для оценки. Например, разработка исследовательских гипотез не нуждается в том, чтобы переменные были точно измерены, хотя другие уровни знаний требуют этого. Есть и еще одна проблема, свя­занная с тем, что клиент имеет право на не­разглашение тайны и конфиденциальных сведений о себе. Однако существует возмож­ность злоупотреблений данными о клиентах, которые накапливаются в виде записей, ан­кет и в памяти компьютера. Поэтому здесь необходимо придерживаться профессио­нальной этической позиции в отношении тайны и конфиденциальности. Должны при­меняться процедуры, сводящие к минимуму возможность идентификации клиентов в компьютерных системах, необходимо уста­новить строгие ограничения доступности указанных систем.

Роль исследовательской работы по оценке программ

Потребители результатов оценки соци­альных программ становятся все более требо­вательными к ним. В настоящее время суще­ствует огромный интерес к сравнению относительной эффективности программ и получению информации об их стоимости. Представляется, что не следует при оценке социальной работы обращаться к всеобъем­лющим вопросам, таким, как вопросы эф­фективности работы по изучению условий жизни неблагополучных семей и помощи им Вместо этого они должны оценивать эффек­тивность специфических форм деятельности, направленных на конкретные типы клиентов, их проблемы и окружение. Благодаря новой технологии многие агентства разрабатывают компьютеризованные информационные сис­темы. Отметим также, что социальные агент­ства предпочитают использовать конструк­тивные, а не констатирующие подходы в оценке. Конструктивные оценки можно рас­сматривать как менее угрожающие по по-

⇐ Предыдущая17181920212223242526Следующая ⇒

Поделиться:

Воспользуйтесь поиском по сайту: