Политико-методологические проблемы

Сопротивление оцениванию эффективности. В США одной из самых общих причин, по которым доступные

интерпретации примеры оценивания программ представ­ляют собой такую редкость, является широко распро­страненное сопротивление различных институтов и ад­министраторов попыткам оценить эффективность их программ. Методология исследований по оценке эффек­тивности должна учитывать причины этого сопротивле­ния и способы его преодоления.

В США главным источником сопротивления являет­ся идентификация администратора и административ­ной единицы с самой программой. В условиях полити­ческого климата США оценка программы становится оценкой данного учреждения и его руководителей. К тому же средства, применяемые для оценки програм­мы, могут намеренно использоваться для оценивания администраторов. Помимо этого, ряд других факторов приводит к тому, что администраторы вполне обосно­ванно предвидят разочаровывающие результаты. Как указывает Росси [76], для специальных программ, на­ходящихся в центре внимания исследований по оценке эффективности, отводятся обычно хронически неразре­шимые проблемы, которые оказались не под силу, как правило, успешно работающим традиционным институ­там. Это само по себе обусловливает пессимистический прогноз. Кроме того, финансирование обычно является неадекватным как из-за неизбежного соперничества множества причин для ограничений фондов, так и вследствие имеющейся у части законодательных и ис­полнительных органов тенденции предпринимать дей­ствие лишь на словах либо осуществлять косметиче­ские операции, рассчитанные скорее на то, чтобы убе­дить общественность в том, что меры принимаются, чем на решение проблемы. Даже если речь идет о дей­ствительно ценных программах, большое усилие, необ­ходимое, чтобы преодолеть институциональную инерцию, препятствующую принятию каждой новой про­граммы, ведет к непомерно преувеличенным притяза­ниям. Тем самым создается «ловушка сверхагитации» («overadvocacy trap») (Campbell [16]), так что даже хорошим и эффективным программам не удается в пол­ной мере то, что было обещано, а это еще больше уси­ливает страх перед оценкой.

Серьезность этих и связанных с ними проблем труд­но переоценить. Хотя я в настоящем очерке и уделил

больше места более оптимистическим случаям, для сегодняшних американских исследований по оценке эффективности более типично положение, описанное в предыдущем абзаце. Мы, методологи, работающие в США, вынуждены принимать участие в политическом процессе, чтобы попытаться исправить это положение. Но прежде чем мы осуществим это, мы должны, сидя за столом в своих башнях из слоновой кости, изобрести политические и/или организационные альтернативы, которые позволили бы решить эту проблему. К этой задаче мы едва приступили, и это дело такого рода, где нас вполне может постичь неудача. Два небольших предложения послужат иллюстрацией. Я рекомендовал бы всем специалистам по методам оценки эффективно­сти отказаться от использования наших умений в иссле­дованиях ad hominem¹. Хотя дорогостоящая технология социального экспериментирования и может приме­няться для оценки индивидов, ее не следует использо­вать для этого. Такие результаты доступны обобщению лишь в весьма ограниченных пределах. Наши умения следовало бы приберечь для оценки стратегий и про­грамм, которые могут применяться более чем в одной совокупности условий, и которые при надлежащем фи­нансировании мог бы освоить любой администратор, если только у него будет на то желание. Мы должны тщательно обрабатывать данные опроса общественного мнения, чтобы с их помощью собрать сведения только об установках в отношении предлагаемых программой альтернатив и исключить такие темы, как эффектив­ность надзора. Этот запрет на исследования ad hominem нужно было бы распространить также и на тех, кто участвует в программе. Следовало бы оценивать не учащихся или тех, кто получает помощь, а альтерна­тивный подход к их проблемам. Я чувствую, что такой запрет морально оправдан, это ясно. Но я все же дол­жен сознаться, что в условиях США он рекомендуется еще и из опасений. Администраторы программы и ее участники в силах саботировать наши усилия по оценке

_____________________________________________________________________________

¹ «К человеку» (лат.). Средство убеждения, основанное не на объективных данных, а рассчитанное на чувства убеждаемого. В данном случае автор отмечает, что в исследованиях описывае­мого типа недопустимо использовать информацию о конкретных ис­пытуемых. — Прим. ред.

эффективности, и они попытаются воспользоваться этим, едва только будут задеты их собственные карьеры и интересы. Хотя от такой нашей стратегии администра­торские страхи не рассеются окончательно, я все же считаю, что, если бы мы добросовестно следовали ей, это могло бы послужить толчком к формированию по­литического климата, менее настоятельно принуждаю­щего к самозащите.

Вторая рекомендация адресована тем, кто защищает новые программы исходя из серьезности вопроса, а не достоверности того или иного ответа и при этом на­стаивает на необходимости переходить к следующим попыткам решить проблему, если не удастся первая (Campbell [16]). Шейвер и Стейнс [83] оспорили дан­ную установку на том основании, что занять эту пози­цию проведения научных опытов означает для админи­стратора сложить с себя обязанности руководителя. Убежденность, упорство, энтузиазм, вера — вот что требуется для всякого эффективного стремления изме­нить традиционную институциональную практику. До­пустить всего лишь временную веру в новую програм­му — значит гарантировать равнодушие при ее осуще­ствлении. Проблема, однако, остается: «Ловушка сверхагитации» по-прежнему грозит сорвать работу по оценке эффективности программы. Ясно, что здесь нуж­ны социально-психологические и организационно-теоре­тические подходы.