 |
Методы и приемы рейтинговых оценок
|
|
|
|
Теоретические и методологические корни оценки лежат в науке аксиологии (теории ценностей). Оставляя за рамками данной работы методологический анализ оценочного подхода остановимся на методической схеме рейтинговой оценки.
Она базируется на содержании процесса оценивания, и ее основными элементами в частном случае являются:
-субъект оценивания;
-объект (точнее объекты) оценивания – административно-территориальные единицы (совокупность ВУЗов муниципального образования и др.);
-процедуры оценивания – действия, которые необходимо произвести;
-ранжированный и сгруппированный для целей селективной поддержки (перечень ВУЗов).
Содержание оценивания составляет сопоставление оцениваемого объекта с его идеализированным образом (образцом, эталоном, стандартом, нормой). И в этом определении заключены суть и структура оценки. Суть раскрывается через такие неотъемлемые признаки, как
1) субъект со своей задачей;
2) объект с конкретными свойствами-характеристиками;
3) предмет оценивания – связь между субъектом и объектом;
4) «базисный» объект с идеальными свойствами-характеристиками;
5) главное действие – сравнение. Структура – через последовательные действия, отражающие логику процесса оценивания.
Признаки и структура оценки взаимосвязаны, что становится очевидным при характеристике следующих оценочных процедур.
Субъект, решая определенную задачу, задает ценностную ориентацию, критерий оценки. В данном случае оценивается социально-экономическая ситуация или, иначе говоря, диагностируется состояние ВУЗов. Могут быть и другие задачи, например, «инвестиционная привлекательность», «дискомфортность северных условий». Определение критерия ориентирует на сфокусированный отбор оцениваемых позиций и характеризующих их показателей.
|
|
|
Характеристика состояния ВУЗа с помощью индикаторов (нормированных показателей) – индикация или индикативный анализ. Ее квалифицированное выполнение требует тщательной разработки набора индикаторов.
Оптимальный перечень индикаторов должен быть:
-ограниченным по количеству показателей;
-релевантным – ориентированным на отражение определенных, точно соответствующих задаче, позиций социально-экономического состояния ВУЗов;
-репрезентативным – способным отражать их полно и адекватно как в пространстве (с учетом объективных географических условий ВУЗов, так и во времени (т.е. фиксировать не только моментный срез с использованием статических индикаторов, но и динамику ситуации с помощью индексов);
-методически корректным – со значениями индикаторов, упорядоченными по одному вектору (например, «чем больше – тем лучше», но с учетом смысла индикаторов по качеству образования, стимулированию успеваемости и т.п.) или с алгоритмами, способными учесть подобную смысловую аномалию;
-структурно выдержанным – без сильных диспропорций в количестве и качестве индикаторов по выбранным позициям, что может быть достигнуто с помощью агрегирования (формирования сводных индикаторов, например по образовательной инфраструктуре).
Стандартизация индикаторов характеризует близость оцениваемых ВУЗов к образцу («стандарту», «идеалу»). При этом существенны два момента. Первый – содержательный, фиксирующий образец: средний уровень (российский или по федеральному округу), максимальный уровень (российский или окружной), мировой, пороговый (критичный по каким-либо основаниям). Второй – технический, указывающий на способ определения «расстояние» до базового, образцового значения (разница между индикаторами, их отношение и др.) При этом образец может быть, как внутри оцениваемой группы, так и вне нее.
|
|
|
Сопоставление ВУЗов не с образцом, а друг с другом, но с учетом близости к образцу, обеспечивается ранжированием (распределением по местам или рейтингам). Более логично для этого использовать спортивный принцип «подиума»: меньше номер места – выше рейтинг. Движение по ряду от «лучшего» ВУЗа к «худшему» происходит в зависимости от смысла индикаторов с убыванием или возрастанием их значений
Ранжирование может быть прямым, когда места определяются непосредственно по величине индикаторов, и косвенным, когда они расставляются по отклонениям от выбранного стандарта – баллам и другим относительным показателям. Ранжирование может проводиться до стандартизации и без стандартизации, что, в обоих случаях, на наш взгляд, снижает достоверность результатов.
Наиболее распространенным является сплошное ранжирование, когда места «присуждаются» подряд – от первого до последнего места.
Обратим внимание на неточность и противоречивость этого способа. Дело в том, что при отклонении рейтингов отдельных индикаторов от «образцовых» (а оно есть всегда), сводный рейтинг ВУЗа тоже будет отклоняться от первого места, которое, таким образом, может оказаться не занятым. Аналогично, кстати, и с последним местом (ведь не по всем показателям ВУЗ занимает последние места, что «поднимает» его сводный рейтинг с низшей ступеньки). Кроме того, практически мала вероятность равномерного уменьшения величины индикаторов, соответствующего порядку сплошного ранжирования: 1, 2, 3, 4 и так далее без пропусков мест.
Более точным является интервальное ранжирование, предполагающее определение интервала (La) изменения конкретного индикатора (A) в группе, включающей n образовательных единиц (совокупности ВУЗов):
La = (Amax – Amin) / (n – 1).
Интервалы играют роль равномерных (но разновысоких в разных рядах индикаторов) ступенек, которым соответствуют определенные рейтинги – места в ряду образовательных единиц (подходит и образ нотного стана с определенными линейками для определенных нот). При реальном распределении значений индикаторов в ряду может не оказаться значений, соответствующих, например, второму месту, и, напротив, быть несколько значений, соответствующих третьему месту. Продолжая музыкальную аналогию, можно сказать, что нота соль всегда «сидит» на второй линейке, но она есть не во всякой мелодии.
|
|
|
Определение рейтинга при интервальном ранжировании тождественно стандартизации к экстремальному значению индикатора в заданном ряду. Она проводится к максимальному значению, если величина индикатора в соответствии с его содержанием отвечает установке «чем больше, тем лучше», или к минимальному. В таком случае меняются местами и экстремумы при расчете интервала.
Как показывает достаточно продолжительный опыт использования, данная методика позволяет достаточно точно определить рейтинг (R) i-того ВУЗа по любому индикатору по формуле: Ria = 1 + (A max – A i) / L, с округлением до целого числа. Или в другой записи:
Ri a = 1 + (n – 1)*(A max – A i) / (Amax – Amin)
Стандартизация отдельных индикаторов, «обезличивающая» натуральные и стоимостные индикаторы, создает условия их интегрирования в сводный (или общий) рейтинг i-того ВУЗа:
Ri total = (Ri a + Ri b +…+ Ri z) / m,
где m – число индикаторов.
Сводный рейтинг может быть не только среднеарифметическим, но и средневзвешенным. Второй способ требует определения весовых коэффициентов отдельных индикаторов, что, как правило, субъективно, а потому практически не используется.
Интерпретация результатов предполагает группировку рейтинговых значений по критериальному признаку. Ее картографическое отображение дает дополнительный материал для диагностики.
Анализ содержания рейтинговой оценки, то есть ее признаков и основных процедур, позволяет сформулировать мотивированные требования к методике ее проведения. Иными
словами, достоверная по результатам рейтинговая оценка должна быть:
-целевой – проводиться для решения конкретной задачи;
-комплексной – использовать целый ряд показателей, отвечающих определенным требованиям;
-стандартизированной – обеспечивать сопоставление с определенным базовым уровнем;
-прямой – ранжировать индикаторы, а не их отклонения;
-интервальной – отражать фактическое изменение индикаторов с учетом его «шага» и соответствующего этому «шагу» значения индикатора;
-интегральной – объединять частные рейтинги индикаторов в сводный (средний) рейтинг ВУЗа;
- наглядной и понятной – представлять результаты в показателях, облегчающих интерпретацию и практическое использование.
Опираясь на указанные требования, можно составить обоснованное мнение об оценочном потенциале конкретных методик.
|
|
|
