Оценка эффективности тренинга

 

255

• Закончите следующее утверждение:

Термометр измеряет_________

• Вычеркните слова в скобках, не относящиеся к данному утверж­
дению:

Тахометр измеряет (скорость движения/ частоту вращения мо­тора).

Опускать или предлагать для исключения следует слова, являю­щиеся индикаторами научения. Так, в вышеприведенном задании на завершение было бы неправильно исключить слово «измеряет».

Утверждение должно предполагать только один правильный от­вет. Оно должно быть сконструировано таким образом, чтобы прочер­ки стояли ближе к концу, — в противном случае нарушится целост­ность фразы. Задания на завершение/исключение и вопросы типа «верно—неверно» обычно применяют в тех случаях, когда невозмож­но подобрать достаточное количество правдоподобных ответов для вопросов с множественным выбором.

Составление пар. Ученик получает два набора слов или набор слов и набор иллюстраций. Каждый пункт одного набора соответствует пун­кту другого набора, и задача ученика — составить пары. Например:

Перед вами два столбца слов. Столбец А содержит названия стран. В столбце Б приведены названия валют. Ответьте, к какой из стран отно­сится каждая валюта. Для этого впишите номер страны в клетку рядом с ее валютой.

 

А	Б
1. Испания	юань	□
2. Италия	фунт	□
3. Индия	песета	□
4. Китай	лира	□
5. Дания	рупия	□
6. Швеция
7. Ирландия

Один столбец содержит больше пунктов, чем другой, что снижает вероятность нахождения правильного ответа методом исключения.

Используя идеи, положенные в основу подобных заданий, можно разработать другие тестовые вопросы. Например, можно предложить ученикам классифицировать предметы, записав их названия в соот-

 

Глава 9

ветствующие рубрики. Тест не обязательно должен состоять из одно­типных заданий. При использовании разнородных заданий разумно сгруппировать их по разделам, например, раздел, содержащий вопро­сы с множественным выбором, вопросы типа «верно—неверно» и т. д. Это позволяет избежать путаницы и снимает необходимость много­кратного повторения инструкций и примеров, поясняющих порядок ответа на разные типы вопросов.

Данные, полученные посредством оценочных тестов, используют­ся не только для подтверждения приобретенных учениками знаний. Задания с множественным выбором могут быть подвергнуты деталь­ному анализу, который помогает установить, насколько легко или трудно дается ответ на каждый пункт (коэффициент легкости), на­сколько каждый пункт способен дифференцировать сильных и сла­бых учеников (индекс дискриминативности задания), насколько эф­фективны «отвлекающие» ответы и насколько сопоставимы тесты с точки зрения надежности. Методы проведения такого рода изложе­ны в большинстве учебников по статистике.

Оценка умений

Как уже говорилось выше, в разделе, посвященном целям тренинга (глава 6), умения можно разделить на интеллектуальные, физические и социальные. Оценить степень овладения умением помогают прак­тические тесты и упражнения. Выбор адекватного метода измерения имеет огромное значение для подтверждения того, что цели тренинга достигнуты. Так, например, если в цели заявлено, что к концу тренин­га ученик сможет «разобрать, прочистить и собрать бытовой газовый водонагреватель», совершенно неуместно предлагать ему письмен­ный тест, требующий описать последовательность операций. Ученика следует подвести к настоящему водонагревателю и предложить про­демонстрировать свое умение. Точно так же оценка интеллектуаль­ных и социальных умений должна производиться в соответствующих контекстах. Сказанное означает, что измерение умений предполага­ет эксплуатацию оборудования, использование различных инстру­ментов, воссоздание условий, имитирующих реальные условия фи­зической среды, ролевые игры и т. п. Иными словами, планируя прак­тические тесты, тренер неизбежно сталкивается с рядом проблем:

Оценка эффективности тренинга

 

• Высокая стоимость оборудования, его громоздкость или высокая чувствительность и хрупкость.

• Необходимость выделения времени в рамках программы для про­ведения тестирования.

• Тестирование может потребовать привлечения дополнительного персонала.

• Иногда бывает трудно предотвратить ситуацию, когда одни уче­ники имеют возможность наблюдать за тем, как выполняют зада­ние другие.

• При оценке умений существует опасность субъективизма со сто­роны тренера.

• Материалы некоторых «бумажных» тестов, например упражнения In-Basket, нуждаются в постоянной корректировке.

Эти потенциальные проблемы нужно распознать и попытаться ре­шить уже на стадии проектирования тренинга. Опять же, руковод­ствоваться при этом нужно целями тренинга. Главное, к чему должен стремиться тренер, — это повышение надежности и снижение субъ­ективности оценок. В большинстве случаев проблема решается путем использования чек-листа. Формат чек-листа и количество включен­ных в него деталей зависят от того, какое умение подлежит оценке. Об успешном применении некоторых физических умений можно го­ворить только после того, как ученик выполнит упражнение, тогда как другие умения, подразумевающие определенную последователь­ность и порядок совершения действий, нужно оценивать в процессе упражнения.

К примеру, если мы оцениваем умение служащего стадиона, зада­ча которого — вымерить и разметить футбольное поле, нам важен ре­зультат; мы будем оценивать точность измерений, а также прямизну И четкость линий, делая скидку на допустимые отклонения. Однако если оценивается умение заменить колесо у автомобиля, предпола­гающее вполне определенную последовательность операций, нам не обойтись без чек-листа, образец которого приведен на рис. 9.1.

В случае с социальными умениями дело обстоит гораздо сложнее, особенно в плане объективности. При оценке межличностных уме­ний зачастую мало удостовериться в том, что какие-то вещи сдела­ны, — важно понять, насколько хорошо они сделаны. Например, на­блюдая за проведением отборочного интервью, ассессор должен под­твердить не только факт задавания учеником зондирующих вопросов,

258

 

Глава 9

 

Схема оценки Замена колеса у автомобиля
После­дователь­ность	Подзадание	Да	Нет
	Остановить автомобиль на твердом, ровном участке
	Поставить на ручной тормоз	+
	Выключить двигатель	+
	Выставить предупреждающий знак примерно в 20 метрах сзади от автомобиля	+
	Достать запасное колесо и инструменты
	Установить домкрат как можно ближе к коле­су, подлежащему замене
	Снять колпак ступицы
	Ослабить гайки
	Поднять домкратом колесо примерно на 3 см от земли
	Отвернуть гайки — верхнюю последней (и сложить их в колпак ступицы)
	Снять колесо
	Установить запасное колесо
	Насадить гайки — верхнюю первой	+
	Навернуть гайки, действуя в последовательно­сти «крест-накрест»	+
	Опустить домкрат, так чтобы колесо встало на землю
	Затянуть гайки до упора	+
	Надеть колпак на ступицу
	Сложить инструменты, предупреждающий знак и снятое колесо в багажник
Прим.	Пункты, помеченные +, являются обязатель­ными и должны быть выполнены без ошибок

Рис. 9.1. Примерная схема оценки для практического теста

но и принять во внимание, как заданы эти вопросы. В этом случае чек-листы будут иметь более сложную структуру и включать индикато­ры качества исполнения. К примеру, чек-лист может содержать ряд

Оценка эффективности тренинга

 

259

биполярных утверждений, ориентируясь на которые ассессор должен оценить исполнение ученика. Подобные шкалы имеют следующий формат.

 

Активно слушал собе­седника, побуждая его к разговору различными вербальными и невер­бальными знаками							Почти не слушал собе­седника. Постоянно отвлекался. Не выказы­вал признаков заинте­ресованности
Задавал ясно сформу­лированные и релевант­ные зондирующие во­просы, благодаря кото­рым сумел получить важную информацию							Задавал беспорядочные, бессвязные вопросы и не сумел получить от собеседника сколько-нибудь важной инфор­мации. ИЛИ: Не зада­вал вопросов

Диапазон шкалы зависит от предмета измерения, необходимой точности оценки и уровня взаимопонимания между ассессорами. Чем шире шкала, тем больше вероятность расхождения оценок; к приме­ру, может возникнуть ситуация, когда два ассессора, наблюдая одно и то же исполнение и идентифицируя одни и те же элементы умения, выставляют разные оценки. Очевидно, что это может исказить общую оценку исполнения учеников, и устранению этой опасности помога­ет сужение шкалы или включение в нее большего количества инди­каторов. Так, вышеприведенная шкала может быть уточнена следую­щими описаниями:

 

При малейшей возможности за­давал зонди­рующие вопросы	Задал несколько зондирующих во­просов	Задал один-два зонди­рующих во­проса	Не воспользовал­ся возможностью задать зонди­рующий вопрос
Формулировки вопросов были ясными и не­двусмысленны­ми	В целом формули­ровал свои вопросы ясно и недвусмыс­ленно, но отдельные вопросы требовали уточнения	Задавал во­просы, мно­гие из кото­рых требова­ли уточнения	Задавал беспоря­дочные, бессвяз­ные вопросы, требовавшие уточнений и по­яснений

260

 

Глава 9

Очевидно, что такой чек-лист может оказаться весьма длинным и громоздким документом. Прежде чем приступить к разработке подоб­ного инструмента, люди, участвующие в ассесменте, должны догово­риться о критериях оценки и формулировках индикаторов. После этого документ необходимо апробировать. Если речь идет об измере­нии навыков интервьюирования, на стадии апробации ассессоры мо­гут использовать видеозаписи интервью, чтобы совместно оценить их и понять, насколько сходятся или разнятся их оценки.

⇐ Предыдущая27282930313233343536Следующая ⇒

Поделиться:

Воспользуйтесь поиском по сайту: