Оценка эффективности тренинга.

 

263

подчиненного. Коллеги, подчиненные, клиенты бывшего ученика также могут высказать свое мнение о качестве его работы и ответить на некоторые вопросы тренера. Впрочем, соображения практическо­го, коммерческого, этического или политического характера могут сделать невозможным привлечение этих людей к ассесменту. В лю­бом случае участники ассесмента должны обладать достаточными знаниями и умениями и быть честными людьми, чтобы рационально и непредвзято подойти к оценке исполнения бывшего ученика.

Если валидизация тренинга в контексте научения предполагает оценку исполнения каждого ученика, то посттренинговый ассесмент можно производить выборочно. Это особенно целесообразно в слу­чае массового обучения работников за короткий промежуток време­ни. В данном случае крайне важно соблюсти правила составления выборки, изложенные в приложении 2.

Какими методами производить ассесмент? На этом уровне вали­дизации тренер может воспользоваться, по отдельности или в комби­нации, различными методами и техниками, главные из которых опи­саны ниже (некоторые уже упоминались нами в связи с анализом работы и объектов тренинга; описание этих методов, раскрывающее их преимущества и недостатки, содержится в приложении 1).

Опросники. Используя опросник, тренер может получить ответы на большинство вопросов, перечисленных в начале этого раздела. Обычная рекомендация при составлении опросника — это краткость и простота, поскольку краткие опросники имеют более высокий ко­эффициент заполняемости и вызывают больший интерес у «потреби­теля». Но потенциальный минус таких опросников заключается в том, что они недостаточно детализированы и потому иногда предо­ставляют неоднозначную информацию. Несколько сгладить пробле­му помогают аккуратное составление вопросов и доскональная апро­бация опросника. Однако в некоторых случаях, особенно при малом количестве учеников, проводить апробацию нецелесообразно.

Контрольные интервью. Для получения более детальной инфор­мации, которую невозможно получить посредством опросника, по­лезно провести контрольное интервью или серию контрольных ин­тервью с использованием стандартных форм и опытных интервьюе­ров. Как указывает Брэмли (Bramley, 1986), это особенно важно в тех случаях, когда нужно:

• пересмотреть объекты тренинга; • оценить степень переноса;

Глава 9

• исследовать эффективность конкретных методов и техник обуче­
ния.

Планирование действий. План действий — это приоритезирован­ный перечень задач, составленный учеником в конце тренинга. Он показывает, какие обязательства берет на себя ученик, какие умения и знания, приобретенные во время тренинга, он намерен применить по возвращении на рабочее место. Подобный план не только облег­чает перенос, но и может стать бесценным подспорьем при оценке эффективности тренинга. В частности, его можно использовать для разработки контрольных опросников и форм интервью. Тренер дол­жен быть заинтересован в том, чтобы эти документы охватывали сле­дующие вопросы.

• Какая часть плана выполнена?

• Какие умения были применены на практике?

• Что «отложено» и почему?

Техника критичного инцидента. Суть данной техники в том, что­бы собрать информацию о тех рабочих инцидентах или действиях, которые являются крайне важными или критичными для эффектив­ного выполнения работы, т. е. непосредственно влияют на успех или неудачу. Есть два критерия, на основании которых инцидент квали­фицируется как критичный:

• информация об инциденте должна быть получена из первых рук — от непосредственного участника или свидетеля;

• последствия инцидента должны быть очевидными и несомненными.

Информацию о критичных инцидентах собирают посредством интервью или групповой дискуссии. Как правило, участников просят предварительно заполнить специально разработанный опросник.

Собрав ряд инцидентов, тренер должен сопоставить их с заявлен­ными рабочими и учебными целями. Такое сопоставление обеспечит его данными, необходимыми для оценки эффективности учебной программы. Однако не всегда возможно сопоставить инцидент с ра­бочей или учебной целью, и это может натолкнуть на два вывода. В случае негативного инцидента тренер получает в свое распоряже­ние информацию о ранее не выявленных объектах тренинга, тогда как позитивный инцидент может свидетельствовать о том, что исполни­тель приобрел тренируемое умение ранее — в другом месте или дру­гим способом.

Оценка эффективности тренинга

Оценка исполнения и самооценка. Системы оценки исполнения — это один из способов идентификации объектов тренинга, но они так­же позволяют тренеру проверить, насколько проведенный тренинг восполнил актуальные или потенциальные пробелы в исполнении. Эти оценочные данные могут быть получены в ходе регулярно про­водимых аттестаций персонала либо путем проведения через некото­рое время по окончании тренинга специальных упражнений. Линей­ные начальники, ответственные за оценку исполнения, наверняка выберут первый путь, так как данная процедура меньше других на­рушает производственный процесс. Безусловно, для того чтобы ат­тестация имела хоть какую-то ценность на данном уровне валидиза­ции тренинга, необходимо четко определить параметры и шкалы, по которым будет производиться оценка. Техника критичного инци­дента может найти дополнительное применение и оказаться полезной при проектировании и разработке схемы оценки (Latham, Wexley, 1981).

Некоторые оценочные системы предусматривают для работников возможность самим оценить собственное исполнение, что также обес­печивает тренера информацией об уровне компетентности прошед­ших обучение работников и степени переноса полученных знаний и умений.

Прямое наблюдение. Иногда оценить влияние тренинга на рабочее исполнение можно только наблюдая за тем, как бывшие ученики тру­дятся на своих рабочих местах. Наблюдатель регистрирует, как уче­ник справляется с тем или иным заданием, какие действия он выпол­няет. Данные наблюдений сопоставляются с эффективными паттер­нами поведения. Эта техника имеет ряд ограничений. Ее применение проблематично в тех случаях, когда работа характеризуется продол­жительным циклом активности или нерегулярной и непредсказуемой последовательностью действий. Кроме того, присутствие наблюдате­ля может повлиять на поведение исполнителя и привести к неверным заключениям.

Изучение производительности и результатов. В отдельных случа­ях работу исполнителя можно оценить по коэффициенту производи­тельности. Представленный в цифровом выражении, он позволяет совершенно определенно оценить качество и количество произведен­ной работы. Ориентируясь на эти коэффициенты, тренер может су­дить о том, выходят ли бывшие ученики на тот уровень исполнения, которого от них ждут. Очень важно выбрать оптимальный период для проведения такого рода анализа. Следует также учесть, в каких уело-

Глава 9

виях трудятся бывшие ученики, чтобы понять, обусловлены ли их результаты только их собственными способностями или иными вли­яниями: Разумеется, это нужно учитывать в любом случае, независи­мо от того, какими методами оценивается эффективность тренинга. Критерии выбора метода. В каждом конкретном случае тренеру приходится делать выбор между альтернативными методами, техника­ми и стратегиями. Брэмли и Ньюби (Bramley, Newby, 1984) предлага­ют несколько критериев, которыми должен руководствоваться тренер при выборе методов и решении вопроса о глубине и размахе стратегии.

• Значимость. Выгоды от тренинга. Значимость определяется фи­нансовыми и прочими последствиями неумения проверить эф­фективность тренинга.

• Частота. Модификация и корректировка часто проводимых тре­нинговых программ обусловливают необходимость их постоянно­го мониторинга. Это не относится к разовым программам. Одна­ко, как указывают Брэмли и Ньюби, если программа направлена на решение жизненно важных организационных проблем, можно не принимать во внимание данный критерий.

• Стоимость. Несомненно, если стоимость валидизационного ис­следования превышает стоимость самой программы, это вызовет серьезные вопросы.

• Полезность. Все заинтересованные стороны, как то: тренеры, ру­ководители организаций и др., должны получить ясные ответы на интересующие их вопросы.

• Осуществимость. Техники и стратегии должны быть реалистич­ными, политически оправданными и осуществимыми.

• Этический аспект. Исследование не должно выходить за рамки правовых и этических норм.

• Техническая обоснованность. Исследование должно быть точным и аккуратным.

Проверка валидности тренинга. Как было замечено выше, изме­нения в рабочем поведении и показателях бывших учеников могут быть вызваны иными факторами, отличными от тренинга. Например, само по себе выполнение новой работы, не говоря уже о таких факто­рах, как хорошее руководство, приобретение практического опыта или произошедшие изменения в организации, может иметь больший эффект, чем знания, приобретенные во время тренинга. В идеале тре­нер должен убедиться в том, что улучшение трудовых показателей вызвано именно тренингом, а не другими возможными влияниями, и

Оценка эффективности тренинга

проверить, не обнаружатся ли через некоторое время те же измене­ния в группе работников, не прошедших обучение.

Если тренер имеет возможность наблюдать за исполнением толь­ко тех, кто прошел обучение, он не может быть до конца уверен в ва­лидности учебной программы, сколь бы объективными и систематич­ными ни были эти наблюдения. Даже дотренинговый и послетренин­говый ассесмент, подтверждающий наличие позитивных изменений в исполнении учеников, не избавит тренера от сомнений. Он должен понимать, что позитивная динамика может объясняться и «сенсити­зацией» учеников в процессе дотренингового ассесмента, и приобрете­нием опыта учениками, и другими факторами, упомянутыми выше. Основной недостаток такого подхода заключается в отсутствии доста­точного контроля над этими влияниями и невозможности проследить все причинно-следственные связи. В академической литературе пред­лагается несколько способов, позволяющих сделать процедуру после-тренингового асессмента более выверенной с научной точки зрения и предполагающих использование контрольной группы, т. е. группы, схожей с исследуемой по всем основным параметрам, за исключением факта участия в исследуемой тренинговой программе. Ниже представ­лены и прокомментированы некоторые из этих решений.

 

 

 

 

Схема исследования	Комментарии
1. Группа А	Как и в случае использова­ния нижеописанных схем, чтобы свести с минимуму возможность контаминации, необходимо параллельное проведение асессмента для обеих групп. Кроме того, мероприятие должно быть организовано так, чтобы в период, когда группа А про­ходит обучение, группа В не участвовала в какой-либо деятельности, которая могла бы повлиять на ее последую­щие трудовые показатели. Но даже при выполнении этих требований не исклю­чена возможность влияния дотренингового ассесмента на результаты послетренин­говой оценки, что особенно важно при изучении резуль­татов группы В.
Дотренинговый... Тренинг... Послетренинговый ассесмент ассесмент
Группа В (контрольная)
Дотренинговый... Нет... Послетренинговый ассесмент тренинга ассесмент

Глава 9

 

 

 

 

 

 

 

 

 

 

 

Схема исследования	Комментарии
2. Группа А	Эта схема снимает вопрос о возможных эффектах дотре­нингового ассесмента, но не позволяет измерить, какую пользу принес собственно тренинг
Тренинг... Послетренинговый ассесмент
Группа В (контрольная)
Нет тренинга... Послетренинговый (А) ассесмент
3. Группа А	Эта схема представляет со­бой комбинацию двух выше­описанных схем и обеспечи­вает больший контроль над различными факторами. Маловероятно, что тренер сможет параллельно иссле­довать все четыре группы. Однако в случае массового обучения персонала, когда на протяжении длительного периода времени большое число схожих групп прохо­дит через одну и ту же учеб­ную программу, тренеру, возможно, удастся реализо­вать некое подобие данной схемы. Последнее замечание можно отнести и к первым двум схемам
Дотренинговый... Тренинг... Послетренинговый ассесмент ассесмент
Группа В (контрольная)
Дотренинговый... Тренинг... Послетренинговый ассесмент (А и С) ассесмент
Группа С
Нет Тренинг... Послетренинговый ассесмента ассесмент
Группа D
Нет Послетренинговый ассесмента (А и С) ассесмент

Представленные схемы объясняют, как теоретически можно про­контролировать возможные эффекты внетренинговых факторов и влиянию Однако их практическая ценность невелика, поскольку тре­неры не могут похвастаться тем, что им часто выпадает возможность распоряжаться ресурсами, необходимыми для реализации этих схем. При невозможности ввести в исследование контрольную группу тре­нер вынужден действовать так, как позволяют ему обстоятельства. Ниже приводится несколько рекомендаций, следуя которым тренер сможет более-менее точно сказать, какую роль сыграл тренинг, в от­личие от других факторов и влияний, в улучшении поведения и тру­довых показателей работников.

• Четко и ясно определяйте цели тренинга.

• Устанавливайте четкие цели на всех уровнях оценки.

• Пользуйтесь Стандартизованными, тщательно апробированными формами структурированного интервью, наблюдения и опрос­ников.

Оценка эффективности тренинга

• Используйте репрезентативную выборку из исходной целевой аудитории.

• Старайтесь вовлекать в исследование и других людей, помимо ученика и его непосредственного начальника.

• Чтобы получить обоснованную, надежную и валидную оценку, инструктируйте ассессоров и объясняйте им принципы ассес­мента.

• При несоблюдении учеником стандартов исполнения применяй­те принципы каузального анализа, изложенные в главе 5.

• «Только систематическая и многоуровневая оценка исполнения позволит получить полную картину» (Kenny, Reid, 1986).

Оценка эффективности тренинга на организационном уровне.

Эффекты и ценность тренинга теперь должны быть рассмотрены в более широком контексте и долгосрочной перспективе. Основной во­прос звучит так: какие изменения и улучшения произошли или про­изойдут в организации в целом в результате тренинга? И ответить на этот вопрос совсем не просто.

Вышеупомянутые трудности установления однозначных причин­но-следственных связей на этом уровне только усугубляются. Одна­ко вопреки этим проблемам тренер должен быть готов произвести хотя бы примерную оценку более общих, отдаленных последствий тренинга. Отталкиваясь от идей Брэмли (Bramley, 1986), Камерона (Cameron, 1980) и Ньюби (Newby, 1985), можно предложить следую­щую схему анализа организационной эффективности тренинга.

Достигнутые цели. О достигнутых целях можно судить по различ­ным коэффициентам и индексам, как то: количество произведенных единиц, повышение производительности, количество обработанных документов, число проданных товаров, скорость оборота, коэффи­циент ошибок и брака, коэффициент промышленного травматизма, доход от операций и текущие расходы, размеры сверхурочных работ и т. п.

Привлечение средств и ресурсов. Жизнеспособность организации в немалой степени зависит от ее способности привлекать новые сред­ства и ресурсы, к каковым относятся новые материалы, квалифици­рованная и обученная рабочая сила, новые покупатели и рынки, фи­нансы и т. д.

Удовлетворение клиентов и учредителей. О том, в какой мере удов­летворены ожидания внутренних и внешних клиентов и учредителей, можно судить по таким источникам и показателям, как жалобы

270

 

Глава 9

покупателей, результаты опросов потребителей, соблюдение сроков выполнения заказов, количество возвращенных товаров, результаты внутренних проверок и ревизий и т. п.

Климат в организации. Внутренний климат организации являет­ся важным индикатором ее здоровья и эффективности. О благополу­чии или неблагополучии здесь могут свидетельствовать такие пока­затели, как моральное состояние персонала и его отношение к рабо­те, количество конфликтов и прогулов, текучесть кадров, жалобы, просьбы о переводе, частота применения дисциплинарных мер, жела­ние или нежелание работников работать одной командой, темпы из­менений и реорганизации, а также качество, уровень и широта внут­ренних коммуникационных связей.

Ряд методов и техник ассесмента, описанных в предыдущем раз­деле, может найти применение и на этом, организационном, уровне валидизации тренинга; это относится, в частности, к вопросникам, интервью и исследованию производительности и результатов труда. Полученные таким образом данные по истечении определенного пе­риода времени должны быть собраны воедино; в некоторых случаях может оказаться полезным их сопоставление с данными по работни­кам, не прошедшим обучение.

Анализ стоимости и эффективности. Попытка оценить в денеж­ном выражении общую экономическую эффективность тренинга представляется многим безнадежным предприятием. Они утвержда­ют, что невозможно или крайне трудно отдельно подсчитать все за­траты, связанные с подготовкой и проведением тренинга, как и оце­нить в денежном выражении результаты и эффекты тренинга. Не от­рицая этих трудностей, мы тем не менее убеждены, что всегда полезно попытаться найти некую «точку отсчета». Служба обучения должна подчиняться тем же требованиям, какие предъявляются к другим отделам организации. Анализ «затраты—прибыли» и анализ эффек­тивности затрат — это техники, или подходы, позволяющие исследо­вать, насколько выгоден тренинг с финансовой точки зрения.

• Анализ «затраты—прибыли»: любой анализ затрат на обучение с учетом будущих прибылей, проводимый полностью в денежном выражении.

• Анализ эффективности затрат: анализ, в котором могут быть ука­заны только затраты, а выгоды от обучения работников, хотя и упоминаются, но не обязательно в денежном выражении.

⇐ Предыдущая28293031323334353637Следующая ⇒

Поделиться:

Воспользуйтесь поиском по сайту: