 |
Оценка выполнения конкурсных заданий
|
|
|
|
11.1. Критерии оценки
11.1.1. Определение
Выполненные Конкурсные задания оцениваются в соответствии с регламентами начисления баллов, принятыми в WorldSkills Russia на основании требований к компетенции (профессии), определяемых Техническим описанием и данным Регламентом. Все баллы и оценки регистрируются в Автоматизированной системе подведения итогов (CIS).
11.1.2. Изменения
Критерии начисления баллов являются основными заголовками Схемы начисления баллов. Субкритерии оценки являются заголовками Оценочных ведомостей.
11.1.3. Аспекты субкритериев
Каждый критерий подразделяется на один или несколько Субкритериев. Каждый Субкритерий подразделяется на несколько Аспектов субкритерия, за которые начисляются баллы. Аспекты оценки могут быть либо субъективными, либо объективными.
11.1.4. Количество аспектов
Количество Аспектов оценки должно составлять от 50 до 300 шт.
Если число Аспектов по какой-либо специальности превышает 300, то Оргкомитет чемпионата должен подтвердить Техническому директору WSR, что Жюри сможет без спешки завершить процесс оценки в пределах отведенного времени.
11.1.5. Максимальная объективность оценки
Профессиональные конкурсы должны стремиться к тому, чтобы максимально повысить объективность оценки.
11.1.6. Обоснование и система начисления баллов
Конкурсные задания оценивают только компетенции, указанные в Техническом описании. В пределах каждой компетенции Эксперты определяют результаты конкурса, используя 100-балльную шкалу. Переход от 100-балльной к 500-балльной шкале совершает CIS.
11.2. Оценка субъективных показателей
11.2.1. Регламент использования веерных табличек
Оценка каждого Аспекта субкритерия субъективных критериев[3] выполняется группой Экспертов. Каждый Эксперт начисляет баллы от 1 до 10, которые указываются на табличках. Таблички следует использовать правильно: Экспертам необходимо выбрать нужную табличку с оценкой самостоятельно, после чего все Эксперты одновременно поднимают и показывают таблички по команде Главного эксперта.
|
|
|
Для записи окончательных баллов создается рукописная оценочная ведомость (оригинал). Такая ведомость используется для внесения данных в CIS и затем хранится как контрольный документ.
11.2.2. Расчет присужденного балла
Каждый Эксперт начисляет балл от 1 до 10 за каждый Аспект Субкритерия. Эти баллы не могут различаться больше, чем на 3. После выполнения этого требования, баллы вносятся в CIS, а CIS удаляет самый высокий балл (или один из них, если их несколько) и самый низкий балл (или один из них, если их несколько) из начисленных. Средний из трех оставшихся баллов делится на 10 и умножается на максимальный балл по данному Аспекту, чтобы получить балл, который будет выставлен Конкурсанту в конечном итоге.
Если Конкурсант не выполнял какой-либо Аспект Субкритерия, то он получает от Экспертов ноль баллов. Такой результат вносится в CIS путем пометки «попытка отсутствует» («Non-attempt»).
11.2.3. Использование оценочных ведомостей
По каждому критерию Технического описания Жюри описывает и вносит в Ведомость оценки субъективных показателей подробности Субкритерия и Аспекты Субкритерия, по которым выставляется оценка, вместе с максимальным баллом за каждый Аспект Субкритерия. Для регистрации начисленных баллов используется соответствующая Ведомость оценки субъективных показателей.
Когда используются коллективные оценочные ведомости, содержащие несколько имен конкурсантов, то создается также мастер-форма, в которую заносятся все баллы из каждой индивидуальной Экспертной формы, для внесения данных в CIS. Такая форма затем хранится как контрольный документ.
|
|
|
11.2.4. Изменение регламента
В исключительных случаях Технический комитет WSR может дать согласие на изменение данного регламента по письменному запросу Оргкомитета.
11.3. Оценка объективных показателей
11.3.1. Процесс
Оценка каждого Субкритерия и его Аспектов выполняется тремя Экспертами.
11.3.2. Использование форм
Для каждого Критерия Технического описания Жюри описывает и вносит в Формы оценки объективных показателей описание Субкритерия и Аспекты оцениваемого Субкритерия вместе с максимальным баллом по каждому Аспекту. Для регистрации начисленных баллов используется соответствующая Форма оценки объективных показателей.
Когда используются коллективные оценочные ведомости, содержащие несколько имен конкурсантов, то создается также мастер-форма, в которую заносятся все баллы из каждой индивидуальной Экспертной формы, для внесения данных в CIS. Такая форма затем хранится как контрольный документ.
11.4. Процесс оценки
11.4.1. Начало чемпионата
До того, как Система информационной поддержки чемпионата будет готова к началу чемпионата, Главный эксперт должен известить специалистов CIS о том, что все подготовительные задачи завершены и критерии выбраны.
11.4.2. Оценка субъективных показателей происходит до оценки объективных показателей
Когда оцениваются как субъективные, так и объективные показатели, субъективная оценка выставляется первой. Оценки, вносимые от руки в ведомости, вносятся туда чернилами.
11.4.3. Группы оценки
Эксперты из Жюри организуются таким образом, что объективную оценку каждого Аспекта Субкритерия производят по 3 Эксперта, а субъективную – по 5 Экспертов. Каждая группа оценки должна оценивать одни и те же аспекты Субкритерия по каждому конкурсанту для обеспечения стандартизации оценки. Для равенства оценки каждая группа должна по возможности оценивать один и то же количество оценок.
11.4.4. Эксперты и оценка конкурсантов из своей организации.
Эксперты не оценивают конкурсантов из своего организации. Однако же это создает сложности при объективности выставления оценок. Объективности можно добиться, если одна и та же группа Экспертов оценивает каждого конкурсанта по каждому из аспектов, за которые они выставляют баллы. Эта проблема решается несколькими способами:
|
|
|
- к группе Экспертов при оценке присоединяется дополнительный Эксперт, который выставляет оценку вместо Эксперта-«компатриота»;
- в случае оценки объективных показателей (где группу оценки составляют три Эксперта), оценка Эксперта-«компатриота» исключается из решения о присуждаемом балле;
- в случае оценки объективных показателей (где группу оценки составляют пять Экспертов), вместо оценки Эксперта-«компатриота» конкурсанту начисляется средний балл из оценок других четырех Экспертов;
- члены Жюри дают свое согласие на оценку Экспертами Конкурсантов из своей организации.
Любой из приведенных выше сценариев или дополнительный сценарий, разработанный Экспертами, возможно утвердить у Технического директора WSR.
11.4.5. Запрет на выставление оценки в присутствии конкурсанта
Оценка не выставляется в присутствии Конкурсанта, кроме тех случаев, когда в Техническом описании указано иное.
11.4.6. Ежедневная оценка
День оценки по каждому из критериев указывается в CIS. Результаты оценки по Субкритериям, оцениваемым в какой-либо определенный день, вносятся в CIS, утверждаются и заверяются Жюри до 12:00 следующего дня. Форма утверждения для CIS должна быть получена до 20:00 этого дня. Утвержденные результаты должны быть получены специалистами CIS до 10:00 дня С+1 (первый день после завершения конкурсной части).
Все индивидуальные ведомости Экспертов должны быть ими подписаны.
11.4.7. Проверка и сдача ведомостей оценки
Баллы и/или оценки переносятся из рукописных оценочных ведомостей в CIS по мере осуществления процедуры оценки.
После выставления оценок и/или баллов во все оценочные ведомости за какой-либо день (или же всех оценок/баллов за весь конкурс по специальностям, для которых отсутствуют определенные оценочные дни), запись о выставленных оценках в CIS блокируется.
После блокировки записи об оценках в CIS, все оценочные ведомости, включая Итоговую оценочную ведомость, за определенный день распечатываются и складываются в «Пакет оценки компетенций». Затем Жюри получает возможность рассмотреть распечатанные результаты, сравнив их с рукописными результатами, и обсудить любые возникающие у них вопросы с Главным экспертом.
|
|
|
Если оценку надо исправить, каждый Эксперт из оценочной группы по данному аспекту должен заверить форму, обозначив тем самым свое согласие с внесением данного исправления.
Председатель Жюри подписывает Форму приема оценки (или Форму окончательного приема оценки, если это завершающий прием), подтверждая принятие распечатанных оценочных ведомостей за указанный день (за исключением уже внесенных возражений, по которым на данный момент ведется разбирательство). Подписанная Форма приема оценки (или Форма окончательного приема оценки) затем передается в офис CIS.
По получении Формы приема оценки (или Формы окончательного приема оценки), специалисты CIS блокируют CIS по данной части завершенной оценки. По окончании данной процедуры дальнейшие или новые возражения по утвержденным оценкам не принимаются.
11.4.8. Завершение начисления баллов
Оценку Конкурсных заданий и внесение баллов в CIS необходимо завершить к 22:00 дня С4 (последний день чемпионата).
11.4.9. Окончание чемпионата
Жюри не освобождается от своих обязанностей по оценке до тех пор, пока Оргкомитет чемпионата не передаст «Пакет оценки компетенции» и другой оценочный материал специалистам CIS, и не получит от них подписанное подтверждение выполнения необходимых задач.
Жюри не освобождается от своих конкурсных обязанностей до тех пор, пока Оргкомитет чемпионата не передаст всю необходимую информацию и бумаги в Штаб Чемпионата, на чемпионате, и не получит от них подписанное подтверждение получения всех необходимых бумаг и информации.
11.5. Система информационной поддержки чемпионата (CIS)
11.5.1. Шкала-500
Для облегчения сравнения результатов по разным специальностям, результаты, основанные на 100 баллах, стандартизуются по 500-балльной шкале при помощи CIS. Применение данной процедуры позволяет конкурсантам получить средний балл по своей специальности по 500-балльной шкале.
11.5.2. Округление
Балл, присужденный за каждый субъективный или объективный Аспект Субкритерия, округляется максимум до 2 знаков после запятой. Цифры, где третий знак после запятой равен 5 или больше, округляются до большего значения. Цифры, где третий знак после запятой меньше 5, округляются до меньшего значения (например, 1,055 округляется до 1,06, а 1,054 округляется до 1,05).
11.5.3. Исправление ошибок
При обнаружении ошибок о них следует немедленно сообщать Консультанту по начислению баллов. Если будет достигнуто согласие в том, что произошла ошибка, оценки необходимо повторно внести в CIS и раздать всем членам Жюри новые печатные копии Оценочных ведомостей и итоговой оценочной ведомости для рассмотрения и подписания. Как оригинал, так и заменившая его форма, затем хранятся как контрольные документы.
|
|
|
11.6. Апелляции
11.6.1. Апелляции относительно результатов
Апелляции, касающиеся результатов, принимаются до момента собрания Технического комитета в день С4, утверждающего результаты. После утверждения Техническим комитетом результаты становятся окончательными и апелляции больше не принимаются, кроме тех случаев, когда имеются непреложные доказательства произошедшей существенной ошибки, вследствие которой конкурсант остался без награды, и такие доказательства представлены в Рабочую группу Чемпионата.
11.6.2. Хранение завершенных Конкурсных заданий
Все завершенные Конкурсные задания необходимо хранить до того момента, когда результаты конкурса будут утверждены Техническим комитетом. Если это окажется невозможным по техническим причинам, необходимо сделать фотографии под наблюдением Председателей жюри.
Такие фотографии, вместе с подлежащими хранению оценочными ведомостями, должны храниться в защищенном месте, т.к. они могут понадобиться для подтверждения правильности изначальной оценки.
11.7. Публикация результатов
Регионам-участникам, ассоциированным членам «Союза Ворлдскиллс Россия», участвующим в Чемпионате (Лидерам команд), предоставляется серия результатов со сравнениями «по средним медальным баллам», «по среднему количеству набранных баллов», «по общим медальным баллам», «по общему количеству набранных баллов» и «в алфавитном порядке по общим медальным баллам и по общему количеству набранных баллов».
Регионам-участникам, ассоциированным членам «Союза Ворлдскиллс Россия», участвующим в Чемпионате (Лидерам команд), также предоставляются официальные результаты по каждой специальности, с указанием всех Конкурсантов, набранных ими баллов, полученных медалей и нагрудных знаков; эти результаты размещаются на сайте Чемпионата сразу же после церемонии закрытия.
Медали и награды
12.1. В рамках Чемпионата реализован индивидуальный и командный зачет.
12.2. В командном зачете определяется рейтинг регионов WS на основе результатов системы CIS.
12.3. В индивидуальном зачете Конкурсанты получают золотые, серебряные и бронзовые медали.
12.4. Золотые, серебряные и бронзовые медали.
12.4.1. Золотыми, серебряными и бронзовыми медалями награждаются Конкурсанты, которые показали первый, второй и третий результат соответственно по всем компетенциям (кроме презентационных).
12.4.2. В случаях, когда количество Конкурсантов по определенной компетенции не превышает 4 (четырех) Конкурсантов, Оргкомитет имеет право установить количество призовых мест менее 3 (трех).
12.5. Разделение медалей
Если разница между Конкурсантами составляет не более 2 баллов по 500-бальной шкале, медали делятся между ними, как описано ниже. Однако приемлемы и иные варианты по рекомендации Технического Комитета WSR, которым утверждаются результаты Конкурса. Разделение медалей обычно происходит следующим образом:
12.5.1. Золото
- Две (2) золотые медали, без серебряных медалей, одна (1) бронзовая медаль.
- Три (3) или более золотых медалей, без серебряных медалей. В дополнение, одна или более бронзовых медалей, когда разница между призером (призерами) последней золотой медали и следующим Конкурсантом (Конкурсантами) составляет более 2 баллов.
12.5.2. Серебро
- Одна (1) золотая медаль, две (2) или более серебряных медали. В дополнение, одна или более бронзовых медалей, когда разница между призером (призерами) последней золотой медали и следующим Конкурсантом (Конкурсантами) составляет более 2 баллов.
12.5.3. Бронза
- Одна (1) золотая медаль, одна (1) серебряная медаль, две (2) или более бронзовых медалей.
12.6. Медаль за профессионализм.
Конкурсанты, которые получили 500 и более баллов, но не получили медаль, награждаются Медалью за профессионализм.
12.7. Сертификат Участия
12.7.1. Любой Конкурсант, не получивший медаль или особую награду, получает Сертификат об участии в Чемпионате.
|
|
|
