Оценка стратегии и спецификация

Общие рекомендации

Оценивание регулируется Оценкой стратегии WorldSkills. Стратегия устанавливает принципы и приемы, которые должны соответствовать оценке, установленной правилами WorldSkills.

Экспертная практика оценки лежит в основе конкурса WorldSkills. По этой причине она предметом непрерывного профессионального развития и изучения. Рост информированности в области оценивания будет способствовать совершенствованию основных инструментов оценки, используемых конкурсом WorldSkills: Схема маркировки, Тестовый проект и информационной системы оценки (CIS).

В конкурсе WorldSkills оценка состоит из двух широких категорий: измерение и мнение судей. Соответственно они называются объектной и Judgement -оценкой. Для обоих типов оценки используются установленные критерии, по которым оценивается каждый аспект, который имеет большое значение для обеспечения качества в целом.

Схема маркировки должна следовать нормам нагрузки в рамках Технического описания. Тестовый проект - это средства оценки в рамках заявленных навыков на конкурсе и также должен следовать правилам Технического описания. Специализированная информационная система Конкурса предусматривает своевременную и точную запись оценок и имеет расширенный вспомогательный объем.

Схема маркировки, в общих чертах, будет сопровождать процесс создания Тестового проекта. После этого Схема маркировки и Тестовый проект будут разрабатываться и развиваться посредством итеративного процесса для того, чтобы совместно оптимизировать свои взаимоотношения в рамках Стандартной спецификации и Положения о стратегии оценки. Они будут согласованы с экспертами и представлены WSR для утверждения, чтобы продемонстрировать их качество и соответствие Стандартному руководству.

До представления на утверждение WSR Схемы маркировки и Тестового проекта будет поддерживаться связь с квалифицированными консультантами WSR для того, чтобы использовать данные конкурса (CIS).

 

4. Схема оценки

Общие правила

Этот раздел описывает роль и место Схемы оценки, каким образом эксперты оценивают работы конкурентов, демонстрируется на тестовом проекте, а также процедуры и требования к оценке участников.

Схема оценки - ключевой инструмент конкурса WorldSkills, с помощью которого можно оценить навыки участников (почти дословно: который связывает оценку участников с некими стандартами мастерства).

Он предназначен для оценки каждого этапа выполнения работ в соответствии с распределением значений "весов" в Спецификации стандартов.

На основе значений "весов" в Техническом описании, Схема оценки устанавливает параметры для тестового проекта. В зависимости от навыков (мастерства) и оценки их значимости, допустимо разработать более подробную Схему оценки, которая будет использоваться в качестве руководства для тестового проекта.

Кроме того, первоначальный тестовый проект может быть основан на плане Схемы оценки.

С этого момента Схема оценки и тестовый проект должны разрабатываться совместно.

Раздел 2.1, а также предыдущие разделы показывают до какой степени могут расходиться Схема оценки и тестовый проект от значений "весов" в Стандартных спецификациях, если нет практических альтернатив.

Схема оценки и тестовый проект могут быть разработаны одним человеком или несколько, или всеми экспертами.

Детализированная и финальная Схемы оценки и тестовый проект должны быть одобрены всем Экспертным Жюри до конкурса для предоставления независимого контроля качества. Исключением являются компетенции, которые используют внешнего специалиста для разработки Схемы оценки и тестового проекта.

Кроме того, рекомендуется представить экспертам свои Схемы оценки и тестовые проекты заранее до окончания работ для комментариев и предварительного одобрения, чтобы избежать разочарования или неудач на последних стадиях проекта. Эксперты также советуют работать с командой CIS на промежуточном этапе, для того, чтобы в полной мере воспользоваться возможностями CIS.

Во всех случаях полная и одобренная Схема оценки должна быть введена в CIS, по крайней мере, за 3 дня до проведения соревнования с использованием стандартной таблицы CIS или других согласованных методов.

Критерии оценки

Основные пункты (заголовки, разделы) Схемы оценки являются критериями оценки. Заголовки разделов получаются совместно с тестовым проектом. В соревнованиях Критерии оценки могут быть похожи на заголовки разделов в Стандартных спецификациях; в других они могут быть совершенно другими. Существует, как правило, 5-9 критериев оценки. Соответствуют они заголовкам или нет, Схема оценки должна отражать значения "весов" в Стандартных спецификациях.

Критерии оценки создаются людьми, разрабатывающими Схему оценки, они могут беспрепятственно определить критерии, которые они считают наиболее подходящими для оценки тестового проекта. Каждый критерий оценки определяется буквами (A-I).

Суммарная форма оценки генерируется CIS и будет включать в себя список Критериев оценки.

Оценка, по каждому из критериев будет рассчитана CIS. Оценки будут представлять собой совокупную сумму оценки, данную в отношении каждого элемента оценки в рамках этих Критериев оценки.

Подкритерии

Каждый Критерий оценки состоит из одного или нескольких подкритериев. Каждый подкритерий - заголовок раздела в Форме оценки WorldSkills.

Каждая Форма оценки (подкритерий) содержит информацию об определенном дне, в который он будет отмечен.

Каждая Форма оценки (подкритерий) содержит либо объективные или субъективные аспекты, которые должны быть оценены.

Некоторые подкритерии содержат в себе как объективные, так и субъективные аспекты, и в этом случае существует Форма оценки для каждого из них.

Аспекты

Каждый аспект определяется детально, каждый элемент маркируется и оценивается совместно с другими оценками или по инструкции, содержащей информацию о том, как должны оцениваться аспекты. Аспекты оцениваются объективно или субъективно и появляются в соответствующей Форме оценки.

Форма оценок – это детальный список, в котором каждый аспект отмечается совместно с оценкой (маркировкой), указывается ссылка на раздел навыков, как изложено в Стандартных спецификациях.

Суммарная оценка, по каждому аспекту должна находиться в пределах, указанных в Стандартных спецификациях. Это будет отображаться в таблице распределения оценок CIS, в следующем формате, когда Схема оценки проверяется за С-8 недель

Judgement (Мнение экспертов)

Judgement-оценка осуществляется в соответствии с правилами WorldSkills.

Оценка должна быть проведена с использованием:

· критериев с мнением экспертов по каждому аспекту

· с указанием следующего масштаба:

· 0 неприемлемо для коммерческого производства;

· 1: приемлемо для коммерческого производства;

· 2 приемлемо, с элементами более высокого качества;

· 3 превосходно.

Judgement-оценка не является субъективной оценкой.

Measurement (измерение)

Оценка производится в соответствии с правилами WorldSkills. Measurement-оценка используется.

Использование Judgement и Measurement

Окончательное раскрытие объективной или Judgement -оценки будут согласованы, когда Схема оценки и тестовый проект будут завершены. Приведенная ниже таблица носит рекомендательный характер для разрабатываемого тестового проекта и Схемы оценки.

Секция	Критерий	Оценка
		Judgement	Measure	Общий
A	Организация работы и управление
B	Общение и международные навыки
C	Проблемы, инновация, креативность
D	Анализ и проектирование программных решений
E	Разработка программных решений
F	Тестирование программных решений
G	Документирование программных решений
Всего		20% или меньше	80% или больше

Окончание спецификации оценки навыков

Оценочные группы будут сформированы в соответствии с Правилами соревнований.

Критерии оценки, разработанные внешним писателем, четкие и лаконичные, они поясняют, как и почему присуждается каждая оценка.

Существует три разных типа объективных критериев для оценки тестового проекта. Приведенная ниже таблица описывает эти типы:

Тип	Пример	Максимальная оценка	Все верно	Не верно
Полная оценка или нулевая	Круговая диаграмма показывает в процентах	0,2	0,2
При уменьшении количества баллов используется скользящая шкала	В формате отчет указано, что за каждую ошибку вычитается по 0.1 балла.	0,5	0,5	0-0,4
Добавление баллов к 0 отметкам (используется прогрессивная шкала).	При правильном решении добавляется по 0, 1 балла.	1,0	1,0	0-0,9

Процедуры оценки навыков

Каждый эксперт выступает в качестве члена команды оценки тестового проекта.

Эксперты будут разделены на команды оценки при максимально возможном равенстве в количестве оценки критериев.

Состав команд оценки будет определять Главный эксперт и Заместитель главного эксперта с целью достижения баланса между новыми и опытными экспертами в каждой из команд.

Эксперты будут разделены по различным культурным группам по субъективным оценкам на сколько это будет возможным.

Внешний автор проекта должен обеспечить экспертов критериями оценки. Эксперты обсудят критерии оценки по прибытию на конкурс.

Эксперты согласуют окончательную Схему оценки и определят, используя субъективные/ объективные оценки, стоит ли оценить проект в 100% объективных баллов. Judgement-оценки не должны превышать 20 %.

Тестовый проект

Общие сведения

Разделы три и четыре определяют разработку тестового проекта. Сведения, изложенные в этой главе, являются дополнительными.

Не важно, будет ли тестовый проект представлять собой одиночный модуль, или серию автономных или связанных между собой модулей, тестовый проект позволит оценить навыки участников в каждом разделе WSSS.

Цель тестового проекта - предоставление полных и сбалансированных возможностей для оценки и маркировки в соответствии со Стандартными спецификациями, в сочетании со Схемой оценки. Связь между тестовым проектом, Схемой оценки и Стандартными спецификациями будет ключевым показателем качества.

Тестовый проект не будет использовать разделы, не входящие в WSSS, указанные в Разделе 2.

С помощью тестового проекта можно получить знание и понимание об оценке практической работы.

Тестовый проект не будет оценивать знания норм и правил WorldSkills.

Структура тестового проекта

Тестовый проект будет в виде тематического задания, которое содержит в себе типичные функции, о которых могут спросить у компетентных разработчиков ПО. Сценарий будет представлен в виде проекта с определенным конечным результатом. Результаты будут сгруппированы для обеспечения модульного подхода, при котором отдельные задачи могут быть завершены в рамках сессии. Соперники выберут соответствующий компонент(ы) программного обеспечения для выполнения задач.

Общие файлы данных могут быть предоставлены на русском и английском языке и только английские версии программного обеспечения.

Участникам разрешен выход в интернет в зоне соревнования. Интернет будет доступен на обозначенных компьютерах в пределах 15 минут на участника на сессию. Это время включается во соревновательное время конкурса.

В течении соревновательного времени может быть объявлен “Overdrive” – неожиданное независимое испытание на скорость. Привычным запросом в данной области является, что чья-то работа может быть прервана по просьбе. В какой-то момент в каждый из дней проведения конкурса участникам может быть поставлена задача, которая должна быть решена в течение 20 минут. Это будет задача визуального характера, которая будут привлекать зрителей к территории соревнований. Задача должна быть одна, и иметь быстрое решение.

Требования к тестовому дизайн проекту

Тестовый проект должен быть основан на сценарии, согласованном экспертами на предыдущем конкурсе WorldSkills и основан на материально-техническом обеспечении следующего соревнования. Поставленные задачи не требует каких-либо глубоких знаний в отрасли. Необходимая поддержка будет предоставлена организаторами в рамках конкурса. В идеале проект будет использоваться в благотворительной или другой сфере, не приносящей прибыль, в стране, организующей конкурс, так что расходы (материальные и моральные) не будут потрачены впустую.

Сценарий включает в себя обширную деятельность в сфере ИТ и должен состоять из разнообразных форм сбора информации, обработки и распределения. Проект должны быть создан таким образом, чтобы в конце каждой сессии, работа в этой сессии могла быть оценена.

В тех случаях, когда работа длиться в течение нескольких соревновательных этапов она будет сохранена для оценки в конце каждого из этапов. Например, проект может потребовать разработки базы данных:

- Определения таблиц, импорт данных, разработки форм и запросов и построения отчета. Проект может содержать, определенные результаты работы, которые необходимо предоставить в первом соревновательном этапе. В перерыве, результаты работы будут помещены в резервные копии и оценены. Любая работа, выполняемая с результатами после перерыва, не оценивается.

Развитие тестового проекта

Тестовый проект должен быть подан в соответствие с шаблоном, предоставленным WorldSkills International (www.worldskills.org/expertcentre). Используйте шаблон Word для текстовых документов и DWG шаблон для рисунков.

Кто разрабатывает тестовые проекты

Тестовые проекты разрабатываются разработчиком в идеале с постоянным взаимодействием с организациями из отрасли. Определенными Главным Экспертом, в идеале контактирующими с партнерами в промышленности. Заинтересованные члены организации, для которой разрабатывается тестовый проект, также консультируют разработчика.

Разработчик предоставляет следующее:

· Разрабатывает детали сценария примера Тестового Проекта;

· Обозначает и документирует ожидаемые характеристики разрабатываемой системы;

· Предоставляет тестовые данные;

· Предоставляет образцы решения;

· Предоставляет критерии оценки в соответствии со спецификациями Технического Описания и WSR CIS системы оценок.

Все зарегистрированные эксперты в соревновании приглашаются для подачи заявки (“Expression of Interest”) для номинации экспертов или группы экспертов на позицию команды разработчиков. Все номинации должны быть отправлены по электронной почте техническому директору WSR.

WSR проверит все номинации и выберет наиболее подходящую.

Разработчик будет общаться только с главным экспертом по компетенции и не будет контактировать с «Группой Связи Проекта» (“Project Liaison Team”) и экспертами.

Как и где разрабатываются тестовый проекты или модули

Тестовые проекты/модули подготавливаются командой разработчиков проектов. Каждый эксперт должен представить образец, чтобы команда разработчиков лучше поняла требования тестового проекта. Представление образца будет осуществляться через дискуссионный форум в сроки, которые будут оговорены главным экспертом. Каждый эксперт также представит доклад и отзыв о тестовом проекте, оценки и файлы с данными, используемыми на предыдущем чемпионате в качестве контрольного образца.

«Группа Связи Проекта» (PLT) будет формироваться, по меньшей мере, за четыре месяца до начала соревнований. Эта команда будет включать в себя главного эксперта, заместителя главного эксперта, и три других эксперта, которые имеют опыт, по крайней мере, одного предыдущего национального конкурса. Эти три эксперта будут отобраны командой управлениями квалификациями (SMT), которая будет стремиться к тому, чтобы отобранные эксперты отражали состав участников. Роль PLT будет состоять в том, чтобы оказывать помощь, команде разработчиков отвечая на организационные вопросы, касающиеся проведения Конкурса. В идеале команда разработчиков представит тестовый проект экспертам лично или через электронные средства связи.

Каждый эксперт конкурса будет участвовать в оценке тестового проекта в составе группы. SMT будет определять состав группы, а также долю ответственности за оценки проектов для каждой команды. Главный специалист-эксперт, заместитель главный специалист могут, но не обязаны участвовать в оценке.

Временные рамки разработки тестового проекта

Разработка проекта должно производиться в соответствие со следующим графиком:

ВРЕМЯ	МЕРОПРИЯТИЕ
В течение двух месяцев после последнего Конкурса	Каждый эксперт должен представить обзор тестового проекта этого конкурса, в том числе руководство по оценке
За двенадцать месяцев перед Конкурсом	Эксперты могут проявить заинтересованность в написании тестовых проектов
Восемь месяцев до начала Конкурса	Формируется команда PLT
Три месяца до начала Конкурса	Тестовый проект разработан и направлен главному эксперту
Два месяцев до начала Конкурса	Руководства по стилю и обзоры проекта распространяются для ознакомления конкурсантам через веб-сайт
Во время Конкурса	Тестовый проект показывается экспертам. Эксперты должны немедленно сообщить их участникам соревнованиям о тестовом проекте.

 

Проверка тестового проекта

Тестовый проект проверяется экспертами на конкурсе. Каждая команда оценки отвечает за проверку компонентов тестового проекта, который они оценивают. Они оценивают тестовый проект по следующим критериям:

· образцы решений тестового проекта, предоставленные внешним разработчиком, соответствуют установленным требованиям;

· схемы оценки разработаны;

· тестовый проект соответствует техническому описанию;

· точный список необходимых файлов с данными для каждой сессии имеется в наличии;

· каждая команда оценки представит и объяснит, что требуется от проекта, для каждой команды, включая критерии оценки.

Отбор тестовых проектов

Тестовый проект будет предоставлен главному эксперту командой разработчиков, в идеале за три месяца до начала соревнований.

Распространение тестового проекта

Тестовый проект распространяется через веб-сайт следующим образом:

Тестовый проект не распространяется до соревнований. Тестовый проект будет показан экспертам в первый подготовительной день перед соревнованиями. На этом этапе эксперты должны связаться со своими участниками соревнований и информировать их о тестовом проекте.

Координация тестового проекта (подготовка к конкурсу)

Согласование тестового проекта будет проводиться группами SMT и PLT, а также техническим директором WSR.

Изменение тестового проекта на конкурсе.

Никакие изменения не могут быть внесены в тестовый проект, разработанный внешним разработчикам до начала соревнований за исключением поправок к техническим ошибкам в документе тестового проекта.

Материалы или спецификации производителя

Конкретные материалы и/или спецификации производителя, необходимые участникам соревнований для выполнения тестового проекта будут предоставлены организаторами соревнования и будут доступны на сайте www.worldskillsrussia.org расположенной в экспертном центре.

⇐ Предыдущая123Следующая ⇒

Поделиться:

Воспользуйтесь поиском по сайту: