4.2. Система оценивания решений задач

4. 2. Система оценивания решений задач

Система оценивания той или иной задачи в значительной степени определяется ее типом и установленной формой представления результатов ее решения. При разработке системы оценивания предметно-методическая комиссия по Информатике и ИКТ сначала устанавливает максимальный балл за полное решение задачи – 100 баллов, а затем распределяет его между различными вариантами частичных решений или решениями отдельных подзадач, если они выделены в условии задачи. Распределение максимального количества баллов за задачу между различными вариантами частичных решений в общем случае базируется на системе тестов. Если результатом решения задачи является программа, то комплекты тестов разрабатываются таким образом, чтобы жюри муниципального/межлицейского этапа без проблем могло в максимальной степени оценить все возможные типы алгоритмов, которые могут быть использованы в решениях участников и продифференцировать полученные участниками решения по степени их корректности и эффективности.

При распределении максимального количества баллов за задачу между всеми группами тестов учитывается следующий принцип: правильное решение для всех ограничений из условия задачи должно набирать полный балл, в то время как правильное для определенной размерности входных данных, но неэффективное в целом решение задачи, должно набирать ориентировочно 30 - 70% баллов. Поскольку каждый тест в группе используется для проверки вполне определенного свойства алгоритма решения задачи, то баллы внутри группы распределяются с учетом важности этого свойства для решения задачи в целом. В случае правильного ответа на тесты из конкретной группы или определенные тесты внутри этой группы участнику начисляется установленное для этой группы или теста количество баллов, в противном случае баллы не начисляются.

Если в условии задачи выделены отдельные подзадачи, то оценка решений каждой подзадачи может осуществляться как по группе тестов в целом (баллы начисляются только тогда, когда все тесты для этой подзадачи успешно завершились) или по каждому тесту в отдельности. Общая оценка за решение конкретным участником отдельной задачи складывается из суммы баллов, начисленных ему по результатам исполнения тестов из всех групп тестов для этой задачи.

Итоговая оценка проверки решений всех задач муниципального/межлицейского этапа олимпиады по Информатике и ИКТ формируется для каждого участника как сумма полученных этим участником баллов за каждую задачу. Итоговые результаты проверки решений всех задач заносятся в соответствующую тому или иному классу обучения участников итоговую таблицу, представляющую собой ранжированный список участников, расположенных по мере убывания набранных ими баллов. Участники с равным количеством баллов располагаются в алфавитном порядке и разделяют общее место.

4. 3. Технология проверки решений задач

Проверка решения задачи заключается в последовательном запуске проверяемой программы на каждом тесте из заданного комплекта тестов для этой задачи. ПМК предусматривает автоматизацию процесса проверки решений участников при помощи специализированной системы проведения соревнований ejudge. В процессе проверки решений участников, представленных в текстовом виде ответ принимается на проверку в автоматизированную систему и оценивается в соответствии с критериями оценки. По таким задача до окончания тура участникам не сообщается какое количество баллов набирает их решение.

В процессе проверки решений участников, представленных в виде программ, система ejudge последовательно выполняет следующие действия:

1)   компилирует программу участника, используя приведенную в Памятке участника команду для соответствующего языка программирования. Если компиляция программы участника завершается неудачно, участнику сообщается результат «Ошибка компиляции». Возможно предоставление участнику вывода компилятора в стандартный поток вывода и стандартный поток ошибок. Если компиляция завершилась успешно, программа проверяется на тестах из примера;

2)   осуществляет проверку программы участника на всех тестах из примера. Программа участника запускается, и проверяющая система отслеживает соблюдение программой существующих ограничений, связанных с запретом на создание каталогов и временных файлов при работе программы, а также любое использование сетевых средств и выполнение других действий, нарушающих работу самой проверяющей системы;

3)   обеспечивает контроль времени работы программы участника и объема используемой памяти. Если время работы программы превысило ограничение, указанное в условии задачи, выполнение программы участника прерывается и участнику отправляется сообщение «Превышено время работы». Если количество используемой памяти превысило ограничение, указанное в условии задачи, то выполнение программы участника также прерывается и участнику отправляется сообщение «Превышен максимальный объем используемой памяти»;

4)   проверяет случай, когда программа участника создала и самостоятельно не обработала исключительную ситуацию. В этом случае выполнение программы участника прерывается и участнику отправляется сообщение «Ошибка времени исполнения»;

5)   проверяет, завершила ли программа участника работу с нулевым кодом возврата. Если программа участника завершила работу с ненулевым кодом возврата, участнику отправляется сообщение «Ошибка времени исполнения»;

6)   проверяет, создала ли программа участника в каталоге, в котором она была запущена, выходной файл с именем, указанным в условии задачи, если программа участника завершила работу за отведенный период времени, не превысила максимальный объем памяти и завершила работу с нулевым кодом возврата. Если файл с указанным именем не найден, участнику отправляется сообщение «Ошибка формата выходных данных». Если выходной файл создан, то осуществляется проверка его корректности. Для этого используется соответствующая проверяющая программа;

7)   сообщает участнику о результатах проверки его программы. По результатам окончательной проверки система начисляет участнику баллы за успешно пройденные тесты. Если в процессе подготовки и использования во время соревнований системы автоматической проверки решений задач у членов жюри возникают вопросы к комплектам тестов и проверяющим программам, то они должны быть сразу адресованы членам муниципальной предметно-методической комиссии любым доступным способом. Эта комиссия должна в кратчайшие сроки рассмотреть поступившие в ее адрес вопросы и дать окончательное решение по ним. Не допускается внесение каких-либо изменений в систему оценивания со стороны жюри без согласования с предметно-методической комиссией по Информатике и ИКТ.