 |
Приложение 3. Перечень направлений для анализа работы ПК
|
|
|
|
Анализ работы ПК проводится в целях оптимизации работы ПК по проверке развернутых ответов участников ГИА, ее максимальной объективности, выработке единых требований и подходов к оцениванию экзаменационных работ, минимизирующих субъективность проверяющих экспертов.
При анализе работы ПК необходимо обратить внимание на следующие направления деятельности ПК:
1. Условия проведения проверки:
нахождение ПК в/ вне здания РЦОИ, количество зданий, помещений, где размещается ПК;
количество аудиторий при работе ПК;
проведение оперативного согласования подходов к оцениванию развернутых ответов в день получения критериев оценивания перед началом проверки (проводилось ли, продолжительность, была ли потребность в проведении дополнительного согласования в процессе проверки);
работа экспертов-консультантов, назначенных председателем ПК при работе ПК, их количество, принцип распределения по помещениям, сфера консультирования (консультация экспертов, находящихся в одном помещении/аудитории; консультация по оцениванию ответов на определенные задания и т.п.);
наличие специально оборудованного в помещениях ПК рабочего места с выходом в информационно-телекоммуникационную сеть «Интернет» для обеспечения возможности уточнения экспертами изложенных в экзаменационных работах участников ГИА фактов; востребованность этого рабочего места;
прочее (в случае выявления условий, существенно влияющих на качество работы ПК).
2. Количество и доля экспертов ПК, имеющих статус ведущего, старшего, основного эксперта.
3. Квалификация экспертов (соответствие требованиям Порядка, количество экспертов, квалификация которых не соответствует требованиям Порядка, причины включения в ПК таких экспертов).
|
|
|
4. Общее количество проверок, проведенных ПК (отдельно проверок первым и вторым экспертом, третьих проверок, проверок апелляционных работ, перепроверок по решению ОИВ).
5. Общее количество экспертов ПК, задействованных при проверке работ на разных этапах проведения ГИА (досрочный, основной и дополнительный).
6. Общее количество экспертов ПК, задействованных при проверке апелляционных работ. Принцип отбора экспертов, привлекаемых к рассмотрению апелляций.
7. Статистика рассмотрения апелляций о несогласии с выставленными баллами за развернутые ответы (общее количество поданных апелляций, количество удовлетворенных апелляций в отношении изменения баллов за развернутые ответы, количество работ с пониженными на апелляции результатами, повышенными на апелляции результатами, минимальное и максимальное изменение баллов, основные причины удовлетворения апелляции.
8. Общее количество экспертов, осуществлявших третью проверку.
9. Доля работ, направленных на третью проверку (средний показатель по всех комиссии).
10. Максимальное и минимальное значение индивидуальных показателей экспертов «доля работ, направленных на третью проверку».
11. Максимальное и минимальное количество работ, проверенных одним экспертом.
12. Перечень экспертов, регулярно (более, чем 5% проверяемых работ) допускающих в оценивании значительные расхождения в баллах, выставленных другими экспертами:
случаи существенной разницы между суммой баллов первого и второго экспертов; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное);
Пример 1.
| № позиции оценивания | Сумма баллов | ||||||||||||
| Эксперт 1 | |||||||||||||
| Эксперт 2 |
В приведенном примере разница между суммами баллов, выставленных экспертами, составляет 17-6 = 11 баллов. Ситуация свидетельствует о явном рассогласовании в работе экспертов ПК. Необходимо выявить системность данной ситуации для каждого из экспертов пары, причины.
|
|
|
случаи существенной разницы в баллах, выставленных за каждую позицию оценивания; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное);
Пример 2.
| № позиции оценивания | Сумма баллов | ||||||||||||
| Эксперт 1 | |||||||||||||
| Эксперт 2 | |||||||||||||
| Эксперт 3 |
В приведенном примере разницы между суммами баллов, выставленных экспертами, нет: все 3 эксперта выставили суммарно 11 баллов. Тем не менее, ситуация рассогласования в оценивании очевидна: Эксперт 2 выставил баллы, которые по каждой отдельной позиции оценивания отличаются от баллов, выставленных Экспертом 1 (16 баллов) и Экспертом 3 (16 баллов). В отношении результатов оценивания Экспертом 1 и Экспертом 3 можно сказать, что эти результаты отличаются на 1 балл только по двум позициям оценивания из 12, что свидетельствует о поддержке этими экспертами единых подходов к оцениванию работ.
случаи существенной разницы в баллах, выставленных за каждую позицию оценивания; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное);
Пример 3.
| № позиции оценивания | Сумма баллов | ||||||||||||
| Эксперт 1 | |||||||||||||
| Эксперт 2 | |||||||||||||
| ИТОГ | |||||||||||||
| Эксперт на апелляции |
В приведенном примере эксперты во время проверки вынесли весьма согласованный результат. Тем не менее, на апелляции балл изменяют на 7 первичных баллов относительного итогового по результатам оценивания двух экспертов. Очевидна либо ситуация несогласованности подходов к оцениванию экспертом, проверявшим работу на апелляции, либо наличие процедурных нарушений или заинтересованности этого эксперта.
|
|
|
другие случаи рассогласования работы экспертов, их описание, количественные показатели; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное).
13. Плановое количество экспертов ПК в следующем году, плановое количество экспертов, имеющих право осуществлять третью проверку, перепроверку, проверку апелляционных работ (экспертов, имеющих статус старшего или ведущего эксперта), предполагаемые показатели согласованности работы экспертов для присвоения статуса экспертам ПК при проведении квалификационных испытаний.
14. Планируемые изменения в процессах подготовки экспертов, формировании ПК, организации процедуры оценивания работ относительно предыдущего года.
15. Основные выводы.
|
|
|
