 |
Элементы композиции заданий. Тема: Математико-статистическая обработка эмпирических данных. Показатели качества тестовых заданий
|
|
|
|
Элементы композиции заданий
Композиция тестовых заданий – соединение элементов, позволяющее выразить содержание и форму каждого задания в гармоничной целостности. Ниже изложены требования к композиции согласно В. С. Аванесову.
1. Инструкция. Тестирование начинается с короткой и четкой инструкции. Инструкция общая для всех испытуемых. Если все задания одной формы, инструкция пишется 1 раз. При каждом изменении формы инструкция меняется.
| Форма задания | Инструкция |
| С выбором одного правильного ответа | Обвести кружком номер правильного ответа |
| С выбором нескольких правильных ответов | Обвести кружком номера всех правильных ответов |
| Открытой формы | Дополнить |
| На установление соответствия | Установите соответствие |
| На установление правильной последовательности | Установите правильную последовательность |
2. Содержательная основа задания.
3. Ответы должны быть краткими. Ответы обычно замыкают задания.
С точки зрения других тестологов, например, А. Н. Майорова, минимальные требования к составу тестового задания состоят в наличии трех частей:
1. Инструкции
2. Текста задания (вопроса)
3. Правильного ответа.
Инструкция должна содержать указания на то, что испытуемый должен сделать, каким образом выполнять задание, где и как делать пометки и записи, описывать то, что ученик должен " сделать руками", каким образом ему следует выполнять задание, где отмечать, как дописывать и т. д.
Например: Ответ запишите в рамку, которая находится ниже задания, для промежуточных вычислений используйте место слева от вопроса.
2. Текст задания или вопроса представляет собой содержательное наполнение задания. Некоторые авторы выделяют части текста задания.
|
|
|
Стимулирующий материал: материал, о котором говорится в вопросе, представлен обычно в виде текста, рисунка, таблицы или другого представления данных.
Ограничения ответа: вопрос должен быть высокого качества, чтобы предотвратить нежелательные интерпретации учеников, используя ограничения, такие как: " Вычислите до 2 десятичных знаков".
3. Правильный ответ или оценочная схема – обязательный атрибут любого тестового задания.
Основное требование к тестовым заданиям – тестовое задание должно иметь однозначный правильный ответ.
Тема: Математико-статистическая обработка эмпирических данных. Показатели качества тестовых заданий
Разработка тестовых заданий
Соответствие требованиям тестовой формы – необходимое, но не достаточное условие. Исход противоборства испытуемого с предлагаемым заданием оценивается баллом xij.
i – номер испытуемого;
j – номер задания.
Тестовые задания проходят процесс специальной апробации.
1. Экспертная проверка содержания.
2. Определение статистических характеристик заданий.
Тестовые свойства заданий:
1. Требования формы.
2. Известная трудность.
3. Технологичность.
4. Вариативность баллов.
5. Дифференцирующая способность.
6. Коррелируемость с критерием.
Для проверки тестовых свойств заданий используется матрица результатов тестирования. Матрица – компактная форма записи элементов, связанных общностью содержания. В матрице тестовых результатов количественные данные представляются в систематизированной и сжатой форме, чтобы обеспечить их дальнейшую обработку и интерпретацию. Формирование матрицы начинается с выбора определенного правила для оценки ответов учеников на задания теста. Обычно результаты ответов оцениваются дихотомически, а именно: за каждый правильный ответ учащийся получает один балл, а за неправильный ответ или за пропуск задания – нуль баллов.
|
|
|
Строки матрицы, состоящие из нулей и единиц, соответствуют ответам учеников на различные задания теста. По столбцам располагаются профили ответов испытуемых на каждое задание теста.
Пример: 4 испытуемых, 5 заданий.
| Испытуемые | Номера заданий | Yi | ||||
| Гусев | ||||||
| Ежов | ||||||
| Канарейкин | ||||||
| Медведев | ||||||
| Rj | ||||||
Из матрицы тестовых результатов устраняются строки и столбцы, состоящие только из нулей или только из единиц.
Индивидуальный тестовый балл испытуемого получается суммированием всех единиц, полученных им за правильно выполненные задания теста. Сложение по строкам дает тестовый балл испытуемого Yi.
Сложение по столбцам дает тестовый балл задания Rj.
Матрица упорядочивается по испытуемым и по заданиям. Для этого производят перестановку столбцов, располагая числа Ri в порядке убывания. Затем меняют местами строки матрицы так, чтобы верхняя строка соответствовала обучаемому с максимальным индивидуальным тестовым баллом. Значения Yi располагают сверху вниз в порядке убывания.
1 строка – самый успешный испытуемый.
Последняя строка – самый неуспешный испытуемый.
1 столбец – самое легкое задание.
Последний столбец – самое трудное задание.
Доля правильных ответов на задание 
.
Rj – число правильных ответов на j-е задание.
Доля неправильных ответов на задание 
.
Wj – число неправильных ответов на j-е задание.
N – число испытуемых.
Справедливо соотношение 
, поскольку 
.
Высокая технологичность позволяет весь процесс тестирования вести с помощью технических средств (точно, быстро, экономно, объективно).
Вариация баллов предполагает неодинаковость ответов различных испытуемых на данное задание. Вариация равна 0, если в столбце одни 1 или 0. Вариация максимальна, если 
.
Мера вариации тестовых баллов – стандартное отклонение sy. Дисперсия тестовых баллов составляет 
. Стандартное отклонение и дисперсия вычисляются программой MS Excel и другими программами статистической обработки данных.
|
|
|
Дифференцирующая способность – способность отличать сильных испытуемых от слабых.
Коррелируемость задания с критерием рассчитывается по классическому коэффициенту корреляции Пирсона rxy. Этот коэффициент вычисляется программой MS Excel и другими программами статистической обработки данных. В качестве критерия используется вектор-столбец индивидуальных тестовых баллов испытуемых. Чем выше rxy, тем больше вероятность превращения задания в тестовой форме в тестовое задание. Норма включения задания в тест rxy ≥ 0, 4. При rxy ≤ 0, 2 задание безусловно удаляется.
В полной корреляционной матрице представляются также интеркорреляции – коэффициенты корреляции каждого задания со всеми остальными заданиями. Отрицательная интеркорреляция указывает на разнонаправленность вариации баллов.
Производится графическая интерпретация эмпирических данных. Эмпирические результаты тестирования можно представить, например, в виде гистограммы.
|
|
|
