 |
Понятие эффективности теста
|
|
|
|
Курсовая работа
«Использование языка программирования Visual Basic for Applications (VBA) для обработки результатов АСТ - тестирования»
Панасенко Н.С., студент
3 курса группы Ф-053
Научный руководитель: Павлова Т.Ю.
Оценка:
Роспись:
Кемерово, 2008
Оглавление
1. Введение ……………………………………………………………...……3
2. Теория тестирования……………………………………………………….4
2.1 Тест как система заданий……………………………………………...…..4
2.2 Понятие эффективности теста………………………………………..…...7
3. Качество тестовых заданий……………………………………….….…..10
3.1 Проверка качества тестовых заданий………………………………..…..10
3.2 Матрица результатов………………………………………………….…..11
3.3 Работа с матрицей результатов…………………………………………..13
3.4 Современный подход к понятию «трудность»……………………….....17
4. Вариация, дисперсия баллов и дифференцирующая способность…….18
5. Visual Basic for Applications (VBA)……………………………………/..21
5.1 Объектные модели …………………………………………………..…...22
5.2 Основы VBA…………………………………………………………..…..22
5.3 Классы объектов……………………………………………………...…...23
5.4 Свойства объектов………………………………………………………...25
5.5 Методы………………………………………………………………..…...26
5.6 Редактор VBE………………………………………………………..……26
5.7 Иерархия объектов…………………………………………………..……27
5.8 Свойства объектов……………………………………………………..…28
5.9 Методы объектов………………………………………………………...30
6. Практическая часть……………………………………………………….32
7. Заключение ……………………..………………………..………………38
8. Список использованной литературы…………………………………….39
9. Приложения……………………………………………………………….40
|
|
|
1 .Введение
В настоящее время заметна тенденция к переходу от традиционной формы контроля знаний, например, экзаменов, контрольных работ к тестированию.
Это проявляется во введении Единого Государственного Экзамена (ЕГЭ), замене экзаменов и даже зачётов в ВУЗах в устной форме на тест. В связи с этим, проблемы измерения качества для педагогических измерений является ключевой. Именно поэтому в теории важную роль играют вопросы достижения и проверки качества тестирования. В практике некачественное измерение приводит к ошибкам при аттестации выпускников школ и вузов, при приёме абитуриентов в ВУЗы, оценке кадров при профотборе.
Также на актуальность данной проблемы указывает нынешняя практика, основанная на метафорических названиях и спорных идеях.
Целью данной работы будет являться изучение теории тестирования, методов определения надёжности тестовых результатов, а также написание программы для обработки результатов АСТ – тестирования. Эта система используется в нашем ВУЗе для проведения тестирования.
Программирование будет осуществляться с помощью языка программирования Visual Basic for Applications (далее VBA), встроенного в пакет Microsoft Office. Результаты будут предоставляться преподавателям, а также использоваться для коррекции тестовой базы.
Теория тестирования
Тест как система заданий
Система означает, что в тесте собраны такие задания, которые обладают системообразующим свойствами. Хотя любой тест состоит из тестовых заданий, последние представляют не совокупность произвольно объединенных заданий, а именно систему. Тест, как система, обладает составом, целостностью и структурой.
Тест состоит из:
1)Заданий
2)Правил их применения;
3)Оценок за выполнение каждого задания;
4)Рекомендаций по интерпретации тестовых результатов.
Целостность означает взаимосвязь заданий, их принадлежность общему измеряемому фактору. Каждое задание теста выполняет отведенную ему роль и потому ни одно из них не может быть изъято из теста без потери качества измерения.
|
|
|
Структура теста образует способ связи заданий между собой. В основном, это так называемая факторная структура, в которой каждое задание связано с другими через общее содержание и общую часть вариации тестовых результатов.
Проявлению системного качества теста способствует и единая дисциплинарная общность заданий, реализующая идею измерения подготовленности испытуемых по одной какой-либо определенной учебной дисциплине. Совокупность таких заданий, отобранных в соответствии с требованиями теста, образует гомогенный тест, измеряющий одно какое-либо качество (свойство).
Время нередко называется в качестве другого системообразующего фактора. Действительно, одно из соображений, положенных в основу создания тестов- иметь инструмент быстрого и относительно точного оценивания больших контингентов испытуемых.
Требование экономии времени становится естественным в массовых процессах, каковым и стало образование.[1] Одно из актуальных направлений современной организации тестового контроля- это индивидуализация контроля, приводящая к значительной экономии времени тестирования. Контроль ведется с помощью заранее откалиброванных, по трудности, заданий.
Другая сторона вопроса заключается в том, что от времени тестирования существенно зависит качество результатов. Каждый тест имеет оптимальное время тестирования, уменьшение или превышение которого снижает качественные показатели теста. Оптимальное время тестирования определяется эмпирически, по показателю дисперсии тестовых данных. Если по оси абсцисс отложить время тестирования, а по оси ординат- значение дисперсии тестовых результатов, получаемое после каждого пробного контроля, то соединив точки, получим представление об изменении дисперсии; максимум значения последней укажет на оптимум времени, необходимого для тестового контроля.
Определенное содержание означает использование в тесте только такого контрольного материала, который соответствует содержанию учебного курса; остальное содержание в тест не включается ни под каким предлогом.
|
|
|
Содержание теста существует, сохраняется и передается в одной из четырех основных форм заданий. Вне тестовых форм ни тест, ни его содержание не существуют. Внеучебное содержание в тест не включается.
Содержание теста проходит экспертизу у опытных педагогов, которые призваны дать ответ на главный вопрос- можно ли с помощью предложенных заданий корректно оценить содержание, уровень и структуру знаний у данного контингента испытуемых? При оценке содержания теста всегда возникают вопросы о цели теста, его содержания и качества.
Анализ содержания заданий, а следовательно, и теста в целом, позволяет определить знания, умения, навыки и представления, требуемые для правильного выполнения задания. При применении заданий в тестовой форме для аттестации выпускников образовательных учреждений важно иметь такие задания, которые позволяют делать вывод о минимально допустимой компетентности выпускников.[2]
Качество теста традиционно сводится к определению меры его надежности и вопросов валидности полученных результатов. Как и объективным, качественным можно назвать только тот метод измерения, который обоснован научно и способен дать требуемые результаты.
В западной литературе традиционно рассматривается два основных критерия качества: валидность и надежность.
Валидность означает пригодность тестовых результатов для той цели, ради чего проводилось тестирование. Валидность зависит от качества заданий, их числа, от степени полноты и глубины охвата содержания учебной дисциплины (по темам) в заданиях теста. Кроме того, валидность зависит также от баланса и распределения заданий по трудности, от метода отбора заданий в тест из общего банка заданий, от интерпретации тестовых результатов, от организации сбора данных, от подбора выборочной совокупности испытуемых.
Понятие эффективности теста
Эффективным можно назвать тест, который лучше, чем другие тесты, измеряет знания испытуемых интересующего уровня подготовленности, с меньшим числом заданий, качественнее, быстрее, дешевле, и все это- по возможности, в комплексе.
|
|
|
С понятием "эффективность" сопряжено и близкое к нему по содержанию понятие "оптимальность". Последнее трактуется как наилучшее из возможных вариантов, с точки зрения удовлетворения нескольким критериям, взятым поочередно или вместе.
Эффективный тест не может состоять из неэффективных заданий. В таком случае естественно поставить вопрос о признаках, которые отличают эффективное задание от неэффективного. С точки зрения содержания, эффективное задание проверяет важный элемент содержания учебной дисциплины, который нередко называют ключевым для требуемой структуры знаний испытуемых. В тест соответственно включаются только такие задания, которые эксперты признают в качестве ключевых элементов изучаемой учебной дисциплины.
В определении эффективности теста обращается внимание на два ключевых элемента- это число заданий теста и уровень подготовленности испытуемых.
Если из какого-либо теста с большим числом заданий сделать оптимальный выбор меньшего числа, то может образоваться система, не уступающая заметно по своим свойствам тесту со сравнительно большим числом заданий. Тест с меньшим числом заданий в таком случае можно называть сравнительно более эффективным.
Помимо этого, эффективность теста можно оценить с точки зрения соответствия уровня его трудности уровню подготовленности тестируемых в данный момент испытуемых. Эту оценку в литературе нередко относят к валидности, имея в виду идею валидности теста, так сказать, по уровню.
Легко понять практическую бесполезность того, чтобы давать слабым испытуемым трудные задания; большинство испытуемых, вероятнее всего, не сумеют правильно на них ответить. Так же обстоит дело и с легким тестом: его бесполезно (неэффективно) давать знающим испытуемым, потому что и здесь высока вероятность, но теперь уже правильных ответов, и потому практически все испытуемые получат по тесту одинаково высокий балл. И в том, и в другом случае испытуемые не будут различаться между собой.
Измерение, таким образом, не состоится по причине несоответствия уровня трудности теста уровню подготовленности. Из этих соображений легко вывести, что самый эффективный тест- это тест, точно соответствующий по трудности заданий уровню подготовленности испытуемых.
Эффективность тестов может зависеть и от формы. Нарушение тестовой формы всегда приводит к худшему выражению содержания и к худшему пониманию смысла задания испытуемыми.
|
|
|
Эффективность теста зависит также и от принципа подбора заданий. Если подбирать задания для измерения на всем диапазоне изменения трудности, то снижается точность измерения на отдельном участке. И наоборот, если стремится точно измерить знания испытуемых, например, среднего уровня подготовленности, то это потребует иметь больше заданий именно данного уровня трудности.
Поэтому тест не может быть эффективным вообще, на всем диапазоне подготовленности испытуемых. Он может быть более эффективен на одном уровне знаний и менее- на другом. Именно этот смысл вкладывается в понятие дифференциальной эффективности теста.
Соответствие уровня трудности теста уровню подготовленности испытуемых можно попытаться оценить показателем количества информации, получаемой в процессе измерения. Впервые этот показатель в практику тестирования ввел А. Bimbaum.
Качество тестовых заданий
|
|
|
