Влияние практического обучения на выполнение тестов

При оценивании влияния тренировки или практики на тестовые показатели основной вопрос заключается в том, ограничивается ли улучшение конкретными заданиями, включенными в определенный тест, или же оно распространяется на более широкую область поведения, для оценки которого и предназначен данный тест. Ответ на этот вопрос содержится в различии между практическим обучением (training) и тренировкой (coaching). Очевидно, что любой полученный индивидуумом учебный опыт, независимо от того, носит он формальный или неформальный характер, приобретен в школе или вне ее, должен отразиться на выполнении им тестов, которые выборочно проверяют релевантные аспекты поведения. Такое широкое воздействие никак не снижает валидность теста, поскольку тестовый показатель дает точную картину текущего статуса индивидуума в отношении исследуемых способностей. Разумеется, обсуждаемое различие — это различие в степени. Воздействия невозможно классифицировать на узкие или широкие, поскольку они значительно варьируют по своим масштабам: от воздействий, влияющих на единственное применение единичного теста, к воздействиям, сказывающимся на выполнении всех заданий определенного типа, до воздействий, изменяющих выполнение индивидуумом подавляющего большинства операций. Однако, с точки зрения эффективного тестирования, можно ввести рабочий критерий для разграничения воздействий учебного опыта. Так, например, можно принять, что тестовый показатель становится невалидным только в тех случаях, когда конкретный опыт повышает его, не оказывая при этом заметного влияния на область поведения, для измерения которого предназначен данный тест.

Тренировка. Влияние тренировки на тестовые показатели исследовалось достаточно широко. Несколько ранних исследований было проведено английскими психологами, которых особенно интересовало воздействие практики и тренировки на тесты, применявшиеся при распределении 11-летних детей в средние школы разного типа (Yates et al., 1953-1954). Как и можно было ожидать, степень улучшения зависела от способностей и предшествовавшего тренировке образовательного опыта, характера теста, а также количества и типа тренировок. Дети с пробелами в образовании, по всей вероятности, извлекали больше пользы из специальной тренировки по сравнению с детьми, получившими хорошее образование и, следовательно, уже подготовленными к тому, чтобы хорошо выполнить тесты. Очевидно также, что чем выше сходство между содержанием теста и материалом тренировки, тем большего повышения тестовых показателей можно ожидать. С другой стороны, чем меньше обучение выхо-

40

Часть 1. Функции и истоки психологического тестирования

дит за пределы содержания конкретного теста, тем менее вероятно распространение улучшения на деятельность, результаты которой используются в качестве критериальной меры валидности этого теста. Попутно следует отметить, что многие исследования влияния тренировки на выполнение тестов дают неоднозначные и неинтерпре-тируемые результаты из-за серьезных методологических изъянов (Anastasi, 1981a; Bond, 1989; Messick, 1980a), главный среди которых — неспособность найти нетренированную контрольную группу, которая действительно была бы сопоставимой с тренированной группой. Например, учащиеся, записавшиеся на платные подготовительные программы, представляют собой самосформировавшуюся выборку и, в целом, отличаются от учащихся контрольной группы по начальному уровню способности, мотивации и другим личным качествам, которые влияют на выполнение теста. Далее, в экспериментальных планах, предполагающих использование тестирования до и после тренировки, трудно обеспечить одинаковую мотивацию испытуемых выполнить тесты как можно лучше в обоих случаях; и это практически не удается сделать, когда одно обследование проводится во время регулярной, формальной проверки знаний учащихся, а другое — в неурочное время и в неформальной обстановке, ради практики или с исследовательскими целями.

Совет по вступительным экзаменам в колледжи США (College Entrance Examination Board) был обеспокоен расширением числа недобросовестно работающих коммерческих подготовительных курсов для абитуриентов. Чтобы прояснить этот вопрос, Совет колледжей провел ряд хорошо спланированных экспериментов для определения влияния обеспечиваемой этими курсами тренировки (или, точнее, натаскивания) на выполнение Теста академических способностей (SAT), а также подготовил обзор результатов, полученных в аналогичных исследованиях другими, независимыми специалистами (Donlon, 1984; Messick, 1980a, 1981; Messick & Jungeblut, 1981). Эти исследования охватывали широкое множество методик тренировки, проводившейся с учащимися как государственных, так и частных средних школ, и проводились на выборках школьников, принадлежащих к разным слоям населения, включая меньшинства из городских и сельских районов. Общий вывод таков: интенсивное натаскивание в выполнении заданий, сходных с заданиями SAT, едва ли приводит к более заметному приросту тестовых показателей по сравнению с тем, который наблюдается в случае повторного проведения 5АГпосле года регулярного обучения в средней школе.

Следует также отметить, что Совет колледжей и Совет по проведению письменных экзаменов для аспирантов (Graduate Record Examination Board) при создании собственных тестов исследуют новые типы заданий на подверженность тренировке (Evans & Pike, 1973; Powers, 1983; Powers & Swinton, 1984; Swinton & Powers, 1985). Типы заданий, выполнение которых можно заметно улучшить краткосрочными тренировками или узко направленным обучением, исключаются из действующих форм тестов. Ясным примером мог бы служить тип задач, для решения которых требуется простой акт инсайта; стоит испытуемому догадаться, как решить одну такую задачу, он легко справится и со всеми остальными, прямо распространяя на них найденное решение. Если такие задания встретятся испытуемому при последующем тестировании, они будут скорее проверять способность воспроизводить материал по памяти, чем навыки решения задач. Другим примером служат типы сложных заданий, включающих новый или необычный материал и требующих длинных и сложных инструкций (Powers, 1986).

Назначение тренировки (coaching) в узком, традиционном смысле этого слова — развить высоко специфичные навыки, которые могут вообще не иметь применения в

Глава 1. Природа и назначение психологических тестов

41

реальной жизни, за исключением единичной ситуации тестирования. Подобным же образом, практика «обучения тому, как пройти тест», обычно сосредоточена на конкретной выборке знаний и умений, охватываемых этим тестом, и не затрагивает более широкую область знаний, которую пытаются оценить с помощью данного теста. Так называемые законы о «правдивости в тестировании», или о раскрытии информации, требующие полного доступа к формам теста после его единственного проведения, также способствуют сосредоточению на связанных с конкретным тестом навыках ограниченной применимости. Наконец, поскольку тренировка доступна одним и не доступна другим, она имеет тенденцию вносить индивидуальные различия в строго определенные навыки тестируемых, снижая тем самым диагностическую ценность теста.

Тестовая искушенность. В связи с обсуждаемой проблемой уместно коснуться так называемой тестовой искушенности, или приобретения обширной практики выполнения тестов. При проведении исследований с параллельными формами одного теста обнаруживается тенденция к некоторому повышению результатов второго тестирования. О существенном приросте средних тестовых показателей сообщалось в тех случаях, когда параллельные формы теста предъявляли испытуемым либо непосредственно одна за другой, либо с интервалом, колеблющимся от одного дня до трех лет (Donlon, 1984; Droege, 1966; Peel, 1951,1952). Сходные результаты были получены на выборках нормальных и интеллектуально одаренных учеников младших классов, учащихся средних школ и колледжей и служащих. Вообще говоря, данные о распределении приростов показателей при повторном тестировании с использованием параллельных форм теста должны приводиться в руководстве к нему, а возможность прироста тестовых показателей в подобных условиях — должны приниматься в расчет при их интерпретации.

Разумеется, круг факторов, вызывающих прирост тестовых показателей, не ограничивается применением параллельных форм теста. Человек, имеющий богатый опыт в выполнении стандартизованных тестов, приобретает тем самым определенные преимущества перед теми, кто впервые участвует в тестировании (Millman, Bishop, & Ebel, 1965; Rodger, 1936). Отчасти эти преимущества вытекают из преодоленного чувства неестественности происходящего, развившейся уверенности в себе и более позитивного отношения к тестовой ситуации. Отчасти же они вызваны некоторым перекрытием содержания и функций большинства тестов. Хорошее знакомство с типами обычных тестовых заданий и практика в заполнении опросных листов также могут несколько улучшить выполнение теста. Особенно важно принимать во внимание тестовую искушенность в случаях, когда сравниваются показатели лиц, опыт которых в прохождении тестирования мог существенно различаться. При компьютерном тестировании следует обращать особое внимание на знакомство тестируемых с этой формой проведения тестов (Hofer & Green, 1985).

Короткие ориентировки и практические занятия могут быть достаточно эффективными при выравнивании тестовой искушенности испытуемых (Anastasi, 1981a; Wahlstrom & Boersman, 1968). Такое ознакомительное обучение по существу ослабляет влияние различий в предшествующем опыте тестируемых. Поскольку эти индивидуальные различия специфичны для конкретной тестовой ситуации, их снижение дало бы возможность более валидной оценки той широкой области поведения, для измерений в которой предназначен определенный тест. Этот подход можно проиллюстрировать на примере издания Совета колледжей «Как пройти SAT I: Тест рассуждений» (Taking the SAT I: Reasoning Test) — брошюры, раздаваемой всем абитуриентам, зарегистрировавшимся для прохождения этого теста. Брошюра дает советы по поводу

42

Часть 1. Функции и истоки психологического тестирования

того, как лучше вести себя во время тестирования, содержит примеры и объяснения различных типов заданий, включенных в тест, и воспроизводит полную форму теста вместе с ключом, рекомендуя учащимся выполнить его за установленное стандартом время и оценить свой результат. Аналогичная брошюра — «Как пройти SAT II: Предметные тесты» (Taking SATII: Subject Tests) — иллюстрирует и объясняет задания из тестов по разным предметам.

Совет по проведению письменных экзаменов для аспирантов (GRE) также предоставляет ознакомительные материалы по своему тесту. «Информационный бюллетень» (Information Bulletin), распространяемый среди всех поступающих в аспирантуру, дает объяснения образцов заданий из Общего теста (General Test) и, кроме того, публикует полную форму теста (с ключом для оценки результатов), проводившегося в прошлом году. Дополнительные формы теста регулярно публикуются в сборнике вариантов GRE: «Подготовка к Общему тесту GRE» (Practicing to Take the GRE General Test). Имеются аналогичные практические брошюры, содержащие частные тесты GRE по отдельным предметным областям.

Произошедшее в 1980-х и 1990-х гг. увеличение количества ознакомительных материалов по официально проводимым тестам коснулось не только печатной продукции, но и диафильмов, слайдов, микрофильмов, видеокассет и компьютерных программ. Большинство этих материалов было разработано и распространяется Службой тестирования в образовании (Educational Testing Service). Некоторые из них предназначены для использования с конкретными тестами, как демонстрационные слайды, входящие в комплект брошюр по SAT, и инструкции по интерпретации тестовых показателей SATm тестов достижений Совета колледжей. Компьютерная программа, облегчающая понимание показателей SA Т, также доступна для всех желающих. Сравнительно сложный пакет обучающих компьютерных программ был разработан для студентов, планирующих пройти Общий тест GRE. Благодаря диалоговому режиму работы, этот пакет обеспечивает предъявление пробных заданий, создает условную, нормированную по времени ситуацию тестирования, дает объяснения неправильных ответов на задания и анализ сильных и слабых сторон проходящего тест студента.

Другие материалы (печатная продукция, микрофильмы, мультимедийные комплекты и компьютерные программы) предназначены для более общей ориентации тестируемых, круг которых значительно шире: от учеников младших классов до взрослых. Примером может служить видеодиск «Как самостоятельно подготовиться к стандартизованным тестам» (On Your Own: Preparing for a Standardized Test, 1987), созданный для учащихся средних школ, которые могут работать с ним как индивидуально, так и в группах. Другой пример — простое, исчерпывающее руководство в форме книги — «Как пройти тест: Сделай все от себя зависящее!» (How to Take a Test: Doing Your Best — Dobbin, 1984). Ряд вспомогательных средств для обеспечения ориентировки лиц, проходящих тестирование, был также подготовлен несколькими крупными коммерческими издательствами тестов и правительственными организациями. Примером последних может служить набор материалов для использования с Батареей тестов общих способностей (GATB) Службы занятости США.

Обучение широким когнитивным умениям. Некоторые исследователи пытались найти способы повышения уровня выполнения тестов, продвигаясь в противоположном направлении. Их цель — развитие широко применимых интеллектуальных умений, трудовых навыков и стратегий решения задач. Эффекты такого вмешательства должны, вероятно, проявляться как на уровне тестовых показателей, так и на уровне выбранной в качестве критерия реальной деятельности, например учебной деятельно-

Глава 1. Природа и назначение психологических тестов                                                      43

сти в колледже. В соответствии с разграничением, введенным в самом начале этого раздела, предназначение программ этого типа — обеспечить обучение, а не тренировку. В рамках этого направления одни исследователи работали с обучаемыми умственно отсталыми детьми и подростками (Babad & Budoff, 1974; Belmont & Butterfield, 1977; A. L. Brown, 1974; Budoff & Corman, 1974; Campione & Brown, 1979, 1987; Feuerstein, 1979,1980; Feuerstein, Rand, Jensen, Kaniel, & Tzuriel, 1987). Другие сосредоточились на помощи студентам колледжей и профессиональных школ, имеющим — по разным причинам — существенные пробелы в школьном образовании (Linden & Whimbey, 1990; Whimbey, 1975,1977,1980).

Многие из используемых в этих программах методик обучения предназначены для развития эффективной деятельности решения задач (problem - solving): обучения (и приучения) тщательно анализировать задачи или вопросы, учитывать все альтернативы, релевантные частности и следствия при поиске решения, взвешенно, а не импульсивно формулировать или выбирать ответы, и применять высокие стандарты при оценивании собственной деятельности. Все это имеет отношение к стратегиям, которые должны улучшить функционирование интеллекта индивидуума не только в ситуации выполнении теста, но также в процессе учебных и многих других повседневных занятий, зависящих от формального обучения. И все же решающим остается вопрос о степени переноса и распространимости таких эффектов на более широкое содержание и разнообразные условия деятельности по сравнению с используемыми в ходе обучения. Результаты, о которых сообщалось до сих пор, выглядят многообещающими. Однако эти программы все еще находятся в стадии опробования, и для установления широты и прочности достигаемых в их рамках эффектов улучшения необходимы дальнейшие исследования.

Краткий обзор. Мы рассмотрели три типа предваряющего тестирование обучения, существенно различающихся по своим целям. Как эти типы обучения влияют на ва-лидность теста и его практическую полезность как оценочного инструмента? Первый тип — тренировка, в смысле интенсивных, многократных упражнений на материале заданий, сходных с заданиями теста. Как отмечалось, в хорошо сконструированных тестах типы заданий отбираются с целью минимизировать чувствительность теста к такому натаскиванию тестируемых; кроме того, в них предусмотрена защита конкретного содержания заданий от несанкционированного доступа. Если даже подобная тренировка и улучшает результаты выполнения теста, соответствующего улучшения в критериальной деятельности обычно не происходит. В связи с этим предваряющая тестирование тренировка может приводить к снижению валидности теста. В результате тест становится менее эффективным средством измерения тех широких способностей, для оценки которых он предназначен, и менее точным средством определения того, обнаружил ли конкретный человек знания и умения, необходимые для успешной деятельности на занимаемом месте.

С другой стороны, ознакомительные мероприятия, ориентирующие испытуемых в основном содержании, процедурах и условиях проведения тестов, имеют целью устранение или выравнивание различий в их опыте прохождения тестов к моменту тестирования. Подобно эффектам тренировки, эти различия представляют собой условия, влияющие на тестовые показатели как таковые, не обязательно сказываясь на более широкой области измеряемого поведения. Следовательно, такие ознакомительные мероприятия должны повышать валидность теста за счет ослабления влияния связанных со спецификой тестирования факторов.

44

Часть 1. Функции и истоки психологического тестирования

Наконец, практическое обучение широко применимым когнитивным умениям, при условии его эффективности, должно улучшать способность обучаемого справляться с интеллектуальными задачами в последующем. Это улучшение может и должно отражаться на выполнении тестов. Поскольку в результате такого обучения улучшаются как тестовые показатели, так и критериальная деятельность, оно не сказывается на валидности теста, но повышает шансы индивидуума достичь желаемых целей.