Содержательная валидность.

Г.8. Если деятельность по выполнению теста интерпретируется как репрезента­тивная выборка из видов деятельности в общем множестве ситуаций, в руковод­стве необходимо дать четкое определение учитываемого общего множества и опи­сать критерии отбора выборки из него. (Существенно.)

Комментарий. В определение не должны включаться предположения о де­терминирующих деятельность психичес­ких процессах, т. к. это объект не содер­жательной, а конструктной валидности.

Г.8.1. Если вопрос о соответствии вы­борки заданий их общему множеству или о точности выставления оценок решали эксперты, в руководстве должен быть опи­сан соответствующий профессиональный опыт и квалификация экспертов, а также инструкции, на основании которых проводилась экспертная оценка. (Очень жела­тельно.)

Г.8.1.1. Если задания отобраны экспер­тами, то должна быть обобщена степень согласованности между их суждениями. (Желательно.)

Г.8.1.2. Содержание теста должно быть проверено относительно возможно­сти смещения. (Желательно.)

Комментарий. Смещение может иметь место, если задания не представля­ют сравнимых видов деятельности и по­этому не являются выборкой из области деятельности, общей для различных подгрупп. Такое смещение следует выявлять с помощью достаточно полных суждений экспертов. Изучение установок или интер­претаций заданий в различных подгруппах также дает полезную информацию. Суж­дения о смещении могут быть сами смеще­ны — следует придерживаться принципа, что по возможности суждения должны подтверждаться статистическими дан­ными.

Г.8.2. В руководствах к тестам дости­жений учебных результатов должна быть сообщена система классификации, ис­пользованная для отбора заданий. (Жела­тельно.)

Г.8.2.1. Если тест достижений был разработан в соответствии с двумерной схемой «темы—процессы», в руководстве должна быть представлена эта схема с пе­речислением заданий, относимых к каж­дой клетке схемы. (Очень желательно.)

Г.8.3. Для любого утверждения о свя­зи заданий с изучаемым предметом (или другими источниками содержания) в руко­водстве должна быть указана дата, когда изучаемый предмет был разработан. (Существенно.)

Г.8.4. Если тест описан как валидный по содержанию труда или видов трудовой деятельности, в свидетельствах о валидно­сти должно быть полное описание трудо­вых обязанностей, относительная частота, важность, а также уровень умений, тре­бующихся при их выполнении. (Суще­ственно.)

Конструктная валидность.

Г.9. Если автор интерпретирует тест как меру диагносцируемого конструкта (способности, черты установки), то долж­на быть полностью изложена предпола­гаемая интерпретация. Этот конструкт должен быть полностью ограничен от ин­терпретаций, вытекающих из других тео­рий. (Существенно.)

Комментарий. Например, если тест предназначен для измерения конст­рукта «тревожность», автор теста должен отразить отличия самого определения дан­ного конструкта от некоторого другого возможного значения термина, которое подразумевается, и должен соотнести свою концепцию с мерами тревожности, рассмотренными в литературе.

Описание конструкта может быть простым, например определение «креатив­ности» как «совершения многих ориги­нальных действий». Все подобные харак­теристики или гипотезы являются частью авторской концепции.

Г.9.1. В руководстве должна быть от­ражена степень случайности предложен­ной интерпретации и обобщены исследо­вания гипотез, вытекающих из данной те­ории. (Существенно.)

Г.9.1.1. Каждое исследование, содер­жащее теоретические выводы о тесте, дол­жно быть отражено так, чтобы были рас­крыты и операциональные процедуры ис­следования, и соотнесение результатов с теорией. (Очень желательно.)

Г.9.1.2. В руководстве должны быть сообщены корреляции между тестом и другими тестами, для которых интерпре­тация относительно ясна. (Очень жела­тельно.)

Г.9.2. В руководстве необходимо приве­сти доказательства степени, с которой дру­гие конструкты, отличающиеся от пред­полагаемого автором, объясняют диспер­сию баллов теста. (Очень желательно.)

Комментарий. Хотя неразумно требовать от автора теста предвосхище­ния или включения в руководство каждой противоположной интерпретации, он все же должен представить достаточные данные о противоположных гипотезах, наибо­лее вероятно объясняющих дисперсию те­стовых баллов.

Г.9.2.1. В руководстве к любому специ­ализированному тесту или вопроснику, используемому в образовательном отборе, профориентации, необходимо приводить корреляцию его баллов с общепринятыми мерами вербальной и вычислительной спо­собности в соответствующей популяции. (Очень желательно.)

Г.9.2.2. В руководстве должна быть представлена информация о факторных исследованиях (если тест подвергался им), показывающих процент тестовой дис­персии, выявляемой хорошо известными факторами. (Желательно.)

Г.9.2.3. Для опросников, являющихся мерами личности, интересов или устано­вок, должны быть представлены дока­зательства степени, с которой оценки чувствительны к попыткам испытуемых представить социально желаемую (кон­формную) картину своей личности или с которой баллы могут отражать другие ис­кажающие особенности ответов. Такие виды ответов должны изучаться в первую очередь для определенных выборок, а не для более общей генеральной выборки. Могут быть представлены корреляцион­ные или экспериментальные исследова­ния. (Очень желательно.)

Г.9.2.4. Если тест, проводимый с огра­ничением во времени, интерпретируется в качестве измеряющего гипотетическое психологическое свойство, не связанное специально с быстротой выполнения тес­та, то должны быть представлены свиде­тельства о влиянии скорости на тестовые баллы и об их корреляции с другими пере­менными. (Существенно.)

Комментарий. Наиболее полным доказательством влияния скорости выпол­нения может быть сравнение баллов по двум формам с обычным ограничением при неограниченном времени. Корреляция баллов этих вариантов имеет ограничен­ный смысл, т. к. эти два балла не являют­ся независимыми. Менее исчерпывающим доказательством является процент испы­туемых, ответивших на последнее задание или некоторое задание, близкое к концу теста, за время, отведенное на выполне­ние теста. Если этот процент ниже 90, не­обходимо более глубокое исследование, чтобы показать, что индивидуальные раз­личия по тесту существенно не отражают скорости.

Г.9.2.5. Если различия в стратегии вы­полнения теста влияют на интерпретацию баллов, связанных с определенными ха­рактеристиками подгрупп, об этом долж­на быть дана ясная информация или ясно указано на отсутствие ее. (Очень жела­тельно.)

Г.9.2.6. Если свидетельство против противоположной интерпретации основа­но на низкой корреляции при малом раз­личии между группами, в руководстве не­обходимо сообщить доверительность по­правки или обсудить ошибки измерения, которые могли снизить соответствующую зависимость. (Желательно.)

 

Д. Сведения о процедуре примене­ния теста.

Интерпретация тестов и средств изме­рения, так же как и результатов экспери­мента, наиболее надежна, когда измере­ния ведутся в стандартизированных и кон­тролируемых условиях. Конечно, в тести­ровании существуют ситуации, когда важ­но систематически менять обстоятельства для максимального понимания деятельно­сти индивида. Например, исследователь может систематически менять процедуры в последовательных повторениях теста, чтобы выяснить пределы умения ребенка в определенной содержательной области. Тем не менее составитель теста должен сам предусмотреть стандартные процеду­ры, в которых возможна подобная модифи­кация. Вне стандартизации качество интерпретации может ухудшиться в степени, с которой различия в процедуре влияют на результаты тестирования.

Для большинства целей наибольший упор делается на строгую стандартизацию процедур проведения тестов и инструкций к нему. Если тест предназначен для раз­нообразных популяций, эти процедуры должны быть полностью доступны для всех испытуемых из каждой популяции.

Д.1. В руководстве к тесту должна быть указана квалификация и специализация, необходимая для проведения теста и его интерпретации. (Существенно.)

Комментарий. Однако из руко­водств в определении квалификации, не­обходимой для индивидуального тестиро­вания детей данным тестом, различают психологов, которые работают с детьми, и тех, кто работает только со взрослыми. Другое руководство указывает на специ­фичность тестирования учащихся, родной язык которых отличается от языка теста. Квалификация пользователя может быть описана путем указания на профиль специального обучения, которое в общем считается необходимым для достижения компетентности. В некоторых руковод­ствах к тестам могут выделяться наиболее частые источники ошибок применения те­ста и указываться виды обучения пользо­вателей, дающие возможность устранить эти ошибки.

Д. 1.1. Если тест рекомендован для не­скольких целей и типов заключений, в ру­ководстве следует указать степень обученности пользователей, необходимую для каждого применения. (Существенно.)

Д. 1.2. Если авторы предполагают, что тест может использоваться неспециалис­тами, то руководство должно быть напи­сано в форме, доступной их пониманию. (Существенно.)

Комментарий. С тестом могут иметь дело не только лица, специально обученные этому. Испытуемые, члены пе­дагогических и общественных комиссий, родители имеют также основание для суж­дений по тесту. Это их право не вступит в противоречие с необходимостью сохра­нять тайну, если им доступны описатель­ные и объясняющие материалы.

Д. 1.3. Руководство не должно допус­тить, чтобы тест понимался как «самоин­терпретирующийся». В нем должно быть указано, какую информацию о результа­тах тестирования возможно представить лицам, не имеющим необходимой для ин­терпретации подготовки. (Существен­но.)

Комментарий. Обычно жела­тельно получать интерпретацию оценок подготовленным лицам. Конечно, суще­ствуют тесты, результаты которых могут быть оценены испытуемыми; часто полез­но сообщать тестовые баллы учащимся и родителям. Если это практикуется, смысл данного требования в том, что должны да­ваться необходимые сведения по интер­претации этих баллов.

В руководстве должно быть указано, что может выполняться необученным ли­цом и что не может выполняться. Напри­мер, в одном руководстве к широко извест­ному тесту интересов указывается, что ис­пытуемые могут усвоить способы оценива­ния результатов собственных ответов, но подчеркивается, что они нуждаются в по­мощи квалифицированного учителя или консультанта при интерпретации резуль­татов и построении планов на будущее.

Д.2. В руководстве к тесту следует ука­зать степень необходимого для теста со­хранения тайны его содержания в ходе предварительной тренировки. (Очень же­лательно.)

Комментарий. Тест числового ряда предполагает тренировочную практи­ку, для того чтобы испытуемые лучше по­няли инструкцию. Данная тренировочная практика не дублирует заданий теста и, следовательно, сохраняет содержание са­мого теста в тайне.

Д.2.1. В руководстве должны быть опи­саны примеры неприемлемой практики. (Очень желательно.)

Д.З. В руководстве к тесту необходи­мо отразить основные этапы процедуры его проведения. (Существенно.)

Комментарий. Обычно последо­вательность проведения теста такова:

1) объяснить испытуемым цель проведе­ния теста;

2) гарантировать сохранение тайны инди­видуальных ответов;

3) в соответствии с требованиями руко­водства прочитать инструкцию и про­вести тренировку;

4) попросить испытуемого или самому за­полнить (если требуется) паспортные и биографические данные в регистра­ционных бланках;

5) ответить на имеющиеся вопросы;

6) обработать результаты теста в соответ­ствии с требованиями руководства.

Д.4. Инструкции по проведению долж­ны быть отражены в руководстве к тесту максимально подробно, с подчеркивани­ем, что пользователь теста может и дол­жен воспроизвести те условия тестирова­ния, при которых разработаны нормы и по­лучены данные о надежности и валидности. (Существенно.)

Комментарий. Так как лица, про­водящие тесты в школах и на производ­стве, иногда могут не поступать строго по инструкциям и не понимать необходи­мости их соблюдения, важно, чтобы руководство в этом отношении было очень убе­дительным. Для обеспечения стандартно­сти процедуры некоторые тесты проводят­ся полностью механизированным спосо­бом.

Д.4.1. Инструкции, опубликованные в руководстве к тесту, должны быть доста­точно полными, чтобы тестируемые пони­мали необходимость действовать так, как подразумевал автор теста. (Существен­но.)

Комментарий. Например, при за­полнении опросника личности субъект иногда может давать первый встретив­шийся ему ответ. Следовательно, подоб­ная возможность должна быть указана в инструкции, которую субъект читает или которая ему зачитывается. Инструкция для вопросников интересов должна опре­делить, следует ли испытуемому отмечать то, что ему нравится в идеале, или также следует предусмотреть возможность того, что ему необходимо иметь благоприятные условия и способности этого достигнуть. Подобным образом в инструкции необхо­димо определить, следует ли испытуемо­му отмечать то, что ему нравится, но встречается иногда, или только то, что ему нравится и встречается постоянно.

Д.4.1.1. Инструкция должна четко под­черкнуть такие критические моменты, как указания об угадывании, лимиты времени и способ ответов. (Существенно.)

Д.4.1.2. Инструкция для тестирующе­го должна содержать указания по поводу вопросов со стороны испытуемых. (Очень желательно.)

Д.4.2. Если предусматривается воз­можность изменения и совершенствова­ния инструкций, описанных в руководстве к тесту, то должны быть ясно указаны ус­ловия, при которых позволительно это де­лать; эти условия приводятся или в фор­ме общих правил, или на основе значи­тельного числа примеров, или тем и дру­гим способом. (Существенно.)

Д.5. Инструктаж должен подготовить испытуемого к обследованию: необходимо предусмотреть подборки необходимых ви­дов стимульного материала, листы отве­тов, карандаши, ручки и т. п. (Желатель­но.)

Д.6. Процедуры выставления баллов по тестовым заданиям должны быть изло­жены в руководстве с максимальной дета­лизацией и ясностью, чтобы уменьшить вероятность ошибки при оценивании. (Существенно.)

Д.6.1. В руководстве к тесту должны быть представлены инструкции по оцени­ванию результатов выполнения задания и указаны процедуры предотвращения оши­бок подсчета и вычисления. (Очень жела­тельно.)

Д.6.2. Если оценивание результатов теста содержит субъективные процедуры, в руководстве должны быть представлены данные степени согласованности незави­симых оценщиков в операциональных условиях. Если таких свидетельств не име­ется, в руководстве должно быть обраще­но внимание на вариации оценивания как возможный значимый источник ошибок измерения. (Очень желательно.)

Д.6.3. Если в тесте используется более чем один метод выражения ответов испы­туемыми, руководство к тесту должно со­общить данные о степени, с которой ре­зультаты, полученные при использовании различных методов, взаимозаменяемы. (Существенно.)

Комментарий. Разное количе­ство времени, необходимого для ответа на задания в формах, приспособленных к раз­ным методам выставления баллов, может влиять на надежность или валидность те­ста, на применимость тестовых норм.

Д.6.4. Если использована необычная или сложная система выставления балов, в руководстве к тесту необходимо указать приблизительное количество времени, необходимое для выставления баллов по заданиям теста. (Желательно.)

Д.6.5. «Формулы поправки на угадыва­ние» должны использоваться при задани­ях с множественным выбором или при от­ветах вида «истинно—ложно» теста на скорость выполнения заданий. (Желательно.)

Е. Сведения о процедуре обработ­ки и интерпретации тестовых резуль­татов.

По традиции интерпретация тестовых баллов является нормированно-референтной, т. е. индивидуальная оценка интер­претируется в сравнении с оценками дру­гих индивидов. Однако возможны и другие интерпретации. Содержательно-референ­тная интерпретация имеет место, если балл интерпретируется непосредственно, соответственно деятельности на каждой точке измеренного континуума достижений. Критериально-референтная интер­претация отражает непосредственно интерпретацию баллов в соответствии с де­ятельностью в любой данной точке кон­тинуума внешней переменной. Перемен­ной внешнего критерия могут быть сред­ние оценки или уровни трудовой деятельности. Стандартные требования парагра­фа в принципе относятся больше к нормированнореферентным интерпретациям тестов и в меньшей степени к содержа­тельнореферентным.

Е.1. Нормы должны публиковаться в руководстве к тесту одновременно с пуб­ликацией теста (для операционального использования). (Существенно.)

Е.1.1. Нормы должны быть определе­ны также к тесту, разработанному только для локального применения или только для целей предсказания. (Желательно.)

Комментарий. Иногда забывают, что таблицы норм дают информацию, по­лезную не только для сравнения индивида с групповыми данными. Например, поль­зователь теста из таблицы норм может из­влечь информацию относительно уровня баллов, на котором различительная сила измерения хороша или плоха.

Е.1.2. Даже если предполагается, что тест в первую очередь будет использовать­ся с локальными нормами, в руководстве к тесту следует предусмотреть нормиро­вочные данные, чтобы помочь интерпре­татору, не имеющему локальных норм. (Очень желательно.)

Е.2. Нормы, представленные в руко­водстве к тесту, должны относиться к определенным и ясно описанным популя­циям. Этими популяциями должны быть группы, с которыми пользователи теста обычно желают сравнивать тестируемых лиц. (Существенно.)

Комментарий. Почти во всех случаях, когда тесты разработаны не толь­ко для локальных целей, пользователь хо­чет знать, насколько они применимы для различных групп. Для тестов, разработан­ных с целью широкого использования в школах или в промышленности, необходи­ма информация о различиях и сходствах нормативных данных для таких групп, как группы по полу, национальности, образо­ванию или возрасту. В руководстве долж­ны быть описаны случаи, когда нормы для одних групп также подходят и для других групп.

Например, руководство к вопроснику профессиональных интересов или к тес­там способностей, важных для некоторых профессий, должно подчеркивать, что лицо, получающее высокую оценку интересов или способностей к учебному пред­мету или профессии при сравнении со «средним» человеком, получает более низ­кую оценку интересов при сравнении с ли­цами, фактически занимающимися в этой области. Так, высокий процентильный балл по шкале музыкальных интересов, в которой испытуемый сравнивается со «средним» человеком, может быть эквива­лентен низкому процентильному баллу при сравнении испытуемого с профессио­нальным музыкантом.

Е.2.1. Необходимо предотвращение ошибочного впечатления о генерализованности нормативных данных. (Существен­но.)

Комментарий. Нормативные данные, полученные для выборки людей или школ со специфическими чертами, часто используются так, как будто они получены по репрезентативным общего­сударственным группам. Так, имеются пользователи тестов, которые могут ска­зать, что испытуемый читает на уровне де­сятиклассника, вне учета того, что нормы фактически получены на основе лучших школ, добровольно принявших участие в исследовании по разработке теста. Ошиб­кой интерпретации является предположе­ние, что нормы добровольных групп уча­щихся приложимы к школам вообще. Сфеpa действия таких ошибок может быть со­кращена, если в руководстве к тесту четко определены характеристики норматив­ной популяции.

Е.2.1.1. В руководстве к тесту необхо­димо сообщить метод отбора выборки из популяции испытуемых и обсудить веро­ятное смещение в выборочной процедуре. (Существенно.)

Е.2.1.2. Нормы, сообщенные в руко­водстве к тесту, должны быть основаны на хорошо спланированной выборке, а не на данных, собранных в основном из-за их относительной доступности. Любое откло­нение от намеченного плана должно быть отражено одновременно с описанием дей­ствий, предпринятых или не предприня­тых в связи с этим. (Существенно.)

Комментарий. Нормы професси­ональных и педагогических тестов иногда основаны на разрозненных выборках тес­тируемых, так как авторы иногда просят пользователей тестов прислать результа­ты тестирования для использования их в последующих сообщениях о тестовых нор­мах. Полученные таким образом распреде­ления подвержены смещениям неизвест­ного типа и степени. Следовательно, ме­тоды получения выборок должны быть ясно описаны.

Е.2.1.3. Наряду с сообщением числа индивидов, результаты тестирования ко­торых были использованы при разработке нормативных данных, руководство долж­но также сообщить число выборочных еди­ниц (например, классов), из которых были взяты эти индивиды, а также число индивидов в каждой единице. (Существенно.)

Е.2.2. В руководстве к тесту описание нормативной группы должно быть доста­точно полным, чтобы пользователь мог судить о пригодности для собственного применения. В описании должно быть указано число случаев, классифицированных по одной или более таких переменных, как возраст, пол, социоэкономический статус, образовательный уровень. Если взята обобщенная выборка, в описании норма­тивной группы должно быть указано чис­ло отдельных тестированных групп. (Су­щественно.)

Комментарий. Для описания нормативных данных в руководствах час­то используются классификационные си­стемы в целом. Например, в руководстве к одной методике даны сведения для мно­гих профессиональных и образовательных групп. Однако отсутствие информации о таких признаках, как пол, возраст, обра­зование и уровень опыта, внутри этих групп существенно уменьшает полезность норм.

Е.2.2.1. В руководстве должны быть ясно и рельефно описаны популяции, на основе которых определены психометри­ческие свойства теста и для которых при­менимы нормативные данные. В любом сообщении о доработке теста должны от­разиться характеристики нормативных групп, использованных в интерпретации результатов. (Существенно.)

Комментарий. Назначение этого стандартного требования — предупредить пользователей и испытуемых относитель­но необоснованных интерпретаций. Если сообщение о стандартизации представля­ет результаты в интерпретации процентильных рангов или стандартных баллов при последовательном использовании той же нормативной популяции, будет доста­точным определение этой популяции с указанием времени сбора данных.

Е.2.3. Если выборка, на основе которой установлены нормы, мала или, по другим причинам, ненадежна, в руководстве к те­сту необходимо ясно предупредить пользователя относительно возможности величины ошибок при интерпретации бал­лов. (Существенно.)

Е.2.4. В руководстве к тесту нормы по субтестам или группам заданий сообща­ются только в том случае, если указана валидность и надежность таких субтестов или групп заданий. (Существенно.)

Комментарий. Пользователь те­ста уверен, что, когда даны нормы для ча­сти теста, автор считает их пригодными для интерпретации. Должна сообщаться также надежность и валидность таких бал­лов.

Е.2.5. В руководстве к тесту должны быть описаны условия, при которых по­лучены нормативные данные. (Сущест­венно.)

Комментарий. В случае, когда некоторые аспекты стандартизированы на группах кандидатов на работу, другие — на группах, обратившихся за профконсультацией, а третьи — на группах, осознающих себя как испытуемые, то между такими группами и внутри них индивиды часто различаются по мотивации выполне­ния теста, установке к его выполнению, способностям и личностным характеристикам, хотя точное описание этих разли­чий не всегда возможно.

Е.3. При сообщении норм в руковод­стве к тесту следует пользоваться процентилями для одной или нескольких подхо­дящих референтных групп или стандарт­ными баллами, для которых ясно опреде­лено основание. В руководстве к тесту должны быть даны меры центральной тен­денции и рассеивания. (Существенно.)

Е.3.1. Если тест используется для предсказания, должны быть приведены, насколько это возможно, таблицы ожида­ний или эмпирические таблицы перевода баллов в уровни вероятности успеха или умения. (Желательно.)

Е.4.Для многих применений теста ло­кальные нормы более важны, чем опубли­кованные. В таких случаях руководство к тесту должно давать возможность исполь­зования локальных норм. (Очень желательно.)

Е.5. В руководстве к тесту должны быть полностью описаны производные шкал, использованные для стандартизиро­ванных баллов, чтобы увеличить вероят­ность точной интерпретации и понимания баллов интерпретатором теста и испыту­емым. (Существенно.)

Комментарий. Целесообразно сократить число производных шкал до не­скольких, с которыми пользователи были бы знакомы. Существующее разнообразие ведет к необходимости описания таких шкал в каждом руководстве. Проблема, в частности, в том, что теперь используют­ся многие различные системы, не имею­щие логических преимуществ по сравне­нию друг с другом. Для преодоления недостатков старых методов шкалирования могут быть предложены новые. Разнооб­разие шкал для окончательных тестовых оценок может привести к недоразумениям и ошибочным интерпретациям, если шка­лы, рекомендованные для данного теста, не описаны в руководстве ясно и полно.

Е.5.1. Построение шкалы на основе нормативных данных должно быть ясно и недвусмысленно описано в терминах, пре­дотвращающих нарушения и интерпрета­ции или неправильные обобщения. (Су­щественно.)

Комментарий. Производные оценки могут быть очень полезны для вы­водов. Однако очень часто они рассматри­ваются как имеющие абсолютный смысл независимо от отдельного теста и нормативной популяции. Примером является коэффициент интеллекта, который зачас­тую понимается как просто стандартный балл, который часто видоизменяется и ин­терпретируется так, словно он отражает неизменную и независимую характеристи­ку испытуемого. Оценки эквивалентности классу обучения или даже процентильные ранги также могут интерпретироваться неправильно, как некие абсолютные вели­чины, если в руководстве к тесту не при­ведены характеристики групп, на которых эти оценки построены.

Е.5.2. В руководстве необходимо ука­зать, являются ли стандартные баллы ре­зультатом линейной или нелинейной трансформации суммарных баллов. (Су­щественно.)

Е.5.2.1. Интерпретационных баллов, которые сами по себе включают суще­ственную ошибочность интерпретации (оценки умственного возраста, эквивален­тности классу обучения и др.) надо избе­гать. (Очень желательно.)

Комментарий. Если, несмотря на эту рекомендацию, в руководство вклю­чены подобные оценки, необходимо пре­дусматривать в табличной форме также их связь со стандартными баллами или процентильными рангами внутри каждой ка­тегории и внутри соответствующей нор­мировочной группы. Например, таблица может отразить вдобавок к баллу экви­валентности классу обучения соответствующий процентильный ранг внутри собственного возраста или класса испыту­емых для каждого суммарного балла. Для старших классов больше подходят нормы внутри предметов, чем внутри классов.

Е.5.3. Если в руководстве к тесту пред­полагается, что процентильные ранги бу­дут выражаться графически профильной звездочкой, график должен основываться на нормальной вероятностной шкале или на некоторой другой приемлемой нелиней­ной трансформации. (Очень желатель­но.)

Е.6. Если шкалы пересмотрены, добав­лены новые формы или сделаны другие изменения, в пересмотренном руковод­стве к тесту должны быть помещены таб­лицы эквивалентности старой и новой форм. (Желательно.)

Комментарий. Новые формы те­ста должны быть приравнены к недавно определенным шкалам стандартных бал­лов других форм, чтобы пользователь мог быть уверен, что баллы, предложенные по новым формам, сравнимы с баллами пре­дыдущих форм.

Е.6.1. Если новая форма теста прирав­нена к старой, в пересмотренном руковод­стве должно быть описано содержание и старой и новой форм, а также характер нормативных групп для них. (Существенно.)

Комментарий. Изменения в зна­ниях, технологии или учебном материале могут потребовать, чтобы новое издание тестов существенно отличалось от пре­жних, а потребность преемственности требует приравнивания окончательных шкал друг к другу. Пользователь должен иметь возможность оценить эквивалент­ность в соответствии с изменениями со­держания, поскольку у него возникают сомнения, возможно ли значимое сравне­ние баллов при изменении содержания.

Е.6.2. В руководстве должен быть опи­сан метод установления эквивалентности или сравнимости оценок и должна быть дана оценка точности процедуры прирав­нивания. (Очень желательно.)

Е.7. Если предполагается, что тест бу­дет использоваться не столько для оцен­ки индивидов, сколько групп (например, для школ или программ), должны быть представлены нормативные данные, основанные на суммарных групповых статис­тиках. (Существенно.)

Комментарий. Например, неце­лесообразно оценивать школы применени­ем норм, разработанных для оценки инди­видов. Также нельзя вычислять групповые средние по нелинейным шкалам, напри­мер по процентильным рангам, выведен­ным для индивидуальных норм.

Е.8. Тест, руководство, формы записи ответов и другие сопровождающие мате­риалы должны помогать пользователю правильно интерпретировать результаты теста и предупреждать неправильное его употребление. (Существенно.)

Комментарий. Многие руковод­ства к тестам подчеркивают переменные, которые следует учитывать при интерпре­тации тестовых оценок. Это может быть информация об учебных достижениях, ре­комендации или соответствующие анамне­стические данные.

Руководство к средству оценивания личности может включать данные, пока­зывающие, что психолог должен учиты­вать такие факторы, как пол и возраст субъекта, женаты или разведены его роди­тели, возраст и пол его детей, его профес­сиональный и супружеский статус и т. д.

Е.8.2. Руководство к тесту должно под­черкнуть те существенные влияния на тестовую оценку, которые связаны с реги­оном, социоэкономическим статусом, на­циональностью или полом. (Существенно.)

Е.9. Руководство должно обратить вни­мание пользователя на публикации, с ко­торыми он должен ознакомиться до тести­рования для более точной интерпретации результатов теста. (Очень желательно.)

Комментарий. Публикациями могут быть книги или статьи, относящие­ся к смежным психологическим теориям или к самому тесту, о котором идет речь.

Е.10. Изложение описываемых в руко­водстве зависимостей по смыслу являет­ся количественным и должно быть приве­дено с точностью, которую позволяют дан­ные. Если данные в поддержку таких утверждений не были собраны, этот факт должен быть ясно указан. (Существен­но.)

Комментарий. Авторы, напри­мер, иногда пишут: «Для инженера-архи­тектора требуется способность простран­ственного мышления» или «Необычные ответы могут указывать на наличие шизофрении». Такие утверждения сами по себе количественно неадекватны. Какая частота эксцентрических ответов указы­вает на уже развившуюся шизофрению? Насколько успех в архитектуре зависит от пространственной способности? Количе­ственные данные, связывающие тестовые оценки с определенными критериями, дол­жны помочь получить ответы.

Е.10.1. Для сообщения количествен­ной информации предпочитаются хорошо известные и легко интерпретируемые ста­тистические процедуры. Любая необще­принятая статистическая техника должна быть объяснена, и должны быть приведены ссылки на источники. (Существенно.)

Комментарий. Издатели не обя­зательно должны однообразно придержи­ваться процедур, широко используемых для сообщения данных, но технологии и процедуры должны быть довольно извес­тными на практике, чтобы компетентные пользователи могли адекватно судить о ре­зультатах.

Это стандартное требование является конкретизацией принципа, что представ­ленные в руководстве данные не должны вводить в заблуждение. Например, оши­бочно показывать ценность объединенных в батарею тестов в уравнении регрессии путем использования данных с интеркор­реляцией более низкой, чем о ней сообща­лось в другом месте руководства.

Е.10.2. Когда сообщается статистичес­кая значимость, сообщение должно быть в форме, которая делает ясным чувстви­тельность или мощность критерия значи­мости. (Существенно.)

Комментарий. Статистическая значимость, не имеющая практической полезности, часто может быть получена использованием очень большого числа случаев. Наоборот, тот, кто использует нечувствительный статистический крите­рий, может сделать ошибочный вывод об отсутствии важного в практическом смыс­ле различия. В общем, при сообщении тестовых данных более приемлемо определить доверительный интервал или фун­кцию правдоподобия интересующего параметра, а не просто сообщить, что нулевая гипотеза может или не может быть откло­нена.

Е.10.3. В руководстве должны ясно различаться интерпретация, которая приложима только к средней тенденции груп­пы, и интерпретация, приложимая к любо­му индивиду внутри группы. (Сущест­венно.)

Комментарий. Некоторые тесты достаточно надежны для обеспечения от­носительно стабильного среднего балла группы, но недостаточно надежны, чтобы обеспечить использование индивидуаль­ных баллов или позволить сравнение ин­дивидов.

Е.10.4. В руководстве должно быть ясно указано, какая интерпретация отно­сится к каждому баллу субтеста в той же степени, как и для всего теста. (Суще­ственно.)

Комментарий. В руководстве должно быть четко указано, когда баллы субтестов получены только для простоты вычисления балла всего теста и не пред­лагают самостоятельного использования, когда они могут иметь исследовательское применение и предусматривается ли при этом их интерпретация.

Е.11. Составители тестов или другие лица, использующие ЭВМ для интерпре­тации тестов, должны предусмотреть ру­ководство, отражающее алгоритм и свиде­тельства в поддержку интерпретации бал­лов на основе ЭВМ. (Существенно.)

Комментарий. Вычислительная машина позволяет накопить и воспроизве­сти большое количество данных. Интер­претация теста может быть очень об­легчена использованием банка данных, на­копленных в ЭВМ на основе совокупнос­ти индивидуальных оценок по батарее те­стов или вопроснику личности.

Пользователь таких массивов должен знать обоснование и свидетельства в пользу предполагаемой интерпретации, так как она подвержена ошибкам в той же степени, как и другие субъективные интерпретации.

Данный пункт относится только к хра­нению и обработке информации, введен­ной в ЭВМ.

Проведение тестов неавтоматизирова­но и осуществляется обычным способом. В том случае, когда пользователь хочет автоматизировать и проведение теста, тест должен пройти полную психометрическую проверку.

 

 

⇐ Предыдущая25262728293031323334Следующая ⇒

Поделиться:

Воспользуйтесь поиском по сайту: