Профессиональная анкета глазами студента

Объект моего изучения — вопросник, разрабо­танный в Институте социологии РАН (научно-ис­следовательский проект «Молодежь XXI века: дети и подростки 90-х годов») в 1990 г. Адрес и главная цель инструмента зафиксированы на титульных страницах вопросника: как подрост­ки проводят свое свободное время. Побочная цель, указанная в обращении к опрашивае­мым — помочь лучше организовать их отдых и досуг. Название вопросника — «Твое свободное время». Он предназначен для самостоятельно­го заполнения респондентом. Прежде чем смотреть на анкету «профессио­нальным взглядом», я попробовала заполнить ее сама, взяв на себя роль воображаемого рес­пондента. Мне кажется, таким способом можно найти немало ошибок.

Первый выбранный мною для критического ана­лиза вопрос таков: «Как к самому любимому тво­ему занятию относится твоя мать?» Предлагают­ся альтернативы: Очень плохо; Довольно плохо; Ни плохо, ни хорошо; Довольно хорошо; Очень ^хорошо; Не знаю. В целом оценочная шкала воп­роса сбалансирована, его базовая формулиров-^ка адекватна области поиска ответа. Но есть и _^"ибки, одна из них — отсутствие фильтра пе-РвД вопросом. А ведь у ребенка может не быть

каких-либо родственников. Это можно назвать эффектом внушения — принято, чтобы у всех детей была мать, и подросток будет конструиро­вать несуществующие отношения. Правда, в воп­росе предусмотрена возможность уклониться от ответа: вариант «не знаю». Кроме того, форму­лировка вопроса внушает, что мать должна как-то относиться к любимому занятию подростка, хотя это вовсе необязательно. Шкала закрытий

начинается с плохого отношения, что в какой-тс мере может повлиять на предпочтение респон­дентом негативного ответа. На выбор ответг могут повлиять и нормы, распространенные е подростковой среде: здесь считается, что роди тели плохо относятся к увлечениям подростков Другой обративший на себя внимание вопрос звучит так: «Какие из школьных предметов > тебя самые любимые? (напиши)». В вопросе явно присутствует эффект внушения — у школь

шая доля не ответивших или затруднившихся ответить на него. Значение дан­ного показателя интерпретируется в зависимости от познавательной задачи вопроса. Если изучается распространенное явление, о котором должны знать все или подавляющее большинство людей, а доля затруднившихся ответить высока, то это свидетельство методической погрешности в составлении воп­роса. А если измеряется информированность опрашиваемых о достаточно ред­ком явлении и доля не ответивших или затруднившихся ответить высока, то вполне можно заключить, что вопрос соответствует поставленной задаче.

Логические требования к разработке вопросов дополняются комплексом требований социально-психологического характера, которые учитывают та­кие особенности опрашиваемых, как их информированность, специфика жизненной ситуации, память, навыки самоанализа, умение устно и письмен­но характеризовать свои мысли, чувства, отношение к опросу и желание со­общить необходимую социологу информацию¹⁵.

Следует отметить, что логические и социально-психологические ошиб­ки чаще всего сопутствуют друг другу. Например, ошибки, связанные с пре­вышением информированности респондентов о предмете опроса, как пра­вило, встречаются в вопросах, где нечетко определена познавательная зада­ча. В них, кроме того, встречаются и научно-теоретические понятия, которые нуждаются в эмпирической интерпретации, вследствие чего нарушается тре­бование соответствия языку опрашиваемых. Пример такого вопроса: «Знае-

1ка обязательно должен быть любимый пред-ет. Возможности уклониться от ответа нет,)тя в открытом вопросе можно написать все, го думаешь.

сего в анкете 373 пронумерованных вопроса, э фактически, для компьютерного анализа, их 21. Обнаружено насколько вопросов, где не <азано количество возможных альтернатив;реди них были и открытые). Поэтому при ана-изе число вопросов может увеличиться. Откры-э1Х вопросов оказалось 35, из них пять нельзя тнести к таковым: респонденту надо было выб-ать что-то из предыдущего списка. По суще-тву это полузакрытые вопросы. Их в инстру-юнте оказалось 11, а закрытых — 375. Неболь-юе число полузакрытых вопросов сужает вободу выбора для респондента, тем более для акого непредсказуемого существа, как подро-ток. И во многих других вопросах он ощущает авязываемые извне рамки поведения. Кроме ого, впечатляет чрезмерное количество вопро-ов! Лично я утомилась при их заполнении, роме того, тематические блоки анкеты никак не тделены друг от друга, вопросы идут сплошным екстом. И хотя в анкете активно используется рафика, она не выполняет функцию релаксации, нимающей напряжение. В целом тематические

блоки и по смыслу мало отделены друг от друга. Очень активно используется такой принцип по­строения блоков, как «батареи», некоторые из них красочно оформлены, что позволяет легче вос­принимать материал. Способ построения «ворон­ки» используется недостаточно и не всегда ло­гично. Приведем один из примеров «воронки», включающей три вопроса:

1. Сколько комнат занимает твоя семья?

• Одну

• Две

• Три

• Четыре

• Больше четырех

2. В какой квартире живет твоя семья?

• В общей квартире с соседями

• В отдельной квартире без соседей

3. Скажи, пожалуйста, есть ли у тебя своя соб­ственная комната для занятий, отдыха, сна?

• Есть своя комната — только для меня од­ного (одной)

• У меня комната вместе с родителями

• У меня комната вместе с братом (сестрой)

• У меня комната вместе с бабушкой (де­душкой)

• Комната, в которой я занимаюсь, отдыхаю, сплю, считается общей для всей семьи

Подробнее см.: Методическое пособие социолога-практика: Словарь-справочник/Под ред. Д.А. Шев­ченко, А.И. Кравченко. М., 1990.

те ли Вы, как фактически изменились технико-экономические показатели Вашей деятельности за последние 12 месяцев?»

 

	Знаю точно	Знаю приблизительно	Не знаю
1. Производительность труда (в натуральных стоимостных показателях)
2. фондоотдача (в рублях)
3. Выпуск продукции высшего качества

Подобный вопрос имеет усложненную логическую структуру. Фактичес­ки это блок из трех вопросов, каждый из которых имеет свой предмет (про­изводительность труда, фондоотдача, качество продукции), по поводу кото­рого требуется получить мнение респондента. Самооценка фиксируется по трехчленной шкале, причем в обобщенном виде (за последние 12 месяцев). Зрительно формулировка логического задания респонденту кажется как бы разорванной. Чтобы получить целостное впечатление, респонденту прихо­дится трижды «воссоединять» вводную часть вопроса со второй ее частью. На-

Что здесь неправильно? Во-первых, логичнее переставить вопросы. Во-вторых, последний вопрос не совсем этично задавать тем, у кого семья занимает одну комнату (и так ясно, что она общая на всех). В целом в «воронках» пло­хо используются отсылки. Вопросов-фильтров в анкете всего три, а требуется гораздо больше. Хотя существующие вполне грамотно оформле­ны, отсылки выделены в рамочку. Встречаются двусмысленные по своей формулировке вопро­сы, например: «Если бывают такие размолвки, ссоры с матерью, то из-за чего это происходит чаще всего?» Непонятно, сколько вариантов ответов здесь может быть. Никаких коммента­риев к его заполнению нет. Пропущены методи­ческие комментарии и к другим вопросам. Анкета построена очень неоднородно. К середи­не появляется ощущение, что разные части воп­росника сделаны разными авторами, настолько они несогласованны. К некоторым вопросам Даются вводные тексты, другие появляются на анкетном пространстве неожиданно и совер­шенно неподготовленно (семейная тематика). Анкета утрачивает свою целостность. Помимо рочего в ней нет ярко выраженных подъемов ЗД⁰⁸ напряженности, что значительно зат­рудняет ее восприятие. Правда, «выход» из ан-ы достаточно четко обозначен, есть даже _т ^0тоР^Ь|й блок, посвященный самой анкете, nJ. ^{00Тям ее} заполнения, замечаниям и пред­ложениям.

Много добрых слов можно сказать о дизайне инструмента. Прежде всего это большое число иллюстраций в виде веселых картинок. Они д#ют возможность отвлечься, снять напряже­ние, активизировать внимание. К сожалению, яркие рисунки не компенсируют чрезмерного объема анкеты. Вполне возможно, что подрос­ток заполнит одну ее часть вдумчиво и серьез­но, а другую — для галочки. Шрифт текста дос­таточно крупный, если есть отсылки — они ярко выделены, бросаются в глаза. Однако возмож­ность кодировки и машинной обработки будет сильно затруднена, так как многие вопросы не выделены отдельным номером. Кроме того, у нескольких вопросов не дано количество воз­можных ответов, что еще больше затрудняет их обработку.

Заявленной теме «Твое свободное время» дан­ная анкета не вполне соответствует, так как со­держит большое число дополнительных, никак не связанных с темой вопросов. По непрора­ботанности логики и содержания анкеты за­метно, что пилотажного исследования не про­водилось.

Содержание вопросника можно оценить на «тро­ечку», а его оформление — на отлично. Сокращено и адаптировано по источнику: Рез­никова Т.П. Влияние формулировки вопроса на результаты социологических исследований // Сборник лучших работ студентов 1997-1998 г. / Ин-т социологии РЦГО. М., 1998. С. 12-15.

пример: «Знаете ли Вы, как фактически изменилась производительность Ва­шего труда (в натуральных стоимостных показателях) за последние 12 меся­цев?»; «Знаете ли Вы, как фактически изменилась фоноотдача?..» и т.д.

Табличная конструкция вопроса сильно усложняет восприятие его смысла и, следовательно, ответ на него. Она употребляется чаще всего при интер­вьюировании. Для обученного интервьюера не представляет труда воспро­извести табличную конструкцию в виде трех самостоятельных вопросов (он устно повторяет их), а ответы зафиксировать в таблице. Это существенно экономит затраты бумаги на тиражирование анкет. Однако при анкетирова­нии подобный прием (несмотря на его всеобщую распространенность) уве­личивает число ошибок и ведет к формальным ответам.

Табличный вопрос — типичный пример некритического переноса научной терминологии в язык анкеты. Чтобы это не случилось, надо использовать ре­чевые эквиваленты для технических терминов типа «натуральные стоимост­ные показатели», «фондоотдача», «деятельность» и т.п. В терминах научного языка ставится только исследовательская задача, но не анкетный вопрос.

Понимание языка анкеты проверяется пробным исследованием с помощью постановки открытых вопросов и тестов на информированность. Поскольку респондент должен самостоятельно формулировать ответы, то сразу обнару­живается непонимание им смысла вопроса или отдельных слов. Тогда респон­дент задает вторичные уточняющие вопросы либо просит разъяснить смысл вопросов. Тесты на информированность состоят из списков слов, которые могут быть непоняты опрашиваемыми. Респондентов просят в письменной или устной форме объяснить значение этих слов.

Полученные ответы разбиваются на три группы: совершенно правильные, частично правильные, совсем неправильные. Критерием оценки правильно­сти ответа служит определение слова, данное в толковом словаре. Получен­ные оценки владения респондентами исследуемым списком терминов слу­жат основанием для их использования или замены.

Следует отметить, что универсальных рецептов по разработке словаря анкет не существует. В каждой исследовательской ситуации социолог зано­во определяет соответствие разработанного инструментария социально-пси­хологическим требованиям.

Одним из требований к формулировке вопросов выступает учет норма­тивных представлений респондента о «запретных» темах (социологические и психологические «табу»). Нарушение приводит к тому, что на такие воп­росы многие не отвечают либо дают недостоверную информацию. Это мо­гут быть вопросы о социально неодобряемом поведении (нарушениях дис­циплины, плохом качестве работы, употреблении спиртных напитков, кон­фликтах на работе или в семье), вопросы об интимных сторонах личной жизни, вопросы, связанные с нарушением положительной самооценки че­ловека или необходимостью давать негативные оценки близким людям.

Выявляются «табу»-вопросы в пробном исследовании. В исследовании образа жизни было установлено, что вопрос о жизненных планах на ближай­шее пятилетие, нейтральный для молодежи и лиц среднего возраста, оказался острым для людей преклонного возраста и с плохим здоровьем¹⁶.

Подробнее см.: Методическое пособие социолога-практика: Словарь-справочник/Под ред. Д. А. Шев­ченко, А.И. Кравченко. М, 1990.

ОШИБКИИКОНТРОЛЬПОЛЯ

Уже в период возникновения социальных обследований было известно, что незначительные изменения в формулировке вопроса могут вызывать существенные различия в ответах. И все же принято полагать, что со­ставление вопросника — самая простая часть проектирования исследо­вания, поэтому часто ей не уделяется достаточного внимания. Посколь­ку кодифицированных правил составления вопросов не существует, может возникнуть впечатление, что если и есть критерии, позволяющие отличить хорошие вопросы от плохих, то их очень мало. Мы считаем, что это не так. В данной главе приведены предварительные формулировки правил, которые могут помочь как начинающим, так и опытным социо­логам при выборе наиболее подходящих вопросов. Кроме того, при ос­вещении темы мы будем ссылаться на примеры хороших и плохих воп­росов, показывающие, как формы вопросов порождают смещения. Мно­гие примеры заимствованы из национальных обследований, результаты которых опубликованы в журнале «Public Opinion Quarterly»¹.

ВОПРОСЫ, КОТОРЫЕ НЕ НАДО ЗАДАВАТЬ

Как бы ни был опытен и компетентен социолог, но, не определив исход­ных принципов, он неизбежно придет к неясным формулировкам вопросов и многозначным, противоречивым ответам, которые трудно интерпретиро­вать. Даже самые безошибочные и на вид простые вопросы требуют тщатель­ной проработки. Недостаточно спросить: «Удовлетворены ли Вы своей ра­ботой?» Нужно точно определить, что подразумевается под «работой» (усло­вия или процесс труда, цех, предприятие или рабочее место). Надо быть уверенным, что понятие «удовлетворен» исследователь истолковывает точ­но также, как респондент. Даже технические термины типа «фрезерный ста­нок» или «несчастный случай» очевидны только на первый взгляд. Относить ли к «несчастным случаям» бытовые травмы или небольшие повреждения

■*Урнал Public Opinion Quarterly является официальным изданием Американской ассоциации по ис­следованию общественного мнения (American Association for Public Opinion Research). На веб-сайте этой ассоциации (http://www.aapor.org/poci/) размещен указатель статей, опубликованных в журна­ле с 1937 по 1997 г. - Прим. ред.

(например, ушиб ноги)? На подобные вопросы социолог обязан ответить до того, как задаст свои вопросы респонденту.

Или другой пример — вопрос «Нравится ли Вам музыка?». Его нельзя счи­тать корректным. Слово «нравится» может соответствовать разнообразным чувствам: от тех, которые испытывают великие композиторы и исполните­ли, когда слушают, пишут или исполняют музыку, до чувств человека, ко­торый любит слушать популярные песенки, совершая субботние покупки. Подобно этому, термин «музыка» означает огромное разнообразие различ­ных направлений: например, джаз, поп, народная музыка, рок, барокко, док-лассическая, классика, романтизм, модерн, неоклассицизм, — а, кроме того, может иметь отношение к слушанию и исполнению, так что идентичные ответы на вопрос могут отражать совершенно различное поведение. Напри­мер, «да» для одного респондента может выражать наслаждение от пения контртенора в ранней полифонической венецианской церковной музыке. А для второго оно может заключаться в удовольствии прослушивания мотив­чика типа «Танцуй со мной», когда он сидит за рулем своей машины².

Неясные формулировки вопроса объясняются следующими причинами:

1) некомпетентностью социолога;

2) излишней поспешностью при составлении анкеты;

3) заимствованием чужих вопросов и некритическим к ним отношением;

4) отсутствием хорошо составленной программы, четких целей и задачисследования;

5) неумением операционализировать понятия.

Формулирование вопроса имеет исключительно важное значение для обес­печения достоверности данных социального обследования. Важность точной формулировки вопроса³ может быть проиллюстрирована анекдотом. Домини­канец и иезуит спорят о том, грешно ли курить и молиться одновременно. Не сумев прийти к соглашению, они решили посоветоваться со своими на­ставниками. Встречаются. «Что же сказал твой наставник?», — спрашивает доминиканец. Иезуит отвечает: «Он сказал, что это допускается». «Ничего себе, — удивляется доминиканец, — а мой наставник сказал, что это греш­но». Иезуит: «Что ты у него спросил?» — «Я спросил, допустимо ли курить

во время молитвы». — «А я спросил, — говорит иезуит, — можно ли молиться, когда куришь».

Посмотрим на опросный лист, при­менявшийся группой политического лоббирования. Даже неискушенный читатель видит, что опросный лист перегружен оценочными выражениями: «принуждать», «профсоюзные боссы», «подчиняться» и т.д. Очевидно, что группа лоббирования заинтересована не в беспристрастном анкетировании, а в одобрении тех, кто поддерживает ее позицию. Кроме того, вопросник сопровождается просьбой о внесении взноса на возмещение расходов по проведению опроса и публикации его результатов. Опросы такого типа про­водятся скорее для сбора денежных средств, а не для получения объектив-

Клайн П. Создание надежных тестов // http://web.psychology.ru/library/00003.shtml Wording of question, wording question или просто wording обозначают не только написание вопроса, но и форму его предъявления. Например, вопрос может быть представлен респонденту на карточках, в виде списка или устно. В зависимости от контекста используются термины «форма» или «формули­ровка вопроса». — Прим. ред.

ной информации. Американская ассоциация по исследованию обществен­ного мнения квалифицировала опросы, обеспечивающие поступление денеж­ных средств, как не заслуживающие доверия и неэтичные. Тем не менее про­ведение подобных опросов не запрещено.

 

Отношение к праву на труд	Да	Нет
1. Считаете ли вы, что в руках профсоюзных лидеров сконцентрировано слишком много власти?
2. Выступаетеливызато, чтобы для сохранения мест профсоюзных лидеров в правительстве принуждать государственных, окружных и муниципальных служащих платить профсоюзные взносы?
3. Выступаете ли вы за то, чтобы разрешить профсоюзным боссам своей властью прекращать все работы на строительной площадке из-за спора с одним из подрядчиков, тем самым принуждая большее число рабочих подчиниться требованиям профсоюзов?
4. Хотите ливы, чтобы руководство профсоюзов действительно решало, сколько муниципальных служащих вы, налогоплательщик, должны финансировать?
5. Следует ли принуждать всех строительных рабочих к вступлению в профсоюзы путем открытого пикетирования, взвинчивая тем самым цены на строительство ваших школ, больниц и домов?
6. Будете ли вы голосовать за того, кто принудил государственных служащих вступить в профсоюз под угрозой увольнения?

Хотя приведенный пример относится к разряду крайних случаев, он по­казывает, что автор вопросника осознанно или неосознанно может сформу­лировать вопросы так, чтобы получить желаемый ответ. В других примерах, приведенных ниже, мы не обнаружим явного стремления задавать предна­меренные вопросы. Однако и в этом случае можно видеть, насколько труд­но составлять хорошие вопросы.

Рассмотрим пример опросного инструмента, показывающий, как поли­тически окрашенная лексика влияет на распределение ответов:

Отношение к войне в Корее

Как вы думаете, совершили ли Соединенные Штаты ошибку, приняв решение защитить Корею? (Служба Гэллапа, январ ь 1951 г.)

Ошибка — 49%

Ошибки нет — 3 8% __________

Не знаю — 13 %

Каквы думаете, Соединенные Штаты поступили правильно или неправильно, направив американские войска предотвратить вторжение коммунистов в Южную Корею? (Национальный центр исследования общественного мнения, январь 1951 г.)

Неправильно — 36% __________

.Пра вильно — 5 5% Не знаю —9%

Использование выражения «вторжение коммунистов» значительно уве­личило долю одобрительных оценок. Этот результат очень устойчив, так как различия в распределении ответов между вопросами, предлагаемыми Служ­бой Гэллапа и Национальным центром, наблюдались в течение двух лет. Другие исследователи также обнаружили, что одобрение внешней полити-

ки Соединенных Штатов усиливается, если принятое правительством реше­ние формулируется как попытка «остановить коммунистов».

Не каждое изменение формы вопроса приводит к смещению распределе­ния ответов. Рассмотрим другой пример:

⇐ Предыдущая86878889909192939495Следующая ⇒

Поделиться:

Воспользуйтесь поиском по сайту: