Валидность качественных методов

В широком смысле слова валидность, т.е. обоснованность метода, означает соответствие получаемых с его помощью эмпирических данных основным целям исследования. Вопрос о валидности качественных методов в предшествующие годы был сильно запутан специалистами по математической статистике, которые распространили весьма специфичные статистические критерии валидности на классы задач и исследовательских ситуаций, не имеющих ничего общего с идеальными объектами типа вынимаемых из корзины разноцветных шаров, которыми оперирует теория вероятности.

Прежде, чем перейти к описанию качественных исследований, особенно групповых, следует охарактеризовать их отличия от количественных исследований. Чтобы понять эти отличия полнее, необходимо разобраться в том, что, собственно говоря, является «ошибкой» исследования.

Количественные социологические исследования являются разновидностью исследований, в основании которых лежит математическая теория вероятности. В числе аксиоматических предпосылок этой теории имеется весьма важная предпосылка о том, что различия между анализируемыми объектами ограничены фиксированным набором дискретных признаков. К примеру, шары, лежащие в корзине, различаются по цвету, размеру и нарисованным на них цифрам. Люди, соответственно, могут различаться по своим демографическим признакам, установкам и тд., причем важно отметить, что в любом конкретном анкетном опросе набор признаков ограничен числом квантифицированных вопросов анкеты, а все прочие возможные признаки предполагаются идентичными.

Основным критерием, характеризующим исследование статистического типа, является надежность, т.е. воспроизводимость полученных результатов. Если провести повторный опрос по той же методике в той же самой социальной группе, и результаты обоих опросов будут идентичны — значит, они надежны. Сегодня никто не оспаривает тот факт, что при правильно проведенном массовом репрезентативном опросе с помощью формализованных анкет автоматически достигается высокая степень воспроизводимости результатов. Однако вопрос их валидности этим далеко не исчерпывается.

В математической социологии валидность исследования принято трактовать как степень соответствия средства измерения тому, что подлежало измерению [19, с.2б]. Словарь поясняет далее, что в строгом смысле слова валидизация возможна лишь при наличии независимого внешнего критерия, но такая ситуация в социологии является редкостью. Во всех остальных случаях валидность результатов количественных опросов является не более чем гипотезой, оценка степени правдоподобия которой не имеет ничего общего с математическими и статистическими процедурами. Низкая степень правдоподобия многих неявных содержательных гипотез, латентно закладываемых исследователями в формулировки и структуру формализованных вопросов, а порой и полное отсутствие такого правдоподобия, является очень серьезной и плохо осознанной проблемой.

Таким образом, статистическую надежность результатов количественных исследований не следует путать с их надежностью и обоснованностью в широком смысле этого слова. Строго говоря, количественные исследования надежны лишь в той мере, в какой саму проблему надежности удается свести к ее статистическому толкованию. Если такое сведение не удалось или в принципе невозможно, количественные данные становятся крайне ненадежной основой для выводов.

Сравнивая количественные и качественные методы с точки зрения их валидности, следует прежде всего отметить, что сферы их валидного применения не совпадают друг с другом. Это делает бессмысленным обобщенное сравнение их по критерию валидности. Существуют классы задач, в которых количественные методы обладают высокой, а качественные низкой валидностью. Вместе с тем существуют — и этот аспект обычно слабо подчеркивается даже в специальной литературе — другие классы задач, в которых указанное соотношение прямо противоположно.

Разнородность массива обеспечивается участием нескольких десятков респондентов, что уже дает основания для приблизительного распределения однотипных ответов по трехчленной или пятичленной шкале: явное меньшинство, меньшинство, примерно поровну, большинство, явное большинство. Главное, однако, состоит не в этом. Специфика массива первичных данных групповых интервью состоит в том, что:

1. Единицей анализа является не респондент, а высказывание. Поскольку каждый респондент является носителем многих высказываний, это, как минимум, на порядок увеличивает массив первичных аналитических единиц, делая его статистически значимым.

2. В задачу качественных исследований не входит определение численности или удельного веса носителей той или иной точки зрения в обществе или его сегменте. По отношению к такому классу проблем качественные методы невалидны.

Задачей качественных методов является формирование списка так называемых «гипотез существования», т.е. списка мнений, оценок или высказываний, существующих в обществе и, предположительно, имеющих не нулевую степень распространения. При этом, как отмечает Д.Темплтон, предпочтительнее ошибиться, выявив несуществующий или малозначимый фактор, чем упустить высокозначимый.

Математический аппарат, приспособленный для решения задач подобного типа, в принципе хорошо известен. Он используется в лингвистке при составлении списков звуков и слогов, а также частотных словарей слов и словосочетаний. Этот же аппарат используется и в социологических исследованиях, осуществляемых с помощью контент-анализа. Применительно к последнему случаю математическая постановка задачи выглядит примерно так: «Имеется кандидат в президенты А, о котором пишут в газетах. Требуется составить как можно более полный список эпитетов, которыми авторы статей характеризуют данного кандидата. Какой объем газетных текстов следует изучить, чтобы с вероятностью 95% число невыявленных эпитетов не превысило 5%?»

Как и подавляющее большинство прикладных статистических задач, данная задача не решаема без определенных предварительных знаний о характере частотного распределения искомых эпитетов, а также без некоторых априорных допущений. В зависимости от практического удобства выбора той или иной системы допущений сама постановка задачи может варьироваться. Углубление в этот вопрос выходит за рамки нашей темы, поскольку в прикладных исследованиях, осуществляемых с помощью метода фокус-групп, статистический аппарат, подобный описанному выше, если где-то и применяется, то лишь в узкоспециальных исследованиях, далеких от сферы применения маркетинговых фокус-групп. Основных причин этому видится две. Первая — применение такого аппарата сильно удорожает исследования, а коммерческий заказчик не склонен оплачивать математические «красоты», если они никак не влияют на конечные выводы. По ряду причин, которые будут описаны ниже, и заказчики, и исследователи считают вполне достаточной ориентацию на следующий субъективный критерий: если количество новой информации, получаемой от каждой следующей группы, резко упало, исследование следует прекращать.

Вторая причина гораздо более фундаментальная. Она связана с тем, что сегодня строго операциональное и поддающееся автоматизации вычленение из текстов смысловых единиц возможно только на уровне слов и устойчивых словосочетаний. Вычленение, группировка и тапологизация более сложных смысловых единиц, осуществляемые на аналитической стадии качественного социологического исследования, могут выполняться только человеком на основе еще не изученных бессознательных интеллектуальных алгоритмов. Быстрый прогресс в развитии компьютерных программ автоматизированного перевода дает возможность предположить, что с течением времени станет осуществимым автоматизированное распознавание все более сложных смысловых единиц. Однако на практику фокус-групповых исследований эта работа пока не оказывает никакого влияния. При изучении литературы по маркетинговым фокус-группам мы ни разу не встречались с упоминанием о применении контент-анализа в какой бы то ни было форме. В области академических исследований такие упоминания имеются [9б], однако изучение данного вопроса требует специальной работы. Отметим здесь же, что в начале 90-х годов наиболее современной работой по методам компьютерного контент-анализа считалась работа Вебера [276].

Резюмируя, обратимся к вопросу определения областей валидное™ количественных и качественных исследований. Выше было показано, что эти области принципиально различны, поскольку радикально различны решаемые ими классы задач. Область валидного применения формализованных опросов только на первый взгляд кажется беспредельной или очень широкой. На самом деле она ограничена выявлением степени распространенности тех или иных знаний, мнений или установок, которые:

а) должны быть известны заранее, т.е. до проведения опроса;

б) не должны быть навязываемой респонденту фикцией или псевдосуждениями, не свойственными его сознанию.

Для выявления самого факта существования знаний, мнений или установок количественные методы непригодны, что хорошо видно из следующего сравнения результатов опроса.