Валидность и типы валидности

Оценка валидности реально проводимых экспериментов совершается путем использования неких «внутренних очков», сквозь призмы которых удается увидеть направления возможных или уже сделанных ошибок при планировании и проведении эксперимента. Р. Готтсданкер использовал удобный прием представления в качестве таких направлений мысленных образцов эксперимента.

Не следует путать понятия «мысленный эксперимент» (МЭ) и «мысленный образец» эксперимента. МЭ может быть понят, во-первых, как принятый норматив размышлений психолога на всех этапах следования логике экспериментальной проверки психологической гипотезы. Во-вторых, МЭ может рассматриваться в контексте использования психологом мысленных образцов с целью оценивания контроля угроз выводу об эмпирической зависимости. В-третьих, МЭ может представлять такой эксперимент, который нереализуем из-за отсутствия средств операционализации переменных, принятия определенных этических нормативов или экономических соображений и т.д.

В первых двух случаях путь мысленного экспериментирования – это обсуждение экспериментальной модели, задающей интересующую исследователя связь между переменными, когда анализируется реально проведенный или планируемый для реального сбора данных эксперимент. В третьем случае МЭ может представлять схему заведомо ирреального, т.е. в принципе нереализуемого исследования. В нем, однако, представлен путь возможной организации выводов, если бы исследователю были доступны предполагаемые формы экспериментального контроля.

Как и реально проводимый эксперимент, мысленный эксперимент является средством проверки не любых психологических гипотез. Детерминистски сформулированные гипотезы, проверяемые в МЭ, могут быть каузальными и структурно-функциональными. Последние не являются предметом экспериментирования в узком смысле этого термина, но могут направлять построение, например, формирующих экспериментов. Методы теоретического моделирования, более отвечающие проверке структурно-функциональных гипотез, не рассматриваются в данном учебнике, построенном как введение в эксперимент в качестве метода сбора эмпирических данных.

При планировании психологического эксперимента МЭ может быть понят и как осуществляемый во внутреннем, умственном плане ход экспериментальной деятельности, внешне реально развернутой в этапах проведения эксперимента. Собственно, все этапы планирования – это варианты мысленного экспериментирования с целью определения наилучших форм экспериментального контроля, выбора лучшего из возможных экспериментальных планов.

Наряду с планированием в функции мысленного эксперимента входит обоснование или оценка валидности реально проводимых экспериментов. Мысленные образцы, по отношению к которым оцениваются свойства реально проводимого эксперимента, позволяют обсуждать основные аспекты «правильности» построения экспериментальной модели. Правильность означает в данном случае лишь степень приближения к наилучшему мысленному воплощению экспериментальных условий, соответствующих конкретной экспериментальной гипотезе. Экспериментатор может правильно или неправильно выбрать и обосновать переменные, методики как средства операционализации этих переменных. Экспериментатор может ввести смешения НП с другими переменными или удачно избежать смешений. Он может получить более или менее надежные данные, установив то или иное количество проб на каждое из условий НП; может обеспечить случайность разброса условий побочных переменных по уровням НП или не проконтролировать несистематическую изменчивость (НП, ЗП, побочных факторов).

Именно такое прочтение функций мысленных образцов представлено в использованных Р. Готтсданкером понятиях идеального и бесконечного экспериментов, экспериментов полного соответствия и безупречного. Все эти четыре термина служат для уточнения критериев, в соответствии с которыми необходимо оценивать успешность планирования, организации и проведения эксперимента, осуществляемого реально.

В контексте рассматриваемых нормативов профессиональных рассуждений психолога термин «мысленный эксперимент» – один из таких нормативов (или «внутренних очков»), используя которые психолог может ответить на многие вопросы относительно достигнутого уровня эмпирической подкрепленности проверяемой каузальной гипотезы. Однако нет рецепта, как пользоваться этими «очками» в каждом конкретном случае. Иногда от них нужно отказаться, если тип исследования не таков, чтобы применять к нему сложившиеся нормативы экспериментальной оценки гипотезы. Однако такой отказ не следует путать с неумением правильно организовать и проводить психологический эксперимент.

Виды валидности – это направления сравнений реально проводимых экспериментов с мысленными образцами. Оценка валидности связана как с оценкой реализации выбранных форм экспериментального контроля, так и с оценкой системы умозаключений при организации исследования с точки зрения следования нормативам экспериментального вывода. Нормативы, связанные с возможными обобщениями из психологических экспериментов, предполагают разведение разных видов валидности.

Внутренняя и внешняя валидность – обязательно обсуждаемые аспекты правильного эксперимента, будь то эксперимент в научных или практических целях. Отличия в выводах из этих экспериментов будут касаться того, как строится обобщение: переносится ли оно на других людей, другие ситуации, виды деятельности или на теоретическую модель.

Внутренняя валидность эксперимента обеспечивает вывод только об исследуемой зависимости, т.е. об отношении между независимой и зависимой переменными, но ничего не сообщает о возможности ее распространения за пределы данной экспериментальной ситуации. Если полученные данные характеризуются ненадежностью или наличием смешений (систематических, несистематических, сопутствующих), то нельзя считать обоснованным утверждение, формулируемое в экспериментальной гипотезе, даже если получен соответствующий ей экспериментальный эффект.

Если внутренняя валидность проведенного эксперимента оценивается высоко, то из этого также еще не следует, что установленная экспериментально зависимость соответствует чему-либо в реальности. Так, в лабораторных экспериментах экспериментальная модель может представлять модель научную, репрезентирующую определенные связи между операционализированными переменными. Возможны случаи, когда для этих моделей потом не находятся те виды субъективной реальности, которые они были призваны репрезентировать в экспериментальной ситуации. Тем самым не находится той эмпирии, на которую можно было бы перенести обобщение установленной в эксперименте зависимости.

Внешняя солидность, предполагающая решение проблем соответствия (НП, ЗП, ДП), обеспечивает возможность обобщения на те виды ситуаций или виды деятельности, которым соответствуют экспериментально контролируемые переменные. Если речь идет о теоретических обобщениях, то оценка внешней валидности уступает место оценке конструктной валидности. Решение вопросов о конструктной и внешней валидности приводит исследователя к выбору типа эксперимента: естественного («дублирующего реальный мир»), искусственного (улучшающего реальный мир) или лабораторного.

Необходимо различать системы теоретических положений, предполагающих, что они имеют отношение к миру реальности (для психологических теорий это мир субъективной, или психологической, реальности), и положений, не нацеленных на соотнесение мира теории и эмпирии (как онтологической реальности, если пользоваться терминологией П. Фресса и Ж. Пиаже). Это различение может касаться авторской позиции: «если моей теории в мире реальности ничего не соответствует, то пусть ей – реальности – будет хуже». Оно может быть следствием того, что сформулированным психологическим конструктам не было найдено соответствия на уровне опытных данных. При рассмотрении особенностей экспериментального метода речь идет несколько о другом – о возможности эмпирически оценивать теоретические каузальные объяснения.

Экспериментальный метод предполагает построение исследования с целью отвержения неадекватных объяснений или «неверных» теорий как не соответствующих эмпирически установленным зависимостям. Чаще неразличение продуктивного теоретизирования и псевдотеоретизирования связано с тем, что всегда необходим существенный «прорыв» в обобщении, чтобы соотнести хотя бы посредством гипотетических конструктов [68] закономерности, устанавливаемые при построении экспериментальных ситуаций (экспериментальных моделей) и теоретических моделей. Только содержательное обсуждение устанавливаемой в каузальной гипотезе связи между переменными, учитывающее объяснительные принципы, сложившиеся в рамках конкретных психологических школ, позволяет исследователю настаивать на реальности, т.е. «эмпирической загруженности», стоящих за переменными психологических понятий и исследуемых зависимостей. Анализ эмпирической загруженности следующих из теории гипотез выполняет при этом существенную роль «ограничителя» для утверждения псевдозакономерностей [82].

Понятие конструктной валидности охватывает соответствующий аспект оценки правильности построения эксперимента: насколько обоснованным был переход от представленных в теоретической гипотезе понятий – психологических конструктов к эмпирическим их репрезентациям как НП, ЗП, ДП, а также насколько объяснение установленной зависимости действительно следует из представляемой автором теории. Еще до выбора конкретных методик или уже при их обосновании экспериментатор осуществляет тот «прорыв» в обобщении (от теории к эмпирии), который связан с множественностью экспериментальных воплощений универсальных высказываний. Один и тот же конструкт (например, понятие агрессии или фрустрации) может предполагать разные модели возникновения и регуляции исследуемых феноменов, т.е. всегда возникает вопрос, какая авторская позиция стоит за используемым психологическим понятием. Эта позиция во многом определит, как будут конкретизированы переменные на уровне экспериментальной и контргипотез.

Уже рассмотренная проблема возможной множественной интерпретации одной и той же экспериментальной зависимости фиксирует другой аспект конструктной валидности, а именно: насколько обоснованным выглядит авторское введение гипотетических конструктов в каузальную зависимость как объяснение связи между НП и ЗП. Известно, что отсутствие сильных конкурирующих объяснений – это третье условие причинного вывода. В реальности конкурирующие объяснения остаются всегда, вопрос только в том, насколько более обоснованной выступает авторская интерпретация по сравнению с другими объяснениями той же установленной зависимости. Понятно, что эта оценка – содержательная, а не только формально-логическая (что тоже должно учитываться – как проявление логической компетентности автора). Само принятие той или иной позиции может характеризовать пристрастия экспериментатора, однако оценка конструктной валидности уже не может быть столь же пристрастной, поскольку она связана с отражением в гипотезе накопленных знаний об исследуемой реальности.

Проблема не в различении старых и новых гипотез, которые в разной степени подкреплены эмпирическими доводами. В. Налимов [45] назвал эту проблему одним из парадоксов в понимании развития науки, по К. Попперу. Парадоксальным выглядит тот факт, что новая гипотеза, в пользу которой имеется меньше теоретических и эмпирических доводов, со временем вытесняет старую, обычно более хорошо подкрепленную проведенными исследованиями. Проблема в том, как автору добиться согласия предполагаемого профессионального читателя отчета об исследовании с тем, что автор эксперимента достоверно представил на уровне эмпирических реалий теоретически подразумеваемые конструкты, а не осуществил их вольную или невольную подмену другими.

Итак, оценка обоснованности перехода от уровня теоретических положений к уровню экспериментальной и контргипотезы – вопросы конструктной валидности эксперимента. Решение проблем операционализации переменных в методических процедурах их измерения (и управления) – вопросы операциональной валидности. Если обобщение зависимости включает перенос ее на «жизненные», т.е. реальные, виды ситуаций и деятельности человека – это решение проблем соответствия переменных с точки зрения внешней, или, как ее теперь иногда называют, экологической валидности.

Оценка операциональной валидности охватывает этап перехода от уже сформулированных экспериментальных и контргипотез к процедурам их методического воплощения. Одна и та же переменная может быть представлена показателями разных методик. Одна и та же мысленная модель эксперимента может быть реализована при достаточно разном «техническом» или операциональном воплощении управляемых и измеряемых переменных.

Популяционные гипотезы, имеющие целью перенос обобщений на конкретные группы людей и целые популяции, могут оцениваться с помощью использования мысленных образцов, но не могут быть проверены в умственном плане. Те дополнительные переменные, которые должны быть учтены исследователем в целях обобщения, не обеспечивают обоснования условий необходимости или достаточности в контексте представленности в реальном поведении людей или в реальных ситуациях действия именно тех механизмов, которые рассматривались в МЭ.

Факторы, угрожающие внутренней валидности эксперимента, рассматриваются в связи с обсуждением формального планирования как условия принятия решений об экспериментальном факте. Разработка межгрупповых или интраиндивидуальных планов направлена в первую очередь на обеспечение контроля внутренней валидности. Применительно к стратегиям отбора испытуемых в группы из популяций следует также обсуждать взаимосвязь внешней (популяционной) и внутренней валидности, поскольку этими стратегиями решаются одновременно две задачи: обеспечение репрезентативности выборки испытуемых, и эквивалентности сравниваемых групп.

Психологическая гипотеза, эксплицируемая, или выводимая, как следствие из той или иной теоретической концепции, при повторных проверках может несколько видоизменяться, если изменяются средства операционализации входящих в нее переменных. В случае когда предполагается выявление одной и той же теоретически предполагаемой зависимости, но психологические конструкты конкретизируются разными методическими средствами, это называется концептуальными репликациями [32]. Так, при множественных измерениях зависимой переменной разными методиками повышается обоснованность утверждений о характере изучаемого базисного процесса. Изменения типов задания независимых переменных также расширяют диапазон обобщений устанавливаемой психологической закономерности. Существенно, что при этом имеется в виду однозначность интерпретации самого психологического конструкта («мотивация достижения», «функциональные состояния», «гибкость–ригидность контроля» и т.д.).

На самом деле в психологии часто при использовании одного и того же понятия изучаются разноуровневые базисные процессы, т.е. в экспериментах с терминологически сходными формулировками гипотез представлены достаточно отличающиеся друг от друга типы переменных. Рассмотрим в качестве примера конструкт «импульсивность». Существует множество теоретических расхождений в обосновании методик, претендующих на измерение переменной импульсивности как индивидуального или личностного свойства. Одни из них связывают импульсивность со снижением рациональности, функции планирования, недостаточностью самоконтроля, т.е. одной из генерализованных черт поведения человека. Другие измеряют импульсивность как когнитивный стиль. Третьи настаивают на связи импульсивности со свойствами темперамента. Допустим, что авторы находятся в рамках сходных методологических подходов к пониманию личности, например, с позиции теории черт, но и в этом случае труднодостижимым оказывается согласие в том, какова психологическая реальность, соответствующая этому свойству.

Специальным случаем является обобщение, связанное с организацией в эксперименте «очищенных» условий для проверки так называемых точных гипотез. Обычно это функция лабораторного эксперимента: получить данные в условиях, отвечающих причинно-следственным зависимостям в специально сформулированной модели, чтобы эмпирически оценить объяснительную силу этой теоретической модели. Однако обобщения теоретического характера связаны не только с таким ходом рассуждения, как «эксперимент – модель – теория». Оценка силы тех или иных обобщений выявляется и в анализе свойств самой теории – применительно к «миру теорий» (а не к миру «психологической реальности»). Независимо от того, моделируется ли в эксперименте ситуация, отражающая теоретическую модель или модель «внешнего мира», оценивается как объяснительная сила высказывания, сформулированного в виде экспериментальной гипотезы, так и возможность перехода от той или иной теории как системы объяснений к этому эмпирически нагруженному высказыванию. ЭГ как эмпирическая гипотеза будет включать переменные, которые можно не только наблюдать, но и измерять (в той или иной шкале).

Конструктная валидность обсуждается при любых типах экспериментов с научными целями как адекватность перехода от научной гипотезы к экспериментальной или от «рабочей» к интерпретационной теоретической гипотезе. Решение вопросов операциональной валидности охватывает этап перехода от уже сформулированных экспериментальных и контргипотез к методическим процедурам их воплощения в экспериментальной модели, или экспериментальной ситуации. Р. Готтсданкер рассматривает понятие операциональной валидности только применительно к такому типу эксперимента как лабораторный. В этом случае не различаются два названных этапа разработки методических процедур, поскольку предполагается представленность психологического конструкта в самом способе его измерения. С этим можно спорить, учитывая несводимость обобщенного понятия к его эмпирическому наполнению, с одной стороны, и возможную неспецифичность показателей методики – с другой.

В целом о валидности эксперимента говорят, подразумевая все формы экспериментального контроля, направленного на обеспечение всех видов валидности. Результаты валидного эксперимента могут служить основанием достоверного вывода, если в целом реализована логически обоснованная система умозаключений, включающая взаимопереходы между разными уровнями гипотез, проверяемых в эксперименте. Если проконтролированы все возможные или наиболее явные угрозы внутренней и внешней валидности, хорошо решены проблемы операционализации переменных и проблемы соответствия, то такой эксперимент оценивается как валидный, или «правильный». Из правильно построенного эксперимента можно сделать достоверные – валидные, или «правильные», выводы, подразумевая отсутствие в них ошибок обобщения или ошибок умозаключений, но в выводах можно ошибиться.

Ошибки выводов, или недостоверные выводы, возможны в результате как неверных обобщений, так и проведения невалидных экспериментов. При понимании экспериментирования как чувственно-предметной деятельности ученого не следует, таким образом, ограничиваться описанием и оценкой того, как операционализируются переменные или как осуществляется их регистрация. Формулирование системы гипотез, оценка валидности эксперимента и реализация выводов входят как нормативы, или нормативные регуляторы, этой деятельности.

Выбор конкретной формы эксперимента связан с разработкой того или иного экспериментального плана (как схемы сбора данных при разных условиях НП) и с другими типами контроля (выбор типа эксперимента, осуществление «первичного» контроля, «дополнительного варьирования» переменных, введение расширенной переменной и т.д.). Решение проблем планирования означает при этом «прописывание» эксперимента в системе классификаций типов экспериментов и видов экспериментальных схем. Это в свою очередь позволяет обозначить возможности и ограничения последующих выводов.

Именно предположения о возможностях последующих обобщений направляют исследователя при решении вопросов содержательного и формального планирования экспериментов. Тем самым проблема выводов и обобщений оказывается разведенной по двум достаточно отстоящим друг от друга этапам – мысленного планирования экспериментальных схем и процедур и обоснования выводов на основании результатов уже проведенного исследования. В реальных экспериментальных исследованиях этому соответствует двухэтапность обобщений: как исходных предположений о виде зависимости между НП и ЗП и как завершающих выводов о возможности обобщений как переноса установленной зависимости за пределы экспериментальной ситуации (обобщения на теоретическую модель, на другие ситуации, виды деятельности, испытуемых и т.д.).

ТЕОРИЯ И ЭКСПЕРИМЕНТ

Эксперимент ставится для того, чтобы проверить теоретические предсказания. Теория является внутренне непротиворечивой системой знаний о некотором фрагменте реальности (объекте теории). Элементы теории логически взаимосвязаны друг с другом. Ее содержание выводится по определенным правилам из некоторого исходного множества суждений и понятий — базиса теории.

Существует множество форм неэмпирического (теоретического) знания: законы, классификации и типологии, модели, схемы, гипотезы и т. п. Теория выступает в качестве высшей формы научного знания. Каждая теория включает в себя следующие основные компоненты: 1) исходную эмпирическую основу (факты, эмпирические закономерности); 2) базис — множество первичных условных допущений (аксиом, постулатов, гипотез), которые описывают идеализированный объект теории; 3) логику теории — множество правил логического вывода, которые допустимы в рамках теории; 4) множество выведенных в теории утверждений, которые составляют основное теоретическое знание.

Идеализированный объект теории представляет собой знаково-символическую модель части реальности. Законы, формируемые в теории, на самом деле описывают не реальность, а идеализированный объект.

По способу построения различают аксиоматические и гипотетико-дедуктивные теории. Первые строятся на системе аксиом, необходимых и достаточных, недоказуемых в рамках теории; вторые — на предположениях, имеющих эмпирическую основу.

Различают эмпирическое основание и предсказательную силу теории. Теория создается не только для того, чтобы описать реальность, которая послужила основой для ее построения: ценность теории заключается в том, какие явления реальности она может предсказать и в какой мере этот прогноз будет точным. Наиболее слабыми считаются теории ad hoc (для данного случая), описывающие лишь те явления и закономерности, для объяснения которых они были разработаны.

Последователи критического рационализма полагают, что экспериментальные результаты, противоречащие прогнозам теории, должны привести ученых к отказу от нее. Однако на практике эмпирические данные, не соответствующие теоретическим предсказаниям, могут побудить теоретиков к совершенствованию теории — созданию «пристроек». Исследователи стремятся к сохранению своей теории, поэтому на каждый контрпример, на каждое экспериментальное опровержение они, как правило, реагируют изменением структуры теории, приводя ее в соответствие с новыми фактами.

Зачастую, в определенное время существует не одна, а две или более теорий, которые одинаково успешно объясняют экспериментальные результаты (в пределах погрешности опыта).

Известный методолог П. Фейерабенд выдвигает «принцип упорства»: не отказываться от старой теории, игнорировать даже явно противоречащие ей факты. Второй его принцип — методологического анархизма: «Наука представляет собой по сути анархистское предприятие: теоретический анархизм более гуманен и прогрессивен, чем его альтернативы, опирающиеся на закон и порядок... Это доказывается и анализом конкретных исторических событий, и абстрактным анализом отношения между идеей и действием. Единственный принцип, не препятствующий прогрессу, называется "допустимо все" (anything goes)... Например, мы можем использовать гипотезы, противоречащие хорошо подтвержденным теориям или обоснованным экспериментальным результатам. Можно развивать науку, действуя конструктивно»

⇐ Предыдущая123456789Следующая ⇒

Поделиться:

Воспользуйтесь поиском по сайту: