Известные методы повышения объективности результатов эксперимента

Method of increasing the objectivity of empirical research

D N Galiahmetova, O A Feoktistova, Ya A Shchenikov

Saint-Petersburg State University of Aerospace Instrumentation, Bolshaya Morskaia str. 67A, Saint-Petersburg, 190000, Russian Federation

 

E-mail: yar2409@mail.ru

 

Abstract.   

 

Методика повышения объективности эмпирических исследований

 

Галиахметова Д.Н., Феоктистова О.А., Щеников Я.А.

Санкт-Петербургский государственный университет аэрокосмического приборостроения, улица Большая Морская, дом 67А, Санкт-Петербург, 190000, Российская Федерация

 

E-mail: yar2409@mail.ru

Аннотация. Ошибки эксперимента – это экспериментальный результат, который возникает из-за отклонений в проведении исследования или дефектов используемых методик.

Ключевые слова: объективность исследования, эксперимент, когнитивные искажения

Цель: изучение влияния человеческого фактора на объективность научных исследований и полученных результатов.

Методы: Диаграмма Исикавы и чеклист,

В качестве методов проверки и обоснования эффективности опросника применялись:

- проверка на дискриминативность шкал - проводилась при помощи закономерностей дисперсии;

- проверка на способность отражать измеряемое в метрической шкале интервалов - при помощи свойства нормального распределения);

- проверка на экспериментальную, концептуальную, внешнюю и содержательную валидность;

- стандартизация.

Результаты: Методика оценки объективности эксперимента самооценки, чек-лист, позволяющий снизить субъективность эмпирических исследований за счёт минимизации когнитивных искажений. На данный момент разработанная методика может применяться для оценки экспериментатором объективности своего эмпирического исследования.

 

Введение

Компании, занимающиеся разработкой и производством продукции, уделяют много внимания оценке и описанию внутренних процессов с целью повышения их качества и объективности. В то же самое время, одним из условий успешного развития компании на рынке являются инновации. При этом качеству экспериментальной оценки инновационной продукции, качеству так называемых «точных экспериментов» уделяется минимальное внимание.

По данным исследования, опубликованного в Harvard Business Review – 40-90% новых продуктов не приживаются на рынке.  терпят фиаско [???]. Потребители обычно консервативны, и склонны в 3 раза переоценивать преимущества старого продукта, в то время как производители склонны в 3 раза переоценивать преимущества инновационного продукта [Гурвиль Д.]. Инновационная продукция может переоцениваться производителем в том числе и потому, что если испытание продукции оказалось неудачным, при наличии других, более удачных, его, скорее всего, не опубликуют и не учтут. Это типичное когнитивное искажение – «эффект выжившего». 

В эмпирическом исследовании экспериментатор выступает и в том числе в роли наблюдателя. Наблюдение может быть «включенным» и «не включенным». Во втором случае экспериментатор претендует на объективность, особенно если применялись статистические методы, позволяющие повысить объективность полученных данных. Любое эмпирическое исследование начинается с того что исследователь фиксирует выраженность интересующих его свойств у объекта или объектов исследования, как правило, при помощи чисел. Таким образом, следует различать объекты исследования (процессы, предметы, явления), их свойства – то, что составляет предмет изучения и признаки, отражающие в числовой шкале выраженности свойств. При этом экспериментатору исключительно важно отдавать себе отчет в том, что точность, с которой признак отражает измеряемое свойство, зависит от процедуры измерения.

Но так ли все просто?

В 1796 г произошло интересное событие, вскрывшее, на сколько не надежными могут быть «объективные», точные измерения. Директор Гринвичской лаборатории Масклайн уволил ассистента Киннбурка, который определял время прохождения звезды чуть ли не на секунду позже него. Он счел его работу небрежной и безответственной. Через некоторое время знаменитый немецкий астроном Бессель, заинтересовавшись конфликтом Масклайна с его сотрудником, снял с последнего обвинение в недобросовестности. Он пришёл к выводу, что нет двух астрономов, в наблюдениях которых не было бы непроизвольных различий. И эту составляющую очень сложно контролировать так как она связанна с особенностями нервной системы и индивидуальными различиями разных людей. Этот эпизод дал старт исследованиям влияния человеческого фактора на объективность научных исследований.

Каждую секунду времени человеческий мозг обрабатывает триллионы различных процессов. Неудивительно, что он ищет паттерны поведения, которые позволяют уменьшить количество процессов головного мозга, тем самым, сохранив больше энергии. Однако в научной деятельности эти приобретенные паттерны поведения обычно вредны, так как могут повлиять на объективность результатов исследования.

Когнитивные искажения – ошибки мышления, которые человек допускает при обработке информации. Они происходят, когда человек: запоминает и вспоминает, обрабатывает большой объем информации, быстро реагирует на ситуацию, человеку не хватает информации (таблица 1) [???].

 

Таблица 1 – Виды когнитивных искажений

Запоминаем и вспоминаем
По-разному храним воспоминания в зависимости от ситуации получения опыта	Феномен на кончике языка, эффект уровней обработки информации, эффект следующего в очереди, эффект тестирования, рассеянность внимания.
Упрощаем события и списки до отдельных ключевых моментов и элементов	Эффект суффикса, эффект неполного номера, эффект неполного списка, игнорирование продолжительности, эффект первенства, торможение памяти, эффект модальности, эффект свежести, эффект длины списка, последовательное воспоминание, эффект дезинформации, выравнивание и заострение, правило кульминации и завершения
Отбрасываем частности для построения и закрепления обобщений	Эффект затухания, феномен негативного восприятия, предрассудок, стереотипное предубеждение, неявные стереотипы, неявные ассоциации
Редактируем и усиливаем воспоминания после случившихся событий	Эффект интервала, внушаемость, конфабуляция, криптомнезия, путаница с источниками, ошибка атрибуции воспоминания
Быстро реагируем
Предпочитаем просто выглядящие и однозначные варианты выбора более сложным и неопределенным	Эффект меньше лучше, бритва Оккама, ошибка конъюнкции, эффект Делмора, закон тривиальности, эффект рифмованности, искажение правдоподобного вывода, информационное искажение
Склонны сохранять личную автономию и текущий статус в группе избегая необратимых решений.	Отклонение в сторону статуса кво, искажение социального сравнения, эффект приманки, реактивное сопротивление, реверсивная психология, оправдание системы
Предпочитаем завершить то, во что ранее уже вложили время и усилия	Эффект обратного результата, эффект владения, эффект трудности обработки информации, эффект псевдо определённости, эффект диспозиции, предпочтение нулевого риска, отклонение в сторону целого, неприятие потери, эффект создания информации, эскалация привязанности, иррациональная эскалация, невозвратные издержки
Предпочитаем фокусироваться на немедленных и близких результатах	Эффект опознанной жертвы, апелляция к новизне, переоценка скидок
Чтобы действовать должны быть уверенны в способности что-то изменить и чувствовать важность своих поступков	Эффект Пельцмана, компенсация риска, оправдание усилий, искажение при описании особенности, гипотеза защитной атрибуции, эффект тяжело легко, иллюзия контроля, искажение в собственную пользу, склонность к оптимизму, эгоцентрическое искажение, эффект Деннинга Крюгера, отклонение в общественное одобрение, эффект ложного согласия, эффект третьего лица, сверхуверенность, эффект выше среднего, самоуверенность
Обрабатываем большой объем информации
Охотнее замечаем то, что ранее запоминали либо часто встречали.	Эвристика доступности, систематическая ошибка, внимания, эффект иллюзия правды, эффект знакомства с объектом, эффект контекста, забывание без подсказок, соответствие эмоциям, иллюзия частности, разрыв эмпатии, неоцененность бездействия, ошибка базового процента
Странные/смешные/внешне привлекательные/антропоморфные вещи привлекают внимание больше, чем привычнее/несмешные	Эффект причудливости, эффект юмора, эффект превосходства картинки, эффект Рестрофф, эффект самореференции, феномен негативного восприятия
Замечаем, когда что-то изменилось	Эффект привязки, эффект контраста, эффект фокусировки, ошибка различения, консерватизм, эффект фрейминга, денежная иллюзия, закон Вебера-Фехнера
Привлекают частности, подтверждающие существующие убеждения	Склонность к подтверждению своей точки зрения, систематическая ошибка согласованности, рационализация после покупки, искажение восприятия сделанного выбора, селективное восприятие, эффект ожидания наблюдения, ошибка ожидания, эффект страуса, субъективное придание значимости, эффект продолжающегося влияния, рефлекс Земмельвайса
Гораздо легче замечаем изъяны в других, чем в себе	Эффект слепого пятна, наивный цинизм, наивный реализм
Нам не хватает информации
Обнаруживаем истории и закономерности даже в скудных данных	Антропоморфизм, иллюзия кластеризации, ошибка из-за размера выборки, отрицание вероятности, случай из жизни, иллюзия валидности, ошибка про человека в маске, иллюзия новизны, ошибка игрока, иллюзия корреляции, парейдолия
Дополняем пробелы в информации известными признаками из стереотипов, обобщений и прошлого опыта.	Ошибка коллективной атрибуции, ошибка предельной атрибуции, стереотипизация, эффект нормальной не погрешности, функциональная закреплённость, эссенциализм, вера в справедливый мир, ошибка в ошибке, апелляция к авторитету, заблуждения надежности автоматизации, присоединение к большинству, эффект плацебо
Больше ценим знакомые/ симпатичные вещи и людей, незнакомые/несимпатичные	Гомогенность «чужой» группы, гало эффект, эффект позитивности, неприятие чужой разработки, реактивное обесценивание, эффект знакомого маршрута
Упрощаем числа и вероятности, чтобы о них было легче думать	Отклонение в сторону нулевой суммы, апелляция в сторону вероятности, искажение нормальности, ментальный учет, закон Мерфи, ошибка выжившего, эффект ценности денежных знаков, магическое число 7+2
Думаем, что знаем, то чем думают другие	Отклонение к внешним стимулам, проклятие знания, эффект прожектора, иллюзия прозрачности, иллюзия постороннего участия, иллюзия ассиметричной проницательности
Проецируем наш текущий образ мыслей в прошлое и будущее	Искажение сдержанности, искажение изобретателя, ошибка сэкономленного времени, склонность к пессимизму, эффект телескопа, упадничество, случайная добродетель, искажение оценки по последствиям, ретроспективное искажение, приукрашивание прошлого/будущего

Много на тему субъективности объективных инструментов получения эмпирических данных писали прямые специалисты по человеческому фактору и когнитивным искажениям – психологи. Психолог Ричард Грегори в результате своих наблюдений сделал вывод, что мозг автоматически достраивает изображение по имеющиеся у него данные и делает то же самое с выводами из не полных сведений. Р. Розенталь в ходе эксперимента доказал, что экспериментатор, который твердо верит в гипотезу или надежность информации, неосознанно действует таким образом, чтобы получить соответствующие результаты, подтверждающие гипотезу (завышение значения определенного параметра или определенной задачи по экспериментальной серии, избегание крайних оценок как низких, так и высоких, группировки данных только вокруг среднего значения и т.д.). Тему разрабатывали так же физик Джеральд Холтон (ученый изначально настроен на то что хочет открыть), Майкл Полани (концепция личностного не явного знания), Менделеев (точность измерений и важность метрологии), Эрнст Мах (данные полученные человеком при помощи опыта – это единственная реальность с которой имеет дело человек, аналогия с расписанием автобусов), Мориц Шлик (принципы верификации, толератнтности и физикализма), Эдвард Торндайк и Фил Розенцвейг (эффект Ореола), а так же многие современные авторы: С.Н. Тиц, А.И. Худяков, А.Д. Наследов, Л.В. Копец, В.Н. Дружинин, П. Клайн.

Эксперименты могут быть вовсе не связаны с людьми, как испытуемыми. Объектом и способом исследования может быть что угодно: математическое моделирование факторов безопасности конструкции моста, или оценка работы технических систем в определенных условиях. Но управляет течением эксперимента, планирует и реализует его все равно человек - экспериментатор. Субъект исследования. (Может оставим терминологию объект исследования и субъект исследования? Она сделает более общим все то что мы пишем. А то психологи, инженеры, «исследователи….»)

Обобщим встречающиеся в литературе ссылки на ошибки экспериментаторов (Таблица 2)

                           

Таблица 2 – Эффекты, влияющие на субъективность эмпирического исследования

Эффект	Причина Проявления
Эффект Розенталя - влияние предубеждения экспериментатора  на результаты исследования, подсознательная попытка подогнать их под желаемую теоретическую схему. Один из факторов, угрожающих внутренней валидности. Может проявиться на любой стадии исследования и в любой науке.	Деформация шкалы; ошибка меткого стрелка; тенденция оценки логической силы аргумента в зависимости от веры в истинность или ложность заключения; завышение значения определённого параметра по экспериментальной серии; предвзятый выбор тех данных, которые противоречат гипотезе, чтобы не казаться предвзятым; эффект последовательности (перенос)
Гало-эффект (эффект ореола), результат воздействия общего  впечатления о чем-либо на восприятие его частных особенностей.	Искажение в связи с формулировкой закона; фрейминг – использование слишком узкого подхода в описании ситуации или вопроса; недостающие звенья между объяснением и обобщением; неправомерные апелляции к авторитету или общепринятому факту; неправомерное выделение основной причины – частная причина принимается за основную и исчерпывающую
Излишнее беспокойство за успех	Амплификация – вложение в достижение цели больше усилий, чем необходимо (попытка убить муху кувалдой); уклон в сторону поиска информации; ускорение; опережение
Переоценка значимости частных случаев	Эффект фокусировки; переоценка воздействия частной переменной на общий результат; отклонение в сторону результата («победителей не судят»)
Ошибки организации эксперимента	Отсутствие учёта изменения объекта исследования во времени; сопутствующее смещение; селекция (неэквивалентность группы объектов по составу, которая вызывает систематическую ошибку); факторы выборки объектов; неправомерное выделение основной причины – частная причина принимается за основную и исчерпывающую; статистическая регрессия – группа объектов отбиралась на основе «крайних» показателей; предпочтение нулевого риска; ошибка планирования – тенденция недооценивать ресурсы, которые необходимо затратить на выполнение задач
Преувеличение вероятности частных случаев	Эффект контраста; феномен Баадера-Майнхоф или иллюзия частотности; генерализация частных случаев
Переоценка значимости собственного мнения/положения/ выбора/возможностей	Систематическая ошибка согласованности; иррациональная эскалация; феномен выражения симпатии к объекту исследования только на основании имеющегося знакомства с ним; профессиональная деформация – смотреть узко, отбрасывая более общую точку зрения; тенденция задним числом приписывать положительные качества предмету или действию, которые человек выбрал

 

Известные методы повышения объективности результатов эксперимента

 

Даже в наше время известные методы повышения объективности исследований зачастую применяются только психологами, в то время как представители других отраслей наук не только не используют данные методы, но и вовсе могут быть не знакомы такой постановкой вопроса как значимость влияния когнитивных искажений.

Инженеры обычно сводят все к следующей парадигме: «есть ошибки прибора, измерения и обработки». Как правило, берется их среднее геометрическое и они считаются статистически независимыми. Ошибка измерения определяется производителем или за нее принимается половина цены деления. То же считается и про ошибку измерения – они ограничены половиной цены деления прибора – и она определяется глазом наблюдателя. Ошибка обработки зависит от того, насколько сложная и много ступенчатая обработка должна быть проделана с данными прежде, чем получится результат. Если закон известен или предполагается, то её можно найти из формулы. Таким образом, чем более хорошие измерительные приборы имеет наука и чем меньше цена деления, тем более точные результаты.В 2002 году был введен ГОСТ Р ИСО 5725-2-2002 Точность (правильность и прецизионность) методов и результатов измерений, позволяющий организовать совместную работу нескольких лабораторий над одним проектом. Речь в стандарте идет о технологиях повышения точности измерений, о технологиях статистического анализа данных эксперимента по оценке прецизионности, балансировке результатов по однородным уровням, но не учитывает когнитивных искажений которые могут привести к ошибкам экспериментаторов.

На сегодняшний день научным сообществом признаются два критерия, на основе которых оно отличает научное знание от псевдонаучного:

1. Принцип верификации, предложенный Бертраном Расселом, в силу которого только то знание является научным, которое можно подтвердить (так или иначе, прямо или косвенно, раньше или позже).

2. Принцип фальсификации, предложен Карлом Поппером, в силу которого только те знание является научным, которое можно (так или иначе, прямо или косвенно, раньше или позже) опровергнуть.

Противодействовать ошибкам эксперимента можно также с помощью ряда методических приемов:

3. Метод «плацебо» или двойной слепой метод -  Подбираются идентичная контрольная выборка объектов исследования. Экспериментальная процедура осуществляется в обоих случаях. Сам исследователь не знает, какая выборка получает «нулевое влияние», а какая подлежит реальному влиянию. Существует также модификация исследования, когда его проводит приглашенный ассистент, который не знает настоящую гипотезу исследования и то, какая из выборок подвергается реальному воздействию. Такой план позволяет преодолеть эффект ожиданий экспериментатора.

4. Описание результатов эксперимента в полевых условиях. Минус этого метода - неконтролируемые факторы оказывающие влияние на результат.

5. Использование статистического аппарата при многократном проведении измерений.

6. Использование параллельных опытов.

 

1234Следующая ⇒

Поделиться:

Воспользуйтесь поиском по сайту: