 |
Известные методы повышения объективности результатов эксперимента
|
|
|
|
Методика повышения объективности эмпирических исследований
Галиахметова Д.Н.1, Феоктистова О.А.1, Щеников Я.А.1
1Санкт-Петербургский государственный университет аэрокосмического приборостроения, улица Большая Морская, дом 67А, Санкт-Петербург, 190000, Российская Федерация
E-mail: yar2409@mail.ru
Аннотация. В статье описываются виды когнитивных искажений, которые могут влиять на объективность эмпирических исследований и полученных эмпирических данных. Представлена методика оценки объективности эксперимента самооценки,которая может применяться для оценки экспериментатором объективности своего эмпирического исследования. Разработанная методика использует чек-листы на этапах эмпрического исследования и позволяет снизить субъективность исследований за счёт минимизации когнитивных искажений, которые могут возникнуть из-за отклонений в проведении исследования или дефектов используемых методик.
Method of increasing the objectivity of empirical research
D N Galiahmetova 1, O A Feoktistova 1, Ya A Shchenikov 1
1Saint-Petersburg State University of Aerospace Instrumentation, BolshayaMorskaia str. 67A, Saint-Petersburg, 190000, Russian Federation
E-mail: yar2409@mail.ru
Abstract. The article describes the types of cognitive distortions that can affect the objectivity of empirical research and the empirical data obtained. A technique for evaluating the objectivity of an experiment in self-assessment is presented, which can be used to assess the objectivity of an empirical research by an experimenter. The developed methodology uses checklists at the stages of empirical research and allows to reduce the subjectivity of research by minimizing cognitive distortions that may arise due to deviations in the research or defects in the methods used.
Введение
Introduction
Компании, занимающиеся разработкой и производством продукции, уделяют много внимания оценке и описанию внутренних процессов с целью повышения их качества и объективности. В то же самое время, одним из условий успешного развития компании на рынке являются инновации. При этом качеству экспериментальной оценки инновационной продукции, качеству так называемых «точных экспериментов» уделяется минимальное внимание.
|
|
|
По данным исследования, опубликованного в Harvard Business Review – 40-90% новых продуктов не приживаются на рынке. Потребители обычно консервативны, и склонны в 3 раза переоценивать преимущества старого продукта, в то время как производители склонны в 3 раза переоценивать преимущества инновационного продукта [Гурвиль Д.]. Инновационная продукция может переоцениваться производителем, в том числе и из-за когнитивного искажения, например «эффекта выжившего»– если испытание продукции оказалось неудачным, то его, скорее всего, не опубликуют и не учтут при наличии других, более удачных испытаний.
В эмпирическом исследовании экспериментатор может выступать в роли как «включенного», так и «не включенного» наблюдателя. Во втором случае экспериментатор претендует на объективность, особенно если применялись статистические методы, позволяющие повысить объективность получаемых данных. Любое эмпирическое исследование начинается с того что исследователь фиксирует выраженность интересующих его свойств у объекта или объектов исследования, как правило, при помощи чисел. Таким образом, следует различать объекты исследования (процессы, предметы, явления), их свойства – то, что составляет предмет изучения и признаки, отражающие в числовой шкале выраженности свойств. При этом экспериментатору исключительно важно отдавать себе отчет в том, что точность, с которой признак отражает измеряемое свойство, зависит от процедуры измерения. Но так ли все просто?
Каждую секунду человеческий мозг обрабатывает триллионы различных процессов. Неудивительно, что он ищет паттерны поведения, которые позволяют уменьшить количество процессов головного мозга, тем самым, сохранив больше энергии. Однако в научной деятельности эти приобретенные паттерны поведения обычно вредны, так как могут повлиять на объективность результатов исследования.
|
|
|
Когнитивные искажения – ошибки мышления, которые человек допускает при обработке информации. Они происходят, когда человек: запоминает и вспоминает, обрабатывает большой объем информации, быстро реагирует на ситуацию, человеку не хватает информации (таблица 1) [???].
Companies involved in the development and production of products pay much attention to the assessment and description of internal processes in order to improve their quality and objectivity. At the same time, one of the conditions for successful development of a company in the market is innovation. At the same time, minimal attention is paid to quality of experimental evaluation of innovative products, the quality of the so-called “accurate experiments”.
According to a research published in the Harvard Business Review - 40-90% of new products do not take root in the market. Consumers are usually conservative, and tend to overestimate the advantages of an old product by 3 times, while manufacturers tend to overestimate the advantages of an innovative product by 3 times [D. Hurwil]. Innovative products can be overestimated by the manufacturer, including due to cognitive distortion, for example, the “survivorship bias” – if product test is unsuccessful, then it will most likely not be published and will not be taken into account in the presence of other, more successful tests.
In an empirical research, an experimenter can act as both an “on” and an “not on” observer. In the second case, the experimenter claims to be objective, especially if statistical methods were used to increase the objectivity of the data obtained. Any empirical research begins with the fact that the researcher fixes the severity of the properties of interest to the object or objects of research, usually with the help of numbers. Thus, it is necessary to distinguish between objects of research (processes, objects, phenomena), their properties – what makes up the subject of research and signs that reflect the severity of the properties. At the same time, it is extremely important for the experimenter to be aware that the accuracy with which the characteristic reflects the measured property depends on the measurement procedure. But is it that simple?
Every second human brain processes trillions of different processes. It is not surprising that he is looking for patterns of behavior that can reduce the number of brain processes, thereby saving more energy. However, in scientific activity, these acquired patterns of behavior are usually harmful, as they can affect the objectivity of the research results.
Cognitive distortions are errors of thinking that a person makes when processing information. They occur when a person: remembers and remembers, processes a large amount of information, quickly responds to a situation, a person doesn’t have enough information (table 1) [???].
Таблица 1 – Виды когнитивных искажений
Table 1 – Types of cognitive distortion
| Ситуация Context | Когнитивные искажения Cognitive distortion | ||
| Запоминаем и вспоминаем Remember and remember | По-разному храним воспоминания в зависимости от ситуации получения опыта Store memories in different ways depending on the experience situation | ||
| Упрощаем события и списки до отдельных ключевых моментов и элементов Simplify events and lists to individual key points and elements | |||
| Отбрасываем частности для построения и закрепления обобщений We discard particulars for constructing and fixing generalizations | |||
| Редактируем и усиливаем воспоминания после случившихся событий Editing and enhancing memories after events | |||
| Быстро реагируем
Quick response | Предпочитаем просто выглядящие и однозначные варианты выбора более сложным и неопределенным We prefer simple-looking and unambiguous choices to be more complex and uncertain | ||
| Склонны сохранять личную автономию и текущий статус в группе избегая необратимых решений They tend to maintain personal autonomy and current status in the group avoiding irreversible decisions | |||
| Предпочитаем завершить то, во что ранее уже вложили время и усилия We prefer to complete what we already invested in time and effort | |||
| Предпочитаем фокусироваться на немедленных и близких результатах We prefer to focus on immediate and close results | |||
| Чтобы действовать должны быть уверены в способности что-то изменить и чувствовать важность своих поступков To act, one must be confident in the ability to change something and feel the importance of one’s actions | |||
| Обрабатываем большой объем информации We process a large amount of information | Охотнее замечаем то, что ранее запоминали либо часто встречали We more willingly notice what we previously remembered or often met | ||
| Странные/смешные/внешне привлекательные/антропоморфные вещи привлекают внимание больше, чем привычнее/несмешные Strange / funny / outwardly attractive / anthropomorphic things attract more attention than usual / unfunny | |||
| Замечаем, когда что-то изменилось Notice when something has changed | |||
| Привлекают частности, подтверждающие существующие убеждения Attract particular evidence of existing beliefs | |||
| Гораздо легче замечаем изъяны в других, чем в себе It’s much easier to notice flaws in others than in ourselves | |||
| Нам не хватает информации We lack information | Обнаруживаем истории и закономерности даже в скудных данных Discover stories and patterns even in scarce data | ||
| Дополняем пробелы в информации известными признаками из стереотипов, обобщений и прошлого опыта We supplement information gaps with well-known attributes from stereotypes, generalizations and past experience | |||
| Больше ценим знакомые/ симпатичные вещи и людей, незнакомые/несимпатичные We value more familiar / nice things and people unfamiliar / unsympathetic | |||
| Упрощаем числа и вероятности, чтобы о них было легче думать Simplify numbers and probabilities to make them easier to think about | |||
| Думаем, что знаем, то чем думают другие We think that we know what others think | |||
| Проецируем наш текущий образ мыслей в прошлое и будущее Projecting our current mindset into the past and the future |
|
|
|
Тему субъективности инструментов получения эмпирических данных разрабатывали такие учёные, как:Ричард Грегори (мозг автоматически достраивает изображение под имеющиеся у него данные и делает то же самое с выводами из не полных сведений), Р. Розенталь (экспериментатор, который твердо верит в гипотезу, неосознанно действует таким образом, чтобы получить соответствующие результаты, подтверждающие гипотезу) [???]. Тему разрабатывали также: Джеральд Холтон (ученый изначально настроен на то что хочет открыть), Майкл Полани (концепция личностного не явного знания), Менделеев (точность измерений и важность метрологии), Эрнст Мах (данные полученные человеком при помощи опыта – это единственная реальность с которой имеет дело человек, аналогия с расписанием автобусов), Мориц Шлик (принципы верификации, толерантности и физикализма), Эдвард Торндайк и Фил Розенцвейг (эффект Ореола), а так же многие современные авторы: С.Н. Тиц, А.И. Худяков, А.Д. Наследов, Л.В. Копец, В.Н. Дружинин, П. Клайн [???].
Планирует и реализует эмпирическое исследование человек – экспериментатор, который, безусловно, может быть подвержен воздействию тех или иных когнитивных искажений. Встречающиеся в литературе эффекты, влияющие на субъективность эмпирического исследования, приведены в таблице 2.
The subjectivity of empirical data acquisition tools was developed by such scientists as: Richard Gregory (the brain automatically completes the image according to his data and does the same with conclusions from incomplete information), R. Rosenthal (an experimenter who firmly believes in the hypothesis, unconsciously acts in such a way as to obtain the corresponding results confirming the hypothesis) [???]. The theme was also developed by: Gerald Holton (the scientist was initially set up for what he wants to discover), Michael Polani (the concept of personal implicit knowledge), Mendeleev (measurement accuracy and the importance of metrology), Ernst Mach (data obtained by a person through experience – this is the only reality with which the person deals with, an analogy with the bus schedule), Moritz Schlick (principles of verification, tolerance and physicalism), Edward Thorndike and Phil Rosenzweig (Halo effect), as well as many contemporary authors: S.N. Tits, A.I. Khudyakov, A.D. Nasledov, L.V. Kopets, V.N. Druzhinin, P. Kline [???].
An empirical research is planned and implemented by a person – an experimenter, who, of course, can be affected by certain cognitive distortions. The effects encountered in the literature that affect the subjectivity of an empirical research are shown in Table 2.
Таблица 2 – Эффекты, влияющие на субъективность эмпирического исследования
Table 2 - Effects affecting the subjectivity of an empirical research
| Эффект Effect | Проявления Demonstration |
| Эффект Розенталя – подсознательная попытка подогнать результаты исследования их под желаемую теоретическую схему. Может проявиться в любой наукена любой стадии эмпирического исследования The Rosenthal effect is a subconscious attempt to tailor their research results to the desired theoretical scheme. It can manifest itself in any science at any stage of empirical research. | Деформация шкалы; ошибка меткого стрелка; тенденция оценки логической силы аргумента в зависимости от веры в истинность или ложность заключения; завышение значения определённого параметра по экспериментальной серии; предвзятый выбор тех данных, которые противоречат гипотезе, чтобы не казаться предвзятым; эффект последовательности (перенос) Scale deformation; the Texas sharpshooter fallacy; the tendency to evaluate the logical strength of an argument depending on the belief in the truth or falsity of the conclusion; overestimation of the value of a certain parameter in the experimental series; biased selection of data that contradicts the hypothesis, so as not to appear biased; sequence effect (transfer) |
| Гало-эффект (эффект ореола), результат воздействия общего впечатления о чем-либо на восприятие его частных особенностей Halo effect, the result of exposure to the general impressions of something on the perception of its particular features | Искажение в связи с формулировкой закона; фрейминг – использование слишком узкого подхода в описании ситуации или вопроса; недостающие звенья между объяснением и обобщением; неправомерные апелляции к авторитету или общепринятому факту; неправомерное выделение основной причины – частная причина принимается за основную и исчерпывающую Distortion in connection with the wording of the law; framing - using too narrow an approach to describe a situation or question; the missing links between explanation and generalization; unlawful appeals to authority or a generally accepted fact; unlawful allocation of the root cause - a particular reason is taken as the root and exhaustive |
| Излишнее беспокойство за успех Excessive concern for success | Амплификация – вложение в достижение цели больше усилий, чем необходимо (попытка убить муху кувалдой); уклон в сторону поиска информации; ускорение; опережение Amplification – investing in achieving the goal more effort than necessary (attempt to kill a fly with a sledgehammer); bias towards information search; acceleration; advance |
| Переоценка значимости частных случаев Reassessment of the significance of particular cases | Эффект фокусировки; переоценка воздействия частной переменной на общий результат; отклонение в сторону результата Focus effect; reassessment of the impact of a particular variable on the overall result; deviation towards the result |
| Ошибки организации эксперимента Errors of design of experiment | Отсутствие учёта изменения объекта исследования во времени; сопутствующее смещение; селекция (неэквивалентность группы объектов по составу, которая вызывает систематическую ошибку); факторы выборки объектов; неправомерное выделение основной причины – частная причина принимается за основную и исчерпывающую; статистическая регрессия – группа объектов отбиралась на основе «крайних» показателей; предпочтение нулевого риска; ошибка планирования – тенденция недооценивать ресурсы, которые необходимо затратить на выполнение задач Lack of accounting for changes in the object of research over time; concomitant displacement; selection (nonequivalence of the group of objects in composition, which causes a systematic error); factors of sample objects; unlawful allocation of the root cause - a particular reason is taken as the root and exhaustive; statistical regression - a group of objects was selected on the basis of “extreme” indicators; zero risk preference; planning error - the tendency to underestimate the resources that need to be spent on tasks |
| Преувеличение вероятности частных случаев Exaggeration of the probability of special cases | Эффект контраста; феномен Баадера-Майнхоф или иллюзия частотности; генерализация частных случаев Contrast effect; the Baader-Meinhof phenomenon or the illusion of frequency; generalization of special cases |
| Переоценка значимости собственного мнения/положения/ выбора/возможностей Reassessment of the significance of one's own opinion / position / choice / opportunity | Систематическая ошибка согласованности; иррациональная эскалация; феномен выражения симпатии к объекту исследования только на основании имеющегося знакомства с ним; профессиональная деформация – смотреть узко, отбрасывая более общую точку зрения; тенденция задним числом приписывать положительные качества предмету или действию, которые человек выбрал Systematic consistency error; irrational escalation; the phenomenon of expression of sympathy for the object of research only on the basis of existing acquaintance with it; professional deformation - look narrowly, discarding a more general point of view; retrospective tendency to ascribe positive qualities to an object or action that a person has chosen |
Известные методы повышения объективности результатов эксперимента
|
|
|
|
|
|
