Проблема исследований, "спрятанных в стол"

Проблема исследований, " спрятанных в стол"

Easterbrook и соавт. (1991) назвали один из наи­более важных аспектов мета-анализа " пробле­мой исследований, спрятанных в стол" [5]. В последнем обзоре они отметили, что у работ с положительными результатами в два раза больше шансов быть опубликованными (при этом обычно в более престижных и соответ­ственно в более цитируемых изданиях). Таким образом, существует постоянная тенденция предания гласности только положительных ре­зультатов, а также припрятывания и замалчива­ния отрицательных.

Учитывая эту тенденцию не публиковать отрицательные данные, мы постарались вклю­чать сообщения об испытаниях с использова­нием двойного слепого метода и принципа слу­чайной выборки, почерпнутые из докладов и постерных сообщений на симпозиумах, сове­щаниях и выставках, а также неопубликованные данные отдельных исследователей, фармацев­тических фирм и государственных учреждений.

Но эта проблема выходит далеко за рамки массива неопубликованных работ. Некоторые ученые, проводя множественные статистичес­кие анализы, стараются акцентировать внима­ние на наиболее благоприятных результатах. Так, мы нашли сообщения, в которых подроб­но обсуждается суть статистического анализа полученных положительных результатов иссле­дований, и при этом отрицательные данные упоминаются косвенно как не имеющие стати­стической значимости. Примером этому может служить сообщение о возможностях препара­тов лития при лечении алкогольной зависимос­ти [6]. В этом исследовании практически не представлены отрицательные результаты при­менения препарата у больных алкоголизмом, у которых отсутствовали аффективные расстрой­ства, и таким образом исключалась возможность сравнительной оценки с группой боль­ных алкоголизмом с сопутствующими аффек­тивными проявлениями (см. разд. " Больные алкоголизмом" гл. 14).

Оценка фактических цифровых данных о больных, включенных в исследование, часто позволяет выделить публикации, дублирующие одни и те же данные, так как хорошо известна тенденция многократно публиковать одни и те же результаты, только по-разному оформлен­ные. Методологическая строгость хорошего мета-анализа ограждает от последствий субъек­тивизма, случайностей и, самое главное, от не­оправданного чрезмерного влияния отдельных сообщений с положительными данными.

Проблема " спрятанных в стол" работ так­же имеет отношение к процессу интерпретации в рамках мета-анализа. Определенные методи­ки, в частности способ простого объединения данных или методика подсчета баллов, прямо способствуют тому, что любые положительные данные непосредственно переносятся в окон­чательные статистические выкладки. Мало того, при этих методиках рассматриваемые работы ранжируются по признаку положительности ре­зультатов исходя из мнения автора этих работ.

Другой мерой предосторожности может быть определение числа больных с отрицатель­ными показателями (предположительно не во­шедших в сообщение), что могло бы изменить общий вывод при мета-анализе с положитель­ного на отрицательный.

Мы убеждены, что проблема " спрятанных в стол" данных в меньшей степени касается ме­та-анализа, а имеет большее отношение к обоб­щающим обзорам, упоминающим только те пуб­ликации, которые подкрепляют определенные выводы. Читая " оригинальные" статьи, очень часто приходишь к заключению, что они явля­ются всего лишь пересказом других источни­ков! Таким образом, список источников в науч­ных сообщениях часто создает ложное пред­ставление о значительно большем числе иссле­дований, чем было проведено на самом деле.

Существуют также следующие проблемы:

• Работы, названные " контролированными", часто не соблюдают принцип случайной выборки или представленные в них контроль­ные группы не являются валидными.

• Искажение сути полученных данных при ци­тировании научных работ.

• Цитируемые выводы или тезисы, противоре­чащие данным, излагаемым в статье.

• Многократная публикация одних и тех же данных.

Трактовка сопоставимости результатов

Одним из важнейших условий является сопоставимость и последовательность ре­зультатов всех рассматриваемых работ.

Например, в случае большого числа обширных исследований с отрицательными результатами отдельные, с незначительной выборкой пози­тивные работы могут считаться аберрациями. Или вывод о существенной значимости обще­го результата рассматриваемой группы работ будет ошибочным, если результаты отдельных работ крайне противоречат друг другу. Также вывод о том, что одна часть работ указывает на существенную эффективность лекарственного препарата, а другая — на ее отсутствие, требует обязательного объяснения существующего не­соответствия. Желательно всегда рассматривать работы в соответствии с предварительно выб­ранными строгими методологическими крите­риями с последующей оценкой сопоставимос­ти полученных результатов в работах, отлича­ющихся по методологическому уровню.