Методы контроля над систематическими ошибками

На этапе дизайна исследования

Выбор популяции исследования первый и важнейший этап создания исследования. Этот выбор определяет прежде всего то, насколько актуален будет его результат. Выбор неверной популяции, редкой, с особенными свойствами, может привести к тому, что результат даже правильный, будет никому не нужен (не обладать внешней валидностью). Выбор популяции, в которой заболевание встречается редко, может привести к тому, что исследование, направленное на выяснение вреда загрязнения питьевой воды, вреда этого не обнаружит – удвоение частоты от 2/100 000 до 4/100 000 окажется статистически незначимым. Выбор источников информации в значительной степени определяет, что удастся найти. Например, если государственная статистика не регистрирует внезапную смерть новорожденных, то нелепо ориентироваться на нее в изучении этой и подобных патологий. Если статистика смертности от рака не предусматривает возможности исправления причин смерти задним числом, по мере установления окончательной причины смерти, то использование такой государственной статистики дает лишь ориентировочные представления об онкологической заболеваемости и смертности. На этапе дизайна исследования, составления его протокола должны уточняться все детали выполнения работ на каждом из последующих этапов. Здесь лишь для удобства приемы повышения надежности исследования разнесены по этапам.

На этапе проведения исследования

Стандартизация методов сбора информации. Лишь на первый взгляд измерение выполняется просто. В действительности для получения не высококлассных, но даже обычных по точности и воспроизводимости результатов необходимо предпринимать значительные усилия для выработки правильного метода измерения и обеспечения правильного измерения всеми участниками исследования. Это относится не только к приборным измерениям, но и к измерениям, выполняемым с помощью опроса. Даже отлично разработанный и проверенный набор вопросов должен предъявляться опрашиваемым в стандартной обстановке, со стандартными вводными словами, поскольку отсутствие атмосферы приватности или выражение отношения к содержанию или форме вопросника способны изменить существенно отношение опрашиваемого к заданным вопросам. Невинная прибаутка, добавляемая интервьюером может улучшить отношение опрашиваемого к процессу, но радикально изменить его отношение ко всем или отдельным вопросам вопросника.

Поскольку обобщение результатов проведенных исследований (систематический обзор) представляет собою технологию дескриптивного исследования, в котором в качестве единиц анализа выступают не люди, а отдельные исследования, постольку систематический обзор весьма сильно подвержен всем смещениям, характерным для дескриптивных исследований. Основными приемами, которые позволяют минимизировать смещения в систематическом обзоре, являются получение максимально полного набора выполненных исследований. Поскольку никогда не известно, сколько исследований выполнено в действительности, единственное приемлемое решение – искать все исследования и получать данные из всех исследований. Как упоминалось выше, получить несмещенную выборку все равно невозможно, но минимизировать смещения – возможно.

Для того, чтобы избежать субъективности в оценках, выносимых по рентгенограммам, оценке текстов или собеседованиям (интервью), традиционно применяется прием повторной оценки одного и того же объекта разными людьми. Если это проводится без обеспечения независимости, то результаты таких повторных оценок будут искусственно согласованы. Например, если психиатр-консультант знаком с мнением коллег, уже исследовавших пациента, то мнение консультанта будет находиться под влиянием этого мнения и, в обычных обстоятельствах, согласовано с ним. Для обеспечения независимости всякая параллельная оценка должна проводиться без знания оценивающим результатов работы других специалистов. Например, независимая оценка рентгенограммы очень часто приводит к несогласию врачей, настолько часто, что врачи, никогда не принимавшие участия в такой работе, не могут этого себе представить – примерно в половине случаев. Это справедливо для оценок ЭКГ и всех других измерений. При изучении опубликованных статей обычно кажется ясным, что в них написано. Однако при выписывании из статей их результатов в таблицы для обобщения в систематическом обзоре оказывается, что два врача при чтении статей выписывают разные результаты! Существенные расхождения в извлечении содержания статьи возникают в каждом третьем случае. Лишь при целенаправленной тренировке – оценке статей и затем сравнении результатов – можно добиться того, что частота расхождений снижается примерно до 1/10.

Метод ослепления (маскирование). Для того, чтобы сравниваемые результаты измерения были по-настоящему независимыми, специалисты, проводящие измерение, должны работать, не зная результатов работы друг друга до момента завершения каждого случая. По его завершении результаты должны сравниваться, и в случае обнаружения расхождения — это расхождение преодолеваться. Для этого существуют специальные процедуры. Простейшая состоит в ознакомлении с результатами параллельной оценки и обсуждении расхождения. Если расхождение связано с тем, что один из участников процесса упустил некую информацию, деталь, то легко возникает согласованное мнение. В некоторых случаях этого недостаточно и разрабатывается процедура с приглашением третьего специалиста, который, например, знакомится со всеми результатами и выносит свое решение, или, в свою очередь, принимает участие в голосовании. Иногда эти правила принятия согласованного мнения могут быть более сложными.

Метод ослепления – основной метод создания одинаковых групп для сравнения и обеспечения одинакового ведения пациентов. Всякий раз, когда о пациентах известно хоть что-нибудь, то отношение к ним становится соответствующим. Это вытекает из самой природы человеческих отношений. Мужчина и женщина, бедный и богатый, здоровый и больной не могут и не должны рассчитывать на то, что к ним будет совершенно одинаковое отношение. Эти особенности отношений не только создают «атмосферу», но и влияют на то, что делают медицинские и немедицинские специалисты. В изучении медицинских вмешательств идея о том, что сравнивать два вмешательства можно только в том случае, когда их применяли к одинаковым пациентам, уходит в прошлое по крайней мере на 200 лет. Беда заключалась в том, что в эти давние времена было неизвестно, что делать, если сравниваемые группы несравнимы. И сегодня врач, собрав данные о лечении пациентов одной болезнью разными методами, например, рентгеновским излучением и протонным, обнаруживает, что группа пациентов, которых облучали пучком протонов, отличается от тех, кого облучали рентгеновскими лучами меньшим размером опухоли.

Можно ли по исходам лечения сделать вывод о том, какое облучение эффективнее? Конечно же – нет. Исключение составляют случаи, когда эффект в сравниваемых группах различается многократно (см. выше – влияние вмешивающихся факторов обычно не очень велико) или, когда можно внести поправку на обнаруженное различие. К сожалению, в большинстве случаев внесение поправки, например, на тяжесть болезни или возраст, невозможно по причине малого числа пациентов. С другой стороны, внесение поправки на известный признак, по которому обнаружено различие, совсем не исключает наличия других, невидимых исследователю различий между группами. Например, можно внести поправку на длительность болезни до начала лечения, но одновременно группы могут различаться еще и по особенностям раковых клеток, неизвестному исследователю. Только рандомизация пациентов при включении их в проспективное исследование позволяет сделать сравниваемые группы сопоставимыми по всем, в том числе неизвестным признакам.

До той поры, пока исследователь не может создать для своего собственного исследования с одинаковые (в пределах случайных колебаний!) группы помощью рандомизации, и в тех случаях, когда проведение проспективного исследования невозможно, что нередко имеет место, например, у медицинских аспирантов, которые стеснены как во времени, так и в средствах, у исследователя остаются возможности наличными средствами сравнивать группы и изучать величину возможного смещения в результате неравенства групп.

На этапе анализа данных

Стандартизация – наиболее известный и достаточно эффективный способ внесения поправок на величину отдельного признака. Самый распространенный вид применения стандартизации – по возрасту. Можно, однако, стандартизовать, например, сравниваемые стационары по структуре коек и так далее. Недостатком прямой и непрямой стандартизации является ограниченная возможность использования одновременно нескольких признаков. Например, если известно, что сравниваемые группы различаются одновременно по полу, возрасту и тяжести болезни, то весьма соблазнительно вычислительными средствами внести поправки на эти признаки и оценить, какова же разница в исходах при устранении влияния этих признаков. Этим целям служит ряд методов, основанных на регрессионном анализе. Подчеркнём, что при внесении поправок на несколько признаков одновременно, в особенности при изучении небольших групп пациентов, легко возникают ситуации «перепоправки» и ложные результаты, не всегда очевидные. Кроме того, внесение поправок на известные различия между группами не исключает действия возможных неизвестных различий. Поэтому сравнение изучаемых групп по ряду доступных признаков – обязательная процедура для выявления возможных различий между группами, т.е. признаков СО отбора, но внесение поправок на обнаруженные различия не исключает наличия других существенных различий.

Тем не менее, анализ серий случаев из практики имеет право на существование применительно к получению предварительных результатов, в особенности в тех областях, где проведение контролируемого эксперимента затруднено. Еще одним вариантом сравнения серий случаев или групп проспективного исследования, составленных без использования правильной рандомизации и ослепления является стратификационный анализ. Это – принципиально простая процедура, но очень полезная тем, что помогает исследователю лучше «увидеть и почувствовать» полученные данные. Она состоит в стратификации (разделении на страты – слои, группы) полученных данных. Например, в случае сравнения результатов лечения с использованием двух разновидностей оперативного вмешательства, длительное время сосуществующих в практике, такими стратами могут быть больны, оперированные в последние пять лет и по отдельности в предшествующие пятилетия. При таком сравнении может выясниться, например, что лучшие результаты у метода А обнаруживаются потому, что в течение 15 лет исходы при данном заболевании улучшаются (по каким-то причинам), и одновременно метод Б применяется реже; может быть видно, что для больных, оперированных в одно время, результаты двух методов лечения не различаются существенно.