Как понимать науку

Верно ли утверждение о питании, редко можно решить по одному исследованию. На этой странице объясняются термины и способы рассуждения, которые мы используем во всех проверках фактов.

Как устроены исследования

В исследованиях питания используются очень разные типы исследований. Они отвечают на разные вопросы и подвержены разным ошибкам.

• Рандомизированное контролируемое исследование (РКИ): участники распределяются по группам случайным образом, например «больше яиц» и «без яиц». Благодаря рандомизации группы в среднем различаются только тем, что проверяется. Поэтому РКИ лучше всего позволяют показать причину и следствие. Однако в области питания они часто короткие и небольшие и обычно измеряют показатели крови, а не заболевания.
• Когортное исследование: за большим числом людей наблюдают годами. Их спрашивают, что они едят, а заболевания подсчитывают позже. Такие исследования большие и длительные, но люди сами выбирали своё питание. Те, кто ест много определённого продукта, часто отличаются и во многих других отношениях.
• Исследование «случай – контроль»: людей с заболеванием сравнивают со здоровыми и расспрашивают о прошлом питании. Это подвержено ошибкам припоминания.
• Поперечное исследование: моментальный снимок. Оно показывает связи, но не то, что было раньше.
• Исследование измерений или остаточных количеств: пробы продуктов анализируют на содержание веществ. Оно показывает, что было обнаружено в определённых пробах в определённое время и в определённом месте, но не обязательно, заболевают ли от этого люди.
• Систематический обзор и метаанализ: все подходящие исследования по вопросу отыскиваются и оцениваются по фиксированным правилам и, если возможно, статистически объединяются.
• Исследования на животных и клетках: они объясняют возможные механизмы, но не позволяют делать прямые выводы о здоровье человека.

Почему корреляция не доказывает причинность

Если две вещи встречаются вместе, это не значит, что одна вызывает другую. Известный пример: в дни, когда продаётся много мороженого, больше людей тонет. Мороженое не вызывает утопления. И то, и другое зависит от тёплой погоды.

В исследованиях питания такие фоновые факторы называют искажающими (вмешивающимися) факторами. Люди, которые пьют много газированных напитков, например, могут также чаще курить или меньше двигаться. Хорошие исследования делают поправку на такие факторы, но никогда полностью. То, что остаётся, называют остаточным искажающим влиянием.

Вторая проблема – обратная причинность: люди, которые уже больны, часто меняют питание. Тогда может казаться, что новое питание вызвало болезнь.

Связь становится более правдоподобной, если она сильная, проявляется во многих независимых исследованиях, усиливается с увеличением потребляемого количества (зависимость «доза – эффект»), согласуется во времени, биологически правдоподобна и подтверждается в экспериментах. Ни один из этих пунктов сам по себе не является доказательством.

Что могут и чего не могут метаанализы

Метаанализ статистически объединяет результаты многих исследований. Это делает результат более точным и показывает, указывают ли исследования в одном направлении.

Однако метаанализ хорош лишь настолько, насколько хороши включённые в него исследования. Если он объединяет много наблюдательных исследований с систематическими ошибками, общий результат тоже будет искажён, просто с меньшей неопределённостью. Важна и гетерогенность: если отдельные исследования сильно различаются, одно среднее значение мало о чём говорит.

Несколько метаанализов на одну тему часто содержат одни и те же исследования. Поэтому три метаанализа – это не автоматически три независимых подтверждения. Мы проверяем такое перекрытие и не учитываем его более одного раза.

Что означают доверительные интервалы

Исследования часто сообщают результаты так: «отношение рисков 1,06 (95% доверительный интервал 1,03–1,10)». Первое значение – наилучшая оценка: относительный риск выше на 6%. Интервал в скобках показывает диапазон, в котором с очень большой вероятностью лежит истинное значение, при условии что в исследовании нет систематических ошибок.

• Если значение 1,0 («нет различия») лежит внутри интервала, результат статистически не установлен.
• Узкий интервал означает точную оценку; широкий – неопределённую.
• Статистически значимый не означает автоматически важный. Очень малый эффект может быть «значимым» в огромном исследовании и всё же почти не иметь значения в повседневной жизни.
• Интервал учитывает только случайность, но не искажающие факторы или ошибки измерения.

Почему отдельные исследования могут вводить в заблуждение

Любое отдельное исследование может прийти к результату, который позже не подтвердится, – из-за случайности, малых выборок, одновременной проверки многих вопросов или особой популяции. К этому добавляется публикационное смещение: яркие результаты публикуются с большей вероятностью, чем ничем не примечательные.

Поэтому мы не оцениваем, подтверждает ли утверждение какое-нибудь исследование. При избирательном подборе почти любое утверждение можно «доказать» исследованиями. Значение имеет совокупность качественных доказательств.

Абсолютные и относительные риски

Относительный риск показывает, на сколько процентов риск повышается или снижается по сравнению с другой группой. Абсолютный риск показывает, сколько людей действительно затронуто.

Пример расчёта (вымышленные числа для наглядности): из 1000 человек у 2 в течение десяти лет развивается определённое заболевание. В другой группе – у 3 из 1000. Относительный риск выше на 50%. Но абсолютный риск возрастает лишь на 1 человека из 1000, т. е. на 0,1 процентного пункта.

Оба утверждения верны, но воспринимаются очень по-разному. Поэтому, где возможно, мы приводим оба. Если исследование не сообщает абсолютные числа, мы об этом говорим.

Обнаружение – не то же самое, что опасность

Современные лаборатории могут обнаруживать мельчайшие количества веществ, часто в диапазоне миллиардных долей грамма. Сам факт обнаружения вещества ещё ничего не говорит о том, вредно ли оно в таком количестве. Значение имеют:

• Количество, фактически поступающее в организм (экспозиция).
• Ориентировочные значения, установленные по критериям здоровья, такие как допустимое еженедельное поступление (TWI) или допустимое суточное потребление (ADI). Такие ведомства, как Европейское агентство по безопасности пищевых продуктов (EFSA), устанавливают их с запасом безопасности.
• Максимально допустимые уровни остаточных количеств (МДУ, MRL): законодательные верхние пределы. Их превышение – нарушение закона, но не означает автоматически опасность для здоровья. И наоборот, значение ниже предела не является несущественным для каждого человека и каждой комбинации веществ.
• Контекст: измерение, полученное при случае загрязнения, в горнодобывающем районе или в другой стране, не описывает автоматически обычное снабжение продуктами в Германии или Египте.

Верно и обратное: для некоторых веществ, например для определённых пер- и полифторалкильных веществ (PFAS), EFSA установило очень низкие ориентировочные значения (2020: 4,4 нанограмма на килограмм массы тела в неделю для суммы четырёх PFAS). Здесь обычное питание может приводить некоторых людей в область ориентировочного значения. Поэтому мы рассматриваем каждый случай отдельно.

Исследования на животных и клетках

Эксперименты на клетках или животных показывают, возможен ли механизм. Однако дозы там часто намного выше, чем в питании, а животные перерабатывают вещества иначе, чем люди. Мы всегда явно обозначаем такие исследования. Биологическая правдоподобность не является клиническим доказательством.

Как формируются наши оценки

Каждое утверждение получает две отдельные оценки:

1. Вердикт по семибалльной шкале от «Верно» до «Неверно», включая «Неясно / недостаточно доказательств». Отсутствие доказательств не означает, что утверждение неверно.
2. Достоверность доказательств (высокая, умеренная, низкая, очень низкая) на основе международно применяемой системы GRADE. Она показывает, насколько мы можем быть уверены в совокупности доказательств. Наблюдательные исследования начинают с более низкого уровня, чем рандомизированные, и при наличии недостатков понижаются дальше.

Широкие утверждения мы разбиваем на частные. «Яйца вредят всем» можно опровергнуть, тогда как «определённым людям следует ограничивать потребление яиц» может быть верным. Мы также оцениваем отдельные исследования по нескольким измерениям, таким как методологическое качество, риск систематической ошибки, точность и применимость к другим регионам, и проверяем, правильно ли они изложены.

Мы используем такие инструменты, как RoB 2, ROBINS-E, AMSTAR 2 и GRADE, для ориентировки. Полная формальная оценка с помощью этих инструментов требует полных текстов, протоколов исследований и, как правило, нескольких независимых рецензентов. Здесь это было невозможно. Поэтому наши суждения явно обозначены как упрощённые методологические оценки.

Статус доказательств, досье доказательств и глубина проверки

После систематического обзора доказательств (этап 4) у каждого утверждения есть также статус доказательств. Он словами описывает, какой ответ даёт наука:

• Научно опровергнуто: качественные доказательства показывают обратное, или утверждение противоречит хорошо установленной физиологии.
• Не подтверждено качественными доказательствами: хороших доказательств в пользу утверждения нет. Само по себе это не доказывает, что оно неверно.
• Чрезмерно истолковано: реальная находка существует, но утверждение выводит из неё больше, чем позволяют данные, – например, связь подаётся как причина, данные на животных переносятся на людей или малый эффект подаётся как большой.
• Верно только при определённых условиях: утверждение верно только для определённых количеств, групп людей, способов приготовления или обстоятельств.
• Недостаточно изучено: исследований слишком мало, чтобы сказать, верно утверждение или нет.
• Хорошо обосновано научно: утверждение согласуется с последовательными качественными доказательствами.

Когда качественные доказательства явно опровергают огульное медицинское утверждение, мы говорим об этом прямо: «Это утверждение неверно». Там, где данные противоречивы или недостаточны, мы не заявляем большей уверенности, чем позволяют доказательства. Верное утверждение оценивается как верное, даже если другие утверждения той же системы ошибочны.

Для каждого утверждения есть досье доказательств: конкретный исследовательский вопрос (структурированный по схеме PICO для вмешательств или PECO для воздействий: популяция, вмешательство или воздействие, сравнение, исходы), задокументированный поиск в PubMed, Europe PMC, Кокрейновской библиотеке (Cochrane Library) и других источниках – отдельно для подтверждающих и для противоречащих доказательств, – самые сильные исследования с обеих сторон, объяснение кажущихся противоречий, заключение о том, имеют ли значение региональные различия, и причины сохранения или изменения вердикта. Если исследования публикуют достаточно данных, мы пересчитываем ключевые результаты (например, абсолютные риски по числу событий); в противном случае мы сообщаем, что пересчёт был невозможен. Недостающие данные никогда не восполняются.

Мы не подсчитываем публикации. Несколько метаанализов, содержащих одни и те же первичные исследования, не являются независимыми подтверждениями. PRISMA 2020 – это стандарт прозрачного представления систематических обзоров, а не инструмент оценки качества исследований. GRADE оценивает достоверность совокупности доказательств для одного исхода и не заменяет оценку отдельных исследований (RoB 2 для рандомизированных исследований, ROBINS-I и ROBINS-E для нерандомизированных исследований, AMSTAR 2 и ROBIS для систематических обзоров).

Для каждого исследования мы указываем, насколько глубоко оно проверено: проверено библиографически (исследование существует; название, авторы, год и идентификатор совпадают), проверена аннотация, проверен полный текст или полный текст со структурированной оценкой риска систематической ошибки. Ни одно исследование пока не было формально оценено двумя независимыми рецензентами, и независимой экспертной проверки человеком не проводилось. Мы никогда не называем проверку формальной или выполненной человеком, если её не было.