Як розуміти науку

Чи правдиве твердження про харчування, рідко можна з'ясувати на основі одного дослідження. Ця сторінка пояснює терміни та способи мислення, які ми використовуємо в усіх фактчеках.

Як працюють дослідження

У дослідженнях харчування використовують дуже різні типи досліджень. Вони відповідають на різні питання і схильні до різних помилок.

• Рандомізоване контрольоване дослідження (РКД): учасників розподіляють на групи випадковим чином, наприклад «більше яєць» і «без яєць». Завдяки рандомізації групи в середньому відрізняються лише тим, що перевіряється. Тому РКД найкраще показують причину й наслідок. Однак у сфері харчування вони часто короткі й невеликі та зазвичай вимірюють показники крові, а не захворювання.
• Когортне дослідження: за багатьма людьми спостерігають роками. Їх запитують, що вони їдять, а захворювання підраховують пізніше. Такі дослідження великі й тривалі, але люди самі обирали свій раціон. Ті, хто їсть багато певного продукту, часто відрізняються й багатьма іншими ознаками.
• Дослідження «випадок – контроль»: людей із захворюванням порівнюють зі здоровими людьми й розпитують про їхнє харчування в минулому. Це схильне до помилок пригадування.
• Поперечне дослідження: моментальний знімок. Воно показує зв'язки, але не те, що було спочатку.
• Дослідження вимірювань або залишків: зразки продуктів аналізують на вміст речовин. Воно показує, що було знайдено в певних зразках у певний час і в певному місці, але не автоматично те, чи хворіють від цього люди.
• Систематичний огляд і метааналіз: усі придатні дослідження з певного питання шукають і оцінюють за чіткими правилами та, де можливо, статистично об'єднують.
• Дослідження на тваринах і клітинах: вони пояснюють можливі механізми, але не дозволяють робити прямих висновків щодо здоров'я людини.

Чому кореляція не доводить причинності

Коли дві речі трапляються разом, це не означає, що одна спричиняє іншу. Відомий приклад: у дні, коли продається багато морозива, тоне більше людей. Морозиво не спричиняє утоплення. Обидва явища залежать від теплої погоди.

У дослідженнях харчування такі фонові чинники називають спотворювальними чинниками (конфаундерами). Люди, які п'ють багато безалкогольних напоїв, наприклад, можуть також частіше курити або менше рухатися. Добрі дослідження враховують такі чинники, але ніколи повністю. Те, що залишається, називають залишковим конфаундингом.

Друга проблема – зворотна причинність: люди, які вже хворіють, часто змінюють своє харчування. Тоді може здаватися, ніби новий раціон спричинив хворобу.

Зв'язок стає переконливішим, якщо він сильний, проявляється в багатьох незалежних дослідженнях, посилюється зі збільшенням спожитої кількості (залежність «доза – відповідь»), відповідає часовій послідовності, біологічно правдоподібний і підтверджений в експериментах. Жоден із цих пунктів сам по собі не є доказом.

Що можуть і чого не можуть метааналізи

Метааналіз статистично об'єднує результати багатьох досліджень. Це робить результат точнішим і показує, чи вказують дослідження в одному напрямку.

Однак метааналіз настільки добрий, наскільки добрі дослідження, які він містить. Якщо він об'єднує багато упереджених обсерваційних досліджень, загальний результат теж буде упередженим, лише з меншою невизначеністю. Має значення й гетерогенність: якщо окремі дослідження сильно відрізняються, одне середнє значення мало що означає.

Кілька метааналізів на одну тему часто містять ті самі дослідження. Тому три метааналізи – це не автоматично три незалежні підтвердження. Ми перевіряємо такі перекриття й не враховуємо їх більше одного разу.

Що означають довірчі інтервали

Дослідження часто наводять результати так: «відношення ризиків 1,06 (95% довірчий інтервал 1,03–1,10)». Перше значення – найкраща оцінка: на 6% вищий відносний ризик. Інтервал у дужках показує діапазон, у якому дуже ймовірно лежить справжнє значення, за умови що дослідження не має систематичних помилок.

• Якщо значення 1,0 («немає різниці») лежить в інтервалі, результат статистично не встановлено.
• Вузький інтервал означає точну оцінку; широкий інтервал – невизначену.
• Статистично значущий не означає автоматично важливий. Дуже малий ефект може бути «значущим» у величезному дослідженні й при цьому майже нічого не важити в повсякденному житті.
• Інтервал враховує лише випадковість, а не конфаундинг чи похибки вимірювання.

Чому окремі дослідження можуть вводити в оману

Будь-яке окреме дослідження може отримати результат, який згодом не підтвердиться, – через випадковість, малі вибірки, багато питань, перевірених одночасно, або особливу групу учасників. До цього додається публікаційна упередженість: яскраві результати публікують з більшою ймовірністю, ніж непримітні.

Тому ми не оцінюємо, чи підтверджує твердження якесь дослідження. За вибіркового добору майже будь-яке твердження можна «довести» дослідженнями. Важлива сукупність якісних доказів.

Абсолютні й відносні ризики

Відносний ризик показує, на скільки відсотків ризик зростає чи знижується порівняно з іншою групою. Абсолютний ризик показує, скільки людей фактично уражено.

Приклад розрахунку (вигадані числа для ілюстрації): із 1000 людей у 2 протягом десяти років розвивається певне захворювання. В іншій групі – у 3 з 1000. Відносний ризик на 50% вищий. Але абсолютний ризик зростає лише на 1 з 1000 людей, тобто на 0,1 відсоткового пункту.

Обидва твердження правильні, але сприймаються зовсім по-різному. Тому, де це можливо, ми наводимо обидва. Якщо дослідження не повідомляє абсолютних чисел, ми про це кажемо.

Виявлення – це ще не небезпека

Сучасні лабораторії можуть виявляти мізерні кількості речовин, часто в діапазоні мільярдних часток грама. Сам факт виявлення речовини ще нічого не каже про те, чи шкідлива вона в такій кількості. Важливо таке:

• Кількість, що фактично надходить в організм (експозиція).
• Орієнтовні значення, встановлені з огляду на здоров'я, як-от допустиме тижневе споживання (TWI) або допустиме добове споживання (ADI). Органи влади, як-от Європейський орган з безпечності харчових продуктів (EFSA), встановлюють їх із запасом безпеки.
• Максимально допустимі рівні залишків (MRL): законодавчі верхні межі. Їх перевищення є порушенням закону, але не означає автоматично загрози для здоров'я. І навпаки, значення нижче межі не є несуттєвим для кожної людини й кожної комбінації речовин.
• Контекст: вимірювання з інциденту забруднення, гірничодобувного району чи іншої країни не описує автоматично звичайне харчове постачання в Німеччині чи Єгипті.

Справедливо й зворотне: для деяких речовин, як-от певних пер- і поліфторалкільних речовин (PFAS), EFSA встановив дуже низькі орієнтовні значення (2020: 4,4 нанограма на кілограм маси тіла на тиждень для суми чотирьох PFAS). Тут звичайне харчування може наблизити деяких людей до рівня орієнтовного значення. Саме тому ми розглядаємо кожен випадок окремо.

Дослідження на тваринах і клітинах

Експерименти на клітинах чи тваринах показують, чи можливий певний механізм. Однак дози там часто значно вищі, ніж у харчуванні, а тварини переробляють речовини інакше, ніж люди. Ми завжди чітко позначаємо такі дослідження. Біологічна правдоподібність не є клінічним доказом.

Як формуються наші оцінки

Кожне твердження отримує дві окремі оцінки:

1. Вердикт за семибальною шкалою від «Правдиво» до «Хибно», включно з «Неясно / недостатньо доказів». Брак доказів не означає, що твердження хибне.
2. Достовірність доказів (висока, помірна, низька, дуже низька) на основі міжнародно застосовуваної системи GRADE. Вона показує, наскільки ми можемо бути впевнені в сукупності доказів. Обсерваційні дослідження починають з нижчого рівня, ніж рандомізовані, і за наявності недоліків їхній рівень знижується далі.

Широкі твердження ми розбиваємо на часткові твердження. «Яйця шкодять усім» можна спростувати, тоді як «певним людям слід обмежувати споживання яєць» може бути правильним. Ми також оцінюємо окремі дослідження за кількома вимірами, як-от методологічна якість, ризик упередженості, точність і регіональна перенесуваність, і перевіряємо, чи правильно їх наведено.

Інструменти на кшталт RoB 2, ROBINS-E, AMSTAR 2 і GRADE ми використовуємо для орієнтації. Повна формальна оцінка за цими інструментами потребує повних текстів, протоколів досліджень і зазвичай кількох незалежних рецензентів. Тут це було неможливо. Тому наші судження явно позначено як спрощені методологічні оцінки.

Статус доказів, доказові досьє та глибина перевірки

Після систематичного огляду доказів (фаза 4) кожне твердження має також статус доказів. Він словами описує, яку відповідь дає наука:

• Науково спростовано: якісні докази свідчать про протилежне, або твердження суперечить добре встановленій фізіології.
• Не підтверджено якісними доказами: добрих доказів на користь твердження немає. Саме по собі це не доводить, що воно хибне.
• Надмірно інтерпретовано: реальний висновок існує, але твердження виводить із нього більше, ніж дозволяють дані, – наприклад, зв'язок подано як причину, дані на тваринах перенесено на людей або малий ефект подано як великий.
• Правдиво лише за певних умов: твердження справджується лише для певних кількостей, груп людей, способів приготування або обставин.
• Недостатньо досліджено: досліджень надто мало, щоб сказати, правильне твердження чи хибне.
• Науково добре обґрунтовано: твердження узгоджується з послідовними якісними доказами.

Коли якісні докази чітко спростовують загальне медичне твердження, ми кажемо прямо: «Це твердження хибне». Там, де дані суперечливі або недостатні, ми не заявляємо більшої впевненості, ніж дозволяють докази. Правильне твердження оцінюється як правильне, навіть якщо інші твердження тієї самої системи хибні.

Для кожного твердження є доказове досьє: конкретне дослідницьке питання (структуроване за PICO для втручань або PECO для експозицій: популяція, втручання або експозиція, порівняння, результати), задокументовані пошуки в PubMed, Europe PMC, Cochrane Library та інших джерелах – окремо для підтверджувальних і для спростувальних доказів, – найсильніші дослідження з обох боків, пояснення уявних суперечностей, висновок щодо того, чи мають значення регіональні відмінності, а також причини збереження або зміни вердикту. Там, де дослідження публікують достатньо даних, ми перераховуємо ключові результати (наприклад, абсолютні ризики за кількістю подій); інакше ми зазначаємо, що перерахунок був неможливим. Відсутні дані ніколи не домислюються.

Ми не рахуємо публікації. Кілька метааналізів, які містять ті самі первинні дослідження, не є незалежними підтвердженнями. PRISMA 2020 – це стандарт прозорого звітування про систематичні огляди, а не інструмент оцінки якості досліджень. GRADE оцінює достовірність сукупності доказів щодо одного результату й не замінює оцінки окремих досліджень (RoB 2 для рандомізованих досліджень, ROBINS-I і ROBINS-E для нерандомізованих досліджень, AMSTAR 2 і ROBIS для систематичних оглядів).

Для кожного дослідження ми вказуємо, наскільки глибоко його перевірено: перевірено бібліографічно (дослідження існує; назва, автори, рік та ідентифікатор збігаються), перевірено анотацію, перевірено повний текст або повний текст зі структурованою оцінкою ризику упередженості. Жодне дослідження ще не було формально оцінене двома незалежними рецензентами, і незалежної експертної перевірки людиною не проводилося. Ми ніколи не називаємо перевірку формальною чи виконаною людиною, якщо її не було.