Wetenschap begrijpen

Of een voedingsclaim klopt, is zelden met één enkele studie te beantwoorden. Deze pagina legt de begrippen en denkwijzen uit die wij in alle factchecks gebruiken.

Hoe studies werken

Voedingsonderzoek gebruikt zeer verschillende soorten studies. Zij beantwoorden verschillende vragen en zijn gevoelig voor verschillende fouten.

• Gerandomiseerde gecontroleerde studie (RCT): deelnemers worden door het toeval over groepen verdeeld, bijvoorbeeld “meer eieren” en “geen eieren”. Door de randomisatie verschillen de groepen gemiddeld alleen in wat wordt getest. RCT’s zijn daarom het best in staat om oorzaak en gevolg aan te tonen. In de voeding zijn ze echter vaak kort en klein, en meestal meten ze bloedwaarden in plaats van ziekten.
• Cohortonderzoek: veel mensen worden jarenlang gevolgd. Er wordt hun gevraagd wat zij eten, en later worden ziektegevallen geteld. Zulke studies zijn groot en lang, maar de mensen hebben hun voeding zelf gekozen. Mensen die veel van een bepaald voedingsmiddel eten, verschillen vaak ook op veel andere punten.
• Patiënt-controleonderzoek: mensen met een ziekte worden vergeleken met gezonde mensen en gevraagd naar hun vroegere voeding. Dit is gevoelig voor herinneringsfouten.
• Dwarsdoorsnedeonderzoek: een momentopname. Het toont verbanden, maar niet wat er eerst was.
• Meet- of residuonderzoek: monsters van voedingsmiddelen worden op stoffen geanalyseerd. Het laat zien wat er in bepaalde monsters op een bepaald moment en op een bepaalde plaats werd gevonden, maar niet automatisch of mensen daar ziek van worden.
• Systematische review en meta-analyse: alle geschikte studies over een vraag worden volgens vaste regels gezocht en beoordeeld en, waar mogelijk, statistisch samengevoegd.
• Dier- en celstudies: zij verklaren mogelijke mechanismen, maar laten geen directe conclusies over de gezondheid van mensen toe.

Waarom correlatie geen causaliteit bewijst

Wanneer twee dingen samen voorkomen, betekent dat niet dat het ene het andere veroorzaakt. Een bekend voorbeeld: op dagen waarop veel ijs wordt verkocht, verdrinken meer mensen. IJs veroorzaakt geen verdrinking. Beide hangen af van warm weer.

In voedingsstudies worden zulke achtergrondfactoren verstorende factoren (confounders) genoemd. Mensen die veel frisdrank drinken, roken bijvoorbeeld misschien ook vaker of bewegen minder. Goede studies corrigeren voor zulke factoren, maar nooit volledig. Wat overblijft, heet resterende confounding.

Een tweede probleem is omgekeerde causaliteit: mensen die al ziek zijn, veranderen vaak hun voeding. Het kan dan lijken alsof de nieuwe voeding de ziekte heeft veroorzaakt.

Een verband wordt geloofwaardiger als het sterk is, in veel onafhankelijke studies optreedt, toeneemt met de geconsumeerde hoeveelheid (dosis-responsrelatie), in de tijd past, biologisch aannemelijk is en in experimenten wordt bevestigd. Geen van deze punten is op zichzelf een bewijs.

Wat meta-analyses wel en niet kunnen

Een meta-analyse voegt de resultaten van veel studies statistisch samen. Dat maakt het resultaat nauwkeuriger en laat zien of studies in dezelfde richting wijzen.

Een meta-analyse is echter maar zo goed als de studies die zij bevat. Als zij veel vertekende observationele studies samenvoegt, is ook het totaalresultaat vertekend, alleen met minder onzekerheid. Ook heterogeniteit is belangrijk: als afzonderlijke studies sterk van elkaar verschillen, zegt één gemiddelde waarde weinig.

Meerdere meta-analyses over hetzelfde onderwerp bevatten vaak dezelfde studies. Drie meta-analyses zijn daarom niet automatisch drie onafhankelijke bevestigingen. Wij controleren op deze overlap en tellen die niet meer dan één keer.

Wat betrouwbaarheidsintervallen betekenen

Studies rapporteren resultaten vaak zo: “hazard ratio 1,06 (95%-betrouwbaarheidsinterval 1,03–1,10)”. De eerste waarde is de beste schatting: een 6% hoger relatief risico. Het interval tussen haakjes geeft het bereik aan waarin de werkelijke waarde zeer waarschijnlijk ligt, op voorwaarde dat de studie geen systematische fouten bevat.

• Als de waarde 1,0 (“geen verschil”) binnen het interval ligt, is de bevinding statistisch niet vastgesteld.
• Een smal interval betekent een nauwkeurige schatting; een breed interval een onzekere.
• Statistisch significant betekent niet automatisch belangrijk. Een zeer klein effect kan in een enorme studie “significant” zijn en in het dagelijks leven toch nauwelijks van belang zijn.
• Het interval geeft alleen het toeval weer, niet confounding of meetfouten.

Waarom afzonderlijke studies kunnen misleiden

Elke afzonderlijke studie kan tot een resultaat komen dat later niet wordt bevestigd, door toeval, kleine steekproeven, veel tegelijk getoetste vragen of een bijzondere populatie. Daar komt publicatiebias bij: opvallende resultaten worden eerder gepubliceerd dan onopvallende.

Wij beoordelen daarom niet of er een of andere studie is die een bewering ondersteunt. Met een selectieve keuze kan bijna elke bewering met studies worden “bewezen”. Waar het om gaat, is het geheel van het goede bewijs.

Absolute en relatieve risico’s

Een relatief risico zegt met hoeveel procent een risico stijgt of daalt ten opzichte van een andere groep. Een absoluut risico zegt hoeveel mensen werkelijk getroffen worden.

Rekenvoorbeeld (verzonnen getallen ter illustratie): van 1.000 mensen krijgen er 2 binnen tien jaar een bepaalde ziekte. In een andere groep zijn het er 3 op 1.000. Het relatieve risico is 50% hoger. Maar het absolute risico stijgt slechts met 1 op 1.000 mensen, dat wil zeggen met 0,1 procentpunt.

Beide uitspraken zijn juist, maar voelen heel verschillend aan. Waar beschikbaar, geven wij daarom beide. Als een studie geen absolute getallen rapporteert, zeggen wij dat.

Aantonen is niet hetzelfde als gevaar

Moderne laboratoria kunnen minieme hoeveelheden stoffen aantonen, vaak in de orde van miljardsten van een gram. Dat een stof wordt gevonden, zegt nog niets over de vraag of zij in die hoeveelheid schadelijk is. Waar het om gaat, is:

• De hoeveelheid die werkelijk wordt opgenomen (blootstelling).
• Op gezondheid gebaseerde richtwaarden, zoals de aanvaardbare wekelijkse inname (TWI) of de aanvaardbare dagelijkse inname (ADI). Autoriteiten zoals de Europese Autoriteit voor voedselveiligheid (EFSA) stellen ze vast met veiligheidsmarges.
• Maximale residulimieten (MRL’s): wettelijke bovengrenzen. Een overschrijding is een wettelijke overtreding, maar betekent niet automatisch een gevaar voor de gezondheid. Omgekeerd is een waarde onder de grens niet voor elke persoon en elke combinatie van stoffen zonder betekenis.
• De context: een meting uit een contaminatie-incident, een mijnbouwgebied of een ander land beschrijft niet automatisch het normale voedselaanbod in Duitsland of Egypte.

Het omgekeerde geldt ook: voor sommige stoffen, zoals bepaalde per- en polyfluoralkylstoffen (PFAS), heeft de EFSA zeer lage richtwaarden vastgesteld (2020: 4,4 nanogram per kilogram lichaamsgewicht per week voor de som van vier PFAS). Hier kan een normale voeding sommige mensen in de buurt van de richtwaarde brengen. Daarom onderzoeken wij elk geval afzonderlijk.

Dier- en celstudies

Experimenten met cellen of dieren laten zien of een mechanisme mogelijk is. De doses zijn daar echter vaak veel hoger dan in de voeding, en dieren verwerken stoffen anders dan mensen. Wij geven zulke studies altijd uitdrukkelijk aan. Biologische aannemelijkheid is geen klinisch bewijs.

Hoe onze beoordelingen tot stand komen

Elke bewering krijgt twee afzonderlijke beoordelingen:

1. Oordeel op een zevenpuntsschaal van “Waar” tot “Onwaar”, inclusief “Onduidelijk / onvoldoende bewijs”. Een gebrek aan bewijs betekent niet dat een bewering onwaar is.
2. Zekerheid van het bewijs (hoog, redelijk, laag, zeer laag), gebaseerd op het internationaal gebruikte GRADE-systeem. Zij geeft aan hoeveel vertrouwen we kunnen hebben in het totale bewijs. Observationele studies beginnen lager dan gerandomiseerde studies en worden bij tekortkomingen verder afgewaardeerd.

Brede beweringen splitsen wij op in deelbeweringen. “Eieren schaden iedereen” kan worden weerlegd, terwijl “bepaalde mensen moeten hun eierconsumptie beperken” juist kan zijn. Wij beoordelen ook afzonderlijke studies op meerdere dimensies, zoals methodologische kwaliteit, risico op bias, precisie en regionale overdraagbaarheid, en wij controleren of zij correct zijn weergegeven.

Wij gebruiken instrumenten zoals RoB 2, ROBINS-E, AMSTAR 2 en GRADE ter oriëntatie. Een volledige formele beoordeling met deze instrumenten vereist volledige teksten, studieprotocollen en meestal meerdere onafhankelijke beoordelaars. Dat was hier niet mogelijk. Onze oordelen zijn daarom uitdrukkelijk aangeduid als vereenvoudigde methodologische beoordelingen.

Bewijsstatus, bewijsdossiers en diepgang van de controle

Sinds de systematische beoordeling van het bewijs (fase 4) heeft elke bewering ook een bewijsstatus. Die geeft in woorden aan wat voor antwoord de wetenschap geeft:

• Wetenschappelijk weerlegd: bewijs van hoge kwaliteit toont het tegendeel aan, of de bewering is in strijd met goed onderbouwde fysiologie.
• Niet onderbouwd door bewijs van hoge kwaliteit: er is geen goed bewijs voor de bewering. Dat alleen bewijst niet dat zij onjuist is.
• Overgeïnterpreteerd: er bestaat een echte bevinding, maar de bewering haalt er meer uit dan de gegevens toelaten – bijvoorbeeld een verband dat als oorzaak wordt voorgesteld, dierlijke gegevens die op mensen worden toegepast, of een klein effect dat als groot wordt voorgesteld.
• Alleen onder bepaalde voorwaarden waar: de bewering geldt alleen voor bepaalde hoeveelheden, groepen mensen, bereidingen of omstandigheden.
• Onvoldoende onderzocht: er is te weinig onderzoek om te zeggen of de bewering juist of onjuist is.
• Wetenschappelijk goed onderbouwd: de bewering stemt overeen met consistent bewijs van hoge kwaliteit.

Wanneer bewijs van hoge kwaliteit een verregaande medische bewering duidelijk weerlegt, zeggen wij dat onomwonden: “Deze bewering is onwaar.” Waar gegevens tegenstrijdig of onvoldoende zijn, claimen wij niet meer zekerheid dan het bewijs toelaat. Een juiste uitspraak wordt als juist beoordeeld, ook als andere uitspraken van hetzelfde systeem onjuist zijn.

Voor elke bewering bestaat er een bewijsdossier: een concrete onderzoeksvraag (gestructureerd als PICO voor interventies of PECO voor blootstellingen: populatie, interventie of blootstelling, vergelijking, uitkomstmaten), gedocumenteerde zoekacties in PubMed, Europe PMC, de Cochrane Library en andere bronnen – afzonderlijk voor ondersteunend en voor tegensprekend bewijs –, de sterkste studies aan beide kanten, een verklaring van schijnbare tegenstrijdigheden, een uitspraak over de vraag of regionale verschillen van belang zijn, en de redenen om het oordeel te handhaven of te wijzigen. Waar studies voldoende gegevens publiceren, herberekenen wij belangrijke resultaten (bijvoorbeeld absolute risico’s uit aantallen gebeurtenissen); anders zeggen wij dat een herberekening niet mogelijk was. Ontbrekende gegevens worden nooit aangevuld.

Wij tellen geen publicaties. Meerdere meta-analyses die dezelfde primaire studies bevatten, zijn geen onafhankelijke bevestigingen. PRISMA 2020 is een standaard voor transparante rapportage van systematische reviews, geen instrument om de kwaliteit van studies te beoordelen. GRADE beoordeelt de zekerheid van het geheel van het bewijs voor één uitkomstmaat en vervangt niet de beoordeling van afzonderlijke studies (RoB 2 voor gerandomiseerde studies, ROBINS-I en ROBINS-E voor niet-gerandomiseerde studies, AMSTAR 2 en ROBIS voor systematische reviews).

Voor elke studie geven wij aan hoe grondig zij is gecontroleerd: bibliografisch geverifieerd (de studie bestaat; titel, auteurs, jaar en identificatiecode kloppen), samenvatting (abstract) gecontroleerd, volledige tekst gecontroleerd, of volledige tekst met een gestructureerde beoordeling van het risico op bias. Nog geen enkele studie is formeel beoordeeld door twee onafhankelijke beoordelaars, en er heeft geen onafhankelijke controle door menselijke deskundigen plaatsgevonden. Wij beschrijven een controle nooit als formeel of menselijk als die niet heeft plaatsgevonden.