Forstå vitenskap

Om en kostholdspåstand stemmer, kan sjelden besvares med én enkelt studie. Denne siden forklarer begrepene og tenkemåtene vi bruker i alle faktasjekker.

Slik fungerer studier

Ernæringsforskning bruker svært ulike typer studier. De besvarer ulike spørsmål og er utsatt for ulike feil.

• Randomisert kontrollert studie (RCT): Deltakerne fordeles tilfeldig i grupper, for eksempel «flere egg» og «ingen egg». På grunn av randomiseringen skiller gruppene seg i gjennomsnitt bare i det som testes. RCT-er er derfor best egnet til å vise årsak og virkning. I ernæringsforskning er de imidlertid ofte korte og små, og de måler som regel blodverdier snarere enn sykdommer.
• Kohortstudie: Mange mennesker følges i årevis. De blir spurt om hva de spiser, og sykdomstilfeller telles senere. Slike studier er store og lange, men deltakerne har selv valgt kostholdet sitt. Personer som spiser mye av en bestemt matvare, skiller seg ofte også ut på mange andre måter.
• Kasus-kontroll-studie: Personer med en sykdom sammenlignes med friske personer og blir spurt om sitt tidligere kosthold. Dette er utsatt for erindringsfeil.
• Tverrsnittsstudie: et øyeblikksbilde. Den viser sammenhenger, men ikke hva som kom først.
• Måle- eller reststudie: Matprøver analyseres for stoffer. Den viser hva som ble funnet i bestemte prøver på et bestemt tidspunkt og sted, men ikke automatisk om folk blir syke av det.
• Systematisk oversikt og metaanalyse: Alle egnede studier om et spørsmål letes fram og vurderes etter faste regler og, der det er mulig, slås sammen statistisk.
• Dyre- og cellestudier: De forklarer mulige mekanismer, men gir ikke grunnlag for direkte slutninger om menneskers helse.

Hvorfor korrelasjon ikke beviser årsakssammenheng

At to ting opptrer samtidig, betyr ikke at den ene forårsaker den andre. Et kjent eksempel: På dager da det selges mye is, drukner flere mennesker. Is forårsaker ikke drukning. Begge deler avhenger av varmt vær.

I ernæringsstudier kalles slike bakgrunnsfaktorer konfunderende faktorer. Personer som drikker mye brus, kan for eksempel også oftere røyke eller være mindre fysisk aktive. Gode studier justerer for slike faktorer, men aldri fullstendig. Det som gjenstår, kalles gjenværende konfundering.

Et annet problem er omvendt årsakssammenheng: Personer som allerede er syke, endrer ofte kostholdet sitt. Det kan da se ut som om det nye kostholdet forårsaket sykdommen.

En sammenheng blir mer troverdig hvis den er sterk, viser seg i mange uavhengige studier, øker med mengden som inntas (dose–respons-sammenheng), passer i tid, er biologisk plausibel og bekreftes i eksperimenter. Ingen av disse punktene alene er bevis.

Hva metaanalyser kan og ikke kan

En metaanalyse slår sammen resultatene fra mange studier statistisk. Dette gjør resultatet mer presist og viser om studiene peker i samme retning.

En metaanalyse er imidlertid bare så god som studiene den inneholder. Hvis den slår sammen mange skjeve observasjonsstudier, blir også det samlede resultatet skjevt, bare med mindre usikkerhet. Heterogenitet spiller også en rolle: Hvis enkeltstudiene avviker mye fra hverandre, betyr én enkelt gjennomsnittsverdi lite.

Flere metaanalyser om samme tema inneholder ofte de samme studiene. Tre metaanalyser er derfor ikke automatisk tre uavhengige bekreftelser. Vi kontrollerer for slik overlapping og teller den ikke mer enn én gang.

Hva konfidensintervaller betyr

Studier rapporterer ofte resultater slik: «hasardratio 1,06 (95 % konfidensintervall 1,03–1,10)». Den første verdien er det beste estimatet: en 6 % høyere relativ risiko. Intervallet i parentes viser området der den sanne verdien svært sannsynlig ligger, forutsatt at studien ikke har systematiske feil.

• Hvis verdien 1,0 («ingen forskjell») ligger innenfor intervallet, er funnet ikke statistisk sikret.
• Et smalt intervall betyr et presist estimat; et bredt intervall betyr et usikkert estimat.
• Statistisk signifikant betyr ikke automatisk viktig. En svært liten effekt kan være «signifikant» i en enorm studie og likevel knapt ha betydning i hverdagen.
• Intervallet fanger bare opp tilfeldigheter, ikke konfundering eller målefeil.

Hvorfor enkeltstudier kan villede

Enhver enkeltstudie kan komme fram til et resultat som ikke bekreftes senere, på grunn av tilfeldigheter, små utvalg, mange spørsmål som testes samtidig, eller en spesiell populasjon. I tillegg kommer publiseringsskjevhet: Oppsiktsvekkende resultater publiseres oftere enn uinteressante.

Vi vurderer derfor ikke om en eller annen studie støtter en påstand. Med et selektivt utvalg kan nesten enhver påstand «bevises» med studier. Det som teller, er helheten av god dokumentasjon.

Absolutte og relative risikoer

En relativ risiko sier med hvor mange prosent en risiko øker eller synker sammenlignet med en annen gruppe. En absolutt risiko sier hvor mange mennesker som faktisk rammes.

Regneeksempel (oppdiktede tall til illustrasjon): Av 1 000 personer får 2 en bestemt sykdom i løpet av ti år. I en annen gruppe er det 3 av 1 000. Den relative risikoen er 50 % høyere. Men den absolutte risikoen øker bare med 1 av 1 000 personer, altså med 0,1 prosentpoeng.

Begge utsagn er riktige, men oppleves svært forskjellig. Der det er tilgjengelig, oppgir vi derfor begge. Hvis en studie ikke rapporterer absolutte tall, sier vi det.

Påvisning er ikke det samme som fare

Moderne laboratorier kan påvise bittesmå mengder av stoffer, ofte i størrelsesordenen milliarddeler av et gram. At et stoff blir funnet, sier i seg selv ingenting om hvorvidt det er skadelig i den mengden. Det som teller, er:

• Mengden som faktisk tas opp (eksponering).
• Helsebaserte veiledende verdier, som tolerabelt ukentlig inntak (TWI) eller akseptabelt daglig inntak (ADI). Myndigheter som Den europeiske myndighet for næringsmiddeltrygghet (EFSA) fastsetter dem med sikkerhetsmarginer.
• Grenseverdier for rester (MRL): lovfestede øvre grenser. Å overskride en slik grense er et lovbrudd, men betyr ikke automatisk en helsefare. Omvendt er en verdi under grensen ikke uten betydning for enhver person og enhver kombinasjon av stoffer.
• Sammenhengen: En måling fra en forurensningshendelse, et gruveområde eller et annet land beskriver ikke automatisk den vanlige matforsyningen i Tyskland eller Egypt.

Det motsatte gjelder også: For noen stoffer, som visse per- og polyfluoralkylstoffer (PFAS), har EFSA fastsatt svært lave veiledende verdier (2020: 4,4 nanogram per kilo kroppsvekt per uke for summen av fire PFAS). Her kan et vanlig kosthold bringe enkelte mennesker opp i nærheten av den veiledende verdien. Derfor undersøker vi hvert tilfelle for seg.

Dyre- og cellestudier

Forsøk på celler eller dyr viser om en mekanisme er mulig. Dosene der er imidlertid ofte mye høyere enn i kosten, og dyr omsetter stoffer annerledes enn mennesker. Vi merker alltid slike studier uttrykkelig. Biologisk plausibilitet er ikke klinisk bevis.

Slik blir vurderingene våre til

Hver påstand får to separate vurderinger:

1. Vurdering på en sjudelt skala fra «Sant» til «Usant», inkludert «Uklart / utilstrekkelig dokumentasjon». Mangel på dokumentasjon betyr ikke at en påstand er usann.
2. Tillit til dokumentasjonen (høy, middels, lav, svært lav), basert på det internasjonalt brukte GRADE-systemet. Den sier hvor sikre vi kan være på den samlede dokumentasjonen. Observasjonsstudier starter lavere enn randomiserte studier og nedgraderes ytterligere ved svakheter.

Brede påstander deler vi opp i delpåstander. «Egg skader alle» kan tilbakevises, mens «visse personer bør begrense egginntaket» kan være riktig. Vi vurderer også enkeltstudier langs flere dimensjoner, som metodisk kvalitet, risiko for skjevhet, presisjon og regional overførbarhet, og vi kontrollerer om de ble gjengitt korrekt.

Vi bruker verktøy som RoB 2, ROBINS-E, AMSTAR 2 og GRADE som orientering. En fullstendig formell vurdering med disse verktøyene krever fulltekster, studieprotokoller og som regel flere uavhengige bedømmere. Det var ikke mulig her. Vurderingene våre er derfor uttrykkelig merket som forenklede metodiske vurderinger.

Evidensstatus, evidensdossierer og kontrolldybde

Siden den systematiske gjennomgangen av dokumentasjonen (fase 4) har hver påstand også en evidensstatus. Den sier med ord hva slags svar vitenskapen gir:

• Vitenskapelig tilbakevist: Dokumentasjon av høy kvalitet viser det motsatte, eller påstanden strider mot veletablert fysiologi.
• Ikke støttet av dokumentasjon av høy kvalitet: Det finnes ingen god dokumentasjon for påstanden. Dette alene beviser ikke at den er feil.
• Overtolket: Det finnes et reelt funn, men påstanden trekker mer ut av det enn dataene tillater – for eksempel en sammenheng framstilt som en årsak, dyredata overført til mennesker eller en liten effekt framstilt som en stor.
• Sant bare under visse forutsetninger: Påstanden holder bare for bestemte mengder, persongrupper, tilberedningsmåter eller omstendigheter.
• Utilstrekkelig undersøkt: Det finnes for lite forskning til å si om påstanden er riktig eller feil.
• Vitenskapelig godt underbygget: Påstanden stemmer overens med konsistent dokumentasjon av høy kvalitet.

Når dokumentasjon av høy kvalitet tydelig tilbakeviser en vidtrekkende medisinsk påstand, sier vi det rett ut: «Denne påstanden er usann.» Der dataene er motstridende eller utilstrekkelige, hevder vi ikke større sikkerhet enn dokumentasjonen tillater. Et korrekt utsagn vurderes som korrekt, selv om andre utsagn fra det samme systemet er feil.

For hver påstand finnes det et evidensdossier: et konkret forskningsspørsmål (strukturert som PICO for intervensjoner eller PECO for eksponeringer: populasjon, intervensjon eller eksponering, sammenligning, utfall), dokumenterte søk i PubMed, Europe PMC, Cochrane Library og andre kilder – separat for støttende og for motstridende dokumentasjon –, de sterkeste studiene på begge sider, en forklaring av tilsynelatende motsigelser, en vurdering av om regionale forskjeller har betydning, og begrunnelsen for å beholde eller endre vurderingen. Der studier publiserer nok data, beregner vi sentrale resultater på nytt (for eksempel absolutte risikoer ut fra antall hendelser); ellers sier vi at en ny beregning ikke var mulig. Manglende data fylles aldri inn.

Vi teller ikke publikasjoner. Flere metaanalyser som inneholder de samme primærstudiene, er ikke uavhengige bekreftelser. PRISMA 2020 er en standard for åpen rapportering av systematiske oversikter, ikke et verktøy for å vurdere studiekvalitet. GRADE vurderer tilliten til dokumentasjonsgrunnlaget for ett utfall og erstatter ikke vurderingen av enkeltstudier (RoB 2 for randomiserte studier, ROBINS-I og ROBINS-E for ikke-randomiserte studier, AMSTAR 2 og ROBIS for systematiske oversikter).

For hver studie oppgir vi hvor grundig den ble kontrollert: bibliografisk verifisert (studien finnes; tittel, forfattere, år og identifikator stemmer), sammendrag kontrollert, fulltekst kontrollert eller fulltekst med strukturert vurdering av risiko for skjevhet. Ingen studie er ennå formelt vurdert av to uavhengige bedømmere, og det har ikke funnet sted noen uavhengig gjennomgang av menneskelige eksperter. Vi beskriver aldri en kontroll som formell eller menneskelig hvis den ikke har funnet sted.