Entender a ciência

Se uma alegação sobre alimentação é verdadeira raramente pode ser respondido com um único estudo. Esta página explica os termos e as formas de raciocínio que usamos em todas as checagens de fatos.

Como os estudos funcionam

A pesquisa em nutrição usa tipos de estudo muito diferentes. Eles respondem a perguntas diferentes e estão sujeitos a erros diferentes.

• Ensaio clínico randomizado controlado (ECR): os participantes são distribuídos em grupos por sorteio, por exemplo “mais ovos” e “nenhum ovo”. Graças à randomização, os grupos diferem, em média, apenas naquilo que está sendo testado. Por isso, os ECRs são os mais adequados para mostrar causa e efeito. Na nutrição, porém, eles costumam ser curtos e pequenos, e geralmente medem valores sanguíneos em vez de doenças.
• Estudo de coorte: muitas pessoas são acompanhadas durante anos. Pergunta-se o que elas comem, e as doenças são contadas mais tarde. Esses estudos são grandes e longos, mas as pessoas escolheram sua alimentação por conta própria. Pessoas que comem muito de determinado alimento muitas vezes também diferem em muitos outros aspectos.
• Estudo de caso-controle: pessoas com uma doença são comparadas com pessoas saudáveis e questionadas sobre sua alimentação no passado. Isso está sujeito a erros de memória.
• Estudo transversal: um retrato instantâneo. Mostra associações, mas não o que veio primeiro.
• Estudo de medição ou de resíduos: amostras de alimentos são analisadas quanto a substâncias. Mostra o que foi encontrado em determinadas amostras, em determinado momento e lugar, mas não automaticamente se as pessoas adoecem por causa disso.
• Revisão sistemática e metanálise: todos os estudos adequados sobre uma questão são buscados e avaliados segundo regras fixas e, quando possível, combinados estatisticamente.
• Estudos em animais e em células: explicam mecanismos possíveis, mas não permitem conclusões diretas sobre a saúde humana.

Por que correlação não prova causalidade

Quando duas coisas ocorrem juntas, isso não significa que uma cause a outra. Um exemplo conhecido: nos dias em que se vende muito sorvete, mais pessoas se afogam. O sorvete não causa afogamento. Ambos dependem do tempo quente.

Em estudos de nutrição, esses fatores de fundo são chamados de fatores de confusão. Pessoas que bebem muito refrigerante, por exemplo, podem também fumar com mais frequência ou fazer menos exercício. Bons estudos fazem ajustes para esses fatores, mas nunca de forma completa. O que sobra é chamado de confundimento residual.

Um segundo problema é a causalidade reversa: pessoas que já estão doentes muitas vezes mudam sua alimentação. Pode então parecer que a nova alimentação causou a doença.

Uma associação torna-se mais crível se for forte, aparecer em muitos estudos independentes, aumentar com a quantidade consumida (relação dose-resposta), for compatível no tempo, for biologicamente plausível e for confirmada em experimentos. Nenhum desses pontos, isoladamente, é prova.

O que as metanálises podem e não podem fazer

Uma metanálise combina estatisticamente os resultados de muitos estudos. Isso torna o resultado mais preciso e mostra se os estudos apontam na mesma direção.

No entanto, uma metanálise é tão boa quanto os estudos que contém. Se ela reúne muitos estudos observacionais com viés, o resultado geral também terá viés, apenas com menos incerteza. A heterogeneidade também importa: se os estudos individuais diferem muito entre si, um único valor médio significa pouco.

Várias metanálises sobre o mesmo tema muitas vezes contêm os mesmos estudos. Três metanálises, portanto, não são automaticamente três confirmações independentes. Verificamos essa sobreposição e não a contamos mais de uma vez.

O que significam os intervalos de confiança

Os estudos frequentemente relatam resultados assim: “hazard ratio 1,06 (intervalo de confiança de 95% 1,03–1,10)”. O primeiro valor é a melhor estimativa: um risco relativo 6% maior. O intervalo entre parênteses mostra a faixa em que o valor verdadeiro muito provavelmente se encontra, desde que o estudo não tenha erros sistemáticos.

• Se o valor 1,0 (“nenhuma diferença”) estiver dentro do intervalo, o achado não está estatisticamente estabelecido.
• Um intervalo estreito significa uma estimativa precisa; um intervalo amplo, uma estimativa incerta.
• Estatisticamente significativo não significa automaticamente importante. Um efeito muito pequeno pode ser “significativo” em um estudo enorme e, ainda assim, quase não importar no dia a dia.
• O intervalo capta apenas o acaso, não o confundimento nem erros de medição.

Por que estudos isolados podem enganar

Qualquer estudo isolado pode chegar a um resultado que não é confirmado depois, por acaso, por amostras pequenas, por muitas perguntas testadas ao mesmo tempo ou por uma população especial. Soma-se a isso o viés de publicação: resultados chamativos têm mais chance de ser publicados do que resultados sem nada de notável.

Por isso, não avaliamos se algum estudo sustenta uma alegação. Com uma escolha seletiva, quase qualquer alegação pode ser “provada” com estudos. O que importa é o conjunto das boas evidências.

Riscos absolutos e relativos

Um risco relativo diz em quantos por cento um risco aumenta ou diminui em comparação com outro grupo. Um risco absoluto diz quantas pessoas são realmente afetadas.

Exemplo prático (números inventados para ilustração): De 1.000 pessoas, 2 desenvolvem determinada doença em dez anos. Em outro grupo, são 3 em 1.000. O risco relativo é 50% maior. Mas o risco absoluto aumenta em apenas 1 em cada 1.000 pessoas, ou seja, em 0,1 ponto percentual.

As duas afirmações estão corretas, mas soam muito diferentes. Quando disponíveis, informamos por isso ambas. Se um estudo não relata números absolutos, dizemos isso.

Detecção não é o mesmo que perigo

Laboratórios modernos conseguem detectar quantidades ínfimas de substâncias, muitas vezes na faixa de bilionésimos de grama. O fato de uma substância ser encontrada ainda não diz nada sobre se ela é nociva nessa quantidade. O que importa é:

• A quantidade efetivamente ingerida (exposição).
• Valores de referência baseados na saúde, como a ingestão semanal tolerável (TWI) ou a ingestão diária aceitável (IDA). Autoridades como a Autoridade Europeia para a Segurança dos Alimentos (EFSA) os estabelecem com margens de segurança.
• Limites máximos de resíduos (LMRs): limites superiores legais. Ultrapassar um deles é uma infração legal, mas não significa automaticamente um perigo para a saúde. Inversamente, um valor abaixo do limite não é irrelevante para todas as pessoas e todas as combinações de substâncias.
• O contexto: uma medição de um incidente de contaminação, de uma área de mineração ou de outro país não descreve automaticamente a oferta normal de alimentos na Alemanha ou no Egito.

O inverso também é verdade: para algumas substâncias, como certas substâncias per- e polifluoroalquiladas (PFAS), a EFSA estabeleceu valores de referência muito baixos (2020: 4,4 nanogramas por quilograma de peso corporal por semana para a soma de quatro PFAS). Nesse caso, uma alimentação normal pode levar algumas pessoas à faixa do valor de referência. Por isso examinamos cada caso individualmente.

Estudos em animais e em células

Experimentos com células ou animais mostram se um mecanismo é possível. No entanto, as doses usadas costumam ser muito maiores do que na alimentação, e os animais processam as substâncias de forma diferente dos seres humanos. Sempre identificamos esses estudos explicitamente. Plausibilidade biológica não é prova clínica.

Como nossas avaliações são feitas

Cada alegação recebe duas classificações separadas:

1. Veredito em uma escala de sete pontos, de “Verdadeiro” a “Falso”, incluindo “Incerto / evidências insuficientes”. A falta de evidências não significa que uma alegação seja falsa.
2. Certeza da evidência (alta, moderada, baixa, muito baixa), com base no sistema GRADE, usado internacionalmente. Ela indica quanta confiança podemos ter no conjunto das evidências. Os estudos observacionais começam em um nível mais baixo do que os ensaios randomizados e são rebaixados ainda mais quando há deficiências.

Desmembramos alegações amplas em subalegações. “Ovos fazem mal a todos” pode ser refutada, enquanto “certas pessoas devem limitar o consumo de ovos” pode estar correta. Também classificamos os estudos individuais em várias dimensões, como qualidade metodológica, risco de viés, precisão e transferibilidade regional, e verificamos se foram relatados corretamente.

Usamos ferramentas como RoB 2, ROBINS-E, AMSTAR 2 e GRADE para orientação. Uma avaliação formal completa com essas ferramentas requer textos completos, protocolos de estudo e geralmente vários revisores independentes. Isso não foi possível aqui. Nossos julgamentos são, por isso, explicitamente identificados como avaliações metodológicas simplificadas.

Status da evidência, dossiês de evidências e profundidade da verificação

Desde a revisão sistemática das evidências (fase 4), cada alegação tem também um status da evidência. Ele diz em palavras que tipo de resposta a ciência dá:

• Refutada cientificamente: evidências de alta qualidade mostram o contrário, ou a alegação contradiz uma fisiologia bem estabelecida.
• Não sustentada por evidências de alta qualidade: não há boas evidências a favor da alegação. Isso, por si só, não prova que ela esteja errada.
• Superinterpretada: existe um achado real, mas a alegação tira dele mais do que os dados permitem – por exemplo, uma associação apresentada como causa, dados de animais aplicados a humanos, ou um efeito pequeno apresentado como grande.
• Verdadeira apenas sob certas condições: a alegação vale apenas para certas quantidades, grupos de pessoas, preparos ou circunstâncias.
• Insuficientemente estudada: há pesquisa insuficiente para dizer se a alegação está certa ou errada.
• Bem fundamentada cientificamente: a alegação está de acordo com evidências consistentes e de alta qualidade.

Quando evidências de alta qualidade refutam claramente uma alegação médica abrangente, dizemos isso com clareza: “Esta alegação é falsa.” Onde os dados são contraditórios ou insuficientes, não afirmamos mais certeza do que as evidências permitem. Uma afirmação correta é classificada como correta, mesmo que outras afirmações do mesmo sistema estejam erradas.

Para cada alegação existe um dossiê de evidências: uma pergunta de pesquisa concreta (estruturada como PICO para intervenções ou PECO para exposições: população, intervenção ou exposição, comparação, desfechos), buscas documentadas no PubMed, no Europe PMC, na Cochrane Library e em outras fontes – separadamente para evidências a favor e contrárias –, os estudos mais fortes de ambos os lados, uma explicação das contradições aparentes, uma declaração sobre se as diferenças regionais importam e os motivos para manter ou alterar o veredito. Quando os estudos publicam dados suficientes, recalculamos resultados-chave (por exemplo, riscos absolutos a partir do número de eventos); caso contrário, dizemos que um recálculo não foi possível. Dados ausentes nunca são preenchidos.

Não contamos publicações. Várias metanálises que contêm os mesmos estudos primários não são confirmações independentes. O PRISMA 2020 é um padrão para o relato transparente de revisões sistemáticas, não uma ferramenta para avaliar a qualidade dos estudos. O GRADE avalia a certeza do conjunto das evidências para um desfecho e não substitui a avaliação dos estudos individuais (RoB 2 para ensaios randomizados, ROBINS-I e ROBINS-E para estudos não randomizados, AMSTAR 2 e ROBIS para revisões sistemáticas).

Para cada estudo, indicamos com que profundidade ele foi verificado: verificado bibliograficamente (o estudo existe; título, autores, ano e identificador conferem), resumo verificado, texto completo verificado ou texto completo com avaliação estruturada do risco de viés. Nenhum estudo foi ainda avaliado formalmente por dois revisores independentes, e não houve revisão independente por especialistas humanos. Nunca descrevemos uma verificação como formal ou humana se ela não ocorreu.