Por Que a Maioria dos Achados de Pesquisa Publicados São Falsos?

O progresso na área médica tem sido vertiginoso ao longo das últimas décadas. Certamente que isso se deve aos contínuos avanços das pesquisas científicas e ao trabalho silencioso de incontáveis pesquisadores em instituições acadêmicas e empresas privadas.

Contudo, inúmeros resultados publicados em revistas científicas de renome e inicialmente considerados muito promissores, ou mesmo divulgados internacionalmente como revolucionários, acabam sendo abandonados por mostrarem-se falsos ao final de outras avaliações.

Existem preocupações crescentes com a qualidade dos artigos científicos publicados e autores supõem que a vasta maioria das afirmações feitas em pesquisas biomédicas sejam falsas ou exageradas. Estima-se que 85% dos recursos econômicos destinados para as investigações biomédicas sejam desperdiçados nesses tipos de estudos (Ioannidis, 2014).

Essas questões foram abordadas em um artigo por John PA Ioannidis já em 2005. Segundo a revista Plos Med, que o publicou, no dia 31 de maio de 2016, o referido artigo havia sido acessado 1.654.621 vezes, aproximadamente 253.000 cópias em pdf haviam sido baixadas e contava com 2121 citações internacionais. No meu modo de ver, esses números mostram a repercussão do trabalho, a importância do tema, bem como a credibilidade do autor.

Na avaliação desse autor: (i) resultados publicados de ensaios clínicos iniciais, com casuística pequena, são verdadeiros apenas em 25% das vezes; (ii) resultados  publicados de estudos epidemiológicos exploratórios são verdadeiros em apenas 20% dos casos; (iii) em estudos que envolvam inúmeros testes, principalmente com a finalidade de gerar hipóteses como, por exemplo, em investigações genéticas, chances de se achar falsas associações são 1000 vezes maiores do que associações verdadeiramente reais.

Nesse artigo são enumerados fatores que contribuem para essa situação, dos quais acredito sejam os mais interessantes:

  • A adoção de estratégia cômoda e conveniente de aceitar como verdadeiro um único estudo, geralmente publicado em revista internacional de renome, baseando-se apenas num valor de p< 0.05. Para o autor, pesquisa científica não é adequadamente resumida apenas em valores significativos de p.
  • Além dos valores de p, a probabilidade de um achado de pesquisa ser verdadeiro ainda está na dependência da probabilidade pré-teste, e o poder estatístico do estudo. O último está basicamente na dependência do tamanho da amostra.
  • A ocorrência de diversos tipos de vieses, em especial o viés de publicação. Editores de revistas científicas, via de regra, dão preferências à publicação de estudos com resultados positivos, independentemente da sua metodologia. Nesse contexto, inúmeros estudos com resultados negativos, embora verdadeiros, encontram dificuldades para divulgação.
  • Estudos numa mesma área realizados por diversos grupos isoladamente. Nesse contexto, a falta de trabalho colaborativo impede que uma casuística numerosa de eventos seja analisada simultaneamente, o que dificulta a obtenção de resultados definitivos.

O autor propõe ficarmos conscientes das seguintes regras:

  1. Quanto menor o tamanho (menos voluntários) dos estudos conduzidos em um campo científico, menores as chances dos achados serem verdadeiros.

Naturalmente que tem a ver com os tamanhos das amostras.

  1. Quanto menor o tamanho dos efeitos num determinado campo científico, menor a probabilidade da veracidade dos resultados.

Por exemplo, os efeitos do tabagismo sobre câncer e doenças cardiovasculares, em oposição a fatores de risco genéticos para doenças influenciadas por inúmeros genes.

  1. Quanto maior o número e menor a seleção de associações testadas num campo científico, menor a probabilidade dos achados da pesquisa serem verdadeiros.

Achados científicos são mais provavelmente verdadeiros em estudos de confirmação como, por exemplo, ensaios clínicos de fase III.

  1. Quanto maior a flexibilidade em desenhos, definições, desfechos e modos de análise em um campo científico, menor a possibilidade dos achados serem verdadeiros.

Aderência a desenhos de estudo e métodos de análise tradicionais aumentam as chances de resultados verdadeiros. Achados verdadeiros são mais comuns com o uso de desfechos duros como, por exemplo, mortalidade. Há evidências que a comunicação selecionada de desfechos desejáveis possa ser prática comum mesmo em ensaios clínicos.

  1. Quanto maior o número de interesses financeiros, ou de outra natureza, bem como ideias preconcebidas num determinado campo científico, menores as chances dos resultados positivos serem verdadeiros.

Conflitos de interesse são comuns em ciência e nem sempre são adequadamente especificados. Não apenas econômicos, como também relacionados a desejos de progressão na carreira acadêmica. Cientistas também podem interpretar seus dados a luz de teorias da moda ou para justificar seus achados anteriores. Opiniões de expertos são altamente inconfiáveis.

  1. Quanto mais quente um campo da ciência (maior número de grupos científicos produzindo), menores as possibilidades dos achados de pesquisa naquele campo serem verdadeiros.

Em um ambiente muito competitivo, cada grupo tende a priorizar a divulgação dos seus resultados positivos mais impressionantes. Resultados negativos podem tornar-se interessantes apenas se outro grupo tenha publicado, em uma revista científica de prestígio, resultados opostos na mesma questão.

Além dessas regras, o autor comenta que:

  • A demonstração de efeitos muito grandes, além do habitualmente observado em outros estudos realizados no determinado campo, pode traduzir apenas a presença de grandes vieses.
  • Os achados significantes publicados em um estudo podem esconder grande número de investigações prévias feitas no mesmo laboratório, quando desfechos alternativos deram resultados negativos.

Nessa e em outras publicações o autor propõe sugestões para minimizar tais riscos. Uma medida que tem sido amplamente introduzida em anos recentes, é a obrigatoriedade do registros de ensaios clínicos em sistemas internacionais especialmente criados para essa finalidade.  Além disso, todo leitor de produção científica original deve procurar melhorar os seus conhecimentos em análise estatística. No último cenário, vale a pena ler dois artigos recentemente publicados por Greenland et al, do grupo do grande estatístico Douglas Altman, que abordam alguns erros comuns de interpretação em valores de p, intervalos de confiança, riscos relativos e razões de chance.

Em resumo, como tudo na vida, também na ciência e medicina parece valer o ditado popular:

“Quando a esmola é demais, o santo desconfia!”

Referências

Greenland S, et al.  Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. Eur J Epidemiol. 2016;31:337-50.

Greenland S, et al. Sparse data bias: a problem hiding in plain sight. BMJ. 2016 Apr 27;352:i1981. doi: 10.1136/bmj.i1981.

Ioannidis JP. Why most published research findings are false. PLoS Med. 2005;2: e124.

Ioannidis JP. How to make more published research true. PLoS Med. 2014; 11:e1001747

 

 

 

 

 

Deixe um comentário

O seu endereço de email não será publicado Campos obrigatórios são marcados *

Você pode usar estas tags e atributos de HTML: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>