quarta-feira, setembro 28, 2005

Patologias da ciência

«Theodore Sturgeon, um escritor americano de ficção científica, referiu uma vez que "95 % de todas as coisas é lixo". John Ioannidis, um epidemologista grego, não iria tão longe. A sua proposta fica pelos 50 %. Esse número, segundo crê, é uma estimativa razoável da quantidade de papers científicos que, eventualmente, se vem a verificar que estavam errados.»

«O Dr. Ioannidis, que trabalha na Universidade de Ioannina, no norte da Grécia, defende esta ideia no artigo "Why Most Published Research Findings Are False". A sua tese de que muitos artigos científicos apontam para conclusões falsas, não é nova. A Ciência é um processo darwiniano que avança tanto pela refutação como pela publicação. Mas até agora nunca ninguém tinha tentado quantificar o assunto.»

«O Dr. Ioannidis começou por olhar para estudos específicos, num paper publicado em Julho no Journal of the American Medical Association . Examinou 49 artigos de investigação publicados entre 1990 e 2003 em jornais médicos de larga divulgação. Cada um destes artigos tinha sido citado, mil vezes ou mais, por ourtros cientistas nos seus próprios papers. Contudo, 14 deles - quase um terço - foram mais tarde refutados por outros trabalhos. Alguns dos estudos refutados debruçavam-se sobre se a terapia de substituição hormonal era segura para as mulheres (primeiro era, depois já não era), se a vitamina E aumentava a saúde das coronárias (primeiro sim, e depois não) [...]»

«Tendo definido o problema, concebeu depois um modelo matemático para tentar levar em consideração e quantificar quais fontes de erro, algo igualmente já conhecido. Uma é a confiança pouco sofisticada na "significância estatística". Para ser considerado como estatisticamente significante um resultado, por convenção, tem de ter probabilidades inferiores a 1 em 20 de resultar do acaso. Mas aceitar este standard significa que ao examinarem-se 20 diferentes hipóteses ao acaso obter-se-á provavelmente um resultado estatisticamente significativo. Em campos onde milhares de possibilidades têm de ser consideradas, tais como a busca de genes que contribuem para uma determinada doença, muitos resultados aparentemente significativos acabarão por revelar-se errados.»

«Outros factores que contribuem para falsos resultados são amostras de pequenas dimensões, estudos que revelam resultados "fracos" (tais como remédios que resultam apenas num pequeno número de doentes) e estudos mal concebidos que permitem aos investigadores andar "à pesca" no meio dos dados até encontrarem qualquer tipo de relação, independentemnente do que é que estavam inicialmente a tentar provar. Preconceitos dos próprios cientistas, devidos quer à tenaz tentativa de provar uma teoria muito acarinhada, quer a interesses financeiros, podem igualmente distorcer os resultados.»

in The Economist

O artigo publicado no Journal of the American Medical Association é: "Contradicted and Initially Stronger Effects in Highly Cited Clinical Research"

Artigos relacionados:

  • "Error Types" - Douglas Allchin
  • "The Nature of Scientific Inquiry" - Lindley Darden
  • "The Epistemology of Error" - Douglas Allchin
  • "Scientific error and the ethos of belief" - Lorraine Daston
  • "Scientific Myth-Conceptions" - Douglas Allchin
  • "Normal Science, Pathologiacl Science and Psychometrics" - Joel Michell
  • "Paradigms Lost and Paradigms Found: Examples of Science Extraordinary and Science Patological: And How to Tell the Difference" - Nicholas J. Turro
  • "Pseudoscience", capítulo 11º do livro "How Are We to Know?", de Nils J. Nillson, onde se cita António Damásio: "O que poderia ser mais difícil de saber do que saber como sabemos ?" (What could be more difficult to know than to know how we know?)
  • 3 comentários:

    Rita SC disse...

    Parece-me que este artigo tem um título enganador, que irá originar equívocos. Os leitores que não lerem com atenção o texto completo - ou seja, a maioria - irão ficar com a ideia que este tipo de "patologias científicas" ocorre em todas as ciências. Ora, o estudo referenciado aborda apenas as ciências bio-médicas.

    António disse...

    A aspirina foi criada com uma finalidade, hoje é utilizada como preventivo de acidentes vasculares. O princípio activo do viagra foi criado com um objectivo tendo a sua aplicação final sido muito diferente. A medicina está cheia de situações destas, com a agravante de muitos produtos activos serem retirados por virem a ser considerados perigosos para a saúde. A conclusão do Dr. Ioannidis, não tem nada de novo.
    Transpondo as conclusões da investigação biológica para as ditas ciências sociais como a economia, quantas asneiras se têm vindo a dizer ao longo do tempo como verdades ciêntificas?

    J.A. disse...

    Eu penso que este tipo de patologias ocorre em todas as ciências, como se pode deduzir dos vários artigos que cito no post.