No recente debate do programa “Prós e Contras” acerca das terapêuticas alternativas foi possível assistirmos a algumas das várias “técnicas” de venda de banha da cobra que rapidamente terminam qualquer conversa honesta sobre evidência científica. Simplesmente porque demonstram que estamos a discutir com alguém que não tem um conhecimento profundo do que está a dizer. Estas inventivas adquiriram a forma de viés de confirmação ou cherry-picking: “existem estudos científicos com resultados positivos que confirmam o que estou a dizer” ou a forma de falácia da autoridade: “este estudo foi publicado numa revista conceituada”.
E chegamos à conceituada revista médica British Medical Journal(vulgarmente conhecida pelo acrónimo BMJ), que publicou em Fevereiro de 2019 um artigo onde se associa a exposição materna pré-natal a uma série de pesticidas e o risco de desenvolvimento de autismo na sua descendência. Eis diante de nós um perfeito exemplo de como um “resultado positivo” não nos diz muito, nem o prestígio da revista em que foi publicado serve de selo de garantia de qualidade da informação apresentada. A 14 de abril já a ligação entre a exposição aos pesticidas e o risco de autismo havia sido noticiada na Time, no EurkAlert, no ScienceDaily, no Yahoo, entre outros. O artigo foi exemplarmente dissecado no site Science Based Medicine pelo Dr. Steven Novella, mas exploremos então o problema dos “resultados positivos” e das revistas prestigiadas.
Estudos científicos com resultados “positivos”
Quando dizemos que “existem estudos com resultados positivos” que validam a nossa argumentação, estamos simplesmente a dizer que alguém escreveu um artigo científico, no qual foi utilizado um cálculo estatístico que parece confirmar a nossa hipótese de estudo. Na esmagadora maioria das vezes falamos do valor de p e do seu tão almejado resultado inferior a 0,05.
No caso do artigo da BMJ, um grupo de investigadores procurou perceber se a exposição ambiental precoce a pesticidas (isto é, a exposição de mulheres antes da gravidez, durante a gravidez e nos primeiros anos de vida da criança a ambientes próximos de campos em que se usem pesticidas) estava associada a um maior risco de desenvolvimento de autismo. O resultado foi “positivo” porque o valor estatístico a que chegaram da associação entre a exposição de 6 pesticidas e mais casos de autismo foi estatisticamente significativo.
Mas o valor de p apresenta várias limitações, com exposto num artigo publicado em Março de 2019, na Nature. O problema não é recente, mas desta vez falamos de um manifesto subscrito por 800 investigadores. No centro da polémica está o facto de demasiado frequentemente confiarmos nessa e noutras ferramentas estatísticas apenas, para afirmarmos que uma investigação científica foi “positiva” ou “negativa”. O mais comum será ler-se ou ouvir-se que “os estudos deste fármacos foram positivos”, ou então “existem estudos positivos a favor da acupunctura” ou “a homeopatia tem resultados positivos, publicados em conceituadas revistas como a The Lancet””, como disse o defensor da homeopatia no debate televisivo “Prós e Contras”. O problema está na dicotomia positivo/negativo, quando na verdade não se trata de uma questão de preto e branco, mas sim de toda uma larga escala de cinzentos. É isto que os charlatães do mundo pseudocientífico não sabem ou preferem não discutir, sobretudo quando abanam euforicamente artigos “positivos”, que só por acaso confirmam as suas crenças, num brilhante exemplo do que é um viés de confirmação.
Num excelente artigo de revisão sobre o conceito de valor de p e resultados “estatisticamente significativos”, o problema é eloquentemente sumariado da seguinte forma:
“(…) o desenho de um estudo deverá ser adequado para responder à questão de investigação. A Estatística é uma ferramenta que ajuda a determinar se as diferenças observadas no estudo são diferenças reais ou se se devem ao puro acaso. Os melhores testes estatísticos e os intervalos de confiança não podem salvar um desenho de estudo pobre (validade interna). Nem podem determinar se a amostra representa adequadamente a população em estudo e se os resultados podem ser extrapolados (validade externa). Por isso, um bom planeamento metodológico por parte dos investigadores é necessário para ajudar a garantir a probabilidade de um resultado válido.”
Em suma, um valor de p positivo diz.-nos muito pouco caso o estudo em questão contenha erros metodológicos graves. É precisamente esse o caso deste artigo acerca da relação entre os pesticidas e o autismo, que conseguiu arrecadar um resultado positivo à custa de um fenómeno de >p-hacking: a obtenção de um valor positivo, como resultado de uma metodologia de investigação deficiente, tendo esta sido implementada de forma consciente e intencionada ou não. Neste caso o problema reside nas comparações múltiplas realizadas pelos investigadores, sem que fosse introduzido um fator de correção.
O problema das comparações múltiplas
Neste artigo da BMJ os investigadores descrevem um estudo de caso-controlo. De uma maneira simples, consultaram um registo do Departamento da Califórnia dos Serviços de Desenvolvimento Norte-Americanos, de onde retiraram informação de 2961 indivíduos diagnosticados com autismo, que compararam com a informação de 29610 indivíduos sem o diagnóstico de autismo, mas com o mesmo sexo, idade e local de residência. De seguida estimaram a exposição da mãe de todos estes indivíduos a pesticidas presentes no ambiente, em três momentos diferentes: 3 meses antes da gravidez, durante a gravidez e durante o primeiro ano de vida da criança. Os autores do artigo procuraram então saber se a exposição a algum dos 11 pesticidas analisados apresentava alguma associação com um maior risco de desenvolvimento de autismo e autismo com incapacidade intelectual. Ou seja:
- Estudaram a exposição de 11 pesticidas;
- Em 3 períodos diferentes;
- Para 2 resultados diferentes.
Tratam-se de 66 associações estatísticas, comparando os 2961 indivíduos doentes com os 29610 indivíduos saudáveis. Uma vez que os métodos estatísticos apresentam sempre alguma imprecisão, quantas mais comparações e associações estatísticas realizarmos nas nossas investigações, maior será a probabilidade de obtermos um resultado positivo. Esta é uma das formas mais recorrentes de p-hacking. De uma forma algo grosseira (e discutível), poderá dizer-se que o valor de p se aproxima da probabilidade de obtermos um resultado positivo, apenas meramente por acaso. A nossa associação não é, de facto, real.
Basta então que lancemos ao ar o “dado” ou a “moeda” das probabilidades do valor de p o número de vezes suficiente até que obtenhamos algum resultado positivo e daí retiramos alguma conclusão “científica” – neste caso, que seis pesticidas aumentam o risco de autismo nas crianças, com um aumento do risco absoluto de 10-20%.
É perfeitamente possível desenvolver uma investigação científica na qual sejam testadas várias associações simultaneamente. Não obstante, todo esse trabalho deve também ser devidamente acautelado para que não incorramos no erro das comparações múltiplas, sob o risco de estarmos a fazer p-hacking. Existem algumas ferramentas estatísticas desenvolvidas precisamente para lidar com estes problemas, como é o caso do método de Bonferroni, mas os autores do artigo do BMJ não tiveram o cuidado de o acautelar. De facto, realizando 66 associações há até uma probabilidade de 99,6% de obter um resultado com valor de p>0,05, caso não se utilizem a estes métodos estatísticos de correção para comparações múltiplas. Neste caso o mais fácil era até obter um resultado positivo!
Outras sinais de alarme da má qualidade do estudo
Existem ainda outros aspetos do artigo em análise que poderão levantar suspeitas, relativamente à capacidade de replicação destes resultados (e, consequentemente, à sua aproximação à realidade). Como dizemos na gíria cética, algumas “red flags” que deverão fazer suspeitar da veracidade destes resultados. Esta análise torna-se mais fácil se mantivermos em mente alguns dos critérios de Bradford Hill, que permite estabelecer com algum grau de confiança a existência de um nexo de causalidade:
- Reprodutibilidade ou Consistência – Em primeiro lugar trata-se de um estudo caso-controlo. Per se isto não invalida que o estudo possa conter informação relevante, mas coloca-o num patamar mais baixo na pirâmide da evidência científica. Porquê? Por ser um desenho de estudo mais suscetível a enviesamentos e ocorrência de fatores de confundimento. Este estudo é bom exemplo disso, uma vez que cada uma das amostras de indivíduos – casos e controlos – é proveniente de grandes populações urbanas, pelo que para além da exposição documentada ao pesticida, os grupos diferem também bastante nas suas caraterísticas demográficas e de estilo de vida, como escreve John Tucker na resposta à BMJ. Não é possível termos a certeza que houve algum fator externo a viciar os nossos dados;
- Força – O tamanho do efeito é muito diminuto, isto é, o valor de odds ratio calculado é reduzido. Novamente, isto não invalida que haja alguma associação entre exposição e doença, mas devemos desconfiar se isto não foi um resultado por acaso. Sobretudo quando notamos que, para alguns destes pesticidas, parece até haver um efeito protetor relativamente ao desenvolvimento de autismo. Conforme elucida John Tucker na secção de comentários ao artigo, a imicloprida parece até reduzir o risco de autismo em 10-20% e o risco de autismo com incapacidade intelectual em 10-27%. De facto o valor de OR para cada uma destas situações é de 0,81 (0,74-0,89) e de 0,86 (0,78-0,95), respetivamente (vide tabela 3 do artigo). Se a imicloprida protege do desenvolvimento de autismo, devemos começar a adicioná-la na nossa água pública? Não, claro que não. Da mesma maneira que não devemos evitar os restantes pesticidas com medo do autismo. Enquanto “heurística” em investigação, é útil reconhecer que um tamanho do efeito reduzido e um desenho de estudo caso-controlo é o cocktail perfeito para surgirem fatores de confundimento difíceis de detetar e que influenciam os nossos resultados;
- Gradiente biológico – A associação entre os pesticidas e o risco de autismo parece também ser mais forte quando a exposição ocorre entre 2 a 2,5 km de distância do local onde se utiliza o pesticida. Qual é a plausibilidade biológica deste fenómeno? O problema é estarmos a uma distância fixa dos pesticidas? Se estivermos a menos de 2 km ou a mais de 2,5 km, já está tudo bem?
- Plausibilidade biológica – Ainda sobre a plausibilidade biológica, note-se ainda que todos estes pesticidas têm mecanismos de ação muito diversos enquanto pesticidas (e, naturalmente, enquanto agentes tóxicos para o ser Humano), mas aparentemente todos eles causam o mesmo efeito. Sim, o autismo corresponde a um diagnóstico que abarca todo um espetro de doenças, mas seis pesticidas com mecanismos de ação diferentes, todos eles a causar o mesmo espectro de doenças? É no mínimo estranho.
Falácia da naturalidade e apelo à emoção – Variação em “cenas orgânicas”
Apesar de todos estes problemas associados ao artigo em discussão, a revista TIME continua a considerar que, apesar da evidência não ser contundente, pelo sim pelo não, deveremos “optar pela produção orgânica”, numa variante em Ré menor da falácia da naturalidade. Diz-nos também que:
“(…) von Ehrenstein (autora do artigo) espera que estes resultados aumentem a consciência pública e motivem responsáveis políticos para alterar as suas políticas de controlo de pesticidas e comecem a procurar alternativas com um menor impacto na saúde Humana. “Espero que estas alterações deixem alguns políticos a pensar sobre medidas políticas de saúde pública efetivas para proteger as populações que poderão ser vulneráveis e estejam a viver em áreas que possam colocá-las em maior risco” (…)”
Em suma: rapidamente se conclui que é um estudo com implicações para a saúde pública e que, com base nesta informação, devemos alterar “políticas de controlo de pesticidas”, para “proteger as populações que poderão ser vulneráveis e estejam a viver em áreas que possam colocá-las em maior risco”. Em resposta ao artigo no próprio website BMJ, há ainda quem vá mais a fundo no apelo à emoção e nos elucida sobre o quão “injusto é o facto de serem crianças que ainda nem nasceram a serem afetadas”. Parece que a má ciência está a ser usada para cumprir determinados pressupostos ideológicos.
Falácia da autoridade
Neste caso foi um artigo publicado na conceituada revista da BMJ. Mas também a The Lancet foi já responsável pela trágica publicação do Dr. Andrew Wakefield, que associou a vacinação ao desenvolvimento de autismo. É demasiado frequente ouvir alguém comentar que “este artigo deve ter uma metodologia inquestionável, pois foi publicada nesta importantíssima revista científica”, tal como o fez o médico ortopedista convidado do programa Prós e Contras.
Os exemplos são incontáveis e há até quem esteja a anotá-los a todos. Isto é informação disponível a todas as pessoas, não há grande desculpa para não tomar conhecimento da sua existência.
Não, ainda não foi desta, continuo a querer a minha salada com glifosato (ou outro pesticida moderno)
Temos necessidade de simplificar. Compramos câmaras fotográficas apenas com base no número de >mega pixels, quando isto é absurdo para quem é experiente na área. Aceitamos que um estudo é metodologicamente rigoroso apenas porque foi publicado numa revista com um bom fator de impacto. Aceitamos ou rejeitamos tratamentos com base no valor de p. Somos assim, tendemos sempre a confiar nas nossas heurísticas para simplificar temas complexos.
Perante um artigo com implicações tão profundas para a Saúde Pública, a simplificação e os atalhos mentais deverão ser postos de lado. Numa investigação em que são realizadas tantas comparações há um elevado risco de incorrermos na prática de p-hacking, que pode inclusive nem se quer ser intencional, tal como nos diz Daniel Kahneman na sua recente participação no podcast Making Sense. Daniel Kahneman diz-nos também que esta confiança cega num valor de p é a verdadeira razão pela qual passamos por uma crise de replicação nos trabalhos de investigação na área da Psicologia.
Desta vez seis pesticidas também passaram a barreira de fogo dos 0,05, mas ainda assim isso não serviu de muito. É exatamente por isso que “um estudo positivo” publicado numa “revista conceituada” poderá dizer-nos muito pouco acerca do seu valor. Não deixemos que nos tentem enganar novamente com estas duas artimanhas.
Dr. Tiago Ribeiro da Costa
Médico Interno do Ano Comum
