...E porque é que afirmações extraordinarias requerem evidencias extraordinárias.
Entre alguma controvérsia, foi aprovado para publicação numa revista com peer-review, um artigo em que apresenta 9 estudos em que 8 corroboram a existência de pré-cognição.
Os editores decidiram aceitar o artigo para publicação mas publicaram antes um artigo a explicar porquê. E a explicar porque é que o artigo não serve como evidência a suportar a capacidade de pré-cognição. Mas que serve para iniciar o debate acerca dos “standards” estatísticos usados em psicologia - e que terá sido essa a razão pela qual aceitaram o artigo. Isso, e porque os erros que eles apontam no artigo acontecem com alguma frequência.
O resultado é um trabalho excelente sobre como se deveriam fazer os estudos cientificos em psicologia e que é aplicavel a muitas outras coisas.
Eles começam por criticar o artigo de Bem, assim se chama o autor, focando-se em 3 pontos:
1 - Estudos exploratórios versus estudos confirmatórios.
Isto é relativo à questão do desenho dos testes. Por exemplo, neste caso, Bem, testou a capacidade de pré-cognição com recurso a vários tipos de fotografia. Só quando as fotografias foram eróticas é que o resultado foi estatisticamente válido - 53% de positivos contra 50% se fosse devido ao acaso. Em relação a outro tipo de fotografias não surgiu esse padrão. E a estatística foi feita sem os resultados dos outros tipos de fotografia. Isto sugere que o estudo deveria ser considerado um estudo exploratório e não confirmatório.
E isso é importante porque uma coisa é desenhar um teste para uma determinada hipótese, outra é ter um conjunto de resultados e andar a fazer combinações até que surja um padrão algures. O vulgar andar à pesca... Se tentarmos muito é provável que em alguma combinação surja um padrão qualquer. E isso não é totalmente indesejável. Não pode é servir de confirmação, porque esse padrão não surge espontaneamente e é meio fabricado. É preciso depois desenhar um estudo confirmatório especifico para ver se esse padrão volta a aparecer em dados completamente novos. É o mesmo problema do artigo que critiquei ontem (1) sobre a capacidade da Auto-hemoterapia estimular o sistema imunitário em que os autores foram usar o aspecto da ferida em vez do tempo de cicatrização para chegar à conclusão que chegaram. Se não fosse o aspecto podiam ainda ir tentar ver se encontravam mais alguma diferença entre os dois grupos testados para chegar à mesma conclusão e eventualmente lá encontrariam uma. Os testes tem de concluir só sobre os parâmetros que foram decididos à priori. Senão é um estudo exploratório e nada confirmatório.
2 - Falácia da inversão da condicionalidade.
Isto é, se P implica Q não quer dizer que Q implique P. Por exemplo, se estiver a chover deve haver nuvens no céu. Mas se houver nuvens no céu não quer dizer que esteja a chover.
Se nós sabemos que não existe pré-cognição por uma data de outras razões, desde a existência de casinos lucrativos a uma série de evidências físicas que mostram que o futuro não influencia o passado (ver seta do tempo e entropia nas etiquetas) porque é que em vez de aceitar o teste como refutando todos os estudos anteriores não vamos antes exigir provas muito mais fortes? Esta é a lógica por detrás do principio de Laplace de que “Alegações extraordinárias requerem provas extraordinárias”
3 – O valor p substima a hipotese nula.
Aqui a discução torna-se matemática e é complexa, mas resume-se a defender que a estatística vulgarmente usada em psicologia, (que acrescento já é a mesma usada em medicina), leva a falsos positivos. Sendo assim valor p<0,01, (usualmente aceite como servindo para um estudo conclusivo para a hipótese testada), não é suficiente. E uma abordagem Bayesiana tem de ser sempre efectuada. Neste caso, a abordagem Bayesiana resulta em favor da hipótese nula (isto é, não há pré-cognição). Vários argumentos são avançados a favor da abordagem Bayesiana. Recomendam mesmo que os estudos de psicologia de hoje em diante apresentem diversas abordagens estatísticas e refiram explicitamente onde haja contradições. A minha opinião é que o standard p menor que 0,01 vai cair. Pelo menos para 0,005 já nos próximos anos. Sendo que p=0,01 quer dizer que probabilidade do resultado que obtivemos no teste é de 1% se a hipótese nula for verdadeira. Só que 1% das vezes, ainda é uma data de vezes para que algo possa acontecer por acaso, mesmo que os dados não tenham sido escolhidos a dedo. São muitos falsos positivos embora não possamos saber por aqui a probabilidade deles acontecerem.
Isto tem muito mais significado para coisas implausiveis do que para questões bem comprovadas em várias linhas de pesquisa. Lá está, afirmaçoes extraordinarias requerem provas extraordinarias, não provas que possam acontecer por acaso com uma probabilidade tão elevada. (Atenção: notar que 1 em cada 100 de probabilidades para que tenhamos este resultado se a hipotese nula for verdadeira não significa que em cada 100 testes haja 100% de probabilidades de ter a hipotese nula como resultado). O valor p tem sempre de ser considerado num contesto de uma probabilidade à priori.
Isto tem muito mais significado para coisas implausiveis do que para questões bem comprovadas em várias linhas de pesquisa. Lá está, afirmaçoes extraordinarias requerem provas extraordinarias, não provas que possam acontecer por acaso com uma probabilidade tão elevada. (Atenção: notar que 1 em cada 100 de probabilidades para que tenhamos este resultado se a hipotese nula for verdadeira não significa que em cada 100 testes haja 100% de probabilidades de ter a hipotese nula como resultado). O valor p tem sempre de ser considerado num contesto de uma probabilidade à priori.
Depois, o artigo continua com uma interessante lista de pontos que os autores consideram que têm de ser seguidos em vista destas críticas.
Um dos pontos, muito interessante, é que o objectivo e o método do estudo, incluindo o tipo de análise estatística, deve ser publicado antes do teste ser efectuado no caso de estudos que pretendam ser confirmatório. Isto de facto evitaria a possibilidade de depois se alterarem as regras e dizer: “Afinal só vamos usar os dados referentes às fotos eróticas”.
Outro ponto curioso das suas recomendações é que os participantes em estudos de temas duvidosos ou que procurem provas contra teorias bem estabelecidas, devam estar em “colaboração adversária” constante com um céptico qualificado – se bem que eu ache que esta parte do “qualificado” vá dar problemas – para desenhar e efectuar o estudo com mais credibilidade.
Como disse antes, este artigo foi escrito no âmbito da psicologia, mas penso que é um artigo que devia ter um impacto enorme desde já tanto na psicologia como em muitas outras áreas.
Via Steven Novella :
Artigo original que é aqui apresentado: “Why Psychologists Must Change the Way They Analyze Their Data: The Case of Psi”, link no artigo do Steven Novella
Sem comentários:
Enviar um comentário