Porque a evidência anedótica é anedótica?

De um modo geral, as razões mais frequentes pelas quais a evidência anedótica é anedótica são:

■Generalização falaciosa - porque normalmente apresenta poucos casos para depois generalizar para todos os outros, assumindo que o que temos é uma amostra válida. É uma tentação em que todos podemos cair para valorizar a nossa experiência pessoal ou falta de conhecimento. Houve uma altura em que não podíamos contar com muito mais do que amostras pequenas e isso terá ficado marcado no nosso cérebro ao longo da evolução. É extremamente tentador generalizar a partir de poucos dados, mas não tem desculpa quando há melhor. Quando não há é preciso prudência na mesma.

■"Cherry picking" - conscientemente ou não há uma tendência para "escolher as cerejas", ou seja, escolher e apresentar apenas aqueles casos que satisfazem aquilo que queremos defender. Se não apresentarmos os casos todos e com um sistema de observação que possa garantir que estamos a apresentar os casos todos nem podemos saber se há cherry picking ou não.

■Tendência para a confirmação e de relembrar apenas os positivos (confirmation bias) - é a tendência universal para encontrar o que se procura e de negligenciar o que não concorre para o foco da procura por não parecer relevante. Por outro lado, se já temos uma ideia pré-formada é sempre mais fácil ver os erros em raciocínios que não concluem o que nós acreditamos do que naqueles que concluem aquilo em que estamos de acordo. A tendência para a confirmação engloba também aquelas observações que mostram que nos lembramos mais facilmente de resultados verdadeiros do que dos errados. Por exemplo é o que sucede quando os pretendentes a médiuns lançam várias hipóteses para o ar a ver se alguma pega e as pessoas no fim só se lembram dos "hits". É parecido com "cherry picking" mas mais do que estar a escolher os casos é estar a ver casos positivos onde eles não estão.

■Falhas de atenção / percepção - a atenção tem um foco muito pequeno que não permite registar tudo o que se passa. No entanto o cérebro não é "avisado" de tudo o que não estava a ser processado e tende a considerar que o que não observou se mantém como esperado. Por outro lado o cérebro tem uma tendência para preencher o que não sabe ou o que não percebe com o que acha que deve ser. Tende a repetir padrões e até a identifica-los onde eles não estão (pareidolia, aparência de desígnio, ilusões de contornos - ver referencia (a) e (b) para exemplos).

■Falácia post hoc ergo propter hoc - é a tendência para julgar haver uma relação causa efeito entre dois fenómenos consecutivos no tempo. Por exemplo, o caso em que A antecede B e se considera que A causou B. Por exemplo os chineses acreditavam que o eclipse do sol se devia ao facto de este estar a ser engolido por um dragão. Por isso era preciso fazer barulho para assustar o dragão de modo a que ele devolvesse o Sol - funcionava sempre. Para os mais curiosos, o problema filosófico de saber quando é que podemos dizer que há causa-efeito é chamado de problema de indução de Hume e é resolvido com graus de certeza e não com certezas absolutas. No entanto precisa de avaliação sistemática e justificação teórica.

■Interesse pessoal / conflito de interesses - bias / fraude (esta claro que não é válida na primeira pessoa...)


Alguns destes problemas são pertinentes em todo o tipo de investigação. Vários investigadores têm mostrado que a tendenciosidade é um problema na ciência também . A questão é que sem metodologia e sistematização nem sequer conseguimos avaliar independentemente se há uma "confirmation bias" ou "cherry picking", para além de que a amostra pequena o sugere fortemente. Conseguir uma amostra significativa com um ou dois casos é virtualmente impossível para muita coisa.

Estas são também questões que afectam a maneira como interpretamos as nossas próprias observações. Mesmo que a sejamos nós a testemunhar, na primeira pessoa, temos de ter cuidado para não cair em nenhum destes erros. Se a nossa observação pessoal vai contra a observação sistemática e teorias cientificas, o melhor é começarmos a tentar perceber onde é que nos enganamos.

Não obstante tudo o que foi escrito, toda a evidencia e observação deve ser avaliada e julgada no contexto teórico em que se insere. Uma evidencia que não seja forte o suficiente para estabelecer uma teoria ou facto pode ser forte o suficiente para justificar uma observação compatível com uma teoria.

Em todo o caso a observação sistemática estará sempre acima de observação não sistemática, e há vários níveis de qualidade mesmo para a observação sistemática. No topo temos a observação repetida sistemáticamente com numeros grandes e verificada independentemente por vários observadores - senão nunca poderíamos derrubar teorias - ao fim e ao cabo a autoridade máxima na ciência é a evidencia empírica e não a teoria. Tem é de ser bem colhida e de modo a minimizar os problemas acima.

Uma guerra fundamentada em evidência anedótica.

Segundo um artigo do Público, Colin Powel quer explicações da CIA e do Pentágono por não se terem apercebido que o informador que lhe indicaram  (para saber se existiam no Iraque armas de destruição maciça) estava mentir (1).

Mas a questão não é só esta.

Isto significa que milhares de mortos e estropiados resultaram da mentira de um único homem que viu esta como a melhor maneira de derrubar o regime de Sadam Hussein.

Colin pode considerar isto culpa de outros?

Não, se souber que a fonte era apenas um homem, sem confirmação independente, e sem outras provas. Testemunhos individuais não têm valor como prova, sabemos isso a partir de várias linhas de investigação. Fazem parte daquilo a que se chama “evidência anedótica” porque não valem mais que a sua mera menção(2). Ou seja, não é para apagar, mas também não serve para tirar conclusões. É insuficiente.  

O erro não está em ter ou não percebido que o homem mentia. O erro está em considerar um testemunho isolado, sem verificação independente, não suportado por provas físicas, totalmente assente no "acreditem em mim" como sendo uma prova.

Colin Powell faz a segunda asneira ao publicamente acusar orgãos de investigação, de um problema que ele será o responsável, numa atitude de desinformação, talvez a ver se o povo ainda percebe menos do que ele sobre o valor das evidências, ou de demonstração de uma ignorancia chocante para um homem no cargo dele. Já para não falar na enorme falta de bom senso. 

Ele sabia que a informação provinha apenas de um homem: 

De acordo com a mesma noticia, ele disse: “(...)descrições em primeira mão de fábricas de armas biológicas… A fonte é uma testemunha que vigiou uma dessas instalações”.

Os serviços secretos alemães, que foram quem indicou a testemunha à CIA não se deixaram convencer. Os americanos sim. Sim?  

Colin Powell quer fazer-nos acreditar que a CIA ou ele próprio não sabem que testemunhos individuais são a forma de evidência mais fraca que existe?

Eu acho que isto não bate certo. Não faz sentido nenhum. De certeza que num país onde há relatos de encontrar o Elvis ou de raptos por extraterrestres (com abuso sexual!) aos milhares por ano, que a CIA sabe o mesmo que os cientistas descobriram há décadas. Os testemunhos individuais valem nicles (mesmo se forem de cientistas! - tem de haver verificação independente e/ou sistemática). Se fôssemos acreditar em tudo o que já foi testemunhado por uma ou até várias pessoas mas que não pode ser confirmado, o mundo era um lugar pejado de duendes, fadas, discos voadores, vampiros, Elvises, deuses, profetas, orbs, elfos, etc., etc., etc...

Uma guerra foi iniciada por base em evidencia anedótica. E C.P. diz que o problema foi a CIA ou o Pentágono não terem percebido que ela  - a testemunha - estava a mentir.  

Não, o problema foi valorizar-se uma coisa que não vale praticamente nada(3). Nunca. É um erro de lógica usar evidencia anedótica sem mais provas (2)(3). E sinceramente é isto que devia vir também na noticia do Publico. Uma parte da noticia é "Colin Powell acredita em provas anedóticas". Ou então quer fazer de nós parvos.

Certo que ele é Americano. Mas a decisão dele afectou o mundo inteiro.

Referências:

(1)http://www.publico.pt/Mundo/powell-quer-explicacoes-da-cia-e-do-pentagono-sobre-fonte-chave-para-a-guerra-no-iraque_1480853

(2)http://dl.dropbox.com/u/1018886/Bem6.pdf

(3)http://en.wikipedia.org/wiki/Anecdotal_evidence

Porque precisamos de testes duplamente cegos, controlados com placebo, com muitos casos e aleatórios.

A versão curta.

Os defensores das medicinas alternativas parecem não compreender porque esse tipo de testes é imprescindível para avaliar eficácia. A apresentação de testemunhos individuais, sem diagnósticos ou descrição rigorosa dos casos juntamente com definições que apareçam num ou noutro manual justificam escrever sobre este tema mais uma vez.

Vou tentar ser o mais sucinto possível. É preciso abordar o problema em 2 fases. Uma referente às características das doenças e pessoas e a outra a explicar onde isso encaixa na metodologia.

1 – A maioria das doenças que sofremos durante a vida são auto limitantes. Isto é, passam sozinhas a maioria das vezes. Faça-se o que se fizer, elas acabam por desaparecer.

Por isso a experiência pessoal não conta. Mesmo que seja verdadeira e acreditemos nela. Pode não ter sido efeito do tratamento mas sim da natureza. A nossa tendência para partir logo para uma relação causa efeito é uma falácia. E por isso são precisos muitos casos e comparação com placebo. Para ver se houve diferença para os que não fizeram nada. É como o provérbio de “um mês a chá de limão cura a constipação”. Claro que cura. Mesmo que se não tomar vai passar na mesma.

2- A maioria das doenças que não passam sozinhas, as doenças crónicas, têm oscilações na gravidade dos sintomas. Num mesmo individuo vão variar de uma maneira pouco previsível ao longo do tempo.

Temos então de saber que as melhoras no período relatado são de facto devidas ao tratamento e não ao acaso. Precisamos de inúmeros casos em estudo e precisamos que sejam controlados com placebo. Precisamos também que tenham sido separados ao acaso entre os dois grupos em estudo. (tratamento e controle). O placebo tem também uma importância enorme em casos crónicos pois influi no modo como as pessoas se sentem e relatam o progresso da doença. Também a tendência para a confirmação de melhoras e de guardar as melhores experiências na memória é importante neste aspecto. Há de facto uma tendência neste tipo de doenças para relatar melhoras e não perceber que é apenas o ciclo normal da doença.

3- Existe uma grande variabilidade individual na apresentação das doenças. Quer em gravidade quer em tipo de sintomatologia. Por isso os diagnósticos tem de ser rigorosos e os parametros estudados bem descritos. Deve ser o mais objectivo possivel. São precisos muitos casos, até fazer uma amostra significativa e o resultado deve vir em linguagem matemática, após análise estatistica. Raramente toda a gente melhora muito mais que o placebo. Esta é a unica maneira de saber que não é por acaso. E se for só um caso caímos na falácia da generalização apressada.

4- Existe uma tendência natural das pessoas para se recordarem dos resultados positivos ou de os procurarem sem reparar em negativos para um dado assunto.  É a “confirmation bias” já antes referida.

Por mais esta razão testemunhos individuais não servem. As pessoas que vão aparecer foram escolhidas por relatarem resultados positivos e ficamos sem saber quantos eram os negativos. Mesmo que o “cherry picking” não seja propositado ele é inevitável se a coisa não for feita objectivamente, com todos os casos anotados logo no inicio para depois podermos fazer uma estatística de qual a diferença entre os positivos e negativos e se esta pode ser atribuída ao acaso.

5 – Fraude.

Penso que não vale a pena justificar porque devemos tentar fazer as coisas de um modo que evitem a manipulação dos resultados. Nem que isso é uma tendencia natural de muita gente. É a primeira razão pela qual os testes têm de ser duplamente cegos. Nem o médico nem o paciente podem saber se estão a placebo ou a tratamento. E é a segunda razão porque devem ser randomizados. Para não escolher os que convém mais.

6-Efeito placebo.

Esta cientificamente bem estudado o efeito que a crença tem na percepção da doença e da sua evolução. O efeito em termos fisiológicos é pequeno, mas é importante no modo como o paciente se sente e vê o evoluir da doença. E pode diminuir o stress que é um parametro que diminui a eficacia do sistema imunológico quer em pessoas quer em animais. É a segunda razão pela qual os testes tem de ser duplamente cegos. O placebo é mais forte quanto mais a pessoa acreditar que está a ser tratada. Por isso ela não pode saber. E o médico, para evitar a tendência para encontrar positivos também não. É preciso distinguir o efeito do medicamento em si do efeito placebo. Tudo tem efeito placebo. O que é dificil é encontrar tratamentos que vão além do placebo. É casos para dizer que placebos há muitos, tratamentos é que não. O efeito placebo não é um efeito do medicamento diretamente. É muito mais um efeito da crença no tratamento. Por isso o teste tem de comparar a eficacia do medicamento  com o efito placebo. Se o medicamento não é mais eficaz é porque tudo o que estamos a assistir é efeito placebo.

7-Sistemas complexos.

O nosso organismo é um sistema de complexidade elevada, sujeito a influência de um meio externo quase igualmente tão complexo. É por isso necessário reduzir o numero de variáveis que estão em estudo, quer intrínsecas ao paciente quer extrínsecas. Para isso é preciso um diagnóstico rigoroso dos casos, bem documentado e feito por clínicos experientes. É feita a tentativa de todas as pessoas do estudo estarem sujeitas às mesmas condições, e tem de haver um tipo de controle – o placebo – que deve mimetizar o processo ou principio activo estudado em tudo menos no que está em causa. Isto é, a administração tem de ser imitada, a forma, a interacção com os pacientes, etc. E é por isto que o desenho do estudo é tão importante. Tem de ser desenhado para estudar a variável em causa e deve ter-se previsto qual a melhor maneira de o fazer. Tudo deve ser rigorosamente descrito para que possa ser reproduzido, e verificado independentemente. Se não for assim, nem é possível discutir o assunto pois a informação não presta

Saber mais (sugestões):

Pesquisar "confirmation bias", "anedotical evidence" na internet.

Seguir as etiquetas deste post aqui em baixo:

Falhas cerebrais

Como o Neil Tyson diz num excelente video sobre o apelo à ignorancia e o testemunho não sistematico (1) as ilusoes de optica são falhas do cerebro. Mas que toda a gente tem.

O recente concurso sobre ilusoes de que ja falei apresenta uma série delas novas, mas entre muitas que apena suscitam um "meh..." há algumas francamente ilustrativas do que podemos contar de um testemunhos não sitematicos, não reprodutiveis.

Por exemplo, a ilusão "Monkey Business" pede que estejamos atentos aos jogadores de branco e quantas vezes passam a bola. Devera ser capaz de chegar ao numero correcto ou perto disso para saber se executou bem o teste. E depois de ter confirmado se contou bem os passes são lhe perguntadas outras coisas sobre o que se passou naqule palco. Coisas absoltamente visiveis, quase atiradas à cara. Coisas que nem se tentam esconder, e no entanto não são vistas por metade das pessoas que assitem ao video e são capazes de contar o numero de passes. Porque se não estiver a contar o numero de passes e estiver a procurar o que se passa em palco vai ver tudo - mas claro, não saberá responder a pelo menos uma pergunta sobre o filme, que é quantos são os passes. Mas deixe isso para quando o filme se repetir. 

O filme esta aqui:

http://www.youtube.com/watch?v=IGQmdoK_ZfY&feature=player_embedded

Notas:

(1) A excelente apresentação do Neil Tyson em resposta à pergunta se ele acredita em O:V.N.I.S. http://www.youtube.com/watch?v=zfAzaDyae-k

Evidencias anedóticas - testemunhas oculares.

Tenho escrito sobre evidência individual não reprodutivel como sendo a forma mais fraca de prova que se pode produzir. Essa é a afirmação da ciência. O processo cientifico gira muito mais à volta da reprodução independente dos factos e do esmiuçar das experiencias.

Em tribunal legal, a necessidade de se produzirem resultados e proferirem sentenças, levou a que o testemunho ocular ganhasse uma importância enorme. Felizmente a ciência está tambem a entrar pelos tribunais dentro e estamos num periodo em que já existe ciência mas os velhos hábitos ainda estão presentes.

Dos 239 casos de "culpados" investigados pelo "Innocence Project" desde 1990, a grande maioria - 73% - vieram a revelar-se afinal inocentes, após provas com DNA (1). Desses 73% erradamente condenados por testemunas oculares, 1/3 tinham o envolvimento de 2 ou mais testemunhos. É francamente assustador. 

O testemunho individual irreprodutivel e sem provas fisicas falha. Muito. E as consequencias são gravissimas.  

O "Innocence Project" é uma organisação afiliada da Benjamin Cardoso School of Law da Universidade de Yeshiva, em Yeshiva EUA. 

Benjamin Cardoso é descendente de Judeus Portugueses que fugiram durante a inquisição(2). Actualmente é um advogado muito reconhecido nos EUA e associado do Supremo Tribunal de Justiça

(1)http://www.scientificamerican.com/article.cfm?id=do-the-eyes-have-it

(2)http://en.wikipedia.org/wiki/Benjamin_N._Cardozo

Evidência anedótica

Depois de ter explicado lógicamente há uns tempos atrás porque é que a evidencia anedótica tem de ser vista e manipulada com pinças e fato de astronauta, decidi fazer uma pequena lista de tudo o que passava a ser conhecimento se a evidencia anedótica fosse aceite como prova.

A evidência anedótica é o testemunho baseado em histórinha narradas por um grupo pequeno de pessoas que não são acompanhados de outras provas físicas, são quase sempre irreprodutíveis e frequentemente testemunham acontecimentos extraordinários. Como se fosse uma anedota.

Ora aqui está uma lista de coisas que seriam consideradas reais se a evidencia anedótica não fosse tão mal vista (sem qualquer ordem) :

Elvis Presleys (vários pelos estados unidos fora)

Extraterrestres que vêm fazer experiencias sexuais com humanos (também com preferencia pelos estados unidos,

naves espaciais vindas de outros planetas (neste momento com preferencia pelo México)

yeti, Sasquatch, big foot, abominável homem das neves (zonas frias e montanhosas com pouca visibilidade)

Pais de santo,

cirurgias feitas com as mãos e sem analgesia ou assépsia com cura total,

curandeiros,

monstro de Loch ness, 

fadas,

sereias

vampiros,

lobisomens,

chupacabras,

aliens de várias cores (cinzento e verde mais frequentemente),

dragões,

bruxas,

demónios, diabos e diabretes

duendes,

unicornios,

chakras,

miasmas,

xis,

chis,

qis,

fleumas,

Terras planas,

fantasmas,

espiritos,

orbs,

monstros variados,

elfos,

deuses (milhares deles),

semi-deuses,

santos (muito mais que os da Igreja Católica),

anjos e arcanjos

milagres (idem),humanos com telecinesia, telepatia, mediunicos, profetas,

E muitas mais haverá. É só uma questão de acreditar em tudo o que se diz. Não faz sentido pois não?

Evidência e Prova.

«Thomas Huxley observou que "a ciência é simplesmente o senso comum no seu melhor; isto é, rigorosamente precisa na observação e impiedosa com falácias lógicas". Esta segunda edição do Reference Manual of Scientific Evidence avança mais o objectivo de assistir os juizes federais em reconhecer as caracterisiticas e o raciocínio da ciência tal como é relevante em casos litigiosos» (1)

Andava a estudar sobre evidência cientifica de um modo mais geral, pois tenho mesmo à vontade é em areas de medicina ( estão muito bem hierarquizadas as formas de evidencia), quando encontrei o manual acima. É muito interessante (Ainda não li mas promete uma boa leitura...). E vem a calhar.

Tenho reparado que existe alguma confusão com o que é admitido como facto em ciência. Ou o que é considerado evidencia ou prova de algo. Ou mais propriamente como isso acontece.

Prova mesmo, só existe em Matemática. No resto da ciência a prova é mais um conjunto de dados que suporta ou corrobora uma teoria. Tal como não há certezas absolutas não há provas absolutas.

Existe de facto uma hierarquização da prova. Em ciencia a autoridade máxima é a prova empirica sistematica, reprodutivel, sustentada pela teoria e rigorosamente documentada. Por exemplo as experiências de Alan Aspect demonstraram implacavelmente que a não localidade quantica (coisas que estão ligadas não importa a distância a que estão) era uma facto tão real como outro qualquer. Para trás ficavam trabalhos de Einstein que chamava a este facto "acção fantasmagórica à distância". Einstein se fosse vivo teria de aceitar essa derrota intelectual.

A forma de prova mais fraca que há é o testemunho anedótico de factos extraórdinários. Tipo alguem que vê algo que mais ninguem vê e ouviu falar ou que não é plausível.

Pelo meio existe todo o tipo de evidência possível. Toda uma gradação existe de um tipo de evidencia à outra. Existêm estudos com amostras pequenas, estudos com amostras grandes, dados suportados pela teoria, dados não suportados pela teoria, dados que apesar de terem sido rigorosamente colhidos podem ser dificeis de repetir, etc. Até as revistas cientificas têm um ranking de relevância que acaba por ser sinónimo de credibilidade no que publicam. E sobre o "peer-review" já tenho aqui falado.

A evidencia teórica está entre estes casos extremos, mas uma afirmação suportada pela teoria, matemáticamente derivada de outras teorias estabelecidas tem um grande grau de certeza. Se for uma questão puramente matemática em relação a coisas muito bem estabelecidas é tido como facto.

A probabilidade de uma afirmação teórica ser verdadeira é proporcional à força do modelo teorico que tem por trás.

O testemunho individual, se acerca de coisas plausíveis, rigorosamente descrito, etc tambem tem valor.

Existirá de facto um limiar minimo para a credibilidade ou que se admite que é preciso juntar mais informação. Muitos estudos terminam exactamente com a conclusão que é preciso juntar mais resultados. Esse limiar está sugeito a discussão em muitos casos. Noutros está metodologicamente definido, como por exemplo na medicina baseada na evidência.

Por exemplo, mesmo que a ciência nunca tivesse perdido um segundo do seu tempo a descrever estados emocionais humanos, relações interpessoais, a evidência acumulada a esse respeito é cientificamente relevante. Não há problema com isso.

Mas por exemplo o relato anedótico, sem provas físicas, sem um apoio lógico forte de que Noé e a familia apenas, passou 40 dias no mar num barco gigantesco cheio de animais que ele próprio construiu, é insuficiente. Tal como o testemunho de que Jesus era um deus e ressuscitou. Requerem mais evidencias para terem valor como sendo conhecimento.

Igualmente, a questão de o cientista não poder fazer por si todas as experiencias, como um anónimo referia no blogue "companhia dos filosofos" é manipulada com este tipo de raciocínio. Por exemplo a massa do electrão. Eu medi? Não. Acredito no que me dizem os físicos? Sim. Por fé? Não. Porque ou tudo isto é uma gigantesca conspiração - o que é uma hipotese muito pouco plausível - ou eu posso satisfatóriamente responder a questões como as levantadas acima:

- Várias pessoas chegaram à mesma conclusão? A medição foi rigorosa e reprodutivel? Foi independentemente repetida? Posso saber exactamente como se chegou lá?

- O processo foi revisto pelos especialistas da area?

- Integra-se num sistema teórico maior e está de acordo com outras questões?

- Existia alguma razão para que se possa suspeitar de parcialidade?

Se sim, então temos razão para dizer que sabemos com um elevado grau de certeza a massa do electrão. Mesmo que nunca tenhamos visto nenhum.

(1) do prefácio de Reference Manual of Scientific Evidence em http://www.fjc.gov/public/pdf.nsf/lookup/sciman00.pdf/$file/sciman00.pdf

Update: corrigido Moisés por Noé. O Sabino e os seus comentadores ficaram muito ofendidos, apesar da evidencia de que o homem sequer existiu seja irreprodutivel, de fonte unica perdida no tempo, não acompanhada de provas físicas e francamente incrivel. Nem é por ter intervenção de uma entidade que deixou de intervir nos nossos dias e que dela não há sinal. É mesmo por ser incrível. E isto sem falar no sistema de esgotos da arca. Ou de limpeza das jaulas. Deus todo-poderoso teve de por os animais num barco para os salvar? Não podia antes tirar a vida aos que queria sem inundar a Terra? Sim, é prefeitamente plausível.