De um modo geral, as razões mais frequentes pelas quais a evidência anedótica é anedótica são:
■Generalização falaciosa - porque normalmente apresenta poucos casos para depois generalizar para todos os outros, assumindo que o que temos é uma amostra válida. É uma tentação em que todos podemos cair para valorizar a nossa experiência pessoal ou falta de conhecimento. Houve uma altura em que não podíamos contar com muito mais do que amostras pequenas e isso terá ficado marcado no nosso cérebro ao longo da evolução. É extremamente tentador generalizar a partir de poucos dados, mas não tem desculpa quando há melhor. Quando não há é preciso prudência na mesma.
■"Cherry picking" - conscientemente ou não há uma tendência para "escolher as cerejas", ou seja, escolher e apresentar apenas aqueles casos que satisfazem aquilo que queremos defender. Se não apresentarmos os casos todos e com um sistema de observação que possa garantir que estamos a apresentar os casos todos nem podemos saber se há cherry picking ou não.
■Tendência para a confirmação e de relembrar apenas os positivos (confirmation bias) - é a tendência universal para encontrar o que se procura e de negligenciar o que não concorre para o foco da procura por não parecer relevante. Por outro lado, se já temos uma ideia pré-formada é sempre mais fácil ver os erros em raciocínios que não concluem o que nós acreditamos do que naqueles que concluem aquilo em que estamos de acordo. A tendência para a confirmação engloba também aquelas observações que mostram que nos lembramos mais facilmente de resultados verdadeiros do que dos errados. Por exemplo é o que sucede quando os pretendentes a médiuns lançam várias hipóteses para o ar a ver se alguma pega e as pessoas no fim só se lembram dos "hits". É parecido com "cherry picking" mas mais do que estar a escolher os casos é estar a ver casos positivos onde eles não estão.
■Falhas de atenção / percepção - a atenção tem um foco muito pequeno que não permite registar tudo o que se passa. No entanto o cérebro não é "avisado" de tudo o que não estava a ser processado e tende a considerar que o que não observou se mantém como esperado. Por outro lado o cérebro tem uma tendência para preencher o que não sabe ou o que não percebe com o que acha que deve ser. Tende a repetir padrões e até a identifica-los onde eles não estão (pareidolia, aparência de desígnio, ilusões de contornos - ver referencia (a) e (b) para exemplos).
■Falácia post hoc ergo propter hoc - é a tendência para julgar haver uma relação causa efeito entre dois fenómenos consecutivos no tempo. Por exemplo, o caso em que A antecede B e se considera que A causou B. Por exemplo os chineses acreditavam que o eclipse do sol se devia ao facto de este estar a ser engolido por um dragão. Por isso era preciso fazer barulho para assustar o dragão de modo a que ele devolvesse o Sol - funcionava sempre. Para os mais curiosos, o problema filosófico de saber quando é que podemos dizer que há causa-efeito é chamado de problema de indução de Hume e é resolvido com graus de certeza e não com certezas absolutas. No entanto precisa de avaliação sistemática e justificação teórica.
■Interesse pessoal / conflito de interesses - bias / fraude (esta claro que não é válida na primeira pessoa...)
Alguns destes problemas são pertinentes em todo o tipo de investigação. Vários investigadores têm mostrado que a tendenciosidade é um problema na ciência também . A questão é que sem metodologia e sistematização nem sequer conseguimos avaliar independentemente se há uma "confirmation bias" ou "cherry picking", para além de que a amostra pequena o sugere fortemente. Conseguir uma amostra significativa com um ou dois casos é virtualmente impossível para muita coisa.
Estas são também questões que afectam a maneira como interpretamos as nossas próprias observações. Mesmo que a sejamos nós a testemunhar, na primeira pessoa, temos de ter cuidado para não cair em nenhum destes erros. Se a nossa observação pessoal vai contra a observação sistemática e teorias cientificas, o melhor é começarmos a tentar perceber onde é que nos enganamos.
Não obstante tudo o que foi escrito, toda a evidencia e observação deve ser avaliada e julgada no contexto teórico em que se insere. Uma evidencia que não seja forte o suficiente para estabelecer uma teoria ou facto pode ser forte o suficiente para justificar uma observação compatível com uma teoria.
Em todo o caso a observação sistemática estará sempre acima de observação não sistemática, e há vários níveis de qualidade mesmo para a observação sistemática. No topo temos a observação repetida sistemáticamente com numeros grandes e verificada independentemente por vários observadores - senão nunca poderíamos derrubar teorias - ao fim e ao cabo a autoridade máxima na ciência é a evidencia empírica e não a teoria. Tem é de ser bem colhida e de modo a minimizar os problemas acima.
