O queridinho daqueles que desejam explicar por que pessoas incompetentes não sabem que são inábeis, o efeito Dunning-Kruger, pode ser apenas um artefato de dados.

Nota: Esse artigo foi escrito por Jonathan Jarry, M.Sc., e apenas traduzido aqui por mim, Marcel Ribeiro-Dantas, com autorização do autor. Ele originalmente foi publicado no site do Office For Science and Society da Universidade McGill, no Canadá (link aqui, em inglês).

Eu quero que o efeito Dunning-Kruger seja real. Descrito pela primeira vez em um artigo seminal de 1999 por David Dunning e Justin Kruger, esse efeito tem sido o queridinho dos jornalistas que querem explicar porque as pessoas burras não sabem que são burras. Há até um vídeo de um fantástico pastiche da famosa ária de Turandot, Nessun dorma, explicando o efeito Dunning-Kruger. “Eles não sabem”, entoa o cantor de ópera no clímax, “que eles não sabem”.

Eu estava planejando escrever um artigo muito curto sobre o efeito Dunning-Kruger e senti como se estivesse atirando em um peixe em um barril: Aqui está o efeito, como foi descoberto, o que significa. Fim da história.

Mas quando eu verifiquei a literatura acadêmica, a dúvida começou a surgir. Enquanto tentava entender as críticas que haviam sido feitas ao estudo original, caí em uma toca de coelho, conversei com algumas pessoas com uma mentalidade mais estatística, troquei mensagens com o Dr. Dunning, e tentei entender se o nosso cérebro realmente era tendencioso a superestimar nossa competência em atividades nas quais somos péssimos… Ou se o célebre efeito era apenas uma miragem provocada pela maneira peculiar com que podemos brincar com os números.

Exageramos nossa confiança no efeito Dunning-Kruger?

Um efeito incompreendido

O erro mais importante que as pessoas cometem sobre o efeito Dunning-Kruger, de acordo com o Dr. Dunning, tem a ver com quem é vítima dele. “O efeito é sobre nós, não sobre eles”, ele me escreveu. “A lição do efeito sempre foi sobre como devemos ser humildes e cautelosos com nós mesmos.” O efeito Dunning-Kruger não é sobre pessoas burras. É principalmente sobre todos nós quando se trata de coisas em que não somos muito competentes.

Em poucas palavras, o efeito Dunning-Kruger foi originalmente definido como um viés em nosso pensamento. Se eu for péssimo em gramática inglesa e me disserem para responder a um teste testando meu conhecimento de gramática inglesa, esse viés em meu pensamento me levaria, de acordo com a teoria, a acreditar que tirei uma pontuação mais alta do que realmente obtive. E se eu me destaco em gramática inglesa, o efeito dita que eu provavelmente subestimaria um pouco o quão bem eu me sairia. Eu poderia prever que obteria uma pontuação de 70%, enquanto minha pontuação real seria de 90%. Mas se minha pontuação real fosse 15% (porque sou péssimo em gramática), eu poderia pensar mais de mim mesmo e prever uma pontuação de 60%. Essa discrepância é o efeito, e acredita-se que seja devido a um problema específico com a capacidade do nosso cérebro de avaliar suas habilidades.

Isso é o que os alunos participantes experienciaram durante o projeto de pesquisa de Dunning e Kruger no final dos anos 1990. Houve avaliações de gramática, de humor e de raciocínio lógico. Todos foram questionados sobre o quão bem eles achavam que se saíram e todos também foram avaliados objetivamente, e as duas avaliações foram comparadas.

Desde então, muitos estudos foram feitos que relataram esse efeito em outros domínios do conhecimento. O Dr. Dunning me diz que acredita que o efeito “tem mais a ver com estar mal informado do que desinformado”. Se me perguntarem qual é o ponto de ebulição do mercúrio, fica claro que meu cérebro não tem a resposta. Mas se me perguntarem qual é a capital da Escócia, posso pensar que sei o suficiente para dizer Glasgow, mas acontece que é Edimburgo. Isso é má informação e está pressionando o botão de confiança no meu cérebro.

Então caso encerrado, certo? Pelo contrário. Em 2016 e 2017, dois artigos científicos foram publicados em uma revista de matemática chamada Numeracy. Neles, os autores argumentaram que o efeito Dunning-Kruger era uma miragem. E eu estou inclinado a concordar.

O efeito está no ruído

Os dois artigos, do Dr. Ed Nuhfer e colegas, argumentam que o efeito Dunning-Kruger poderia ser replicado usando dados aleatórios. “Todos nós acreditávamos que o artigo [de 1999] era válido”, Dr. Nuhfer me disse por e-mail. “O raciocínio e o argumento fizeram muito sentido. Nunca nos propusemos a refutá-lo; éramos até fãs desse artigo.” Nos próprios artigos do Dr. Nuhfer, que usaram dados gerados por computador e resultados de pessoas reais submetidas a um teste de alfabetização científica, sua equipe refutou a afirmação de que a maioria das pessoas não qualificadas desconhece sua falta de qualificação (“um pequeno número é: vimos cerca de 5-6% que se encaixam nesse caso em nossos dados”) e, em vez disso, mostraram que especialistas e novatos subestimam e superestimam suas habilidades com a mesma frequência. “É só que os especialistas fazem isso em uma faixa mais estreita”, ele me escreveu.

Entender tudo isso levou semanas. Recrutei uma equipe de marido e esposa, o Dr. Patrick E. McKnight (do Departamento de Psicologia da George Mason University, também no conselho consultivo do Sense About Science e do STATS.org) e a Dra. Simone C. McKnight (do Global Systems Technologies, Inc.), para me ajudar a entender o que estava acontecendo. Patrick McKnight não apenas acreditava na existência do efeito Dunning-Kruger: ele o estava ensinando para alertar seus alunos a estarem atentos ao que eles realmente sabiam versus o que eles pensavam que sabiam. Mas depois de replicar as descobertas do Dr. Nuhfer usando uma plataforma diferente (a linguagem de programação estatística R em vez do Microsoft Excel de Nuhfer), ele se convenceu de que o efeito era apenas um artefato de como a coisa que estava sendo medida era de fato medida.

Tivemos longas conversas sobre isso enquanto eu bancava o advogado do diabo. Como cético, sou facilmente seduzido por histórias do tipo “tudo o que você sabe sobre isso está errado”. Esse é o meu viés. Para superá-lo, continuei bancando o advogado do diabo com os McKnights para ter certeza de que não estávamos esquecendo de nada. Toda vez que eu sentia meu entendimento se cristalizar, a dúvida surgia no dia seguinte e minha discussão com os McKnights recomeçava.

Finalmente cheguei a um ponto em que me senti razoavelmente seguro de que o efeito Dunning-Kruger não havia se mostrado um viés em nosso pensamento, mas apenas um artefato. Aqui, então, está a explicação mais simples que tenho para o motivo pelo qual o efeito parece ser real.

Para que um efeito da psicologia humana seja real, ele não pode ser rigorosamente replicado usando ruído aleatório. Se o cérebro humano estivesse predisposto a escolher cara quando uma moeda é lançada, você pode comparar isso com predições de lançamentos aleatórias (cara ou coroa) feitas por um computador e ver o viés. Um humano chamaria mais caras do que o computador porque o computador está fazendo apostas aleatórias, enquanto o humano é tendencioso em relação a caras. Com o efeito Dunning-Kruger, este não é o caso. Dados aleatórios realmente imitam o efeito muito bem.

O efeito descrito originalmente em 1999 faz uso de um tipo de gráfico muito peculiar. “Este gráfico, que eu saiba, é bastante incomum para a maioria das áreas da ciência”, Patrick McKnight me disse. No experimento original, os alunos fizeram um teste e foram solicitados a adivinhar sua pontuação. Portanto, cada aluno tinha duas medições: a pontuação que pensavam ter obtido (autoavaliação) e a pontuação que realmente obtiveram (desempenho). Para visualizar esses resultados, Dunning e Kruger separaram todos em quartis: os que tiveram desempenho nos 25% inferiores, os que pontuaram nos 25% superiores e os dois quartis no meio. Para cada quartil, a pontuação média de desempenho e a pontuação média autoavaliada foram plotadas. Isso resultou no famoso gráfico Dunning-Kruger.

Traçado dessa maneira, parece que os 25% inferiores pensaram que se saíram muito melhor do que fizeram, e os 25% superiores subestimaram seu desempenho. Acreditava-se que essa observação se devia ao cérebro humano: os inexperientes não têm consciência disso. Mas se removermos o cérebro humano da equação, obtemos o seguinte:

O gráfico Dunning-Kruger acima foi criado por Patrick McKnight usando resultados gerados por computador para autoavaliação e desempenho. Os números eram aleatórios. Não havia viés na codificação que levasse esses alunos fictícios a adivinhar que tinham se saído muito bem quando sua pontuação real era muito baixa. E, no entanto, podemos ver que as duas linhas parecem assustadoramente semelhantes às do experimento seminal de Dunning e Kruger. Uma simulação semelhante foi feita pelo Dr. Phillip Ackerman e colegas três anos após o artigo original de Dunning-Kruger, e os resultados foram semelhantes.

Medir a percepção de alguém sobre qualquer coisa, incluindo suas próprias habilidades, é repleto de dificuldades. O quão bem eu acho que fui no meu teste hoje poderia mudar se tudo fosse feito amanhã, quando meu humor pode estar diferente e minha autoconfiança pode vacilar. Essa medida de autoavaliação é, portanto, até certo ponto, não confiável. Essa falta de confiabilidade – às vezes maciça, às vezes não – significa que qualquer efeito psicológico verdadeiro que exista será medido como menor no contexto de um experimento. Isso é chamado de atenuação devido à falta de confiabilidade. “Dezenas de livros, artigos e capítulos destacam o problema com erros de medição e efeitos atenuados”, Patrick McKnight me escreveu. Em sua simulação com medições aleatórias, o chamado efeito Dunning-Kruger na verdade se torna mais visível à medida que o erro de medição aumenta. “Não temos nenhum exemplo na história da descoberta científica”, continuou ele, “em que uma descoberta melhora com o aumento do erro de medição. Nenhum.”

Quebrando o feitiço

Quando busco por “efeito Dunning-Kruger” no Google Notícias, recebo mais de 8.500 acessos de meios de comunicação como The New York Times, New Scientist e CBC. Muitos simplesmente endossam o efeito como um viés real do cérebro, então não é de admirar que as pessoas não estejam cientes das críticas acadêmicas que existem desde que o efeito foi publicado pela primeira vez. Não é apenas o Dr. Nuhfer e seus artigos na Numeracy. Outras críticas acadêmicas apontaram o dedo, por exemplo, para a regressão à média.

Mas, como aponta Patrick McKnight, a regressão à média ocorre quando a mesma medida é tomada ao longo do tempo e acompanhamos sua evolução. Se eu medir minha temperatura todas as manhãs e um dia tiver febre, essa mesma medida (espero) diminuirá no dia seguinte e retornará ao seu valor médio à medida que minha febre diminuir. Isso é regressão à média. Mas no contexto do efeito Dunning-Kruger, nada é medido ao longo do tempo, e a autoavaliação e o desempenho são medidas inteiramente diferentes, portanto, a regressão à média não deve ser aplicada. A falta de confiabilidade da própria medida de autoavaliação, no entanto, é um forte candidato para explicar uma boa parte do que Dunning, Kruger e outros cientistas que relataram esse efeito em outros contextos estavam realmente descrevendo.

Esta história não acabou. Sem dúvida haverá mais tinta derramada em revistas acadêmicas sobre esta questão, o que é uma parte saudável da pesquisa científica, afinal de contas. Estudar prótons e elétrons é relativamente fácil, pois essas partículas não têm mente própria; estudar psicologia humana, em comparação, é muito mais difícil porque o número de variáveis ​​sendo manipuladas é incrivelmente alto. Assim, é muito fácil para as descobertas em psicologia parecerem reais quando não são.

Existem pessoas burras que não percebem que são burras? Claro, mas nunca foi disso que se tratou o efeito Dunning-Kruger. Existem pessoas que são muito confiantes e arrogantes em sua ignorância? Absolutamente, mas aqui também, Dunning e Kruger não mediram confiança ou arrogância em 1999. Existem outros efeitos conhecidos pelos psicólogos, como o viés de excesso de confiança e o viés acima da média (em que a maioria dos motoristas acredita estar bem acima média, o que não faz sentido matemático), então se for convincentemente demonstrado que o efeito Dunning-Kruger não passa de uma miragem, isso não significa que o cérebro humano é impecável. E se os pesquisadores continuam acreditando no efeito diante de críticas pesadas, este não é um exemplo paradoxal do efeito Dunning-Kruger. Nos experimentos clássicos originais, os alunos não receberam feedback ao fazer sua autoavaliação. É justo dizer que os pesquisadores estão em uma posição diferente agora.

As palavras “efeito Dunning-Kruger” têm sido usadas como um encantamento por jornalistas e céticos há anos para explicar a estupidez e a incompetência. Talvez seja hora de quebrar esse feitiço.

Mensagem para levar para casa:

– O efeito Dunning-Kruger foi originalmente descrito em 1999 como a observação de que as pessoas que são péssimas em uma determinada tarefa pensam que são muito melhores do que são, enquanto as pessoas que são muito boas nisso tendem a subestimar sua competência

– O efeito Dunning-Kruger nunca foi sobre “pessoas burras que não sabem que são burras” ou sobre “pessoas ignorantes sendo muito arrogantes e confiantes em sua falta de conhecimento”.

– Como o efeito pode ser visto em dados aleatórios gerados por computador, pode não ser uma falha real em nosso pensamento e, portanto, pode realmente não existir.