Os militares de um certo país estavam com muitas baixas em seus ataques aéreos. Para tentar solucionar o problema, decidiram reforçar seus caças. As aeronaves deveriam receber um novo material e assim resistir mais aos ataques que vinham sofrendo. Porém, como o material que seria utilizado era caro e pesado, a escolha das partes das aeronaves que seriam reforçadas teria que ser mais criteriosa. A ideia foi então observar onde os caças eram atingidos com maior frequência. Esses seriam os locais que deveriam receber o material de proteção.

Abaixo, estão alguns caças que retornaram à base após uma das batalhas:

Figura 1. Caças que retornaram à base, com a marcação dos locais dos tiros

As marcas em vermelhos nos caças representam os locais onde os aviões receberam tiros inimigos. Ao verem essas marcas, os cientistas concluíram que era preciso reforçar os locais. Reforçar as partes que eram mais atingidas em batalha fazia todo o sentido. Se era onde os tiros inimigos mais acertavam e danificavam os aviões, era onde esse reforço faria a diferença nos caças. Sendo assim, eles resolveram reforçar essas partes com o novo material, conforme a marcação em cinza da imagem abaixo:

Figura 2. Caça com as marcações em cinza dos locais que receberam reforço

Um tempo depois das reformas nos aviões, os militarem analisaram novamente as baixas. Para a surpresa de todos, elas continuaram em níveis muito altos. Um estatístico então foi incluído no estudo para encontrar o problema no experimento com os caças. Em pouco tempo ele tinha a conclusão em mãos: os cientistas que haviam liderado o estudo não entendiam os conceitos de amostragem.

Não entendeu também? É simples, vamos lá!

Saber selecionar os indivíduos que serão considerados em um experimento é essencial. Talvez a etapa mais relevante de qualquer estudo. Sabemos que não é possível entrevistar todas as pessoas de um determinado país antes das eleições, então entrevistamos somente algumas e com isso estimamos quem vai ganhar a votação. Também não conseguimos testar um remédio em todas as pessoas do mundo, então selecionamos alguns poucos pacientes para fazer os devidos testes e decidir se o remédio é eficaz. É assim na grande maioria das pesquisas.

Ou seja, para entender o comportamento dos indivíduos de uma população, precisamos selecionar um subgrupo que a represente. Esta parcela precisa ser representativa, precisa refletir toda a população, para assim conseguirmos extrapolar os resultados obtidos no experimento. Este processo todo, aqui simplificado por razões óbvias, é conhecido como amostragem. E o subgrupo escolhido que irá representar a população é chamado de amostra.

Tá bom cara… mas e os caças?

Aí é que está o problema. Selecionar a amostra. O que ocorreu é que as pessoas que fizeram o primeiro estudo não souberam selecionar a amostra. Para eles, a população de caças em guerra poderia ser representada pelos caças que retornaram da batalha. Mas e quanto aos caças que não retornaram? Eles não fazem parte da população de caças que entram em batalha?

O grande equívoco do estudo foi o viés de seleção. Este erro ocorre quando a amostra selecionada não representa a população por algum motivo. Quando ele ocorre, alguns indivíduos têm maior probabilidade de serem selecionados do que outros. No caso dos caças, o estudo envolveu somente os que retornaram à base e não os que foram alvejados a ponto de caírem. Ou seja, os aviões que recebiam tiros em locais que não causavam grandes danos tinham maior probabilidade de serem selecionados do que os que foram atacados até a suas quedas. Os aviões que não retornaram foram justamente os que receberam tiros nos pontos não circulados. E esses tiros eram os que causavam as baixas.

Outro exemplo clássico de viés de seleção ocorre em pesquisas de opinião. Isso porque muitas vezes elas são feitas através de um meio de comunicação específico, que contempla um único tipo de público. Veja o exemplo de uma jornalista que certa vez postou em seu twitter que iria realizar uma pesquisa eleitoral muito melhor que a de um certo jornal bem conhecido. Segundo ela, sua pesquisa contemplaria 2 milhões de pessoas – que seriam atingidas pela enquete em seu site -, ao invés de 2 mil. Porém, se ela entrevistasse somente 2 milhões de usuários no Twitter, a pesquisa pouco refletiria a população como um todo, que inclui milhões de pessoas que não utilizam a plataforma.

As pessoas com menor afinidade em estatística acreditam que o principal ingrediente para um bom estudo é uma grande amostra. A intuição diz que quanto maior melhor. Porém, como pudemos ver, isso não é verdade. Está longe de ser. É, sim, possível acertar o ganhador de uma eleição com alguns poucos milhares de entrevistados. É igualmente possível errar contando com dezenas de milhares de entrevistados. Como quase tudo na vida, na estatística qualidade é mais importante que a quantidade.

Mangel, Marc; Samaniego, Francisco (June 1984). “Abraham Wald’s work on aircraft survivability”

http://onlinestatbook.com/2/research_design/sampling.html

Fonte das imagens:

http://www.freestockphotos.biz/stockphoto/14706

https://commons.wikimedia.org/wiki/File:S54_aircraft_sketch.svg

http://www.carolmckibben.com/blog/eye-rolling

https://giphy.com