Hoje vamos falar de algo sério que pode trazer consequências drásticas no futuro. Você já deve ter ouvido falar em Machine Learning ou Inteligência Artificial. Caso não, fica a dica de alguns textos publicados no Deviante e do Scicast sobre o assunto [1-4]. Bem, se você procurar no Google por “machine learning applications” (pode ser em português também) vai encontrar diversas listas de aplicações criativas, surpreendentes, disruptivas (insira sua buzzword preferida aqui) e etc. É fato que cada dia alguém pensa em uma aplicação diferente que pode ajudar muitas vidas.
Eis então que surge um questionamento baseado em super vilões: E as aplicações do mal, existem? É claro que existem, como toda aplicação de tecnologia. O caso mais comum não é necessariamente “do mal”, vide o exemplo de alguma empresa que usa seus dados para encontrar o melhor momento de te vender um produto que normalmente você não precisa. A empresa está fazendo o seu papel e talvez, vendo de fora, você não concorde com isso. Entretanto, há casos mais preocupantes como o problema que vamos abordar aqui.
I AM THE LAW
Cena comum de filmes: uma pessoa é abordada por um policial por estar dirigindo seu veículo acima da velocidade permitida. Digamos ainda que este cidadão estava bêbado. Este evento faz com que o infrator vá até a corte, onde será interrogado por um juiz. Baseado na infração, no depoimento e possíveis dados em uma ficha criminal o juiz estipula um método para que o cidadão “pague” pela sua atitude: a pena pode ser perdoada, pode haver apenas uma multa, talvez alguns dias preso… A vida então segue e os dados do ocorrido ficam armazenados.
Um problema que ocorre no mundo todo é a lentidão de todo este processo, provocada muitas vezes pela burocracia e pela falta de policiais e magistrados. É claro que não demorou muito para que alguém tivesse a ideia de otimizar todas essas etapas com o uso de… Machine Learning [6]. Como? Com os dados de cada cidadão, inclusive dados envolvendo raça, gênero e condição social.
Se isso não preocupou você veja um exemplo:
Analisando apenas negros e brancos, qual você diria que compõe em maior número a massa carcerária, seja nos EUA ou Brasil?
Sim, negros.
Por quê?
Por causa de todo um histórico de desigualdade social, não precisamos ser sociólogos para entender isso. O fato é: hoje em dia mais negros são presos. Se isso for uma característica que o algoritmo avalia quando está aprendendo com os dados, ele vai associar que negros têm uma chance maior de ser considerados culpados, de voltar a cometer crimes e etc.
O resultado inicial disso é que, no caso de duas pessoas cometerem exatamente o mesmo crime ou infração e a única diferença entre elas for a cor, um negro e um branco, o algoritmo vai considerar que o negro oferece um risco maior a sociedade. Isso ocorre porque o algoritmo não sabe o significado da característica raça, para ele, essa é só mais uma variável do problema. Não é o algoritmo que é preconceituoso, e sim os dados que carregam anos de injustiça social ou o modelo que foi criado para resolver o problema. Um exemplo com um problema similar a este ocorreu nos anos 70 e 80, quando estudos apontavam que adolescentes que ouviam Heavy Metal tinham grande tendência de serem violentos. Os pesquisadores criaram um viés no seu estudo e o que perceberam foi “adolescentes violentos ouvem Heavy Metal” quando na verdade não perceberam que os não violentos também ouviam o mesmo estilo musical, pois quase todo adolescente fazia isso [7].
O que isso pode ocasionar?
Atualmente existe este viés na sociedade, os dados mostram uma correlação entre raça e status econômico com o risco que uma pessoa representa para a sociedade. Esperamos que futuramente este viés vá diminuindo até o ponto em que não exista esta correlação. Por outro lado, se passarmos a usar unicamente algoritmos para decidir estas questões, a sociedade continuará carregando o mesmo viés preconceituoso que tanto tentamos eliminar. Isso porque o algoritmo não estará sendo treinado com dados de uma nova sociedade e sim com dados gerados por outros dados de épocas passadas.
Se você não está convencido, analise a seguinte situação, propositalmente exagerada:
Joãozinho foi pego fazendo bullying com um colega de escola e agora será julgado pela sociedade em épocas diferentes, ou seja, com diferentes vieses: (i) hoje em dia e (ii) 100 anos atrás. Será que ele seria punido com a mesma pena nestas duas épocas? 100 anos atrás seria possível que ele recebesse o castigo da palmatória, enquanto hoje em dia talvez fosse encaminhado para conversar com o psicólogo do colégio.
Isso serve para mostrar que a mentalidade da sociedade muda com o tempo e tudo precisa ser atualizado, inclusive um algoritmo.
NÃO TEM NINGUÉM VENDO ISSO?!
A solução então é não usar Machine Learning? Claro que não, não podemos deixar de usar uma tecnologia que de fato pode ajudar muito a sociedade. Devemos, sim, assegurar que ela seja utilizada de forma correta e justa. Para isso basta que sejamos cuidadosos na construção do modelo e que esses algoritmos sejam constantemente supervisionados e testados, garantindo que o viés seja eliminado com o tempo conforme a sociedade muda. O problema é que, em muitos desses códigos já utilizados pelos sistemas judiciais, a forma como todo o modelo funciona não é aberta ao público. Portanto, não há como saber que considerações o algoritmo faz na hora de dar uma recomendação, ferindo o direito de livre defesa do cidadão. Há muitas pessoas preocupadas com essa questão, pois, sem saber como o algoritmo julga, não há como se defender [8].
E agora?
Este assunto é polêmico e poderia ser discutido por horas, mas essa não é a ideia aqui. Deixo como recomendação de leitura um artigo disponibilizado pela Universidade de Harvard discutindo vários aspectos pertinentes mais a fundo [9,10].
Junior “Ninja” Koch. Bacharel em Física, Doutor em Ciência e Engenharia de Materiais e Pós-doutorando em Gravidade Quântica. Adora criar modelos matemáticos para tudo que vê e colocar machine learning no meio. Seu lema é “Tudo é matemática”.
Referências:
[1] – http://www.deviante.com.br/noticias/ciencia/machine-learning-para-o-jogo-do-mario/
[2] – http://www.deviante.com.br/noticias/ciencia/por-dentro-da-deep-learning/
[3] – http://www.deviante.com.br/noticias/tecnologia/precisamos-falar-sobre-deep-learning/
[5] – http://www.deviante.com.br/podcasts/scicast/scicast-253/
[7] – https://ourpastimes.com/the-effects-of-heavy-metal-music-on-teenagers-12536600.html
[9] – https://www.wired.com/2017/04/courts-using-ai-sentence-criminals-must-stop-now/
[10] – https://dash.harvard.edu/bitstream/handle/1/33746041/2017-07_responsivecommunities_2.pdf
