Reflexões sobre discriminação algorítmica e vieses humanos
Como um algoritmo discrimina? Os conceitos de tratamento desigual e impacto desigual como ferramentas de compreensão e mitigação de risco.
A ética de inteligência artificial é marcada por algumas preocupações fundamentais, como a privacidade, a explicabilidade e o viés discriminatório, em inglês bias.
Este artigo se propõe a analisar alguns aspectos sobre o bias. Em síntese, como explica Cass Sunstein, estamos diante da discussão sobre algoritmos que discriminam com base em critérios que não são legítimos, como raça ou sexo.
O texto de Sunstein é do — para os padrões da nossa época — longínquo ano de 2018. Logo no início ele escreve que a preocupação com a discriminação algorítmica parece estar crescendo. E ele estava certo. A preocupação cresceu tanto que a primeira coisa que muita gente diz sobre algoritmos é que eles podem discriminar.
Como um primeiro ponto de reflexão, vamos fazer uma análise etimológica. A palavra discriminar vem do latim discriminare (separar, distinguir, diferençar, variar). As três primeiras entradas desse verbo no dicionário Houaiss refletem esse sentido mais restrito presente na etimologia da palavra:
perceber diferenças, distinguir, discernir;
colocar à parte por algum critério, especificar, classificar, listar;
não se misturar; formar grupo à parte por alguma característica étnica, cultural, religiosa etc.
É na última entrada, a de número 4, que o verbo discriminar é descrito como tratar mal ou de modo injusto, desigual, um indivíduo ou grupo de indivíduos, em razão de alguma característica pessoal, cor da pele, classe social, convicções etc.
Em qual desses sentidos o algoritmo discrimina? A resposta não é tão simples, pois o que um algoritmo faz é justamente perceber diferenças, distinguir, discernir entre as pessoas; o algoritmo coloca à parte por algum critério, especifica, classifica, lista (e tudo isso de maneira mais rápida e mais precisa do que os seres humanos).
Um algoritmo de machine learning é usado justamente com esse propósito. Ele é muito eficiente em identificar numa quantidade enorme de dados certas características importantes para tomar decisões sobre as pessoas. Há uma infinidade de aplicações deste tipo: algoritmos que definem a capacidade de alguém obter um empréstimo bancário; quanto uma pessoa deve pagar por um seguro de automóvel ou por uma corrida de Uber etc.
Identificar diferenças e, com base nisto estabelecer tratamentos diferenciados é, desde a Grécia antiga, conhecido como justiça. Os advogados conhecem muito bem a frase “tratar desigualmente os desiguais na medida de sua desigualdade”. Não gosto desta frase, que transmite um juridiquês cafona; é ruim de falar, mas acaba de um jeito atabalhoado expressando o espírito do que encontramos no Livro V da Ética a Nicômaco de Aristóteles: fazer justiça é fazer discriminações. Note bem: nos sentidos 1 e 2 vistos acima.
Mas quando falamos de bias, de discriminação algorítmica, a maior parte das pessoas logo pensa no sentido 4, um algoritmo que discrimina de modo injusto, produzindo uma desigualdade injustificável contra um indivíduo ou grupo de indivíduos, em razão de alguma característica pessoal, cor da pele, classe social, convicções etc.
E é aqui que o artigo de Sunstein que eu citei logo no início pode ajudar. Para entendermos a discriminação que o algoritmo realiza e suas repercussões jurídicas, é preciso passar por uma diferença que o professor de Harvard apresenta entre tratamento desigual (disparate treatment) e impacto desigual (disparate impact).
Tratamento desigual.
“A proibição de tratamento desigual reflete um compromisso com uma espécie de neutralidade. Os funcionários públicos não têm permissão para favorecer membros de um grupo em detrimento de outro, a menos que haja uma razão suficientemente neutra para fazê-lo. A lei proíbe o tratamento desigual em uma variedade de motivos específicos, como raça, sexo, religião e idade. Em casos extremos, a existência de tratamento díspar é óbvia, porque uma prática ou regra de plano discriminatória pode ser comprovada (‘nenhuma mulher pode se inscrever’). Em outros casos, tal prática ou regra não pode ser identificada e, por isso, as violações são mais difíceis de policiar. Um autor pode alegar que uma prática ou requisito aparentemente neutro (como um teste escrito para emprego) foi realmente adotado para favorecer um grupo (brancos) ou desfavorecer outro (afro-americanos). Para policiar a discriminação, o sistema jurídico é obrigado a usar todas as ferramentas de que dispõe para discernir a motivação dos tomadores de decisão”.
Impacto desigual.
“A proibição de impactos díspares significa, em resumo, que se algum requisito ou prática tiver um efeito adverso desproporcional sobre membros de grupos específicos (afro-americanos, mulheres), quem decide deve mostrar que isto é justificado. Suponha, por exemplo, que um empregador exija que os membros de sua equipe de vendas façam algum tipo de exame escrito, ou que o chefe de um departamento de polícia institua uma regra exigindo que os novos funcionários sejam capazes de correr a uma velocidade determinada. Se essas práticas tiverem efeitos adversos desproporcionais em afro-americanos e mulheres, elas serão invalidadas, a menos que demonstrem uma forte conexão com os requisitos reais do trabalho. Eles devem mostrar que as práticas são justificadas pela necessidade do negócio. (…) O impacto díspar pode ser considerado perturbador em si mesmo, no sentido de que uma prática que produz tal impacto ajuda a consolidar algo como um sistema de castas. Nesse caso, é necessário que aqueles que adotam tais práticas demonstrem que têm uma razão boa e suficientemente neutra para fazê-lo”.
Aqui vem um ponto crucial: o tratamento desigual recebe uma proibição clara no ordenamento jurídico (está na nossa Constituição e também na legislação), enquanto o impacto desigual recebe um tratamento jurídico muito menor.
Assim, a proibição do tratamento desigual é algo consagrado e por todos conhecida, ao passo que o impacto desigual é um assunto muito mais escorregadio e difícil de ser tratado normativamente. Nos Estados Unidos, diz Sunstein, a Constituição não o faz, mas algumas leis sim.
Os vieses humanos e o uso do COMPAS
Em termos de tratamento discriminatório por algoritmos o caso mais citado é sem dúvidas o caso do COMPAS. Trata-se do algoritmo que foi elaborado pela empresa Northpointe (hoje Equivant), com o intuito de realizar avaliações de riscos de pessoas voltarem a praticar crimes, auxiliar nas informações de decisões e mitigar riscos futuros promovendo a segurança pública.
Esse algoritmo foi usado no Estado americano do Wisconsin para determinar o grau de periculosidade de criminosos, num processo que acabaria por influenciar as suas penas.
Foi o caso de Eric Loomis, que foi condenado a seis anos de prisão com a ajuda do algoritmo COMPAS. Ele questionou a avaliação que resultou na sua condenação.
Esse caso foi parar na Suprema Corte do Estado de Wisconsin que, na decisão, fez um interessante histórico do problema que levou ao uso do COMPAS. Por volta de 2008, o establishment jurídico dos Estados Unidos era favorável ao desenvolvimento de soluções como a do COMPAS porque elas evitariam o viés de juízes humanos.
“Em 2007, a Conferência dos Chief Justices se comprometeu a apoiar os esforços do Estado para adotar políticas e programas de condenação e correções com base nas melhores evidências de pesquisa de práticas comprovadas como eficazes na redução da reincidência".
“Da mesma forma, a American Bar Association instou os Estados a adotarem ferramentas de avaliação de risco em um esforço para reduzir a reincidência e aumentar a segurança pública”.
No caso em tela, a Corte de Wisconsin concluiu que o uso do COMPAS não violou os direitos de Loomis.
“Determinamos que, como o tribunal do circuito explicou que sua consideração das pontuações de risco COMPAS foi apoiada por outros fatores independentes, seu uso não foi determinante para decidir se Loomis poderia ser supervisionado com segurança e eficácia na comunidade”.
E conclui:
“(…) se usado adequadamente, observando as limitações e cautelas aqui estabelecidas, a consideração de um Tribunal de uma avaliação de risco do COMPAS na sentença não viola o direito do réu ao devido processo legal”.
Conclusão
É curioso como a percepção do uso de algoritmos virou: na primeira década do século XXI eles eram vistos como a solução para os preconceitos humanos. Num artigo de 2018, Sunstein enfatiza justamente esse ponto. Hoje, no entanto, os algoritmos são frequentemente acusados de possuir o risco de viés.
Não há, nunca houve, solução fácil para o problema da decisão. Como se chegar a uma decisão justa, equilibrada, é um problema que nos acompanha desde sempre.
Em tese, os algoritmos podem ajudar com este problema, pois, de fato, sabemos que seres humanos têm vieses, têm preconceitos e isso acaba refletindo em suas decisões.
É conhecido o estudo que aponta que juízes costumam dar sentenças mais pesadas caso elas sejam dadas num horário próximo do almoço, em que já sentem fome, ou no dia seguinte a uma derrota na final do campeonato do time para o qual o juiz torce.
Sunstein apresenta alguns dados de um estudo sobre o uso de algoritmos para decidir sobre concessão ou não de fiança.
“O uso do algoritmo poderia manter a mesma taxa de detenção atualmente produzida pelos juízes humanos e reduzir o crime em até 24,7%. Alternativamente, o uso do algoritmo poderia manter o atual nível de redução do crime e reduzir as taxas de encarceramento em até 41,9%. Isso significa que se o algoritmo fosse usado em vez dos juízes, milhares de crimes poderiam ser evitados sem que nenhuma pessoa adicional fosse detida. Alternativamente, milhares de pessoas poderiam ser liberadas aguardando julgamento sem aumentar a taxa de criminalidade”.
O algoritmo prenderia menos e com maior eficiência do que os juízes humanos. Isso porque ele escolhe com muito mais precisão quem realmente deveria ser mantido preso.
Por outro lado, algoritmos também podem reproduzir vieses humanos: o COMPAS se baseia em critérios estabelecidos por pessoas, como histórico familiar e escolar, local de residência, condição econômica etc.
Não há solução fácil. É evidente que não se pode desconsiderar o potencial dos algoritmos de ajudar na obtenção de melhores decisões. Por outro lado, é preciso ficar claro que são os seres humanos os responsáveis por assegurar que os critérios a partir dos quais um algoritmo opera sejam critérios adequados e justos.
Se você se interessa por inteligência artificial, talvez se interesse pelo meu curso que está com as inscrições abertas: Inteligência Artificial EXIN BCS Foundation, por André Gualtieri. É o primeiro curso da Technoethics, minha escola online em parceria com Nuria López. O curso trata desde os fundamentos da IA até sua aplicação nas organizações, passando pelas questões técnicas, jurídicas e éticas. Você pode acessar este link para se inscrever.