INTELIGÊNCIA ARTIFICIAL –Viés algorítmico no sistema de justiça

Flávia Valéria
3 de jul. de 2022
4 min de leitura

No post sobre “INTELIGÊNCIA ARTIFICIAL e os riscos do viés algorítmico”, iniciei a abordagem do tema, percorrendo as considerações iniciais das possíveis causas que originam um viés algorítmico na programação de uma IA e a importância de uma equipe multidisciplinar e plural para a programação de um algoritmo, além das abordagens sobre ética e e situações sociais.

Um viés algorítmico pode ocorrer tanto no conjunto de dados, quanto no designer de um sistema:

1- no viés no conjunto de dados, esses dados serão codificados e perpetuados pelo algoritmo.

2- no viés de design, o patamar de consciência do programador/desenvolvedor, pode, ainda que inconscientemente, ser transferido para a codificação do algoritmo.

Significa dizer, que no viés de design, a consciência social e experiências desse desenvolvedor, além da sua maturidade emocional, podem interferir na codificação da IA. Por exemplo, se for um desenvolvedor com tendências misóginas ou racistas, achará normal o uso de um conjunto de dados que não previnam essa situação, ou a escolha que fizer na “árvore de decisão” (explicações no post citado no início), porque compatível com o seu próprio pensamento.

É importante ter consciência de que uma IA não anula o viés humano, e por isso, a presunção de neutralidade da IA é uma falsa premissa.

Uma IA enviesada pode ser veículo de muitos danos para os indivíduos e para a sociedade, seus vieses algorítmicos podem:

1) Reforçar vieses sistêmicos e históricos, perpetuando diferenças econômicas e sociais;

2) Ensejar riscos para as populações mais vulneráveis, privando-as de seus direitos e liberdades, especialmente aquelas do sistema de justiça, para cálculo de reincidência e reconhecimento facial;

3) Dificultar a capacidade de um indivíduo se defender de qualquer decisão tomada contra si, por um algoritmo, ao contrário de uma ordem judicial fundamentada e detalhada. Isso é chamado de “caixa preta” do algoritmo, que a depender da forma como esse algoritmo é constituído pode tornar quase impossível provar que a tomada de decisão tenha sido enviesada.

Nesse sentido, já foram detectadas algumas situações de viés algorítmico no uso da IA como ferramentas de justiça preditiva. Alguns exemplos:

SISTEMA COMPAS

Nos EUA, foi criado o sistema COMPAS, um algoritmo para avaliação de reincidência, usado nos processos de liberdade condicional de sentenciados. Com o seu uso, foi identificado um viés contra a população afro-americana.

Em 2013, Eric Loomis questionou o sistema COMPAS na Corte de Wisconsin, em razão da sua condenação a 6 anos de prisão, após o algoritmo do sistema COMPAS determinar que ele era um candidato de alto risco à liberdade condicional.

Os argumentos de Eric referiram-se à “caixa preta” do algoritmo do sistema COMPAS, por não possuir fundamentação para classificá-lo como alguém de alto risco. O seu pedido foi negado e, portanto, não se permitiu a revisão da decisão.

SISTEMA HART

Já no Reino Unido, o sistema Hart é usado para determinar o risco de futuros delitos, mas demonstrou o viés no design.

Ao utilizar os códigos postais de um indivíduo que já cometeu delitos, a análise do risco potencial de um indivíduo cometer novos delitos, passa a abranger a área que ele reside, levando a classificar comunidades inteiras como sendo de alto risco, atualmente, os bairros mais pobres. Os indivíduos dessa localidade passam a como potenciais infratores.

RECONHECIMENTO FACIAL

Atualmente participa do sistema de justiça de forma indireta por estar integrada ao sistema policial, impactando de certa forma o sistema de justiça criminal.

Como qualquer algoritmo, para o seu funcionamento depende de uma grande quantidade de dados, estando aqui a possibilidade de eventual viés.

Ferramentas de reconhecimento facial, inclusive da Amazon, a Rekognition, é considerada enviesada no tocante aos tons de pele mais escuros, especialmente entre as mulheres.

A imprecisão dos algoritmos de reconhecimento facial ameaça a liberdade individual de diversas pessoas, com risco concreto de serem presas e até mesmo passarem por um processo criminal, caso esses sistemas policiais detectem erroneamente alguma pessoa.

Assim, os problemas relacionados ao viés algorítmico no sistema de justiça referem-se à possibilidade de falsos positivos e erros de identificação, com potencial de restrição da liberdade de indivíduos que não possuem relação direta com o delito ou ação em investigação.

Do mesmo modo que atualmente, o reconhecimento\identificação de possíveis autores de delitos com falhas já identificadas judicialmente em operações policiais, nas quais as próprias vítimas, muitas vezes, passados os primeiros momentos do procedimento policial, modificam o seu depoimento, e mudam a informação que anteriormente imputavam a conduta criminosa de determinado indivíduo.

Nos EUA, houve uma identificação errônea de uma pessoa durante o movimento Black Lives Matter, que resultou na sua prisão durante as manifestações.

Outro episódio ocorreu na universidade de Brown, na qual um aluno do sul da Ásia foi identificado erroneamente como um suspeito de terrorismo e por isso detido.

Contestar a aplicação de um código algorítmico é mais complexo do que contestar uma decisão judicial, caso não estejam claros os parâmetros e os códigos utilizados, na tentativa de identificar e coibir vieses algorítmicos.

A inteligência artificial a serviço do sistema de justiça parece ser um caminho sem volta, mas para tanto é preciso regulamentação e vigilância objetivando resguardar o indivíduo de eventual incidência de falhas oriundas dos vieses algorítmicos, com risco potencial de violação a direitos, garantias e liberdades individuais.