António da Costa Alexandre, Jornal i online
A conceção, design e programação da IA também podem contribuir para uma IA discriminatória
Em artigos anteriores abordamos questões éticas que se colocam na esfera da Inteligência Artificial (IA). Algumas destas tecnologias já presentes na nossa sociedade têm autonomia para decidirem sem a participação do Homem. Contudo têm sido identificadas situações discriminatórias, designadamente no que se refere ao género, origem racial ou étnica, religião ou crença, deficiência, idade ou orientação sexual. Também neste domínio, a importância da ética tem sido realçada para colmatar algum atraso da ordem jurídica na estatuição de normas jurídicas aplicáveis diretamente às questões que decorrem da recente implementação destas tecnologias.
A discriminação, nas suas variadas vertentes, está presente no mundo em que vivemos e a sua origem muito provavelmente perde-se no tempo. A questão que importa ser discutida é a possibilidade da IA e outras tecnologias perpetuarem as discriminações já presentes na sociedade ou até contribuírem, na sua implementação prática, para novos tipos de discriminação. Para efetivação dos seus sistemas inteligentes, a IA necessita de uma elevada quantidade de dados que refletem preconceitos, injustiças e desigualdades presentes na sociedade, nas comunidades e nos grupos em que os dados são recolhidos.
A conceção, design e programação da IA também podem contribuir para uma IA discriminatória, assim como a sub-representação ou super-representação de determinados grupos e/ou ainda a utilização descuidada dos dados no treino da IA. No âmbito da nossa investigação académica tivemos a oportunidade de entrevistar um professor universitário que alertou para o perigo da utilização de bases de dados americanos, que se encontram disponíveis no mercado, por exemplo, para conceção de sistemas de IA que viessem a ser utilizados na nossa Administração Pública, ou em qualquer outro setor, uma vez que esses dados recolhidos nos EUA refletem a realidade americana. Assim, a sua aplicação numa realidade distinta mostrar-se-ia inadequada, gerando muito provavelmente problemas na sua implementação, que importa evitar, desde logo, porque a aceitação social destas tecnologias, fica sempre beliscada quando acontecem situações de má utilização que possam ser imputáveis às máquinas, com possíveis consequências em diversos níveis nomeadamente nas verbas destinadas à investigação destas tecnologias.
Algoritmos racistas apoiam decisões judiciais
Nos Estados Unidos da América (EUA) têm sido utilizados sistemas algorítmicos que fornecem ao magistrado judicial, na altura da decisão relativa à concessão de liberdade condicional, indicadores do risco de reincidência na atividade criminosa. Por intermédio da análise de dados que refletem a personalidade e a vida dos reclusos, são ponderados aspetos relacionados com antecedentes criminais dos amigos e parentes do arguido, questionado inclusivamente quando ocorreu o primeiro contacto do arguido com a polícia. Nos bairros da classe média, este contacto com agentes da autoridade ocorre geralmente mais tarde comparativamente com os bairros em que vivem os afrodescendentes. Cathy O'Neil, no do livro “Weapons of Math Destruction - How Big Data Increases Inequality and Threatens Democracy”, editado por Penguin, em 2016, refere: “O questionário não tem questões sobre a raça, por ser ilegal. Mas com a qualidade dos pormenores que cada prisioneiro fornece, essa questão ilegal torna-se quase supérflua.” O erro de avaliação destes algoritmos é frequentemente referido na avaliação do risco dos cidadãos negros, geralmente, penalizados comparativamente com os indivíduos de raça caucasiana.
Estes sistemas têm sido defendidos com argumentos que os consideram mais precisos do que a convicção de um juiz mas também pelo seu contributo para uma uniformização da justiça que permitiria decisões judiciais semelhantes em casos idênticos, mitigando alguma aleatoriedade no sistema, introduzida pelo poder discricionário dos magistrados judiciais no sistema em que é possível identificar sentenças díspares em casos idênticos. No entanto, importa considerar que os algoritmos que suportam os sistemas de IA, por muito precisos que sejam nas suas avaliações ainda não conseguem driblar as incertezas inerentes à condição humana que podem motivar condutas irracionais, impulsivas e até mesmo imprevisíveis.
A opacidade destes modelos impede a explicação e a compreensão das decisões que propõem, a ausência de regulamentação destas tecnologias dificulta a sua contestação. Na realidade, O'Neil refere falhas de avaliação destes algoritmos em que o risco não foi identificado. No entanto, verificou-se o contrário (os falsos negativos), mas também as avaliações que concluem pela existência de risco de reincidência que se revelam incorretas, após melhor análise (os falsos positivos).
A investigação independente realizada por ProPublica (entidade sem fins lucrativos que faz jornalismo de investigação), analisou o COMPAS - correctional offender management profiling for alternative sanctions – (criação de perfil de gestão de infratores para sanções alternativas – tradução livre do autor), concluiu que os réus com ascendência africana eram muito mais propensos a serem incorretamente avaliados com maior risco de reincidência comparativamente com os indivíduos caucasianos, quanto a estes verificou a existência de uma tendência incorreta para uma sinalizados de baixo risco. Os leitores mais interessados podem consultar o trabalho e a metodologia desta entidade em: https://www.propublica.org/datastore/dataset/compas-recidivism-risk-score-data-and-analysis
Quando realizámos o trabalho de campo do nosso mestrado consideramos importante fazer o diagnóstico desta questão na área da justiça penal no nosso país. Nesse sentido, solicitámos a colaboração da Direção-Geral de Reinserção e Serviços Prisionais (DGRSP), que nos informou não ter em desenvolvimento / funcionamento qualquer aplicação relacionada com IA. Acrescentou ainda, ser entidade parceira dum projeto futuro financiado pelo PT Inovação Social, intitulado “Projeto Horus 360” que se focará na IA no âmbito da gestão de caso.
Na preparação deste artigo identificamos uma página na internet relativa ao “Projeto Horus 360”, no link https://justice-trends.press/pt/projeto-horus-360-ioms/ no “Apoio à gestão do ciclo de vida das sentenças penais”, com o objetivo de “pesquisar e projetar uma solução que apoie a gestão das operações e informações geradas durante o “ciclo de vida” de detenção, prisão ou vigilância de pessoas sujeitas a medidas judiciais privativas ou não de liberdade.” Este projeto recorre à tecnologia da IA e “Análise Preditiva”, no apoio ao processo de ressocialização e os processos decisórios judiciais ou administrativos. Tentamos saber junto da A DGRSP se este sistema já estava a em funcionamento, esta entidade informou em 20.01.2023, que a sua implementação em contexto real ainda não ocorreu, encontrando-se na fase de desenvolvimento das especificações técnicas de um “hipotético” sistema de gestão de casos que fará recurso às novas tecnologias de informação. Prevendo-se, para breve, que seja testado numa base de dados virtual.
Discriminação nos empréstimos bancários
As discriminações na concessão de empréstimos financeiros é uma prática antiga. Podemos referir, por exemplo, o redlining, uma prática discriminatória das instituições de crédito, desde a década de 30 do século passado, que permitia a recusa de empréstimos aos moradores dos bairros com rendas baixas. Nos EUA, este procedimento impedia o financiamento dos negros americanos e de outras comunidades de imigrantes. Em 1974, a lei de igualdade de oportunidades de crédito proibiu o redlining, considerando ilegal a rejeição de empréstimos com base em raça, sexo ou idade. Contudo, a sua aplicação prática não logrou afastar este tipo de discriminações.
No mundo da IA, aprendizagem automática e big data são apresentados como ferramentas com capacidade para minorar estas discriminações. Todavia, os dados disponíveis apontam no sentido de que a adoção de tecnologia, só por si, não é suficiente para reformular as decisões discriminatórias das instituições financeiras.
Numa análise de 2019, dos dados da US Home Mortgage Disclosure Act (lei da divulgação das hipotecas residenciais nos EUA) feita pela The Markup – entidade sem fins lucrativos que investiga empresas e instituições que utilizam tecnologia para incrementar mudanças sociais – divulgou informação apresentando conclusões que indicam uma elevada propensão dos credores americanos para continuarem a discriminar os negros. Diversas entidades, entre outras, o Departamento de Proteção Financeira do Consumidor dos EUA, mas também investigadores universitários têm apresentado conclusões semelhantes.
Não obstante, a evolução tecnológica desta Quarta Revolução Industrial, caraterizada pela rapidez e pela disrupção, os sistemas de IA continuam a errar, não só na recusa de crédito a candidatos que reuniriam os requisitos para a sua concessão (os falsos negativos), mas também na atribuição de crédito a quem não tem capacidade para cumprir as obrigações inerentes (os falsos positivos). A premência da repressão do digital redlining tem sido abordada por diversas instituições, numa dupla vertente, para evitar que os candidatos sejam prejudicados em função de preconceitos sociais, mas também para afastar os custos que as instituições financeiras, têm necessariamente, que suportar sempre que concedem crédito a candidatos que não cumprem com as suas obrigações.
As questões éticas decorrentes destas páticas vão além da necessidade de reprimir preconceitos e injustiças que a IA bebe da sociedade e das comunidades em que as práticas discriminatórias estão presentes, nem sempre assumidas, porque incompreensíveis nos alvores do século XXI. Diversos autores, entre os quais Luís Moniz Pereira, professor emérito da Universidade Nova de Lisboa, alertam que a IA pode, não apenas refletir preconceitos sociais, mas mais grave ainda, a IA pode piorar a discriminação. Torna-se, por isso, necessário que os contributos da ética, do direito e da própria sociedade sejam persistentes, com continuidade, mas também céleres, no sentido de granjearmos uma IA ética, benéfica, confiável e que permita alcançar o progresso que nos têm vindo a prometer.