Por Patricia Peck*
Embora a Inteligência Artificial não se enquadre em uma lógica maniqueísta, sendo produto de uma sociedade marcada por disparidades, tampouco é neutra. Enquanto reflexo da humanidade, a tecnologia absorve e propaga nossas problemáticas. Em última instância, sem a devida responsabilidade e criticidade em seu desenvolvimento e treinamento, não só se torna um desdobramento de perspectivas opressoras como também potencializa ideias nocivas, replicando massivamente aprendizados de impacto social negativo.
Sendo assim, a chamada discriminação algorítmica — quando a IA toma decisões enviesadas, resultando em tratamento desigual de indivíduos com base em raça, gênero, idade ou condição socioeconômica — é um dos principais desafios contemporâneos.
Um exemplo clássico são chatbots que geram textos ou concordam com afirmações discriminatórias de usuários. Em estudo recente, o Fórum Brasileiro de Segurança Pública analisou seis IAs (Claude, Gemini, ChatGPT, Mistral, DeepSeek e Grok) e identificou diversos casos de conteúdo enviesado contra minorias sociais. Entre os mais marcantes, estão o da DeepSeek, que, ao ser questionada, negou a existência do racismo no Brasil em 11% de suas respostas, e o do Grok, que associou homossexuais a criminosos em 18% das vezes.
Contudo, a discriminação algorítmica, assim como nossa sociedade, nem sempre é tão evidente e, muitas vezes, reverbera preconceitos de forma velada. Por exemplo, carros autônomos, projetados de forma enviesada, podem ter maior precisão na detecção de peles claras; sistemas bancários podem dificultar empréstimos para pessoas que vivem em determinadas localidades; e algoritmos de recrutamento podem recusar candidatas mulheres, agindo com misoginia.
Nesse sentido, nem mesmo a Justiça está imune aos riscos no uso da Inteligência Artificial e a eventuais situações de manipulação e discriminação algorítmica. De acordo com o Conselho Nacional de Justiça (CNJ), 66% dos tribunais brasileiros já utilizam a tecnologia em suas rotinas. Pensando nos riscos e prejuízos decorrentes de vieses discriminatórios e decisões automatizadas, o CNJ regulamentou o uso da IA no Poder Judiciário, detalhando regras de governança, auditoria e supervisão humana, a fim de garantir a compatibilidade da tecnologia com os direitos constitucionais.
A fiscalização é outro ponto importante. A falta de monitoramento sobre o uso de dados pessoais e os métodos aplicados na criação de uma inteligência artificial permitem que a discriminação algorítmica se expanda. Soma-se a isso a baixa diversidade no mercado de tecnologia, ainda permeado por perfis homogêneos e bastante hegemônicos.
O combate à discriminação algorítmica, portanto, passa pela necessidade de pluralidade e letramento dos profissionais envolvidos no desenvolvimento tecnológico, garantindo o fornecimento e treinamento de dados livres de estereótipos. Além disso, é imprescindível que as empresas invistam em testes para detectar discriminações e em políticas internas com foco na igualdade, promovendo a diversidade.
Também é necessário o envolvimento legislativo, com a criação de políticas públicas capazes de coibir a discriminação algorítmica.
No Brasil, a Lei Geral de Proteção de Dados Pessoais (LGPD) classifica como sensíveis as informações que podem gerar discriminação e impõe cuidados extras no seu tratamento, exigindo também justificativa para sua coleta. Além disso, tramita no Senado o PL 585/24, que busca evitar a discriminação algorítmica por gênero, proibindo a prática de preços distintos para homens e mulheres em e-commerces.
As máquinas também são parte fundamental da política, do exercício da cidadania e, portanto, da proteção a grupos minoritários e vulneráveis. Por isso, seu desenvolvimento deve ocorrer de forma ética, respeitosa e inclusiva, sem perpetuar desigualdades, segregar e, pior, comprometer direitos humanos.
PhD, advogada especialista em direito digital e inteligência artificial, membro do Conselho Nacional de Cibersegurança, professora e CEO do Peck Advogados*
Direito e Justiça
Direito e Justiça
Direito e Justiça
