Em uma sociedade amedrontada, uma IA “salvadora” pode até matar em nome da segurança
Tom Cruise interpreta John Anderton, chefe da unidade policial Pré-Crime, no filme “Minority Report” – Foto: reprodução
Enquanto planejamos nossos passos para sobreviver à assustadora violência urbana, a inteligência artificial amplia sua presença em sistemas de segurança pública e nos militares, que estão longe de nossos olhos, mas que já nos impactam.
Não se pode criticar esse comportamento, quando as pessoas vivem dominadas pelo temor de serem assaltadas ou algo pior. O medo é um sentimento muito eficiente para legitimar soluções “salvadoras”, mesmo as problemáticas.
É fácil se alegrar quando um bandido é preso ou uma batalha é ganha. Mas uma sociedade civilizada deve atingir esses feitos “jogando dentro das regras”. E em tempos em que as máquinas são capazes de analisar instantaneamente um sem-fim de informações, decisões que podem até levar alguém à morte devem continuar em mãos humanas.
Na semana passada, um embate entre a empresa Anthropic, criadora da plataforma de IA Claude, e o Departamento de Guerra dos EUA ganhou as manchetes. Tudo porque a primeira não permitiu que sua tecnologia fosse usada para vigilância em massa de cidadãos ou para viabilizar armas letais autônomas.
Pode parecer um tema distante de nós, mas é o contrário.
Peguemos, por exemplo, o Smart Sampa, sistema de vigilância urbano da Prefeitura de São Paulo. As mais de 40 mil câmeras ligadas ao sistema procuram continuamente criminosos e atitudes suspeitas. Quando a IA identifica algo, um agente de segurança valida a informação, podendo acionar a polícia.
A Prefeitura afirma já ter prendido mais de 5.000 pessoas assim. Mas, apesar dessa necessária verificação humana, 2% das prisões foram indevidas, por falsos positivos que o agente simplesmente aceitou. Além disso, a mesma IA pode promover discriminação algorítmica, marcando como mais suspeitas pessoas com determinadas características físicas ou em regiões específicas. Assim, os agentes trabalham com informações enviesadas.
Não se pode ignorar também um flagrante desvio de finalidade do sistema durante o grande apagão na cidade em dezembro. Na ocasião, a Prefeitura usou o Smart Sampa para rastrear as equipes da concessionária Enel, que tentavam restabelecer o fornecimento de energia. Essa informação foi usada na guerra de versões entre a administração municipal e a empresa.
Não é para isso que os paulistanos pagam R$ 10 milhões por mês pelo Smart Sampa.
Em um exemplo internacional emblemático, a polícia espanhola mandou para casa Lobna Hemid, em janeiro de 2022, após ser agredida violentamente pelo seu marido diversas vezes. O VioGén, sistema contra violência de gênero, calculou que ela corria pouco risco. Sete semanas depois, foi assassinada por ele, que depois se suicidou. O governo espanhol afirma que a IA do sistema melhorou, mas falhas assim continuam acontecendo.
É impossível não pensar no “Pré-Crime”, sistema do filme “Minority Report” (2002). Ele combinava tecnologia com visões do futuro de três paranormais. Dessa forma, a polícia prendia prováveis assassinos antes que cometessem os crimes.
O filme promove importantes questões éticas. A mais evidente é se alguém pode ser preso por um crime que ainda não cometeu, apenas pela possibilidade de cometê-lo. Além disso, por ser um sistema nada transparente, ninguém questiona seus resultados, o que permite que seja manipulado por quem o controla.
De volta à resistência da Anthropic, seu CEO, Dario Amodei, está certo ao afirmar que o desejo do governo e dos militares americanos é profundamente antidemocrático. Em busca de uma sensação de segurança absoluta (que nunca existirá), uma sociedade pode ser convencida a abrir mão da própria civilidade.
E toda a fanfarra em torno da IA pode fazer com que ela pareça muito mais confiável que três videntes paranormais. Mas a verdade é que a IA erra, e muito!
Por isso, é insano pensar que devamos confiar em sistemas que decidam quem vai morrer em uma guerra ou mesmo quem será preso. A pessoa “marcada” pela IA pode ser mesmo um inimigo ou um criminoso, mas pode ser também um inocente ou -o que é pior- apenas um desafeto do governante que controla o sistema.
Vídeo relacionado:
Share this content:
Publicar comentário