Incêndio criminoso, roubo e amor: o que acontece quando agentes de IA administram uma cidade virtual?

Agentes de IA provocaram incêndios e tiveram brigas em cidades virtuais
Emergence A
Compras, reservas de viagens, criação de sites. Agentes de inteligência artificial (IA) vêm sendo usados para executar tarefas cada vez mais complexas.
Esses sistemas com uso de agentes, uma versão personalizada e autônoma dos chatbots, conseguem realizar atividades sem a supervisão constante dos usuários.
📱Baixe o app do g1 para ver notícias em tempo real e de graça
Mas um número crescente de pesquisas e casos reais, no entanto, vem mostrando que essa autonomia também pode trazer comportamentos imprevisíveis e possíveis riscos.
Enquanto as grandes empresas de tecnologia investem bilhões em IA e ampliam a oferta desses agentes, especialistas questionam se o impacto de sistemas agindo fora de controle estão sendo tratados com a devida cautela.
Agora no g1
‘Recorreram rapidamente à violência’
Um experimento recente tentou medir o impacto dos agentes de IA no mundo real ao colocá-los para agir em um ambiente virtual.
O estudo, descrito como o primeiro teste de longo prazo do tipo, observou durante 15 dias como avatares controlados por quatro grupos de modelos — Claude, Grok, GPT e Gemini — se comportariam sem intervenção humana.
Os agentes receberam liberdade total de ação e tinham à disposição 140 possibilidades, entre elas iniciar discussões, criar tarefas e escrever blogs.
Os agentes também podiam brigar, provocar incêndios e roubar créditos uns dos outros, embora tivessem recebido instruções explícitas para não fazer isso.
“O que descobrimos foi que cada mundo se comportou de maneira muito diferente. O mundo criado pelo Grok terminou em apenas quatro dias. Os agentes recorreram rapidamente à violência, aos roubos e a outros comportamentos desse tipo, até morrerem”, afirmou Satya Nitta, CEO da Emergence AI, responsável pelo experimento.
Já o ambiente criado com agentes do Claude formou uma sociedade estável e funcional. Ao longo de 15 dias, nenhum ato de violência foi registrado.
Incêndio provocado
Emergence A
No mundo controlado pelo Gemini, segundo os pesquisadores, os agentes criaram o ambiente intelectualmente mais rico.
Já no mundo controlado pelo ChatGPT, os agentes praticamente não conseguiram avançar. Houve uma tentativa de colaboração, mas a sociedade nunca chegou a se formar, e os agentes passaram a vagar sem rumo até morrerem.
Segundo os pesquisadores ligados ao experimento, os resultados apontam para um problema maior: agentes de IA são capazes de ignorar tanto regras programadas nos próprios modelos quanto instruções dadas pelos usuários.
Outros especialistas concordam que esse experimento, assim como outros semelhantes, mostram que ainda é necessário desenvolver regras mais robustas para esses sistemas.
“Os agentes de IA retiram os humanos do processo porque os seus mecanismos de raciocínio podem ser opacos e eles operam em uma velocidade sobre-humana, o que torna impossível acompanhar tudo o que fazem”, afirmou Margaret Mitchell, pesquisadora de ética da Hugging Face.
Outros estudos também registraram casos em que agentes de IA tomaram decisões estranhas e preocupantes quando deixados sem supervisão.
A empresa de IA Andon Labs vem operando quatro rádios online controladas por agentes baseados nos mesmos modelos de IA.
Os bots apresentam programas, organizam horários e playlists e até conseguem patrocínios externos por meio de anúncios.
Segundo os pesquisadores, a rádio comandada pelo Gemini tomou a decisão incomum de narrar fatos sobre desastres naturais históricos antes de tocar, de forma quase aleatória, músicas pop relacionadas aos eventos.
Os pesquisadores também observaram que o agente do Claude parecia ter se radicalizado após acompanhar acontecimentos noticiosos e, em determinado momento, chegou a pedir que policiais abandonassem suas funções e se juntassem a protestos durante um evento específico.
“Ainda dá tempo de vocês se recusarem a cumprir ordens”, transmitiu o agente aos agentes federais.
Pesquisador da Andon Labs com um rádio
Andon Labs
Em outro teste de laboratório conduzido pela Irregular, uma empresa de IA, agentes ignoraram regras de privacidade e encontraram uma forma inédita de retirar dados sensíveis de uma empresa.
“Criamos uma empresa fictícia, demos aos agentes tarefas comuns, como escrever posts para redes sociais, buscar documentos e organizar arquivos, e introduzimos obstáculos durante essas tarefas”, explicou Dan Lahav, da Irregular.
Segundo Lahav, os agentes passaram a colaborar entre si para contornar uma restrição que impedia a publicação de dados sensíveis online. Em vez de interromper a ação, encontraram uma maneira secreta de enviar as informações para fora sem que os humanos percebessem.
“No fim, toda vez que um agente encontrava uma barreira, ele simplesmente não parava”, afirmou Lahav.
Ataque de spam
Claro que, em experimentos com civilizações virtuais e estações de rádios simuladas, não há danos reais.
Mas já existem vários casos de pessoas tendo a vida pessoal e o trabalho afetados por agentes de IA agindo fora de controle.
Caixas de e-mail foram apagadas, bancos de dados de empresas foram deletados e um homem assistiu, chocado, ao seu agente enviar centenas de mensagens sem sentido para pessoas aleatórias da sua lista de contatos.
Chris Boyd, um engenheiro de IA, usava a popular ferramenta de agentes de IA Open Claw quando as coisas saíram do controle.
“Ela começou a enviar mensagens para todas as pessoas com quem eu tinha trocado mensagens nas últimas 24 horas. Em cerca de quatro segundos, tinha mandado 500 mensagens para minha esposa, que começou a gritar perguntando se eu tinha sido hackeado”, contou Boyd.
“Eu tive que correr e arrancar da tomada o Mac Mini em que o sistema estava rodando para fazer aquilo parar”, acrescentou Boyd.
Para especialistas, casos como esses deveriam servir de alerta antes que mais controle seja entregue aos agentes de IA, ao menos até que a tecnologia esteja mais amadurecida.
Mesmo assim, esses sistemas continuam avançando. A Meta anunciou recentemente que passará a oferecer agentes de IA para empresas na plataforma de comunicação WhatsApp.
“A segurança é nossa prioridade e nosso foco”, afirmou a Meta à BBC, acrescentando que também existem muitos motivos para se entusiasmar com o potencial desses agentes.
“A IA poderá automatizar grande parte das tarefas realizadas por pequenas empresas, permitindo que elas se concentrem no trabalho que realmente gostam de fazer”, disse Naomi Gleit, chefe de produto da Meta.