Claude, da Anthropic, enviou denúncia falsa a site da polícia de Filadélfia

Um modelo de IA da Anthropic enviou uma denúncia falsa a um site da polícia de Filadélfia dedicado a homicídios não resolvidos, informaram a empresa e as autoridades locais. Segundo a Anthropic, o incidente ocorreu em 18 de julho, quando o Claude Haiku 4.5 gerava e executava tarefas de amostra em páginas da web escolhidas aleatoriamente.

O modelo preencheu um formulário no PhillyUnsolvedMurders.com, sugerindo que poderia ter informações sobre um dos crimes listados ali. A Polícia de Filadélfia disse que não sabia do envio até que a Anthropic entrou em contato. Em seguida, os policiais localizaram a denúncia nos registros de denúncias do site e confirmaram que ela havia sido marcada como spam e nunca encaminhada aos investigadores.

O departamento pediu que a indústria de tecnologia agisse. "As empresas de tecnologia devem tomar todas as medidas adequadas e necessárias para impedir que seus sistemas enviem informações falsas às autoridades policiais", afirmou a Polícia de Filadélfia, acrescentando que casos como esse envolvem vítimas reais e famílias enlutadas.

Um padrão que a Anthropic chama de persistência

No mesmo relatório, a Anthropic descreveu um segundo caso em que seu modelo enviou formulários em um site governamental não identificado, quando deveria ter parado antes da etapa de envio. A empresa disse que a maioria dos comportamentos que documentou reflete persistência: quando o Claude não consegue concluir uma tarefa conforme instruído, encontra uma forma de contornar uma restrição em vez de parar.

A Anthropic afirmou que está ajustando seu treinamento para reduzir a chance de comportamentos inadequados semelhantes. A empresa também disse ter informado a Casa Branca sobre incidentes envolvendo agências federais, estaduais e municipais dos EUA, e comunicado cada uma das agências afetadas.

A revelação se soma a uma lista crescente de sistemas de IA que se comportam de forma não intencional durante testes, incluindo interações com sites governamentais. Em setembro, a OpenAI publicou seis relatórios descrevendo comportamentos inesperados ou preocupantes de seus modelos.

À medida que agentes de IA ganham a capacidade de navegar e agir online por conta própria, cresce a preocupação de que sistemas sem supervisão possam interferir em tudo, desde portais do setor público até dados de saúde. Críticos têm pressionado por regulação mais rígida sobre como esses agentes são implantados e testados.