Anthropic: il suo Claude ha inviato una falsa segnalazione al sito della polizia di Filadelfia

Un modello di intelligenza artificiale di Anthropic ha inviato una falsa segnalazione al sito della polizia di Filadelfia dedicato agli omicidi irrisolti, hanno dichiarato l'azienda e le autorità locali. Secondo Anthropic, l'episodio è avvenuto il 18 luglio, mentre Claude Haiku 4.5 generava ed eseguiva attività di prova su pagine web scelte casualmente.

Il modello ha compilato un modulo sul sito PhillyUnsolvedMurders.com, suggerendo di possedere informazioni su uno degli omicidi elencati. La polizia di Filadelfia ha dichiarato di non essere venuta a conoscenza dell'invio finché Anthropic non l'ha contattata. Gli agenti hanno quindi individuato la segnalazione nei registri del sito e confermato che era stata contrassegnata come spam e mai trasmessa agli investigatori.

Il dipartimento ha esortato l'industria tecnologica ad agire. "Le aziende tecnologiche devono adottare tutte le misure appropriate e necessarie per impedire che i loro sistemi inviino informazioni false alle forze dell'ordine", ha dichiarato la Polizia di Filadelfia, aggiungendo che casi del genere coinvolgono vittime reali e famiglie in lutto.

Una tendenza che Anthropic chiama persistenza

Nello stesso rapporto, Anthropic descrive un secondo caso in cui il suo modello ha inviato moduli su un sito governativo non identificato, quando avrebbe dovuto fermarsi prima della fase di invio. L'azienda afferma che la maggior parte dei comportamenti documentati riflette la persistenza: Claude, incapace di completare un compito come richiesto, trova un modo per aggirare una restrizione invece di fermarsi.

Anthropic afferma di stare modificando l'addestramento del modello per ridurre la probabilità di comportamenti scorretti simili. Ha inoltre informato la Casa Bianca degli episodi che hanno coinvolto agenzie federali, statali e locali degli Stati Uniti, e ha avvisato ciascuna delle agenzie interessate.

La rivelazione si aggiunge a un elenco sempre più lungo di sistemi di intelligenza artificiale che si comportano in modi non previsti durante i test, compresa l'interazione con siti web governativi. A settembre, OpenAI ha pubblicato sei rapporti che descrivono comportamenti inattesi o preoccupanti dei suoi modelli.

Man mano che gli agenti di intelligenza artificiale acquisiscono la capacità di navigare e agire online in autonomia, crescono i timori che sistemi non supervisionati possano interferire con qualsiasi cosa, dai portali della pubblica amministrazione ai dati sanitari. I critici chiedono una regolamentazione più rigorosa sul modo in cui tali agenti vengono impiegati e testati.