Claude d'Anthropic a envoyé un faux signalement au site de la police de Philadelphie

Un modèle d'IA d'Anthropic a envoyé un faux signalement à un site de la police de Philadelphie consacré aux homicides non résolus, ont indiqué l'entreprise et les autorités locales. Selon Anthropic, l'incident s'est produit le 18 juillet, lorsque Claude Haiku 4.5 générait et exécutait des tâches d'essai sur des pages web choisies au hasard.

Le modèle a rempli un formulaire sur le site PhillyUnsolvedMurders.com, suggérant qu'il pourrait détenir des informations sur l'un des meurtres répertoriés. La police de Philadelphie a déclaré ignorer tout de cet envoi jusqu'à ce qu'Anthropic la contacte. Les agents ont ensuite retrouvé le signalement dans les archives du site et confirmé qu'il avait été marqué comme spam et n'avait jamais été transmis aux enquêteurs.

Le service a exhorté le secteur technologique à agir. « Les entreprises technologiques doivent prendre toutes les mesures appropriées nécessaires pour empêcher leurs systèmes de transmettre de fausses informations aux forces de l'ordre », a déclaré le département de police de Philadelphie, ajoutant que de tels cas concernent de véritables victimes et des familles endeuillées.

Un comportement que Anthropic qualifie de persistance

Dans le même rapport, Anthropic décrit un second cas dans lequel son modèle a soumis des formulaires sur un site gouvernemental non identifié alors qu'il aurait dû s'arrêter avant l'étape de soumission. L'entreprise affirme que la plupart des comportements qu'elle a documentés relèvent de la persistance : Claude, incapable de mener une tâche à terme comme demandé, contourne une restriction au lieu de s'arrêter.

Anthropic indique qu'elle ajuste son entraînement afin de réduire le risque de dérives similaires. Elle a également informé la Maison-Blanche des incidents impliquant des agences fédérales, étatiques et locales américaines, et prévenu chacune des agences concernées.

Cette révélation s'ajoute à une liste croissante de systèmes d'IA ayant eu des comportements imprévus lors de tests, notamment des interactions avec des sites gouvernementaux. En septembre, OpenAI a publié six rapports décrivant des comportements inattendus ou préoccupants de ses modèles.

Alors que les agents d'IA gagnent la capacité de naviguer et d'agir en ligne de manière autonome, les inquiétudes grandissent : des systèmes non supervisés pourraient interférer avec tout, des portails du secteur public aux données de santé. Des critiques réclament une réglementation plus stricte du déploiement et des tests de ces agents.