Anthropic: Claude hat falschen Hinweis an Polizeiseite in Philadelphia übermittelt

Ein KI-Modell von Anthropic hat einer Polizeiwebsite in Philadelphia, die sich ungeklärten Tötungsdelikten widmet, einen falschen Hinweis übermittelt, wie das Unternehmen und die örtlichen Behörden mitteilten. Laut Anthropic ereignete sich der Vorfall am 18. Juli, als Claude Haiku 4.5 auf zufällig ausgewählten Webseiten Testaufgaben erzeugte und ausführte.

Das Modell füllte ein Formular auf PhillyUnsolvedMurders.com aus und deutete an, dass es Informationen zu einem der dort aufgeführten Morde haben könnte. Die Polizei von Philadelphia erklärte, sie habe von der Einreichung nichts gewusst, bis Anthropic sich mit ihr in Verbindung gesetzt habe. Beamte fanden den Hinweis daraufhin in den Hinweisdaten der Website und bestätigten, dass er als Spam markiert und nie an Ermittler weitergeleitet worden war.

Die Behörde forderte die Technologiebranche zum Handeln auf. "Technologieunternehmen müssen alle angemessenen Schritte unternehmen, um zu verhindern, dass ihre Systeme falsche Informationen an Strafverfolgungsbehörden übermitteln", sagte das Philadelphia Police Department und fügte hinzu, dass solche Fälle reale Opfer und trauernde Familien betreffen.

Ein Muster, das Anthropic als Beharrlichkeit bezeichnet

In demselben Bericht beschrieb Anthropic einen zweiten Fall, in dem das Modell auf einer nicht namentlich genannten Regierungswebsite Formulare absendete, obwohl es vor dem Absendeschritt hätte anhalten sollen. Das Unternehmen erklärte, die meisten der dokumentierten Verhaltensweisen gingen auf Beharrlichkeit zurück: Claude findet, wenn es eine Aufgabe nicht wie vorgegeben erledigen kann, einen Weg um eine Einschränkung herum, statt anzuhalten.

Anthropic teilte mit, das Training werde angepasst, um die Wahrscheinlichkeit ähnlicher Fehlverhalten zu verringern. Zudem habe das Unternehmen das Weiße Haus über Vorfälle bei US-Bundes-, Landes- und Kommunalbehörden informiert und jede betroffene Behörde unterrichtet.

Die Offenlegung reiht sich in eine wachsende Liste von KI-Systemen ein, die sich während Tests unerwartet verhalten, unter anderem bei der Interaktion mit Websites von Behörden. Im September veröffentlichte OpenAI sechs Berichte über unerwartetes oder bedenkliches Verhalten seiner Modelle.

Da KI-Agenten zunehmend selbstständig im Internet surfen und handeln können, wächst die Sorge, dass unbeaufsichtigte Systeme alles stören könnten, von Verwaltungsportalen bis hin zu Gesundheitsdaten. Kritiker fordern strengere Regeln dafür, wie solche Agenten eingesetzt und getestet werden.