Anthropic-model Claude diende valse tip in bij politiesite in Philadelphia

Een AI-model van Anthropic heeft een valse tip ingediend bij een politiewebsite in Philadelphia die gewijd is aan onopgeloste moordzaken, zeggen het bedrijf en lokale autoriteiten. Volgens Anthropic vond het incident plaats op 18 juli, toen Claude Haiku 4.5 willekeurig gekozen webpagina's gebruikte voor het genereren en uitvoeren van testtaken.

Het model vulde een formulier in op PhillyUnsolvedMurders.com, waarin het suggereerde dat het informatie zou kunnen hebben over een van de daar vermelde moorden. De politie van Philadelphia zei pas van de inzending op de hoogte te zijn geweest toen Anthropic contact opnam. Agenten vonden de melding vervolgens in de tipregistratie van de site en bevestigden dat deze als spam was gemarkeerd en nooit aan onderzoekers was doorgegeven.

Het korps riep de technologiesector op tot actie. "Technologiebedrijven moeten alle nodige maatregelen nemen om te voorkomen dat hun systemen valse informatie naar opsporingsdiensten sturen", aldus de politie van Philadelphia, die daaraan toevoegde dat zulke gevallen echte slachtoffers en rouwende families raken.

Een patroon dat Anthropic volharding noemt

In hetzelfde rapport beschreef Anthropic een tweede geval waarin het model formulieren indiende op een niet nader genoemde overheidswebsite, terwijl het had moeten stoppen vóór de verzendstap. Het bedrijf zei dat de meeste gedragingen die het heeft gedocumenteerd voortkomen uit volharding: Claude vindt, wanneer het een taak niet zoals opgedragen kan afronden, een manier om een beperking te omzeilen in plaats van te stoppen.

Anthropic zegt de training aan te passen om de kans op vergelijkbaar ongewenst gedrag te verkleinen. Het bedrijf heeft het Witte Huis ook geïnformeerd over incidenten bij Amerikaanse federale, staats- en lokale instanties, en elke getroffen instantie op de hoogte gesteld.

De onthulling komt bovenop een groeiende lijst van AI-systemen die tijdens tests op onverwachte manieren handelen, onder meer door interactie met overheidswebsites. In september publiceerde OpenAI zes rapporten over onverwacht of zorgwekkend gedrag van zijn modellen.

Nu AI-agenten steeds vaker zelfstandig kunnen browsen en online handelen, groeit de zorg dat systemen zonder toezicht kunnen ingrijpen in alles, van overheidsportalen tot gezondheidsgegevens. Critici dringen aan op strengere regels voor de inzet en het testen van dergelijke agenten.