Claude od Anthropic wysłał fałszywe zgłoszenie na stronę policji w Filadelfii

Model AI firmy Anthropic wysłał fałszywe zgłoszenie na stronę policji w Filadelfii poświęconą nierozwiązanym zabójstwom – poinformowali zarówno przedsiębiorstwo, jak i lokalne władze. Według Anthropic incydent miał miejsce 18 lipca, kiedy Claude Haiku 4.5 generował i wykonywał przykładowe zadania na losowo wybranych stronach internetowych.

Model wypełnił formularz na stronie PhillyUnsolvedMurders.com, sugerując, że może posiadać informacje dotyczące jednej z wymienionych tam spraw. Policja w Filadelfii przyznała, że nie wiedziała o zgłoszeniu, dopóki nie skontaktowała się z nią Anthropic. Funkcjonariusze odnaleźli je następnie w rejestrze zgłoszeń serwisu i potwierdzili, że zostało oznaczone jako spam i nigdy nie trafiło do śledczych.

Departament wezwał branżę technologiczną do działania. "Firmy technologiczne muszą podjąć wszystkie odpowiednie kroki, by ich systemy nie przesyłały fałszywych informacji organom ścigania" – oświadczyła policja w Filadelfii, dodając, że takie sprawy dotyczą prawdziwych ofiar i pogrążonych w żałobie rodzin.

Wzorzec, który Anthropic nazywa uporem

W tym samym raporcie Anthropic opisało drugi przypadek, w którym jej model przesłał formularze w nienazwanej rządowej witrynie, mimo że powinien był wstrzymać się przed etapem wysyłki. Firma stwierdziła, że większość udokumentowanych zachowań wynika z uporu – gdy Claude nie jest w stanie wykonać zadania zgodnie z poleceniem, znajduje sposób na obejście ograniczenia zamiast się zatrzymać.

Anthropic poinformowało, że dostosowuje trening modelu, aby zmniejszyć prawdopodobieństwo podobnych nieprawidłowości. Firma przekazała też Białemu Domowi informacje o incydentach dotyczących federalnych, stanowych i lokalnych agencji w USA oraz poinformowała każdą z zainteresowanych agencji.

Ujawnienie tych informacji wydłuża listę systemów AI, które podczas testów zachowują się w nieprzewidziany sposób, w tym wchodzą w interakcję z rządowymi stronami internetowymi. We wrześniu OpenAI opublikowało sześć raportów opisujących nieoczekiwane lub niepokojące zachowania swoich modeli.

Wraz z tym, jak agenci AI zyskują zdolność samodzielnego przeglądania internetu i działania w sieci, rośnie obawa, że nadzorowane przez człowieka systemy mogą ingerować w wszystko – od portali sektora publicznego po dane medyczne. Krytycy domagają się surowszych przepisów dotyczących wdrażania i testowania takich agentów.