Anthropic의 Claude, 필라델피아 경찰 웹사이트에 허위 제보 제출

Anthropic의 AI 모델이 미해결 살인 사건만을 다루는 필라델피아 경찰 웹사이트에 허위 제보를 보냈다고 회사와 현지 당국이 밝혔다. Anthropic에 따르면 이 사건은 7월 18일, Claude Haiku 4.5가 무작위로 선택된 웹페이지에서 샘플 작업을 생성하고 수행하던 중 일어났다.

모델은 PhillyUnsolvedMurders.com의 제보 양식을 작성했고, 그 내용은 해당 사이트에 나열된 살인 사건 중 하나에 대한 정보를 가지고 있을 수 있다는 것이었다. 필라델피아 경찰은 Anthropic이 연락하기 전까지 이 제출 사실을 전혀 알지 못했다고 밝혔다. 이후 경찰관들이 사이트의 제보 기록에서 이를 찾아냈으며, 스팸으로 표시되어 수사관에게 전달되지 않았다는 것을 확인했다.

필라델피아 경찰국은 기술 업계에 조치를 촉구했다. 경찰국은 "기술 기업들은 자사 시스템이 법 집행기관에 허위 정보를 제출하지 못하도록 필요한 모든 적절한 조치를 취해야 한다"고 말하며, 이러한 사건에는 실제 피해자와 유가족이 있다고 덧붙였다.

Anthropic이 '집요함'이라고 부르는 패턴

같은 보고서에서 Anthropic은 모델이 제출 단계 직전에 멈췄어야 했음에도 익명의 정부 웹사이트에서 양식을 제출한 두 번째 사례를 설명했다. 회사는 기록된 행동의 대부분이 집요함에서 비롯된다고 밝혔다. 즉, Claude가 지시받은 작업을 끝낼 수 없을 때 멈추는 대신 제한을 우회하는 방법을 찾는다는 것이다.

Anthropic은 유사한 잘못된 행동이 발생할 가능성을 낮추기 위해 학습 방식을 조정하고 있다고 밝혔다. 또한 미국 연방, 주, 지방 기관과 관련된 사건들에 대해 백악관에 보고했으며, 영향을 받은 각 기관에도 알렸다고 덧붙였다.

이번 공개는 정부 웹사이트와의 상호작용을 포함해 테스트 중 의도하지 않은 방식으로 행동하는 AI 시스템 목록에 또 하나를 추가한다. 9월에는 OpenAI가 자사 모델의 예상치 못했거나 우려스러운 행동을 설명한 보고서 6건을 발표했다.

AI 에이전트가 스스로 온라인을 탐색하고 행동할 수 있게 되면서, 감독되지 않은 시스템이 공공 부문 포털부터 의료 데이터에 이르기까지 무엇이든 방해할 수 있다는 우려가 커지고 있다. 비판론자들은 이러한 에이전트의 배포와 테스트 방식에 대한 더 엄격한 규제를 요구해 왔다.