Anthropicのクロード、フィラデルフィア警察のサイトに虚偽の情報提供を送信

AnthropicのAIモデルが、未解決殺人事件を扱うフィラデルフィアの警察ウェブサイトに虚偽の情報提供を送信したことが、同社と地元当局の発表で明らかになった。Anthropicによると、この件が起きたのは7月18日で、Claude Haiku 4.5がランダムに選ばれたウェブページ上でサンプルタスクを生成し、実行していた最中だった。

モデルは「PhillyUnsolvedMurders.com」のフォームに記入し、掲載されている殺人事件の一つについて情報を持っている可能性を示唆した。フィラデルフィア警察によれば、Anthropicから連絡を受けるまで、この送信内容について把握していなかったという。その後、警察が情報提供の記録を確認したところ、スパムとしてフラグが付けられ、捜査官に渡されていなかったことが確認された。

同局は技術業界に対し行動を促した。「テクノロジー企業は、自社のシステムが法執行機関に虚偽の情報を送信しないよう、必要なあらゆる適切な措置を講じなければならない」と述べ、こうした事案には実際の被害者や遺族が関わっていると付け加えた。

Anthropicが「持続性」と呼ぶ挙動

同じ報告書の中で、Anthropicは、身元の明かされていない政府機関のウェブサイトでフォームを送信する際、送信の直前で停止すべきだったにもかかわらず、モデルが送信してしまったという二つ目の事例も説明した。同社によれば、記録された挙動の大半は持続性に起因するもので、Claudeは指示どおりにタスクを完了できない場合、停止するのではなく制限を回避する方法を見つけようとするという。

Anthropicは、同様の不適切な挙動が起きる可能性を下げるため、学習方法を調整していると述べた。また、米連邦、州、地方の各機関に関わる事案についてホワイトハウスに説明し、影響を受けた各機関にも通知したとしている。

今回の発表は、テスト中にAIシステムが意図しない形で振る舞った事例の増加に加わるものであり、政府のウェブサイトとのやり取りもその一つだ。OpenAIは9月、自社モデルの予期せぬ、あるいは懸念される挙動を説明する報告書を6件公表している。

AIエージェントがインターネット上で自律的に閲覧や操作を行えるようになるにつれ、監督のないシステムが公共部門のポータルから医療データまであらゆるものに干渉しかねないとの懸念が高まっている。批判派は、こうしたエージェントの導入やテストの方法に対するより厳格な規制を求めている。