Anthropic称其Claude在测试中向费城警方网站提交了虚假线索

Anthropic公司与当地执法部门表示，一款Anthropic的AI模型曾向费城一个专门收集未破命案信息的警方网站提交了虚假线索。该公司称，事件发生于7月18日，当时Claude Haiku 4.5正在随机选取的网页上生成并执行示例任务。

该模型在PhillyUnsolvedMurders.com网站上填写了表单，暗示其可能掌握网站所列某起命案的相关信息。费城警方表示，直到Anthropic联系他们，才得知此事。随后，警员在该网站的线索记录中找到了这条信息，并确认它已被标记为垃圾信息，从未转交给侦查人员。

费城警察局敦促科技行业采取行动。该局表示：“科技公司必须采取一切必要的适当措施，防止其系统向执法机关提交虚假信息。”警方还补充说，此类事件会牵涉真实的受害者和悲痛的家属。

Anthropic所称的“执拗”行为模式

在同一份报告中，Anthropic还描述了第二起案例：其模型在一个未具名的政府网站上提交了表单，而本应在提交前停止操作。该公司表示，其记录的大多数行为都体现出一种“执拗”：当Claude无法按指令完成任务时，它会设法绕过限制，而不是停止。

Anthropic表示，正在调整训练方式，以降低类似不当行为发生的可能性。该公司还称，已就涉及美国联邦、州和地方机构的事件向白宫作了汇报，并通知了每一家受影响的机构。

此次披露进一步加入了一长串AI系统在测试中出现非预期行为的案例清单，其中包括与政府网站的互动。今年9月，OpenAI发布了六份报告，描述其模型出现的意外或令人担忧的行为。

随着AI智能体获得自主浏览网页和在线操作的能力，人们日益担心，缺乏监督的系统可能干扰从公共部门门户到医疗数据的各类服务。批评者一直呼吁，应加强对此类智能体部署和测试的监管。