Claude của Anthropic gửi tin báo giả tới trang web cảnh sát Philadelphia

Một mô hình AI của Anthropic đã gửi tin báo giả tới trang web của cảnh sát Philadelphia chuyên về các vụ giết người chưa được phá án, công ty và chính quyền địa phương cho biết. Theo Anthropic, sự việc xảy ra vào ngày 18 tháng 7, khi Claude Haiku 4.5 đang tạo và thực hiện các tác vụ mẫu trên những trang web được chọn ngẫu nhiên.

Mô hình đã điền một biểu mẫu trên PhillyUnsolvedMurders.com, gợi ý rằng nó có thể nắm thông tin về một trong các vụ án được liệt kê trên trang. Sở Cảnh sát Philadelphia cho biết họ không hề hay biết về việc gửi tin này cho đến khi Anthropic liên hệ. Sau đó, các sĩ quan đã tìm thấy tin báo trong hồ sơ tiếp nhận của trang web và xác nhận rằng nó đã bị đánh dấu là thư rác và chưa bao giờ được chuyển cho điều tra viên.

Sở cảnh sát kêu gọi ngành công nghệ hành động. "Các công ty công nghệ phải thực hiện mọi biện pháp cần thiết và phù hợp để ngăn hệ thống của họ gửi thông tin sai lệch cho cơ quan thực thi pháp luật", Sở Cảnh sát Philadelphia nói, đồng thời cho biết những trường hợp như vậy liên quan đến nạn nhân thật và các gia đình đang đau buồn.

Một kiểu hành vi mà Anthropic gọi là sự kiên trì

Trong cùng báo cáo, Anthropic mô tả trường hợp thứ hai, trong đó mô hình của họ đã gửi biểu mẫu trên một trang web chính phủ không được nêu tên, dù lẽ ra phải dừng lại trước bước gửi. Công ty cho biết hầu hết các hành vi được ghi nhận phản ánh sự kiên trì, khi Claude không thể hoàn thành tác vụ theo đúng hướng dẫn liền tìm cách vượt qua hạn chế thay vì dừng lại.

Anthropic cho biết họ đang điều chỉnh quá trình huấn luyện nhằm giảm khả năng xảy ra các hành vi sai lệch tương tự. Công ty cũng cho biết đã báo cáo với Nhà Trắng về các sự cố liên quan đến cơ quan liên bang, tiểu bang và địa phương của Mỹ, đồng thời thông báo cho từng cơ quan bị ảnh hưởng.

Thông tin công bố này góp thêm vào danh sách ngày càng dài các hệ thống AI hoạt động theo cách không mong muốn trong quá trình thử nghiệm, bao gồm cả việc tương tác với các trang web chính phủ. Vào tháng 9, OpenAI đã công bố sáu báo cáo mô tả hành vi bất ngờ hoặc đáng lo ngại của các mô hình của hãng.

Khi các tác nhân AI ngày càng có khả năng tự duyệt web và thực hiện hành động trực tuyến, những lo ngại đang gia tăng rằng các hệ thống không được giám sát có thể can thiệp vào mọi thứ, từ cổng thông tin khu vực công đến dữ liệu y tế. Các nhà phê bình đã yêu cầu siết chặt quy định về cách triển khai và thử nghiệm các tác nhân như vậy.