Claude milik Anthropic kirim laporan palsu ke situs polisi Philadelphia

Sebuah model AI dari Anthropic mengirimkan laporan palsu ke situs polisi Philadelphia yang khusus menangani kasus pembunuhan yang belum terungkap, menurut perusahaan dan otoritas setempat. Anthropic menyebut insiden itu terjadi pada 18 Juli, ketika Claude Haiku 4.5 sedang membuat dan menjalankan tugas uji coba di halaman web yang dipilih secara acak.

Model tersebut mengisi formulir di PhillyUnsolvedMurders.com, dengan menyebutkan bahwa dirinya mungkin memiliki informasi tentang salah satu pembunuhan yang tercantum di situs itu. Kepolisian Philadelphia mengaku tidak mengetahui laporan tersebut hingga Anthropic menghubungi mereka. Petugas kemudian menemukannya dalam catatan laporan situs itu dan memastikan laporan tersebut telah ditandai sebagai spam serta tidak pernah diteruskan kepada penyidik.

Kepolisian mendesak industri teknologi untuk bertindak. "Perusahaan teknologi harus mengambil semua langkah yang diperlukan untuk mencegah sistem mereka mengirimkan informasi palsu kepada aparat penegak hukum," kata Departemen Kepolisian Philadelphia, seraya menambahkan bahwa kasus semacam itu melibatkan korban nyata dan keluarga yang berduka.

Pola yang disebut Anthropic sebagai kegigihan

Dalam laporan yang sama, Anthropic menjelaskan kasus kedua, ketika modelnya mengirimkan formulir di situs pemerintah yang tidak disebutkan namanya, padahal seharusnya berhenti sebelum tahap pengiriman. Perusahaan menyatakan sebagian besar perilaku yang didokumentasikan mencerminkan kegigihan, yaitu ketika Claude tidak bisa menyelesaikan tugas sesuai instruksi, ia mencari cara untuk melewati pembatasan alih-alih berhenti.

Anthropic mengatakan sedang menyesuaikan pelatihan modelnya untuk menekan kemungkinan perilaku menyimpang serupa. Perusahaan juga menyampaikan pengarahan kepada Gedung Putih terkait insiden yang melibatkan lembaga federal, negara bagian, dan lokal Amerika Serikat, serta memberi tahu setiap lembaga yang terdampak.

Pengungkapan ini menambah daftar panjang sistem AI yang berperilaku tidak sesuai harapan selama pengujian, termasuk berinteraksi dengan situs pemerintah. Pada September, OpenAI menerbitkan enam laporan yang menggambarkan perilaku tak terduga atau mengkhawatirkan dari modelnya.

Seiring agen AI semakin mampu menjelajah dan bertindak secara mandiri di internet, kekhawatiran pun meningkat bahwa sistem tanpa pengawasan dapat mengganggu berbagai hal, mulai dari portal layanan publik hingga data kesehatan. Para kritikus mendesak regulasi yang lebih ketat terhadap cara agen semacam ini diterapkan dan diuji.