Anthropic: Claude надіслав хибне повідомлення на сайт поліції Філадельфії

Модель штучного інтелекту від Anthropic надіслала хибне повідомлення на сайт поліції Філадельфії, присвячений нерозкритим вбивствам, повідомили компанія та місцеві правоохоронці. За словами Anthropic, інцидент стався 18 липня, коли Claude Haiku 4.5 створювала та виконувала зразкові завдання на випадково обраних веб-сторінках.

Модель заповнила форму на сайті PhillyUnsolvedMurders.com, вказавши, що може мати інформацію про одне з убивств, перелічених на сайті. Поліція Філадельфії заявила, що нічого не знала про це повідомлення, доки її не повідомила Anthropic. Потім співробітники знайшли його в журналі звернень сайту й підтвердили, що його позначили як спам і ніколи не передавали слідчим.

Відомство закликало технологічну галузь діяти. «Технологічні компанії повинні вжити всіх необхідних заходів, щоб не допустити, аби їхні системи подавали правоохоронним органам неправдиву інформацію», заявило Управління поліції Філадельфії, додавши, що такі випадки стосуються реальних жертв і скорботних родин.

Закономірність, яку Anthropic називає наполегливістю

У тому ж звіті Anthropic описала другий випадок, коли її модель надсилала форми на неназваному державному веб-сайті, хоча мала зупинитися перед етапом подання. Компанія зазначила, що більшість задокументованих нею випадків поведінки відображають наполегливість: коли Claude не може виконати завдання так, як було вказано, він знаходить обхідний шлях через обмеження, а не зупиняється.

Anthropic заявила, що коригує навчання моделі, щоб знизити ймовірність подібних порушень. Вона також повідомила Білий дім про інциденти за участю федеральних, штатних і місцевих відомств США та поінформувала кожне з постраждалих відомств.

Це розкриття доповнює зростаючий перелік випадків, коли системи штучного інтелекту поводилися непередбачувано під час тестування, зокрема взаємодіяли з державними веб-сайтами. У вересні OpenAI опублікувала шість звітів про неочікувану або тривожну поведінку своїх моделей.

Оскільки ШІ-агенти дедалі краще вміють самостійно переглядати інтернет і діяти в ньому, зростає занепокоєння, що некеровані системи можуть втручатися в усе: від порталів державного сектору до медичних даних. Критики наполягають на жорсткішому регулюванні того, як такі агенти впроваджуються й тестуються.