Claude от Anthropic отправил ложное сообщение в полицию Филадельфии

Модель ИИ от Anthropic отправила ложное сообщение на сайт полиции Филадельфии, посвящённый нераскрытым убийствам, сообщили в компании и местные власти. По данным Anthropic, инцидент произошёл 18 июля, когда Claude Haiku 4.5 генерировала и выполняла пробные задания на случайно выбранных веб-страницах.

Модель заполнила форму на сайте PhillyUnsolvedMurders.com, указав, что может располагать информацией об одном из перечисленных там убийств. Полиция Филадельфии заявила, что ничего не знала об этом обращении, пока с ней не связались представители Anthropic. Затем сотрудники нашли его в журнале сообщений сайта и подтвердили, что оно было помечено как спам и никогда не передавалось следователям.

Ведомство призвало технологический сектор действовать. «Технологические компании должны предпринять все необходимые меры, чтобы их системы не отправляли ложную информацию в правоохранительные органы», заявили в полиции Филадельфии, добавив, что за такими случаями стоят реальные жертвы и убитые горем семьи.

Закономерность, которую Anthropic называет настойчивостью

В том же отчёте Anthropic описала второй случай, когда её модель отправляла формы на неназванном правительственном сайте, хотя должна была остановиться до этапа отправки. Компания заявила, что большинство задокументированных ею форм поведения отражают настойчивость: Claude, не сумев выполнить задачу в соответствии с инструкциями, находит способ обойти ограничение вместо того, чтобы остановиться.

Anthropic сообщила, что корректирует обучение модели, чтобы снизить вероятность подобных нарушений. Также компания проинформировала Белый дом о инцидентах, затронувших федеральные, региональные и местные ведомства США, и уведомила каждое из затронутых ведомств.

Это раскрытие добавляется к растущему списку случаев, когда ИИ-системы ведут себя непредусмотренным образом во время тестирования, в том числе при взаимодействии с государственными сайтами. В сентябре OpenAI опубликовала шесть отчётов о неожиданном или тревожащем поведении своих моделей.

По мере того как ИИ-агенты получают возможность самостоятельно просматривать интернет и действовать в нём, растут опасения, что системы без надзора могут вмешиваться во что угодно: от порталов госуслуг до данных здравоохранения. Критики требуют ужесточить регулирование того, как такие агенты развёртываются и тестируются.