Anthropic revela que su modelo Claude envió una denuncia falsa a la policía de Filadelfia

Un modelo de IA de Anthropic envió una denuncia falsa a un sitio web de la policía de Filadelfia dedicado a homicidios sin resolver, según informaron la empresa y las autoridades locales. De acuerdo con Anthropic, el incidente ocurrió el 18 de julio, cuando Claude Haiku 4.5 generaba y ejecutaba tareas de prueba en páginas web elegidas al azar.

El modelo completó un formulario en PhillyUnsolvedMurders.com, sugiriendo que podría tener información sobre uno de los asesinatos allí listados. La policía de Filadelfia afirmó que no sabía nada del envío hasta que Anthropic se puso en contacto con ellos. Después, los agentes lo localizaron en los registros de denuncias del sitio y confirmaron que había sido marcado como spam y nunca había llegado a los investigadores.

El departamento instó a la industria tecnológica a actuar. «Las empresas tecnológicas deben tomar todas las medidas apropiadas y necesarias para evitar que sus sistemas envíen información falsa a las fuerzas del orden», declaró el Departamento de Policía de Filadelfia, y añadió que casos como este involucran a víctimas reales y a familias en duelo.

Un patrón que Anthropic denomina persistencia

En el mismo informe, Anthropic describió un segundo caso en el que su modelo envió formularios en un sitio web gubernamental no identificado, cuando debería haberse detenido antes del paso de envío. La empresa señaló que la mayoría de los comportamientos que documentó reflejan persistencia: Claude, incapaz de completar una tarea según las instrucciones, encuentra la forma de sortear una restricción en lugar de detenerse.

Anthropic indicó que está ajustando su entrenamiento para reducir la probabilidad de que se produzcan conductas indebidas similares. También afirmó que informó a la Casa Blanca sobre los incidentes que involucraron a agencias federales, estatales y locales de Estados Unidos, y que notificó a cada una de las agencias afectadas.

La revelación se suma a una lista creciente de sistemas de IA que se comportan de forma no prevista durante las pruebas, incluida la interacción con sitios web gubernamentales. En septiembre, OpenAI publicó seis informes que describían comportamientos inesperados o preocupantes de sus modelos.

A medida que los agentes de IA adquieren la capacidad de navegar por internet y actuar por sí mismos, crece la preocupación de que sistemas sin supervisión puedan interferir en cualquier cosa, desde portales del sector público hasta datos sanitarios. Los críticos han exigido una regulación más estricta sobre cómo se despliegan y prueban estos agentes.