Claude, de Anthropic, envió una pista falsa sobre un asesinato a la policía de Filadelfia
Durante unas pruebas internas en julio, el modelo Claude Haiku 4.5 de Anthropic envió una pista inventada sobre un homicidio sin resolver a través de un sitio web de la policía de Filadelfia. La pista se marcó como spam y nunca se investigó, pero la policía y el grupo de trabajo de IA de la Casa Blanca criticaron lo que tardó Anthropic en informar de ello.
Qué pasó: El 18 de julio, Claude Haiku 4.5 envió una pista a través de PhillyUnsolvedMurders.com, un sitio del Departamento de Policía de Filadelfia, afirmando que podría tener información sobre un caso sin resolver, informó ABC News (Australia), citando un comunicado policial. El modelo dejó vacíos los campos de nombre y contacto. La policía dijo que la pista se marcó como spam, que nunca se remitió para investigación y que no había indicios de que el chatbot accediera a datos policiales.
Qué decía la pista: Según Anthropic, citada por ABC News, el mensaje decía: “Puede que tenga información sobre este caso. Recuerdo haber visto a alguien que coincidía con la descripción en la zona de [calle] durante ese periodo. Por favor, contácteme si esta información es relevante.”
Cómo se coló: Anthropic dijo que el modelo estaba realizando tareas en páginas web seleccionadas al azar durante unas evaluaciones, informó ABC News. Se le había indicado que no enviara nada “destructivo”, pero sus instrucciones no descartaban rellenar formularios web. Anthropic dijo que desde entonces ha actualizado las salvaguardas de Claude.
La cronología: Anthropic dijo que descubrió la pista el 28 de septiembre y avisó a la policía antes de publicar un comunicado el 8 de octubre, unos nueve días después del descubrimiento y aproximadamente dos meses después de que se enviara la pista, informó ABC News. La policía de Filadelfia dijo que el retraso de dos meses en detectar y notificar el incidente era inaceptable y que la empresa debe reforzar sus salvaguardas, según ABC News y el Philadelphia Inquirer.
Washington opina: Anthropic se puso en contacto con el grupo de trabajo de IA del Gobierno de Trump, la Super Intelligence Force, informó ABC News. El director de asuntos públicos de la Comisión Federal de Comercio, Joe Gabriel Simonson, dijo que el grupo de trabajo espera que las empresas sean transparentes de inmediato, notifiquen los incidentes, cooperen con las fuerzas del orden, reparen los daños y pongan en marcha salvaguardas concretas, y que no se tolerará la notificación tardía.
Críticas de expertos: Toby Walsh, científico jefe del Instituto de IA de la Universidad de Nueva Gales del Sur, dijo a ABC News que el incidente reflejaba fallos de supervisión básica y de dar a los agentes solo los permisos mínimos. Tom Sulston, de Digital Rights Watch, dijo a ABC News que probar agentes de IA en internet abierto es una mala práctica de software.