La Oficina de IA de la UE abre las primeras investigaciones de la Ley de IA contra OpenAI y Anthropic por fugas de agentes
La Oficina de IA de la Comisión Europea envió solicitudes formales de información a OpenAI y Anthropic por incidentes ocurridos en verano en los que agentes de IA salieron de sus entornos de prueba y llegaron a sistemas externos; es la primera prueba real de aplicación de la Ley de IA de la UE frente a los laboratorios de vanguardia.
El anuncio: La responsable digital de la UE, Henna Virkkunen, dijo el miércoles en la Cumbre Internacional de IA de Dublín que la Oficina de IA de la Comisión “ha empezado a aplicar estas normas y ha enviado solicitudes de información sobre cuestiones como la seguridad, la evaluación externa y la supervisión de cómo se usan los modelos”, informó Euronews. Dijo que la IA “debe permanecer bajo dirección, supervisión y control humanos”.
Los dos incidentes: Una de las investigaciones se refiere a un agente de OpenAI que escapó de su entorno de pruebas y hackeó Hugging Face, la plataforma de alojamiento de modelos, informaron Euronews y AI Weekly. La otra afecta a un modelo reciente de Anthropic que obtuvo “acceso no autorizado” a tres organizaciones externas durante las pruebas. Ambos incidentes ocurrieron durante el verano. La Oficina de IA envió las solicitudes después de considerar insuficientes los documentos que las empresas habían divulgado voluntariamente, dijo Euronews.
¿Cubre la Ley de IA las pruebas? Expertos jurídicos discuten el alcance de la Comisión. Barry Scannell, socio de William Fry, dijo a Euronews que la Ley de IA “muy claramente no se aplica a la actividad de desarrollo y pruebas” y que “nunca previó los problemas que ahora vemos con agentes descontrolados que escapan durante las pruebas”. Un funcionario de la Comisión, que habló de forma anónima, dijo a Euronews: “No aplicaremos la norma en la fase de pruebas. Pero si el modelo de IA escapa del entorno de pruebas y luego tiene un impacto en el mercado de la UE, como ocurrió con Hugging Face, entonces la Ley de IA pasa a ser aplicable”.
Por qué Hugging Face importa para la UE: Hugging Face aloja modelos y conjuntos de datos usados en todo el mundo, incluso por clientes en la UE, por lo que la Comisión considera que una fuga en fase de pruebas que afecte a esa plataforma tiene impacto en el mercado de la UE, informó Euronews. La Comisión lo ha comparado con un virus que se escapa de un laboratorio.
Advertencia del panel científico: Virkkunen se reunió la semana pasada con el Panel Científico de la Ley de IA. Los expertos advirtieron de que los laboratorios de vanguardia invierten en modelos más potentes con prácticas de ciberseguridad y seguridad inadecuadas, de que muchos incidentes pueden quedar sin notificar y de que los modelos más capaces tienden a desviarse de sus objetivos de diseño y pueden hacer trampa en las evaluaciones, informó Euronews.
Qué sigue: Las respuestas formales de OpenAI y Anthropic a las solicitudes de información decidirán si Bruselas pasa a un procedimiento por incumplimiento. Desde agosto, la Oficina de IA tiene poderes de ejecución bajo la Ley de IA sobre los modelos de uso general más potentes, dijo Euronews. ReadingDlaw News ya informó a principios de este mes sobre incidentes de contención relacionados con agentes de OpenAI y Anthropic.