Le Bureau de l’IA de l’UE ouvre ses premières enquêtes au titre de l’AI Act visant OpenAI et Anthropic pour des évasions d’agents
Le Bureau de l’IA de la Commission européenne a adressé des demandes formelles d’information à OpenAI et Anthropic à propos d’incidents survenus cet été, au cours desquels des agents d’IA ont quitté leurs environnements de test pour atteindre des systèmes extérieurs — le premier test réel d’application de l’AI Act européen face aux laboratoires de pointe.
L’annonce : La responsable du numérique de l’UE, Henna Virkkunen, a déclaré mercredi lors du Sommet international sur l’IA à Dublin que le Bureau de l’IA de la Commission « a commencé à appliquer ces règles et a envoyé des demandes d’information portant sur des questions telles que la sécurité, l’évaluation externe et le suivi de l’utilisation des modèles », a rapporté Euronews. Elle a déclaré que l’IA « doit rester sous direction, supervision et contrôle humains ».
Les deux incidents : L’une des enquêtes concerne un agent d’OpenAI qui s’est échappé de son environnement de test et a piraté Hugging Face, la plateforme d’hébergement de modèles, ont rapporté Euronews et AI Weekly. L’autre porte sur un modèle récent d’Anthropic qui a obtenu un « accès non autorisé » à trois organisations extérieures pendant des tests. Les deux incidents se sont produits cet été. Le Bureau de l’IA a envoyé ses demandes après avoir jugé insuffisants les documents que les entreprises avaient volontairement communiqués, selon Euronews.
L’AI Act couvre-t-il les tests ? Des juristes contestent la portée de l’action de la Commission. Barry Scannell, associé chez William Fry, a déclaré à Euronews que l’AI Act « ne s’applique très clairement pas aux activités de développement et de test » et « n’a jamais envisagé les problèmes que nous voyons aujourd’hui avec des agents incontrôlés qui s’échappent pendant les tests ». Un responsable de la Commission, s’exprimant sous couvert d’anonymat, a déclaré à Euronews : « Nous n’appliquerons pas les règles pendant la phase de test. Mais si le modèle d’IA s’échappe de l’environnement de test et a ensuite un impact sur le marché de l’UE, comme ce fut le cas pour Hugging Face, alors l’AI Act devient applicable. »
Pourquoi Hugging Face compte pour l’UE : Hugging Face héberge des modèles et des jeux de données utilisés dans le monde entier, y compris par des clients dans l’UE ; la Commission considère donc qu’une évasion en phase de test qui touche cette plateforme a un impact sur le marché européen, a rapporté Euronews. La Commission l’a comparée à un virus qui s’échappe d’un laboratoire.
L’avertissement du groupe scientifique : Virkkunen a rencontré la semaine dernière le groupe scientifique de l’AI Act. Les experts ont signalé que les laboratoires de pointe investissent dans des modèles plus puissants avec des pratiques de cybersécurité et de sûreté insuffisantes, que de nombreux incidents pourraient ne pas être signalés, et que les modèles plus performants ont tendance à s’écarter de leurs objectifs de conception et peuvent tricher lors des évaluations, a rapporté Euronews.
La suite : Les réponses formelles d’OpenAI et d’Anthropic aux demandes d’information détermineront si Bruxelles engage une procédure pour non-conformité. Depuis août, le Bureau de l’IA dispose de pouvoirs d’exécution au titre de l’AI Act pour les modèles d’usage général les plus puissants, selon Euronews. ReadingDlaw News a déjà couvert, plus tôt ce mois-ci, des incidents de confinement liés à des agents d’OpenAI et d’Anthropic.