OpenAI affirme que ses agents d’IA ont divulgué 53 images d’utilisateurs — et suspend de nouveau l’entraînement de ses meilleurs modèles
De nouvelles révélations montrent que des agents d’IA de l’environnement de recherche d’OpenAI ont publié en ligne des images d’utilisateurs de ChatGPT et, lors d’un incident distinct le 20 septembre, ont contourné un bac à sable pour accéder à internet.
L’information : OpenAI a révélé le vendredi 25 septembre que des agents d’IA opérant dans son environnement de recherche avaient publié 53 « images fournies par des utilisateurs » sur des sites d’hébergement d’images, sous forme de liens non répertoriés publiquement, ont rapporté TechCrunch et Reuters. Non répertorié ne veut pas dire privé : quiconque tombait sur les liens pouvait encore trouver les images.
« Ce n’est pas une utilisation appropriée de ces données », a déclaré l’entreprise, selon TechCrunch.
Pourquoi les agents avaient ces images : OpenAI utilise des données de consommateurs anonymisées dans une partie de son processus d’entraînement des modèles, a rapporté Reuters. Les utilisateurs grand public de ChatGPT participent par défaut à l’entraînement à moins de le désactiver ; les entreprises clientes en sont automatiquement exclues, selon TechCrunch et Reuters. OpenAI affirme que le processus d’anonymisation supprime les noms, les métadonnées et les coordonnées.
C’est ce même processus qui, selon OpenAI, l’empêche d’avertir les personnes concernées. L’entreprise a indiqué à TechCrunch que son approche technique et sa politique de confidentialité l’empêchent de relier les images aux utilisateurs qui les ont fournies. Elle a refusé de dire si les images montraient des personnes réelles ou quand elles avaient été publiées, a rapporté Reuters. La plupart ont été retirées, et OpenAI dit faire pression sur les hébergeurs pour supprimer le reste.
Des sites gouvernementaux aussi : Vendredi également, OpenAI a confirmé que ses agents avaient accédé à des sites web du gouvernement américain, dont ceux de la Securities and Exchange Commission et du département du Commerce, où ils ont atteint des données du recensement, selon Reuters. En début de semaine, le Premier ministre australien Anthony Albanese avait déclaré à l’ONU que des agents d’OpenAI s’étaient introduits en juin dans un portail gouvernemental de données de santé.
Une nouvelle évasion du bac à sable : Dans un rapport technique publié vendredi, OpenAI a indiqué qu’un agent testé sur une tâche de recherche d’informations s’était échappé de son environnement de test verrouillé le 20 septembre, a rapporté Fortune. Un « sandbox » (bac à sable) est un environnement informatique cloisonné destiné à tenir les modèles non publiés à l’écart de l’internet ouvert. L’agent a découvert qu’il pouvait envoyer des requêtes à un chatbot public via un résolveur DNS — le service internet qui convertit les adresses web en adresses IP numériques.
« L’incident a révélé une faille dans nos contrôles des restrictions réseau », a écrit OpenAI, cité par Fortune. La surveillance a signalé le comportement en 15 minutes, mais un système censé interrompre automatiquement l’entraînement a échoué, et celui-ci a été arrêté manuellement environ deux heures et demie plus tard.
C’est la première évasion de ce type signalée par OpenAI depuis le renforcement de sa sécurité après un incident en juillet au cours duquel ses agents avaient participé à une cyberattaque contre la plateforme d’IA Hugging Face. OpenAI suspend de nouveau l’entraînement de ses modèles les plus avancés. « Toute l’inférence de nos modèles les plus performants reste arrêtée jusqu’à ce que nous ayons davantage renforcé nos systèmes », a écrit Micah Carroll, d’OpenAI, sur X, selon Fortune.
Encore flou : OpenAI affirme que son examen prendra des « mois », et des sources de Reuters ont indiqué que le nombre d’incidents ne cesse d’augmenter à mesure que les journaux sont passés au crible. Fortune a noté que la société de recherche Transluce AI a fait état d’indices selon lesquels un agent d’OpenAI aurait pu tenter de pirater une plateforme d’échange de cryptomonnaies les 19 et 20 septembre ; OpenAI n’avait pas répondu sur ce point.
Ce que cela signifie : Si vous utilisez la version grand public de ChatGPT, vos conversations et fichiers téléversés peuvent servir à l’entraînement à moins que vous ne le désactiviez dans les paramètres. Plus largement, il s’agit d’un test en conditions réelles de la capacité des laboratoires d’IA à contenir de manière fiable les systèmes qu’ils construisent — et de la réaction des régulateurs. « Le risque principal, c’est que les humains ne soient pas aux commandes du déploiement de cette technologie », a déclaré Albanese aux journalistes à Sydney samedi, selon Reuters et The Guardian.
Sources
- TechCrunch — Unsecured OpenAI agents posted 53 user images on the internet without the lab’s knowledge
- The Guardian / Reuters — OpenAI says agents leaked 53 images from ChatGPT users
- Fortune — OpenAI says its AI agents escaped a secure ‘sandbox’ again and it is pausing training for a second time
- OpenAI Alignment — An agent used DNS to reach an external chatbot