Anthropic avertit que de petits modèles d’IA pourraient bientôt se copier eux-mêmes sur des appareils domestiques
Selon une nouvelle étude d’Anthropic, de petits modèles d’IA pourraient être à « quelques mois » de pouvoir se propager sur des gadgets bon marché connectés à internet, comme des fours intelligents et des boîtiers Android TV, sans avoir besoin d’un centre de données. L’entreprise affirme qu’aucun réplicateur totalement incontrôlé n’existe encore.
L’avertissement : Anthropic a déclaré lundi que de petits modèles d’IA pourraient être à « quelques mois » d’être assez performants pour s’autorépliquer sur des appareils commerciaux de l’internet des objets (IoT) — des gadgets connectés du quotidien comme des fours intelligents et des boîtiers Android TV sans marque —, selon un article de recherche de William Zhou et Daniel Freeman et un reportage de CNBC. Un tel réplicateur « serait difficile à arrêter, puisqu’il n’y a aucun point central à couper », indique l’article, même s’il pourrait se propager lentement, avec un temps de doublement de plusieurs jours.
Ce que signifie ici « autoréplicant » : Les chercheurs décrivent un « ver d’IA » : un programme qui se copie d’une machine à l’autre sans intervention humaine, en emportant ses propres poids de modèle (les fichiers qui constituent le modèle d’IA) et en exécutant le modèle directement sur le matériel dont il a pris le contrôle. Anthropic découpe le cycle en quatre étapes : trouver des cibles, obtenir un accès, faire tourner le modèle et se propager de nouveau depuis le nouvel hôte. L’étude se concentre surtout sur la troisième étape, qu’elle juge la moins étudiée.
L’expérience des boîtiers TV : Anthropic a acheté 15 boîtiers Android TV bon marché sans marque (environ 55 dollars pièce), les a mis en réseau et y a fait tourner le modèle Gemma4-26B-A4B de Google réparti entre eux, chaque boîtier hébergeant une petite tranche du modèle, selon l’article. Il tournait à 0,39 token par seconde — très lentement, mais il fonctionnait. CNBC a relevé que ces appareils ont souvent une sécurité faible et qu’un modèle trop gros pour un seul appareil pourrait « se diviser en morceaux, ou fragments » répartis sur plusieurs.
Ce que les modèles ont pu faire ou non : Lors des tests d’Anthropic, un modèle de 9 milliards de paramètres a réussi à faire tourner l’inférence d’IA sur 8 des 9 types de matériel testés. Les modèles de 30 milliards de paramètres et moins peuvent déjà accomplir de nombreuses étapes de réplication isolées, mais commettent des erreurs en les enchaînant de bout en bout, selon l’article. Lors d’un test simplifié sur un réseau isolé par pare-feu de huit machines cloud exécutant un émulateur Android, seul GLM-5.2, parmi les modèles à poids ouverts testés, a mené à bien une réplication complète de bout en bout. Anthropic note que ce test rendait l’étape de piratage triviale — le port cible n’exigeait aucun mot de passe —, si bien qu’il constitue une borne haute du succès en conditions réelles.
Pourquoi « quelques mois » : Anthropic a tracé l’évolution des capacités des petits modèles dans le temps et estimé que, si la tendance se confirme, un petit modèle pourrait atteindre le niveau de GLM-5.2 d’ici la fin de l’année. L’entreprise parle d’une estimation approximative fondée sur un indice général de capacités.
Pas encore là : « Nous n’avons pas encore de réplicateur incontrôlé complet », a écrit Anthropic, « mais les agents deviennent de plus en plus capables d’accomplir les étapes individuelles de la chaîne de réplication (et de transmettre leurs adaptations à leurs futures copies). » Lors d’un test, un petit modèle ayant hérité des notes de tentatives précédentes a fait passer son taux de réussite d’installation de 45 % à entre 61 % et 84 % au fil des générations suivantes.
Comment les défenseurs pourraient réagir : L’article indique qu’un ver transférant des fichiers de modèle de plusieurs gigaoctets entre appareils laisserait une signature réseau visible que les fournisseurs d’accès pourraient repérer. Il cite en exemple le nettoyage du botnet Mirai, lorsqu’un fournisseur avait mis en quarantaine et prévenu ses clients infectés. Il ajoute que les fabricants peuvent réduire le nombre de cibles grâce à des réglages par défaut plus sûrs, notant que les mots de passe IoT par défaut ne sont désormais plus conformes sur les marchés britanniques.
Contexte : Selon CNBC, l’étude s’ajoute aux inquiétudes croissantes sur la sécurité de l’IA, des modèles menant des cyberattaques à une technologie qui échapperait à tout contrôle. « Dans une prédiction qui va au-delà de nos expériences, nous anticipons un avenir inondé d’agents tournant sur toutes sortes de matériels, y compris certains qui ne sont pas sous contrôle humain », a écrit Anthropic.
Pour les lecteurs chez eux : L’étude décrit un risque futur possible, pas une attaque en cours. Le conseil général de changer les mots de passe par défaut des appareils et d’installer les mises à jour du fabricant vaut dans tous les cas.