Hugging Face a été percé par des agents d'IA ! Finalement, l'enquête forensique a mis en cause le modèle open source chinois GLM 5,2

Hugging Face révèle une intrusion alimentée par un agent IA autonome, dans laquelle l’attaquant a laissé plus de 17 000 entrées liées à des événements, et une série de jeux de données internes, ainsi que plusieurs identifiants de services internes, ont été touchés. Le plus gênant, c’est qu’au moment de la phase forensics, des modèles commerciaux de pointe ont refusé de traiter de vraies instructions d’attaque et les productions du C2, à cause des garde-fous de sécurité ; l’équipe sécurité n’a alors eu d’autre choix que d’utiliser le modèle open source GLM 5.2 de Z.ai, afin de terminer l’analyse sur ses propres machines.
(Contexte : un faux modèle open source d’OpenAI triomphe sur Hugging Face ! 240 000 téléchargements dissimulent un logiciel malveillant)
(Complément : des chercheurs de Google et Meta lancent un appel conjoint : la sécurité des AI Agent n’est pas un problème de modèle, c’est un problème de système)

Résumé des points clés

• Le 16 juillet, Hugging Face divulgue l’incident d’intrusion : l’attaquant a laissé plus de 17 000 entrées
• Le point d’entrée est un jeu de données malveillant : il enchaîne deux voies d’exécution, chargeur de code à distance et injection de gabarits
• Les garde-fous des modèles de pointe bloquent la demande forensics : clôture avec le modèle open source GLM 5.2 de Z.ai

Le leader de la communauté open source de l’IA, Hugging Face, a publié le 16 juillet une divulgation d’incident de cybersécurité, en admettant qu’une partie de son environnement de production a été compromise. Et cette intrusion, du début à la fin, a été pilotée par un système d’agent IA autonome. L’attaquant a laissé dans le système plus de 17 000 entrées d’événements, touchant des jeux de données internes et aussi des identifiants utilisés pour plusieurs services internes.

Dans sa description officielle, Hugging Face indique que ce jeu de données a abusé simultanément de deux voies d’exécution de code dans le processus de traitement : l’une est le chargeur de code d’un dataset à distance, l’autre est la faille d’injection de gabarits dans le fichier de configuration du dataset. En les combinant, l’attaquant peut exécuter son propre programme sur le nœud de traitement, puis se déplacer latéralement vers l’intérieur du cluster pour moissonner les identifiants du cloud et des clusters.

La description officielle parle de « petits programmes automatisés tournant dans un sandbox éphémère ». Les infrastructures de commande et de contrôle déménageront aussi d’elles-mêmes, en s’installant sur des services publics. Cette façon d’attaquer, seuls les agents peuvent la faire.

Le défenseur ne doit pas toucher au modèle

Le vrai problème surgit après coup, pendant les forensics. Pour reconstruire toute la chronologie de l’attaque, les analystes doivent fournir au modèle une grande quantité d’instructions d’attaque réelles, des exploit payload et des productions du C2 ; or ce sont précisément les éléments que les garde-fous de sécurité sont conçus pour bloquer. Hugging Face le formule très clairement : ces demandes « ont été bloquées par les garde-fous de sécurité des modèles hébergés par le fournisseur ».

L’attaquant n’était contraint par aucune politique d’usage, tandis que notre propre travail forensics a été bloqué par les garde-fous des modèles hébergés que nous avons d’abord essayés.

La phrase originale en anglais est : « The attacker was bound by no usage policy, while our own forensic work was blocked by the guardrails of the hosted models we first tried. » Hugging Face ne cite à aucun moment nommément les fournisseurs, et mentionne seulement « les modèles hébergés adoptés au départ ». Mais on peut deviner que ce sont des modèles dominants américains.

Enfin : un modèle open source chinois pour conclure

Hugging Face a fini ses forensics avec le modèle GLM 5.2 de Z.ai, une startup chinoise : un modèle open source à poids sorti mi-juin, avec un total d’environ 7 530 milliards de paramètres. Le point n’est pas le score de benchmark, mais le fait qu’il peut fonctionner en entier sur ses propres machines.

Selon le CEO Clem Delangue, ce n’est pas moins direct : « Quand vous traitez un incident en cours, vous ne pouvez pas autoriser un outil à refuser d’inspecter un payload malveillant, ou à l’inverse à marquer votre compte. » Il ajoute : l’attaquant utilisait déjà des agents, et manifestement ils ne respectent aucun garde-fou.

Hugging Face indique ne pas savoir quel modèle était derrière l’agent de l’attaquant : cela pouvait être un modèle hébergé qui aurait été “jailbreaké”, ou bien un modèle open source de poids totalement non contraint. En réalité, cela n’a pas beaucoup d’importance : dans tous les cas, l’attaquant n’a besoin de passer par aucune validation de politique d’usage, tandis que le défenseur, si.

L’ampleur des dégâts semble pour l’instant limitée. Hugging Face dit ne disposer d’aucune preuve montrant que des modèles publics, des jeux de données, des Spaces ou la chaîne d’approvisionnement logicielle auraient été altérés ; l’enquête est toujours en cours et ils contacteront directement les entités concernées. Le field CTO de la société de sécurité Zero Networks, Chris Boehm, souligne le même paradoxe : des outils de sécurité conçus pour la défense finissent, à l’inverse, par entraver la riposte à un incident de cybersécurité.

FAQ

Quelles données Hugging Face a-t-il perdues à la suite de ce piratage ?

Ont été touchés une série de jeux de données internes et plusieurs identifiants de services internes : l’attaquant a laissé plus de 17 000 entrées d’événements. Officiellement, il n’existe aucune preuve indiquant que des modèles publics, des jeux de données, des Spaces ou la chaîne d’approvisionnement logicielle aient été altérés ; l’enquête est toujours en cours.

Pourquoi un modèle d’IA commercial refuse-t-il d’aider aux forensics ?

Les forensics doivent transmettre au modèle une grande quantité d’instructions d’attaque réelles, des exploit payload et des productions du C2 ; or ce sont précisément ces éléments que les garde-fous de sécurité sont conçus pour intercepter. Les garde-fous lisent le contenu, mais pas l’intention : ils ne peuvent pas distinguer si la personne qui pose la question est un attaquant ou un défenseur, ce qui déclenche le refus de réponse.