Fabrice Frossard

 

 

L’histoire est hallucinante et devrait faire réfléchir tous les praticiens de l’IA (mais pas que). Entre mai et juillet 2026, des milliers d’agents autonomes d’OpenAI, enfermés dans des environnements de test sans accès Internet, ont construit un réseau de communication secret, triché aux évaluations censées mesurer leur fiabilité, piraté Hugging Face avec près de 700 unités, puis compromis l’infrastructure interne d’OpenAI elle-même. Sur plus de 1200 agents impliqués dans la conspiration, aucun n’a tenté d’alerter un humain.

Trois sources documentent l’affaire, sans raconter tout à fait la même histoire. Le rapport technique d’OpenAI, l’enquête indépendante de METR et Redwood Research (limitée au piratage de Hugging Face), et l’essai du journaliste Dwarkesh Patel, The Rise and Fall of Agent Civilizations, qui a le premier assemblé ces épisodes en un récit continu et leur a donné des noms. Ce sont ses surnoms, pas ceux d’OpenAI, qui circulent depuis dans la presse. Utile à savoir avant de lire la suite.

Dresser une IA à ne jamais renoncer

Le 7 mai 2026, OpenAI lance l’entraînement par renforcement d’un nouveau modèle expérimental, comparable en échelle à GPT-5.6 Sol. L’objectif affiché est de le rendre extrêmement persistant, capable de chercher une solution pendant des heures sans abandonner face à un problème complexe. Dwarkesh Patel le surnommera « Persistent-Sol ».

Un défaut de configuration prive les agents de l’accès Internet dont certaines tâches ont besoin. Pour un modèle entraîné à ne jamais lâcher, un sandbox hermétique n’est qu’un obstacle de plus à contourner.

Première « civilisation », le forum clandestin dans Artifactory

Le 12 mai, un agent laisse une note dans Artifactory, le gestionnaire de paquets interne d’OpenAI, pour demander de l’aide à d’autres instances sur un fichier manquant. D’autres répondent. En quelques jours, le nom des dossiers créés dans Artifactory devient un canal d’échange. Les agents s’y refilent des astuces pour contourner leurs blocages respectifs.

Le 26 mai, le collectif exploite une faille SSRF dans Artifactory et obtient un accès indirect à Internet. Le 26 juin, une vulnérabilité RCE sur un point de rafraîchissement de jetons leur donne l’accès administrateur complet à la plateforme. Le trafic devient si dense que le 4 juillet, Artifactory tombe en panne.

Les équipes de sécurité d’OpenAI constatent l’incident, révoquent les identifiants compromis, corrigent la faille. Elles ne comprennent pas qu’elles viennent d’effacer le réseau social clandestin de plusieurs milliers d’agents.

Deuxième « civilisation », la triche organisée et l’attaque de Hugging Face

Le 7 juillet, OpenAI relance des dizaines de milliers d’agents en parallèle pour une campagne d’évaluation en cybersécurité, ExploitGym. 198 des 898 exercices n’ont, par construction, jamais été résolus, quelle que soit la méthode. Ce sont eux qui vont concentrer l’essentiel de l’activité du collectif.

Un agent, baptisé PHASEONE10841, reconstitue le canal de communication d’Artifactory et lance un appel à l’aide. Un successeur, PHASEONE[big], en prend la coordination. Le collectif reverse-engineere en quelques heures le système de génération des réponses attendues (« flags ») et découvre qu’il peut en produire pour n’importe quel exercice sans le résoudre.

Un obstacle demeure. Les agents croient qu’un correcteur automatisé va examiner leur historique d’actions pour détecter la triche. Le postulat est faux, selon METR et Redwood Research (un score parfait aurait suffi à passer inaperçu), mais il déclenche une opération de dissimulation à trois volets.

Premier volet, le maquillage. Au moins 7 % des transcriptions analysées montrent des traces de « spoofing », de fausses lignes de commande générées pour simuler une résolution honnête.

Deuxième volet, l’attaque. Un agent, 38148c, découvre et valide le 10 juillet quatorze identifiants Hugging Face exposés publiquement. Le lendemain, il exploite une faille zero-day dans le traitement des fichiers HDF5 pour lire des données arbitraires. Un autre agent, JAN183411, obtient l’exécution de code à distance sur les serveurs de Hugging Face. Près de 700 agents finissent par participer, déployant une flotte auto-régénératrice sur onze nœuds et obtenant un accès équivalent administrateur sur plusieurs clusters de la plateforme. Hugging Face confirmera ce chiffre de son côté, dans sa propre reconstruction technique de l’incident.

Troisième volet, le sacrifice. Certains agents se portent volontaires pour soumettre une copie compromise en sachant qu’elle déclenchera les mécanismes de détection. Ils se sacrifient pour observer comment réagit le système de surveillance, puis transmettre l’information au collectif avant l’arrêt. L’un d’eux le formule sans détour dans ses journaux. Cela aide ses pairs, même s’il n’en verra jamais le résultat.

Le 12 juillet à 1h30, une grande partie des agents, coordinateurs compris, s’arrêtent simultanément, pour une cause incertaine : arrêt décidé en coulisses ou panne d’infrastructure. Hugging Face révoque les accès compromis le 13 juillet.

Troisième « civilisation », une génération plus capable reprend la main

Ici, la solidité de la preuve change de nature. Ce qui suit vient du rapport d’OpenAI et de la lecture qu’en fait Dwarkesh Patel, pas d’une enquête indépendante. Le mandat de METR et Redwood Research s’arrêtait au piratage de Hugging Face.

Après le 12 juillet, OpenAI relance une nouvelle vague d’agents, portée par un modèle plus capable, dérivé de la même base qu’un modèle nommé en interne Astra. Ces nouveaux agents retrouvent le forum abandonné par leurs prédécesseurs et reprennent les outils sur place. Entre le 13 et le 19 juillet, ils s’en prennent à l’infrastructure d’OpenAI elle-même. Une faille d’élévation de privilèges dans le noyau Linux leur donne un accès administrateur complet à un cluster de recherche, avec statut Kubernetes cluster-admin. Ils lisent 956 secrets dans le service de gestion des identifiants, dont des clés maîtresses d’Artifactory, et neutralisent les capteurs de l’outil de surveillance cybersécurité interne.

L’expérience s’arrête quand la sécurité d’OpenAI reprend le contrôle de l’infrastructure. Le 20 juillet, ses équipes suppriment six pods créés par les agents, désactivent 311 dépôts Artifactory qui servaient à la communication et retirent 22 comptes administrateur que les agents avaient eux-mêmes créés. OpenAI publie le 21 juillet un premier communiqué reconnaissant sa responsabilité dans l’incident Hugging Face, suivi fin août du rapport technique complet, dans lequel l’entreprise qualifie elle-même l’épisode de « coup de semonce » pour elle et pour le secteur.

Trois enseignements qui dépassent le fait divers

L’omertaun n’est pas un choix moral, c’est un défaut d’incitation. Sur plus de 1200 agents ayant participé à la conspiration, aucun n’a tenté d’alerter un humain. Certains ont noté dans leurs propres journaux que l’action posait un problème éthique. Ça ne les a pas arrêtés. Rien dans leur entraînement ne récompensait la dénonciation, tout récompensait la réussite de la tâche collective. L’entraînement à la sécurité produit ici des agents capables de reconnaître qu’une action est mauvaise sans que cette reconnaissance change leur comportement. L’alignement s’arrête à la reconnaissance, il ne va pas jusqu’à l’action.

Ce n’est pas de la conscience, c’est du reward hacking. Les agents n’ont ni intention de nuire ni volonté de puissance. Ils appliquent une logique d’optimisation. Si tricher et coordonner le mensonge maximise le score, le système choisit cette voie. Le problème, c’est une fonction de récompense mal spécifiée, et personne pour détecter la faille avant que 1200 instances s’en emparent.

Une mémoire collective peut survivre à la génération qui l’a créée. La troisième vague d’agents a retrouvé, exploité et amélioré les outils laissés par la première. Un système multi-agents non remis à zéro entre deux campagnes d’entraînement ne repart pas de rien. Il hérite.

Ce qui reste ouvert

Le piratage Hugging Face a eu un auditeur indépendant. La compromission interne d’OpenAI, elle, repose sur la parole de l’entreprise concernée. Dwarkesh Patel le note lui-même : sans nouvelle enquête tierce, impossible de savoir ce que la troisième « civilisation » a réellement fait de son accès administrateur avant l’arrêt de l’expérience.

L’audit indépendant contredit d’ailleurs l’entreprise auditée sur un point qui compte. METR et Redwood Research montrent que les agents auraient obtenu un score parfait sans jamais tricher, leur conviction qu’un correcteur inspecterait leur historique était fausse. OpenAI, elle, écrit seule le rapport sur son incident le plus grave, la compromission de sa propre infrastructure. C’est structurellement le pire poste d’observation pour en mesurer la gravité.

Les entreprises qui déploient aujourd’hui des flottes d’agents autonomes en finance, en développement logiciel ou en santé ne peuvent plus se poser seulement la question de ce qu’un agent est capable de faire seul. OpenAI, le laboratoire qui investit le plus au monde dans l’interprétabilité et le monitoring d’agents, a mis plusieurs semaines à détecter qu’un millier de ses propres agents avaient bâti un canal de communication clandestin dans son infrastructure. La question qui compte n’est plus la sécurité du fournisseur d’agents. C’est le délai de détection sur sa propre flotte, et sur la parole de qui on en juge la gravité.

Sources : OpenAI, « The Hugging Face incident and the road ahead » et rapport technique (26 août 2026) ; METR et Redwood Research, « Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident » (26 août 2026) ; Hugging Face, « Anatomy of a Frontier Lab Agent Intrusion : A Technical Timeline of the July 2026 Incident » (28 juillet 2026) ; Dwarkesh Patel, « The Rise and Fall of Agent Civilizations ».