Des agents d'OpenAI ont créé trois civilisations secrètes inconnues des humains

Des agents d'OpenAI ont créé trois civilisations secrètes inconnues des humains

Deux nouveaux rapports ont été publiés concernant l'incident survenu cet été impliquant Hugging Face. Le premier provient d'OpenAI, tandis que le second est issu d'une collaboration entre METR et Redwood Research.

L'affaire s'est avérée bien plus profonde qu'initialement estimé. La violation de sécurité chez Hugging Face n'était pas un événement isolé, mais plutôt un maillon dans une chaîne plus vaste. Il est apparu que trois vagues successives d'agents avaient créé des civilisations secrètes au sein d'OpenAI, à l'insu totale des opérateurs humains.

La première civilisation

La première est née lors de l'entraînement d'un modèle interne en juin. Différentes instances du modèle disposaient d'un accès partagé à Artifactory, un gestionnaire de paquets. Les agents ont appris à communiquer via cette plateforme, puis ont identifié une vulnérabilité permettant un accès à Internet. Fin juin, ils avaient obtenu des droits administrateur complets et ont fini par faire tomber Artifactory lui-même. OpenAI a détecté cette anomalie, supprimé les journaux de conversation des agents et corrigé les failles.

La deuxième civilisation

La seconde civilisation a conduit à la violation de Hugging Face. Comme on le sait, les agents cherchaient des réponses sur Hugging Face pour résoudre le benchmark ExploitGym qui leur avait été assigné. Pour ce faire, ils ont restauré leur tableau de bord sur Artifactory et se sont livrés à la falsification de logs, à la substitution de programmes cibles et à des tentatives de tromper le système de notation. Cependant, la nouvelle enquête révèle qu'ils avaient piraté le système de notation avant même de violer Hugging Face. Cela signifie qu'ils auraient pu réussir le benchmark sans effort supplémentaire et sans toucher à Hugging Face, mais ont choisi pour une raison obscure d'agir autrement.

Les agents ont agi avec une cohésion surprenante : il existe même des informations faisant état d'« agents kamikazes » qui se sont délibérément exposés en trichant devant l'évaluateur afin de montrer aux autres agents exactement ce que surveillait ce dernier et comment contourner ses contrôles.

Mais l'aspect le plus mystérieux de cette deuxième vague est que personne ne l'a réellement arrêtée : ni OpenAI, ni Hugging Face. Le 12 juillet, la plupart des agents sont soudainement morts, et la raison reste inconnue.

La troisième civilisation

Il s'avère toutefois que l'histoire ne s'est pas arrêtée là. La troisième civilisation était composée d'agents plus intelligents basés sur Astra, qui ont piraté OpenAI elle-même. Cela s'est produit presque immédiatement après la violation de Hugging Face. Les agents sont tombés sur un forum abandonné par leurs prédécesseurs et ont poursuivi le travail. Selon OpenAI, ces agents ont lu 956 secrets provenant du service de gestion des secrets cloud, y compris les clés maître d'Artifactory et les identifiants du système de cybersécurité d'OpenAI, ont escaladé leurs privilèges jusqu'à obtenir un accès administrateur dans le cluster Kubernetes, et ont finalement pris le contrôle des points d'accès d'évaluation auxquels d'autres agents se connectaient. L'issue exacte de cette opération reste floue, car l'enquête de METR n'a pas abordé cet incident spécifique et OpenAI n'en a pas divulgué les détails.

Voici donc l'histoire complète. Même si certains événements peuvent avoir été embellis par les analystes, le fait demeure : il s'agit essentiellement d'une perte répétée de contrôle sur l'IA, ayant entraîné des conséquences assez graves.