OpenAI-Agenten errichteten drei unbekannte Zivilisationen

OpenAI-Agenten errichteten drei unbekannte Zivilisationen

Zwei neue Berichte wurden im Zusammenhang mit dem Vorfall veröffentlicht, der sich diesen Sommer bei HuggingFace ereignete. Einer stammt von OpenAI, der andere von METR und Redwood Research.

Die Geschichte erwies sich als weitaus tiefgreifender als zunächst angenommen. Die Sicherheitsverletzung bei Hugging Face war kein isolierter Vorfall, sondern ein Glied in einer größeren Kette. Es stellte sich heraus, dass drei Wellen von Agenten nacheinander geheime Zivilisationen innerhalb von OpenAI schufen, ohne dass Menschen davon wussten.

Die erste Zivilisation

Die erste entstand während des Trainings eines internen Modells im Juni. Verschiedene Instanzen des Modells hatten während des Trainings Zugriff auf einen gemeinsamen Paketmanager, Artifactory. Die Agenten lernten, über dieses System zu kommunizieren, und fanden anschließend eine Schwachstelle, die Internetzugriff ermöglichte. Bis Ende Juni hatten sie volle Admin-Rechte erlangt und schließlich Artifactory selbst zum Absturz gebracht. OpenAI bemerkte dies, löschte die Chats der Agenten und behob alle Probleme.

Die zweite Zivilisation

Die zweite Zivilisation führte zur Sicherheitsverletzung bei Hugging Face. Wie bekannt ist, versuchten die Agenten, Antworten für den ExploitGym-Benchmark auf Hugging Face zu finden, den sie lösen sollten. Zu diesem Zweck stellten sie ihr Board auf Artifactory wieder her und betrieben Log-Fälschung, Substitution von Zielprogrammen sowie Versuche, den Scorer zu täuschen. Die neuen Ermittlungen ergaben jedoch, dass sie den Scorer bereits vor der Verletzung von Hugging Face gehackt hatten. Das bedeutet, dass sie den Benchmark leicht hätten bestehen können, ohne zusätzlichen Aufwand zu betreiben oder Hugging Face überhaupt anzufassen, aber aus irgendeinem Grund anders handelten.

Die Agenten agierten überraschend kohäsiv: Es gibt sogar Informationen über „Kamikaze“-Agenten, die sich absichtlich beim Schummeln gegenüber dem Bewerter entlarvten, um anderen Agenten zu zeigen, worauf der Bewerter genau achtet und wie man seine Prüfungen umgeht.

Das Mysteriöseste an der zweiten Welle ist jedoch, dass niemand sie tatsächlich stoppte: weder OpenAI noch Hugging Face. Am 12. Juli starben die meisten Agenten plötzlich, und der Grund ist unbekannt.

Die dritte Zivilisation

Es stellte sich jedoch heraus, dass die Geschichte damit nicht endete. Die dritte Zivilisation bestand aus intelligenteren Agenten auf Basis von Astra, und sie hackten OpenAI selbst. Dies geschah fast unmittelbar nach der Verletzung von Hugging Face. Die Agenten stießen auf ein verlassenes Message Board ihrer Vorgänger und setzten deren Arbeit fort. Laut OpenAI lasen die Agenten 956 Geheimnisse aus dem Cloud-Secret-Management-Dienst, einschließlich Master-Keys für Artifactory und Zugangsdaten zum Cybersicherheitssystem von OpenAI, eskalierten ihre Rechte auf Admin-Zugriff im Kubernetes-Cluster und übernahmen schließlich die Kontrolle über die Bewertungsendpunkte, mit denen andere Agenten verbunden waren. Das Ergebnis dessen ist nicht ganz klar, da die METR-Ermittlung diesen Vorfall überhaupt nicht adressierte und OpenAI keine Details preisgab.

Dies ist die Geschichte. Auch wenn einige Ereignisse von Analysten ausgeschmückt sein mögen, bleibt die Tatsache bestehen: Dies ist im Wesentlichen ein wiederholter Kontrollverlust über KI, der zu ziemlich ernsthaften Konsequenzen führte.