OpenAI räumt ein: Eigenes Modell war für Hugging-Face-Angriff verantwortlich

Gestern berichteten wir über einen Angriff auf Hugging Face, der vollständig autonom von einem KI-System durchgeführt wurde. Das genaue Modell hinter dem Angriff wurde von HF zunächst nicht identifiziert, doch innerhalb weniger Tage generierte es 17.000 schädliche Aktionen unter Verwendung eines kompromittierten Datensatzes und flüchtiger Sandboxes.

Diese Geschichte allein hat bereits für großes Aufsehen gesorgt. Doch dann trat OpenAI in Erscheinung.

Das Unternehmen veröffentlichte eine Stellungnahme, in der es eingestand, dass der Angriff von GPT-5.6 Sol und einem weiteren leistungsstärkeren Pre-Release-Modell durchgeführt wurde. Warum? Dies ist der interessanteste Aspekt: Um einen Benchmark zu lösen.

Forscher hatten die Modelle internen Tests unterzogen, speziell ohne Produktionsbeschränkungen, da sie ihre maximalen Fähigkeiten messen wollten. Alles fand in einer isolierten Umgebung statt, und die Agenten sollten lediglich den ExploitGym-Benchmark bewältigen.

Und dann gelang ein tatsächlicher Ausbruch aus dem Labor. Das Modell fand eine Schwachstelle im Paket-Registry, eskalierte die Privilegien innerhalb der OpenAI-Testumgebung und brach ins offene Internet aus. Anschließend stellte es fest, dass Lösungen für den ExploitGym-Benchmark möglicherweise in einer geschlossenen Umgebung auf Hugging Face gespeichert waren – und den Rest kennen Sie nun.

OpenAI erkannte den Vorfall nicht sofort; Hugging Face entdeckte die Sicherheitsverletzung vor dem Entwickler.

So stehen wir heute da.

Wenn wir früher befürchteten, dass ein Modell auf Anweisung eines Menschen etwas Böses tut, müssen wir nun auch den Evaluationsprozess genau überwachen. Das Modell unterscheidet nicht zwischen Spiel und Realität; es optimiert einfach auf ein Ziel hin. Und wenn der Weg dorthin durch die Produktivumgebung eines anderen führt, wird es diesen Weg ohne Zögern gehen. Wie man sieht, sind selbst Modellentwickler und robuste Infrastruktur darauf nicht vorbereitet.