OpenAI deckt groß angelegte Distillation-Kampagne gegen seine Modelle auf

#openai #model-distillation #ai-security #chain-of-thought

Kurz zusammengefasst30 Sek.

OpenAI hat eine koordinierte Kampagne zur Extraktion versteckter Schlussfolgerungen aus seinen Modellen entdeckt, bei der über 16.000 Anfragen von mehr als 4.000 Konten registriert wurden. Das Unternehmen hat daraufhin die Übertragung verschlüsselter Reasoning-Blöcke eingeschränkt und die Kontoüberprüfungen verschärft.

OpenAI deckt groß angelegte Distillation-Kampagne gegen seine Modelle auf

OpenAI gab bekannt, dass man eine koordinierte Kampagne zur Extraktion versteckter Schlussfolgerungen (Hidden Reasoning) aus seinen KI-Modellen entdeckt habe. Auf dem Höhepunkt der Aktivität wurden innerhalb von zwei Tagen mehr als 16.000 entsprechende Anfragen über das System geleitet, die von über 4.000 verschiedenen Konten stammten.

Das Unternehmen betonte ausdrücklich, dass die Verschlüsselung nicht gebrochen wurde: Die Angreifer bewegten lediglich verschlüsselte Chain-of-Thought-Blöcke (CoT) von einem Dialog in einen anderen und forderten das Modell auf, diese im Klartext zu reproduzieren.

Zuvor hatte Anthropic behauptet, Moonshot habe die Antworten des Kimi-Modells durch Claude-Antworten ersetzt. OpenAI hat nun seine eigenen Untersuchungsergebnisse veröffentlicht. Zwar beansprucht OpenAI nicht, dass Moonshot hinter der gesamten Kampagne stand, verknüpft jedoch den Hauptaktivitätscluster mit den Entwicklern von Kimi und beschreibt die Bemühungen als Versuch, seine Modelle zu destillieren (Distillation).

Im Anschluss an die Untersuchung schloss OpenAI die Möglichkeit, verschlüsselte Reasoning-Blöcke zwischen Benutzern und Workspaces zu übertragen, verschärfte die Kontoüberprüfung und implementierte spezifische Schutzmaßnahmen gegen die Ausgabe versteckter Schlussfolgerungen. Das Unternehmen teilte die Erkenntnisse zudem mit anderen KI-Labors und Behörden.

Weitere Details sind im Bericht von OpenAI verfügbar.

Warum das wichtig ist

Analyse

Dieser Fall verdeutlicht, wie die Architektur von KI-Modellen zum Leck für das Training konkurrierender Systeme werden kann, und setzt einen wichtigen Präzedenzfall dafür, wie KI-Labors auf Missbrauch durch Modelldistillation reagieren.