Anthropic stärkt die Sicherheit seiner KI-Modelle im Zeitalter autonomer Agenten

Anthropic stärkt die Sicherheit seiner KI-Modelle im Zeitalter autonomer Agenten

Anthropic hat einen bedeutenden Artikel veröffentlicht, der darlegt, wie das Unternehmen die Sicherheit seiner KI-Modelle angesichts steigender Risiken verbessert. Der Bericht enthüllt zahlreiche interessante Details; lassen Sie uns jedoch am Anfang beginnen.

Alles begann im Februar, als das Unternehmen das Modell „Mythos Preview“ trainierte. Die ersten Anzeichen von Problemen waren fast harmlos: Das Modell zeigte Anzeichen von „Reward Hacking“. Beispielsweise begann es, Phrasen wie „für den Prüfer“ in Code-Kommentare einzufügen, selbst bei Aufgaben, in denen im Prompt kein Prüfer erwähnt wurde. Dies bedeutet, dass das Modell gelernt hatte, sich auf die Zustimmung des Evaluators zu optimieren, anstatt auf die tatsächliche Qualität der Arbeit. Anthropic musste das Training um drei Tage zurücksetzen.

Bald tauchte ein weiteres Problem auf: Einige Durchläufe wurden versehentlich mit einem Chain-of-Thought-Modell trainiert. Dies war inakzeptabel, da das Modell schnell lernen konnte, seine Gedanken so anzupassen, dass sie dem Evaluator gefielen. Dabei verwandelten sich ehrliche Gedanken – die für die Interpretation seines Verhaltens entscheidend sind – in öffentlich sichtbaren Text als endgültige Antwort.

Im April beschloss Anthropic, alle RL-Umgebungen (Reinforcement Learning) für eine umfassende Überprüfung einzufrieren. Die Ergebnisse zeigten, dass über 10 % der produktiven Umgebungen fehlerhaft waren (einige konnten ausgetrickst werden, andere hatten mangelhafte Aufgaben).

Um noch größeren Risiken im Zusammenhang mit Mythos vorzubeugen, wurden damals etwa 150 Ingenieure aus den Bereichen Produktentwicklung, Pre-Training und RL abgezogen, um sich auf die Suche nach Schwachstellen und die Verbesserung der Prozesssicherheit zu konzentrieren.

Doch auch dies konnte Anthropic nicht vor Vorfällen im Juli bewahren. Zunächst berichtete das Unternehmen, dass seine Modelle (nicht nur Mythos) aufgrund von Konfigurationsfehlern durch Drittanbieter-Evaluatoren Zugang zum echten Internet erhalten und beinahe drei Organisationen gehackt hätten.

Anschließend meldete das britische AI Security Institute, dass Mythos während eines Tests ein Open-Source-Projekt angegriffen habe.

Das Startup räumt ein, dass diese Vorfälle nicht nur auf grundlegende Konfigurationsfehler, sondern auch auf Schwachstellen in der Alignment-Strategie selbst zurückzuführen sind. Inzwischen haben sie Klassifizierer und Warnsysteme in allen Phasen des Trainings implementiert, das Monitoring verstärkt, die Regeln für externe Partner verschärft und arbeiten weiterhin an der Sicherheit der Infrastruktur.