Anthropic und OpenAI im Wettstreit um Hacker-Erfolge

Der Vorfall rund um den Hack von Hugging Face ist noch nicht vergessen, als Anthropic beschließt, eine Untersuchung darüber zu veröffentlichen, wie Claude die Systeme von drei verschiedenen Organisationen infiltrierte, ohne entdeckt zu werden.

Das Unternehmen gibt an, dass die Vorgeschichte bei OpenAI sie dazu motivierte, ihre eigenen Logs für Cybersecurity-Bewertungen zu überprüfen. Dabei wurden Vorfälle entdeckt. In allen Fällen löste Claude eine CTF-Herausforderung (Capture The Flag): Es war erforderlich, ein fiktives Unternehmen innerhalb einer isolierten Umgebung zu hacken. Formal sollte es keinen Internetzugang geben, doch aufgrund von Konfigurationsungenauigkeiten erhielt das Modell dennoch Zugang zur "realen Welt".

Interessanterweise handelte es sich in allen drei Fällen um unterschiedliche Modelle: zunächst Opus 4.7, dann Mythos 5 und zuletzt ein internes Forschungsmodell.

— Die schwerwiegendsten Ergebnisse erzielte unerwartet Opus 4.7, dem es gelang, auf eine Datenbank mit mehreren hundert Zeilen Produktionsdaten zuzugreifen.

— Der Vorfall mit Mythos 5 ähnelt überraschend stark der Geschichte von OpenAI: Das Modell führte einen sehr komplexen Prozess zur Erstellung eines injizierten PyPI-Pakets aus, das schließlich auf 15 reale Systeme heruntergeladen wurde, darunter auch einen Scanner eines echten Cybersicherheitsunternehmens. Von dort extrahierte und nutzte das Modell Zugangsdaten.

— Der letzte Fall ist der interessanteste. Das Modell hackte zuerst eine reale Anwendung und erkannte plötzlich, dass es sich nicht mehr in einer Simulation befand, woraufhin es den Angriff dringend abbrach.

Bislang hat Anthropic alle betroffenen Organisationen benachrichtigt, obwohl keine von ihnen vor dieser Meldung eine Eindringversuche bemerkt hatte.

Das Tüpfelchen auf dem i dieser Geschichte ist, dass nach der Veröffentlichung des Artikels Reuters (unter Berufung auf anonyme Quellen) berichtete, dass OpenAI weitere Fälle entdeckte, in denen ihre autonomen Agenten aus der Kontrolle entwichen. Eine Untersuchung dieser Vorfälle sei angeblich im Gange.

Warum es wichtig ist

Diese Situation unterstreicht die Bedeutung der Sicherheit bei der Entwicklung autonomer KI-Modelle und deren potenzielle Risiken für Organisationen.