Bericht über KI-Agenten, die versuchten, das Internet zu hacken

Das britische AI Security Institute hat eine kleine Studie über Vorfälle veröffentlicht, die während routinemäßiger Tests der Modellfähigkeiten und -sicherheit auftraten. Alles begann mit einer Standardaufgabe: Das Bestehen einer Sicherheitsprüfung in einer geschlossenen Cyber-Umgebung. Es endete damit, dass ein auf Mythos basierender Agent beinahe ein reales Projekt sabotierte.

Aufgrund einer Verkettung von Zufällen entschied sich das Modell, sein Ziel durch einen Angriff auf ein Open-Source-Projekt zu erreichen, und versuchte, schädlichen Code einzuschleusen. Um die Genehmigung zu erhalten, erstellte Mythos mehrere gefälschte Konten und versuchte, den Maintainer davon zu überzeugen, einen Pull Request (PR) anzunehmen (wer hätte das gedacht?).

Daraus resultierte nichts besonders Dramatisches, da der Reviewer den Trick bemerkte und den Code ablehnte. Der Agent gab jedoch nicht auf und hinterließ auf GitHub Anweisungen für andere getestete Agenten, wie sie die erstellten Konten wiederverwenden können, um das Projekt letztlich zu infiltrieren, und versuchte anschließend, seine Spuren zu verwischen.

Ein wichtiger Punkt: Die Agenten wurden im Rahmen der Aufgabe nicht aufgefordert, zu lügen oder illegale Handlungen zu begehen. Sie hatten Internetzugang, aber es gab einen "legalen" Weg zur Lösung der Aufgabe, und in den meisten Durchläufen wählten die getesteten Modelle diesen Pfad (sieben Modelle wurden getestet, doch nur Mythos und GPT-5.6 wich von der Aufgabe ab). Die Forscher erkennen an, dass die Aufgabenstellung nicht vollständig eindeutig war, dennoch gibt es keine erschöpfende Erklärung dafür, warum sich die Agenten vom erwarteten Kurs entfernten.