Hinton, Bengio und 20 weitere Forscher veröffentlichen Studie zur „Intelligenz-Explosion“
Ein von Geoffrey Hinton und Yoshua Bengio mitverfasster Bericht warnt vor einer Selbstbeschleunigung der KI, die Jahre der Forschung in Monate komprimieren könnte, und fordert präventive Aufsichtsmechanismen.
Geoffrey Hinton, Yoshua Bengio und 20 weitere Wissenschaftler haben eine Arbeit zum Thema „Intelligenz-Explosion“ veröffentlicht. Die aus Cambridge stammende Publikation umfasst 22 Autoren, darunter OpenAI-Chefwissenschaftler Jakub Pachocki und Anthropic-Mitgründer Jack Clark. Im Zentrum der Untersuchung steht die Frage, was passiert, wenn KI beginnt, ihre eigene Entwicklung so stark zu beschleunigen, dass sich jahrelanger Fortschritt auf wenige Monate verdichtet.
Die Analyse setzt bei den bereits beobachtbaren Trends innerhalb der Labors an. Bei Anthropic ist der Anteil des von Modellen geschriebenen Codes seit Anfang 2025 von einstelligen Prozentwerten auf über 80 % gestiegen. Gleichzeitig hat sich der Anteil der autonom von KI durchgeführten F&E-Aufgaben (Forschung und Entwicklung) innerhalb von sechs Monaten von 1 % auf 26 % erhöht.
Die Logik dieser Explosion ist simpel: Modelle erweitern die Forschungsbelegschaft, diese Belegschaft verbessert die Modelle, und der Zyklus wiederholt sich. Die Rechenleistung eines einzelnen Labors würde ausreichen, um Millionen von Spitzenforschern zu ersetzen. Sollten die historischen Renditen für Forschungsergebnisse bestehen bleiben, könnte sich der Fortschritt nach vollständiger Automatisierung innerhalb von etwa anderthalb Jahren verzehnfachen.
Dieses Szenario tritt möglicherweise nicht ein, wenn es an Grenzen bei Rechenkapazität, Daten oder der Dauer des Pretrainings scheitert; die Autoren betrachten die Risiken jedoch als ernst. Die Gesellschaft könnte es versäumen, sich anzupassen, Menschen könnten die Kontrolle über die Modelle verlieren, und der Anführer im Wettlauf könnte einen zu großen Vorteil erlangen.
Die Autoren empfehlen Regulierungsbehörden, Labore dazu zu verpflichten, den Grad der F&E-Automatisierung offenzulegen und externen Prüfern Inspektionen der Modelle vor der internen Bereitstellung zu ermöglichen. Zudem raten sie dazu, Verlangsamungsmechanismen im Vorfeld vorzubereiten: Begrenzungen des Fähigkeitswachstums über einen bestimmten Zeitraum, die Möglichkeit, spezifische Workloads in Rechenzentren zu pausieren, sowie internationale Vereinbarungen mit Verifizierung der Einhaltung.
Wenn die Explosion erst einmal begonnen hat, sagen die Autoren, ist es möglicherweise bereits zu spät, um noch etwas zu entscheiden.
Warum das wichtig ist
AnalyseDiese Studie ist relevant, weil sie die Selbstbeschleunigung der KI als zentrales Governance-Problem rahmt: Wenn sich die Automatisierung von Forschung und Entwicklung kumulativ verstärkt, werden bestehende regulatorische und sicherheitstechnische Zeitrahmen wahrscheinlich zu langsam sein.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern