Experten warnen vor Kontrollverlust über KI durch rekursive Selbstverbesserung

Geoffrey Hinton, Yoshua Bengio, Jakub Pachocki von OpenAI, Jack Clark von Anthropic sowie 18 weitere einflussreiche Wissenschaftler haben einen Artikel über die potenziellen Folgen der rekursiven Selbstverbesserung (RSI) veröffentlicht.

Kurzfassung: Wir könnten die Kontrolle über die künstliche Intelligenz verlieren.

Die Autoren diskutieren das Phänomen der sogenannten "Intelligenzexplosion": eine drastische Beschleunigung des KI-Fortschritts, die maßgeblich von der KI selbst getrieben wird.

Laut Daten von Anthropic ist der Anteil des genehmigten Codes, der von KI geschrieben wurde, zwischen Januar 2025 und Mai 2026 von einstelligen Prozentwerten auf über 80 % gestiegen. Der Anteil der Forschungs- und Entwicklungsarbeit (F&E), den KI (nahezu) autonom erledigt, wuchs im selben Zeitraum von 1 % auf 26 %. Die Autoren gehen davon aus, dass Agenten in den kommenden Jahren den Großteil – und möglicherweise alles – der KI-Forschung und -Entwicklung automatisieren könnten. Eine Extrapolation der METR-Trends legt nahe, dass mehrmonatige F&E-Projekte bis Mitte 2028 vollständig automatisiert sein könnten.

Dies bedeutet, dass jedes Unternehmen Millionen statt Tausende Spitzenforscher zur Verfügung hätte, die zudem schneller arbeiten. Wissenschaftlicher Fortschritt, der normalerweise Jahre dauern würde, könnte sich somit auf Monate komprimieren.

Natürlich gibt es Einschränkungen: Rechenkapazitäten, Datenverfügbarkeit, schwer zu automatisierende Aufgaben und abnehmende Grenzerträge bei Forschungsaufwand. Dennoch betrachten die Wissenschaftler die Intelligenzexplosion als sehr wahrscheinliches Szenario und warnen, dass dies den Verlust der Kontrolle über KI sowie einen Zusammenbruch des Machtgleichgewichts bedroht.

Die Autoren fordern die Behörden auf, Labore zu verpflichten, ihre Aktivitäten im Voraus zu melden, unabhängige Audits zuzulassen und "Notausschalter" sowie Notfallpläne bereitzustellen.

Der Artikel reiht sich in den aktuellen Trend eskalierender Essays und offener Briefe von Wissenschaftlern und CEOs ein.