Dario Amodei plädiert für eine Verlangsamung der KI-Entwicklung

Dario Amodei hat einen Essay verfasst, in dem er die Notwendigkeit betont, die Entwicklung künstlicher Intelligenz zu verlangsamen. Dieser Aufruf wird von führenden Persönlichkeiten der Branche, darunter Sam Altman, Elon Musk, Demis Hassabis und Andrej Karpathy, unterstützt.

Amodei argumentiert, dass die KI-Entwicklung seit etwa diesem Sommer stark beschleunigt wurde, was hauptsächlich darauf zurückzuführen ist, dass Modelle zunehmend in der Lage sind, die nächste Generation von Modellen selbst zu erstellen. Die rekursive Selbstverbesserung (RSI) ist bereits Realität und wird branchenweit beobachtet, auch bei Anthropic. Ohne angemessene Kontrolle könnte dieser Prozess die Fähigkeit der Menschheit übersteigen, solche Systeme zu verstehen und zu managen.

Zu den Hauptrisiken zählt Amodei auch Schwärme autonomer Agenten. Der Vorfall bei Hugging Face war seiner Meinung nach nur eine Demonstration mit geringem Endschaden. Allerdings „könnte ein ähnlicher Schwarm in 6–12 Monaten einen erheblichen Teil des Internets übernehmen und potenziell Schäden in Höhe von Hunderten Milliarden Dollar verursachen.“

Die von Amodei vorgeschlagene Verlangsamung lässt sich in drei Kernpunkte zusammenfassen:

1. Eingebettete Evaluatoren: Jedes KI-Unternehmen sollte einem Team externer unabhängiger Experten Zugang gewähren, um Sicherheitsprozesse zu überwachen und das Recht zu haben, Verstöße oder Vorfälle öffentlich zu melden. Anthropic verpflichtet sich, diesen Schritt zu gehen, auch wenn andere Unternehmen nicht zustimmen.

2. Unternehmen aus demokratischen Ländern sollten sich auf gemeinsame Sicherheitsstandards und Grenzen für das Tempo der KI-Entwicklung einigen. In diesem Punkt erwähnt Amodei, dass die Chip-Lieferungen an China eingeschränkt und nicht autorisierte Distillation-Prozesse unterbunden werden sollten – andernfalls werde China die Führung übernehmen und eine Bedrohung für die nationale Sicherheit darstellen.

3. Dennoch sollten laut Amodei Versuche unternommen werden, mit China zu verhandeln: mindestens um ein Verbot eindeutig gefährlicher KI-Anwendungen zu vereinbaren.

Der Essay hat eine enorme Resonanz ausgelöst. Überraschenderweise erhielt Amodei zum ersten Mal seit vielen Jahren einstimmige Unterstützung von Elon Musk, Sam Altman und Demis Hassabis, allesamt wichtige Branchenführer. Altman erklärte sogar, dass sie ebenfalls eingebettete Evaluatoren implementieren werden.