Wie eine Formel aus dem Jahr 1847 ChatGPT trainiert: Cauchys Gradientenabstieg

Die Formel, die KI das Schreiben lehrte

ChatGPT und andere moderne Sprachmodelle werden mit einem Algorithmus trainiert, der bereits 1847 entstand. Es ist der Gradientenabstieg:

w ← w − η∇L

Ohne ihn gäbe es kein modernes neuronales Netz. Die Methode wurde nicht von OpenAI oder Google erfunden, sondern in Frankreich vor fast 180 Jahren, als der Mathematiker Augustin-Louis Cauchy nach einem schnelleren Weg suchte, die Bewegung von Himmelskörpern zu berechnen.

Stellen Sie sich vor, Sie stehen auf einem Berg, der von dichtem Nebel umhüllt ist. Sie können das Tal nicht sehen, aber Sie spüren die Neigung unter den Füßen. Sie machen einen Schritt in Richtung des steilsten Abstiegs, bestimmen die Neigung erneut und gehen den nächsten Schritt. So steigen Sie Schritt für Schritt ins Tal ab.

Ein neuronales Netz funktioniert nach dem gleichen Prinzip:

• Der Berg steht für die Fehler des Modells, also die Verlustfunktion.
• Das Tal ist der Bereich, in dem die Fehler minimal sind und die Antworten am genauesten sind.
• Jeder Schritt ist eine Aktualisierung der Modellparameter.
• Die Neigung ist der Gradient, also die Richtung, in der der Fehler am schnellsten wächst.

Der Unterschied: Dieser Berg hat nicht drei Dimensionen, sondern Milliarden von Parametern. Deshalb erfordert das Training moderner KI enorme Rechenleistung und eine sorgfältige mathematische Umsetzung.

Cauchy berechnete Planetenbahnen, während seine Formel zur Grundlage für Maschinen wurde, die Texte schreiben, Fragen beantworten und Bilder erzeugen.