Skalierungsgesetze für KI (Scaling Laws)
Ein von OpenAI und Google formuliertes empirisches Gesetz (von Jared Kaplan im Jahr 2020 definiert), das besagt, dass die Leistung eines Sprachmodells vorhersagbar gemäß einem Potenzgesetz steigt, wenn drei Faktoren erhöht werden: die Anzahl der Modellparameter, die Menge der Trainingsdaten und die aufgewendete Rechenleistung (Compute).
1. Überblick über das Konzept und den Zweck
Im Jahr 2020 veröffentlichte der Forscher Jared Kaplan zusammen mit dem Team von OpenAI eine Entdeckung, die die technologische Geschichte der Welt für immer veränderte.
Sie stellten fest, dass künstliche Intelligenz extrem klaren mathematischen Gesetzen folgt, ähnlich wie die Gravitationsgesetze in der Physik:
- Wenn Sie ein Modell um das Zehnfache vergrößern und ihm zehnmal mehr Daten zuführen, sinkt sein Fehler streng nach einer mathematischen Formel.
- Es gibt keine Zufälle oder „Magie“: Mehr Hardware + mehr Daten = garantiert intelligenterer KI.
Dieses Gesetz erhielt den Namen Scaling Laws (Skalierungsgesetze). Genau deshalb begannen Microsoft, Google, Meta und Amazon damit, gigantische Rechenzentren im Wert von hunderten Milliarden Dollar zu bauen.
Aus praktischer Sicht ist dies die Antwort auf die Frage: Warum ist ein neues Modell immer intelligenter als das alte.
2. Die drei Säulen der Skalierung
┌─────────────────────────────────────────────────────────────┐
│ РІВНЯННЯ СКАЙЛІНГУ ДЖАРЕДА КАПЛАНА │
├─────────────────────────────────────────────────────────────┤
│ ПОМИЛКА МОДЕЛІ ЗМЕНШУЄТЬСЯ СТЕПЕНЕВО ВІД: │
│ │
│ 1. [ N ] Кількість параметрів (мозок моделі) │
│ 7B ➔ 70B ➔ 400B параметрів │
│ │
│ 2. [ D ] Обсяг даних для читання │
│ 1 трильйон ➔ 15 трильйонів токенів │
│ │
│ 3. [ C ] Кількість обчислень (відеокарти Nvidia) │
│ 1 000 GPU ➔ 100 000 суперчипів │
│ │
│ 📉 Результат: Пряма лінія зростання інтелекту на графіку! │
└─────────────────────────────────────────────────────────────┘
3. Eine neue Ära: Skalierung während des Inferenzprozesses (Inference Scaling)
Als das offene Internet erschöpft war, entdeckten die Labore einen zweiten Atemzug der Skalierungsgesetze: Test-Time Scaling (Skalierung der Inferenzzeit):
- Wenn man dem Modell erlaubt, vor der Antwort nicht nur 1 Sekunde, sondern 30 Sekunden lang zu „denken“ (indem es versteckte Prüfketten generiert), steigt seine Fähigkeit, komplexe Aufgaben aus Mathematik und Programmierung zu lösen, ebenso vorhersehbar!
4. Praktische Schlussfolgerung
Solange die Skalierungsgesetze gelten, werden die Fähigkeiten der künstlichen Intelligenz weiterhin jährlich rasant wachsen. Was heute wie unerreichbare Science-Fiction erscheint, wird nach ein bis zwei Generationen der Skalierung zur alltäglichen Funktion auf Ihrem Smartphone.
FAQ: Skalierungsgesetze für KI (Scaling Laws)
Verwandte Begriffe
Pre-Training
Die initiale Phase der Entwicklung eines Basismodells (Foundation Model). Dabei wird ein neuronales Netz über Monate hinweg auf Clustern mit Tausenden von Grafikkarten an Billionen von Wörtern aus dem Internet, Büchern und Code trainiert – ein Prozess, der Kosten in Höhe von Hunderten Millionen Dollar verursacht.
Allgemeine Künstliche Intelligenz (AGI)
Allgemeine Künstliche Intelligenz (Artificial General Intelligence) ist ein hypothetisches autonomes System, das in der Lage ist, jede intellektuelle Aufgabe auf dem Niveau eines Menschen zu verstehen, zu erlernen und auszuführen oder diese in den meisten wirtschaftlich wertvollen Arbeitsbereichen zu übertreffen.
Anzahl der Modellparameter (7B, 14B, 70B)
Bezeichnung für die Gesamtanzahl der Trainingsparameter (Gewichte) in einem großen Sprachmodell, wobei der Buchstabe 'B' Milliarden (Billion) bedeutet. Dies ist ein Hauptindikator für die intellektuelle Kapazität des Modells, seine Verarbeitungsgeschwindigkeit und die Anforderungen an den Computerspeicher.