Pre-Training
Die initiale Phase der Entwicklung eines Basismodells (Foundation Model). Dabei wird ein neuronales Netz über Monate hinweg auf Clustern mit Tausenden von Grafikkarten an Billionen von Wörtern aus dem Internet, Büchern und Code trainiert – ein Prozess, der Kosten in Höhe von Hunderten Millionen Dollar verursacht.
1. Überblick über das Konzept und den Zweck
Wenn ein neues neuronales Netz gerade erst als Code auf dem Papier existiert, ist sein „Gehirn“ völlig leer. Alle seine Milliarden von numerischen Gewichten sind mit zufälligem Rauschen gefüllt. Es unterscheidet nicht einmal den Buchstaben „A“ von einem Punkt.
Pre-training ist die Phase, in der eine leere Matrix in eine universelle Wissensbasis der Menschheit verwandelt wird:
- Ihr werden Hunderte von Milliarden Sätzen gezeigt.
- Sie versucht, jedes nächste Wort vorherzusagen.
- Wenn sie sich irrt, justiert die Mathematik ihre Parameter leicht nach (Backpropagation).
- Nach drei Monaten kontinuierlicher Berechnungen auf Tausenden von GPUs hat das Modell Grammatik, Faktenwissen über die Welt, Logik und Dutzende von Sprachen perfekt verinnerlicht.
Das Hauptprinzip für Entwickler: Eine Universitätsbildung für KI: Das Lesen aller Bücher einer Bibliothek über Jahre hinweg, ohne Schlaf oder Pause.
2. Der Maßstab des industriellen Pre-training
┌─────────────────────────────────────────────────────────────┐
│ ФАБРИКА ПОПЕРЕДНЬОГО НАВЧАННЯ │
├─────────────────────────────────────────────────────────────┤
│ 📚 ВХІДНІ ДАНІ: │
│ 15 трильйонів токенів (весь якісний інтернет людства) │
├─────────────────────────────────────────────────────────────┤
│ ⚡ АПАРАТНА ПОТУЖНІСТЬ: │
│ Кластер із 16 000 – 100 000 чипів Nvidia H100 │
├─────────────────────────────────────────────────────────────┤
│ ⏳ ЧАС І ВАРТІСТЬ: │
│ 90 – 120 днів безперервної роботи, $100,000,000+ витрат │
├─────────────────────────────────────────────────────────────┤
│ 🎯 РЕЗУЛЬТАТ: БАЗОВА МОДЕЛЬ (Base Model) │
│ «Сирий геній», що знає все, але потребує виховання │
└─────────────────────────────────────────────────────────────┘
3. Warum Basismodelle selten direkt an Endnutzer ausgegeben werden
Wenn Sie ein „rohes“ Basismodell öffnen (z. B. Llama-3-Base statt Llama-3-Instruct) und ihm Folgendes schreiben:
- „Hallo, hilf mir, einen Brief an meine Mutter zu schreiben.“
Kann es antworten:
- „...und an meinen Vater, und an meine Großmutter, und schicke ihn per Post an die Adresse Hauptstraße 12. Abschnitt 2: Wie man richtig Briefe schreibt...“
Es vervollständigt einfach nur eine Internetseite! Um dieses massive Wissensarray in einen dienlichen Assistenten zu verwandeln, sind die nächsten Schritte erforderlich: Fine-tuning und RLHF.
4. Praktische Schlussfolgerung
Da Pre-training nur von riesigen Konzernen (Google, Meta, Microsoft/OpenAI) oder wohlhabenden Venture-Startups durchgeführt werden kann, nutzt die gesamte Welt deren Früchte: entweder über kostenpflichtige APIs oder durch das Herunterladen offener Basisgewichte (Open Weights).
FAQ: Pre-Training
Verwandte Begriffe
Skalierungsgesetze für KI (Scaling Laws)
Ein von OpenAI und Google formuliertes empirisches Gesetz (von Jared Kaplan im Jahr 2020 definiert), das besagt, dass die Leistung eines Sprachmodells vorhersagbar gemäß einem Potenzgesetz steigt, wenn drei Faktoren erhöht werden: die Anzahl der Modellparameter, die Menge der Trainingsdaten und die aufgewendete Rechenleistung (Compute).
Fine-Tuning
Der Prozess der Anpassung eines bereits trainierten großen Modells an eine spezifische Aufgabe oder einen bestimmten Stil mithilfe eines kleinen, hochwertigen Datensatzes (Supervised Fine-Tuning, SFT). Ermöglicht das Training von KI-Modellen auf medizinische Terminologie, unternehmensspezifischen Tonfall oder die Formatierung von speziellem Code innerhalb weniger Stunden.
Reinforcement Learning from Human Feedback (RLHF)
Eine Trainingsmethode (Reinforcement Learning from Human Feedback), die menschliche Vergleichsbewertungen nutzt, um ein Belohnungsmodell (Reward Model) zu trainieren. Dank RLHF haben Sprachmodelle gelernt, hilfreich, ehrlich und harmlos (Helpful, Honest, Harmless) zu sein.