Sampling-Parameter (Temperatur, Top-p, Min-p)

1. Überblick über das Konzept und das Systemproblem

Ein Sprachmodell generiert keinen fertigen Text direkt. Bei jedem autoregressiven Schritt gibt die Ausgabeschicht des Transformers ein Array aus rohen, nicht normalisierten Zahlen aus – Logits für jedes Wort eines Vokabulars mit mehr als 100.000 Einträgen. Die Umwandlung dieser Rohzahlen in einen konkreten ausgewählten Token wird durch den Decoding-Algorithmus gesteuert.

Wird stets der Token mit der absolut höchsten Wahrscheinlichkeit gewählt (Greedy Search), wird das Modell vorhersehbar, trocken und gerät häufig in endlose Schleifen, in denen dieselben Phrasen wiederholt werden. Werden Wörter hingegen vollständig zufällig ausgewählt, degeneriert die Generierung zu sinnlosem Wirrsal und syntaktischen Fehlern.

Sampling Parameters sind eine Reihe mathematischer Regler, die die Form der Wahrscheinlichkeitsverteilung vor der Symbolauswahl verändern. Das Verständnis ihrer internen Mechanik ermöglicht es Ingenieuren, fein abgestimmt zwischen striktem Determinismus eines Compilers und der kreativen Heuristik bei der Lösungsfindung zu balancieren.

2. Architektonische Taxonomie und mentales Modell

Die Pipeline zur Verarbeitung der Logits besteht aus sequenziellen mathematischen Filtern:

┌─────────────────────────────────────────────────────────────┐
│                 TOKEN DECODING PIPELINE                     │
├─────────────────────────────────────────────────────────────┤
│ 1. Raw Output Logits z_i from Transformer Linear Head       │
├─────────────────────────────────────────────────────────────┤
│ 2. Penalties Modification:                                  │
│    • Frequency Penalty (Зниження ваги за кількість повторів)│
│    • Presence Penalty (Одноразовий штраф за вже згадані слова)│
├─────────────────────────────────────────────────────────────┤
│ 3. Temperature Scaling: z'_i = z_i / T                      │
│    T ➔ 0: піки загострюються (Argmax детермінізм)          │
│    T > 1: розподіл згладжується (висока ентропія)           │
├─────────────────────────────────────────────────────────────┤
│ 4. Softmax Normalization: P(w_i) = exp(z'_i) / Sum(exp(z'_j))│
├─────────────────────────────────────────────────────────────┤
│ 5. Truncation Filters (Top-K ➔ Top-P ➔ Min-P)                │
│    Відсікання довгого «хвоста» малоймовірних сміттєвих токенів│
├─────────────────────────────────────────────────────────────┤
│ 6. Stochastic Multinomial Draw (Фінальний вибір токена)     │
└─────────────────────────────────────────────────────────────┘

1. Temperatur (Temperature, $T$):
   • Skalierender Divisor für den Logit-Vektor vor der Softmax-Funktion. Wenn $T \to 0$, strebt der Unterschied zwischen dem wahrscheinlichsten Token und den anderen gegen Unendlichkeit (Determinismus). Bei hoher Temperatur ($T = 1.0–1.5$) erhalten unwahrscheinliche Tokens eine reale Chance, ausgewählt zu werden.
2. Top-P (Nucleus Sampling):
   • Dynamischer Schwellenwert für die kumulative Wahrscheinlichkeit. Der Algorithmus sortiert die Tokens absteigend und behält nur die minimale Menge, deren Summe der Wahrscheinlichkeiten $P$ erreicht (z. B. 0.9 = 90 % der Verteilungsmasse).
3. Min-P (Dynamic Thresholding):
   • Ein moderner, fortschrittlicher Filter. Er schneidet alle Tokens ab, deren individuelle Wahrscheinlichkeit kleiner ist als $P_{\min} = \text{Min-P} \times P_{\max}$, wobei $P_{\max}$ die Wahrscheinlichkeit des absoluten Spitzenreiters ist. Hat der Spitzenreiter 80 % und Min-P = 0.05, werden alle Optionen mit einer Chance von weniger als 4 % entfernt.
4. Wiederholungsstrafen (Presence & Frequency Penalties):
   • Reduzieren die Logit-Werte von Tokens, die bereits im generierten Text aufgetreten sind, um Schleifenbildung zu verhindern.

3. Technische Pipeline und interne Mechanik

Der Lebenszyklus eines einzelnen Schritts der probabilistischen Token-Auswahl:

1. Abruf der Logits: Die letzte Schicht des Netzwerks gibt einen rohen Logit-Vektor aus: $z = [12.4, 8.1, 15.6, -3.2, \dots]$.
2. Anwendung der Wiederholungsstrafen: Wenn ein Wort bereits dreimal aufgetreten ist, wird sein Logit um den Wert $3 \times \text{frequency_penalty}$ reduziert.
3. Temperatur-Division: Jeder Wert des Vektors wird durch die Temperatur dividiert: $z'_i = z_i / T$.
4. Berechnung der Wahrscheinlichkeiten via Softmax: Die Logits werden in normalisierte Wahrscheinlichkeiten zwischen 0 und 1 umgewandelt, deren Summe exakt 1.0 beträgt.
5. Filterung durch Min-P: Der höchste Wert $P_{\max} = 0.70$ wird ermittelt. Bei $\text{Min-P} = 0.1$ liegt der Schwellenwert bei $0.07$. Alle Tokens mit einer Wahrscheinlichkeit unter 7 % werden aus dem Pool entfernt.
6. Stochastische Ziehung (Multinomial Sampling): Ein Pseudozufallszahlengenerator (PRNG) führt eine Stichprobe aus dem verbleibenden Wahrscheinlichkeitspool durch. Der ausgewählte Token wird an den Ausgang übergeben.

4. Praktische Engineering-Szenarien im Produktionsbetrieb

01. Fehlerfreie Generierung von SQL-Abfragen und Validierungsschemas

Ein Backend-Service generiert Migrationscode basierend auf einem User-Prompt:

• Einstellungen: temperature: 0.0 (Greedy Search).
• Das Modell wählt garantiert die standardmäßigsten syntaktischen Konstrukte aus und schließt zufällige Kommafehler oder nicht existierende Schlüsselwörter aus.

02. Einsatz von Min-p für hochqualitative Refactorings

Ein Agent refactort einen komplexen algorithmischen Modul:

• Einstellungen: temperature: 0.7, min_p: 0.05.
• Das Modell erhält kreative Freiheit bei der Wahl des Architekturpatterns, aber der Min-P-Mechanismus schützt zuverlässig davor, zufällige halluzinierte Funktionen auszuwählen.

03. Forschungsorientiertes Brainstorming zur Architektur (High Entropy Search)

Generierung nicht-trivialer Geschäftsideen und Testszenarien:

• Einstellungen: temperature: 0.9, top_p: 0.95.
• Das Modell schlägt unerwartete Edge Cases, nicht-standardmäßige Lastszenarien und alternative Hypothesen für Systemausfälle vor.

5. Fallstricke, typische Fehler und Sicherheit

• Wiederholungsstrafen brechen Code-Syntax: Hohe frequency_penalty-Werte (z. B. > 0.5) führen bei Programmieraufgaben zu Katastrophen: Das Modell versucht, natürliche Wiederholungen von Schlüsselwörtern (return, const, schließende geschweifte Klammern }}) zu vermeiden, was die Kompilierung bricht. Für Code sollten Strafen gleich 0 sein.
• Feste Temperatur bei neuen Reasoning-Modellen: Bei Modellen der Klasse OpenAI o1 oder DeepSeek-R1 wurde der interne Gedankengang unter einer streng festen Temperatur trainiert (üblicherweise $T=1.0$ oder $0.6$). Der Versuch, $T=0$ über die API erzwingen, ist oft untersagt oder zerstört den Selbstkorrekturprozess des Modells.
• Konflikt überaggressiver Filter: Die gleichzeitige Einstellung von top_p: 0.1 und hohem min_p kann die Auswahl auf einen einzigen oder null Tokens reduzieren, was zum Absturz der Inference-Engine führt.
• Illusion der Reproduzierbarkeit durch Seed: Der Parameter seed fixiert den Anfangszustand des Zufallszahlengenerators, garantiert jedoch nicht denselben Text bei Änderungen der CUDA-Treiber-Version oder der Anzahl paralleler Threads im Batch.