Top-P / Nucleus Sampling (Entropie-Reduktion im Text)
Methode der probabilistischen Wortfilterung (Nucleus Sampling). Ermöglicht das Abschneiden des „langen Schwanzes“ unwahrscheinlicher, seltsamer und unsinniger Wörter, wobei nur die plausibelsten Varianten mit einer kumulativen Wahrscheinlichkeit P (üblicherweise 0.9) beibehalten werden.
1. Überblick über das Konzept und den Zweck
Wenn ein Sprachmodell das nächste Wort auswählt, sortiert es Tausende von möglichen Optionen nach Wahrscheinlichkeit. Selbst nach einem logischen Satzbeginn wie „Der Präsident unterzeichnete das neue...“ enthält die Modellinterna eine Liste:
- „Gesetz“ — 70 %
- „Dekret“ — 20 %
- „Dokument“ — 5 %
- ...und irgendwo am Ende der langen Liste: „Sandwich“ — 0,001 %, „Marsianer“ — 0,0001 %.
Fällt zufällig ein Wort aus dem Ende dieser Liste, wird der Text absurd.
Top-P (auch Nucleus Sampling oder Kernsampling) fungiert als Schutzbarriere. Es weist das Modell an: „Nimm Wörter von oben nach unten, bis ihre kumulierte Wahrscheinlichkeit beispielsweise 90 % (0,9) erreicht hat. Alle anderen seltsamen Varianten am Ende der Liste blockiere komplett!“.
2. Mentales Modell: Abschneiden des „Schwanzes“ des Wahnsinns
┌─────────────────────────────────────────────────────────────┐
│ ЯК ПРАЦЮЄ ФІЛЬТР TOP-P (0.9) │
├─────────────────────────────────────────────────────────────┤
│ 1. «закон» [70%] ──┐ │
│ 2. «указ» [15%] ├─ Сума = 90% (ЯДРО ВИБОРУ / NUCLEUS)
│ 3. «договір» [5%] ──┘ Модель обирає ТІЛЬКИ з цих трьох │
├─────────────────────────────────────────────────────────────┤
│ ❌ ВІДСІКАЄТЬСЯ (Решта 10% небезпечного хвоста): │
│ 4. «пиріжок» [4%] ➔ Заборонено │
│ 5. «трактор» [3%] ➔ Заборонено │
│ 6. «шампунь» [3%] ➔ Заборонено │
└─────────────────────────────────────────────────────────────┘
3. Empfohlene Einstellungen für Einsteiger
Wenn Sie in Google AI Studio oder im OpenAI-Portal experimentieren:
| Aufgabe | Top-P-Wert | Temperature-Wert |
|---|---|---|
| Präziser Code, JSON-Parsing, Formeln | 0,1 – 0,5 | 0,0 |
| Alltägliche E-Mails, Artikel, Übersetzungen | 0,9 (Standard) | 0,7 |
| Schreiben von Science-Fiction, Spielhandlungen | 0,95 – 1,0 | 0,9 – 1,0 |
4. Zentrale Erkenntnis für die Praxis
Wenn Sie bemerken, dass das Modell gelegentlich seltsame, unpassende oder erfundene Begriffe einfügt, überprüfen Sie die Einstellungen: Eine Senkung von Top-P auf 0,8 oder 0,7 schneidet sinnlose Wortexperimente sofort ab und stellt die Kohärenz des Bots wieder her.
FAQ: Top-P / Nucleus Sampling (Entropie-Reduktion im Text)
Verwandte Begriffe
Temperatur (Kreativitäts- und Zufälligkeitsregler)
Ein zentraler numerischer Parameter für die Textgenerierung (üblicherweise im Bereich von 0,0 bis 1,0 oder 2,0). Er bestimmt den Grad der Unvorhersehbarkeit bei der Auswahl des nächsten Tokens: von strikter deterministischer Mathematik bis hin zu freier kreativer Entfaltung.
Seed und Determinismus (Reproduzierbarkeit der Generierungsergebnisse)
Numerischer Identifikator des Zufallszahlengenerators (Seed). Ermöglicht die Fixierung der Zufälligkeit in Sprachmodellen und Bildgeneratoren, um bei wiederholter Ausführung derselben Anfrage stabile und reproduzierbare Ergebnisse zu erzielen.
Sampling-Parameter (Temperatur, Top-p, Min-p)
Mathematische Hyperparameter des stochastischen Decodierens (Temperatur, Top-P, Min-P, Penalties), die die Wahrscheinlichkeitsverteilung für die Auswahl des nächsten Tokens steuern und dabei das Maß an Determinismus, Genauigkeit und Kreativität des Modells bestimmen.