Spekulatives Decoding & Draft-Modelle

1. Konzeptüberblick und systemisches Problem

Die Textgenerierung durch große Modelle (LLMs) leidet unter einem fundamentalen Hardware-Engpass – dem Memory-Bandwidth Bound:

• Grafikkarten verfügen über enorme Rechenleistung (TFLOPs), doch während der sequenziellen Generierung eines Tokens nach dem anderen warten die Recheneinheiten zu 95 % der Zeit darauf, dass die Modellgewichte aus dem VRAM geladen werden.
• Dies begrenzt die Geschwindigkeit großer Modelle auf 25–40 Tokens pro Sekunde, was für lange agentische Zyklen zu langsam ist.

Speculative Decoding löst dieses Problem elegant durch die Kopplung zweier Modelle: einer winzigen Draft-Modell (Draft Model, z. B. 1B–3B) und dem Zielmodell (Target Model, z. B. 70B).

2. Architektonische Taxonomie und mentales Modell

┌─────────────────────────────────────────────────────────────┐
│               SPECULATIVE DECODING PIPELINE                 │
├─────────────────────────────────────────────────────────────┤
│ 1. DRAFT GENERATION (Крихітна модель 1B працює з кешу GPU): │
│    • Швидко генерує гіпотезу з K=5 токенів:                 │
│      ["const", " ", "user", " =", " "]                     │
│    • Займає всього 5 мілісекунд                             │
├─────────────────────────────────────────────────────────────┤
│                          │                                  │
│                          ▼ ОДИН ПРОХІД ВЕЛИКОЇ МОДЕЛІ       │
├─────────────────────────────────────────────────────────────┤
│ 2. TARGET VERIFICATION (Велика модель 70B в один такт):     │
│    • Перевіряє всі 5 токенів паралельно за один виклик VRAM │
│    • Результат перевірки:                                   │
│      [Токен 1: OK] [Токен 2: OK] [Токен 3: OK] [Токен 4: OK] │
│      [Токен 5: REJECT -> Замінити на " {"]                  │
├─────────────────────────────────────────────────────────────┤
│ 3. OUTPUT SPEEDUP:                                          │
│    • За 1 такт VRAM згенеровано 4.5 валідних токени         │
│    • Реальне прискорення: 2.5x – 3.2x TPS                   │
└─────────────────────────────────────────────────────────────┘

3. Praktische Engineering-Szenarien im Produktionsbetrieb

01. Beschleunigung agentischer Code-Zyklen in vLLM

Start des vLLM-Servers mit aktiviertem Speculative-Decoding-Parameter:

vllm serve meta-llama/Llama-3.3-70B-Instruct \
  --speculative-model meta-llama/Llama-3.2-1B-Instruct \
  --num-speculative-tokens 5 \
  --gpu-memory-utilization 0.95

Die Codegenerierungsgeschwindigkeit steigt von 35 auf 95 Tokens pro Sekunde, ohne dass Änderungen am Client-Code erforderlich sind.

02. Medusa & Eagle (Spekulation ohne separates Draft-Modell)

Neuere Architekturen (Medusa Heads), bei denen anstelle eines separaten Modells mehrere zusätzliche Ausgabeschichten (Decoding Heads) direkt im Zielmodell verwendet werden, was GPU-Speicher spart.

4. Fallstricke, typische Fehler und Sicherheit

• Acceptance Rate Degradation (Abfall der Akzeptanzrate): Wenn sich das Draft-Modell stark im Stil oder in den Trainingsdaten vom Zielmodell unterscheidet, lehnt das große Modell bis zu 80 % der vorgeschlagenen Tokens ab. Der Beschleunigungseffekt verschwindet, und die Inferenzzeit kann sogar steigen. Das Draft-Modell sollte aus derselben Familie stammen (z. B. Llama 1B für Llama 70B).
• VRAM-Kosten für das zweite Modell: Das Draft-Modell belegt zusätzlich 2–4 GB Videospeicher, was auf Grafikkarten mit einem Limit von 24 GB kritisch sein kann.

5. Strategisches Fazit für Ingenieure im Jahr 2026

Speculative Decoding hat sich als obligatorischer Standard für den industriellen Inferenzbetrieb etabliert. Es ermöglicht autonomen Agenten hohe Reaktivität und Geschwindigkeit, was die Wartezeit des Nutzers bei der Ausführung komplexer Aufgaben erheblich verkürzt.