Generierungsgeschwindigkeit (TPS / TTFT / Latenz)

1. Konzeptüberblick und systemisches Problem

In technischen Diskussionen wird die Modellleistung oft auf vage Definitionen wie „schnell“ oder „langsam“ reduziert. Ein derart amateurhafter Ansatz führt zum Scheitern von Echtzeitsystemen: Die Benutzeroberfläche eines Voice-Bots friert für mehrere Sekunden vor der Antwort ein, Code-Autovervollständigung in IDEs nervt durch Verzögerungen bei der Zeichenanzeige, und Hintergrund-Agentenschleifen bleiben in mehrstündigen Warteschlangen stecken.

Der tatsächliche Inference-Prozess großer Sprachmodelle unterliegt den Gesetzen der Halbleiterphysik und teilt sich in zwei völlig unterschiedliche Hardware-Phasen auf:

1. Prefill-Phase (Context Phase): Parallele Verarbeitung des Eingabe-Prompts.
2. Decode-Phase (Generation Phase): Sequenzielle Generierung der Ausgabezeichen Token für Token.

Die Metriken TTFT (Time to First Token) und TPS (Tokens Per Second) sind der Systemkompass des Ingenieurs, der die Architektur der Warteschlangen, die Hardware-Auswahl und das Nutzererlebnis interaktiver Anwendungen bestimmt.

2. Architektonische Taxonomie und mentales Modell

Latenz- und Durchsatzmetriken werden nach den Stadien des Anfrage-Lebenszyklus klassifiziert:

┌─────────────────────────────────────────────────────────────┐
│                 INFERENCE LATENCY TAXONOMY                  │
├─────────────────────────────────────────────────────────────┤
│ 1. Queue Time (Черга очікування вільних ресурсів GPU)       │
├─────────────────────────────────────────────────────────────┤
│ 2. Prefill Phase ➔ TTFT (Time to First Token)               │
│    • Compute-Bound (TFLOPS Tensor Cores)                    │
│    • Прямий розрахунок KV-кешу для всього вхідного тексту   │
├─────────────────────────────────────────────────────────────┤
│ 3. Decode Phase ➔ TPS / ITL (Inter-Token Latency)           │
│    • Memory-Bandwidth Bound (GB/s шини VRAM)                │
│    • Послідовне зчитування вагів на кожен токен             │
├─────────────────────────────────────────────────────────────┤
│ 4. Total E2E Latency = TTFT + (N_generated_tokens * ITL)    │
└─────────────────────────────────────────────────────────────┘

1. TTFT (Time to First Token – Zeit bis zum ersten Token):
   • Die Anzahl der Millisekunden vom Absenden der HTTP-Anfrage durch den Client bis zum Empfang des ersten Bytes der Streaming-Antwort. Sie setzt sich aus Netzwerklatenz, Wartezeit in der Schlange und Berechnungszeit für den Prefill zusammen.
2. TPS (Tokens Per Second – Generierungsgeschwindigkeit):
   • Die Anzahl der Tokens, die das System pro Sekunde ausgibt. Für einen einzelnen Stream entspricht dies $1 / \text{ITL}$. Für den gesamten Server (Aggregate Throughput) ist es die Gesamtanzahl der Tokens, die gleichzeitig von allen Clients generiert werden.
3. ITL (Inter-Token Latency – Inter-Token-Latenz):
   • Die Zeit zwischen dem Erscheinen benachbarter Tokens während des Streamings. Für das menschliche Auge ist ein Wert von weniger als 30 ms pro Token komfortabel (entspricht >33 TPS).
4. Speculative Decoding:
   • Ein algorithmischer Trick, der einen Teil der Operationen der Decode-Phase in eine parallele Überprüfung umwandelt, wodurch der reine TPS-Wert um das 2–3-fache erhöht wird, ohne Genauigkeitsverluste.

3. Technische Pipeline und interne Mechanik

Der Lebenszyklus des Inference-Prozesses unter der Lupe der Timings:

1. Empfang der Anfrage und Batch-Zuordnung: Eine Anfrage mit 4000 Code-Tokens gelangt in die Inference-Engine (z. B. vLLM).
2. Prefill (Prefill Phase): Die GPU lädt die Gewichtsmatrizen und multipliziert alle 4000 Tokens parallel auf den Tensor Cores. Die Vektoren Q, K, V werden berechnet und der KV-Cache-Speicher initialisiert.
3. Emission des ersten Tokens (Fixierung des TTFT): Das erste Token wird über Server-Sent Events an den Client gesendet. Wenn der Prompt gecacht ist (Prompt Caching), dauert dieser Schritt 50 ms; wenn nicht, zwischen 500 ms und 3 Sekunden.
4. Sequenzieller Decode-Zyklus (Decode Loop):
   • Für die Generierung eines Tokens muss die Grafikkarte alle 70 Milliarden Parameter des Modells aus dem VRAM in den Chip-Cache lesen.
   • Bei einem Speicher mit einer Bandbreite von 1000 GB/s (RTX 4090) dauert das Lesen eines quantisierten 35-GB-Modells: $$35 \text{ GB} / 1000 \text{ GB/s} = 35 \text{ ms pro Token} \approx 28 \text{ TPS}$$
5. Abschluss der Anfrage: Die Generierung endet beim Erreichen des Tokens `