TTFT vs. TPS (Metriken zur Inferenz-Latenz)

1. Konzeptüberblick und systemisches Problem

Bei der Bewertung der Leistungsfähigkeit von KI-Modellen konzentrieren sich Junior-Entwickler oft auf eine einzelne, pauschale Geschwindigkeitszahl: "Sie generiert schnell". In der realen Produktionsumgebung (Production) teilt sich die Latenz jedoch in zwei grundlegend verschiedene Hardware-Phasen auf:

1. Pre-fill-Phase (Kontextverarbeitung): Das Modell muss den Eingabe-Prompt mit 50.000 Code-Tokens "lesen". Dies ist eine rechenintensive Operation (Compute-Bound), die das TTFT (Time To First Token) bestimmt.
2. Decode-Phase (Antwortgenerierung): Das Modell schreibt sequenziell Token für Token neuen Code. Dies ist eine durch die Speicherbandbreite begrenzte Operation (Memory-Bound), die die TPS (Tokens Per Second) bestimmt.

2. Architektonische Taxonomie und mentales Modell

                       [ КОРИСТУВАЧ НАДСИЛАЄ ЗАПИТ ]
                                     │
                                     ▼
 ┌───────────────────────────────────────────────────────────────────────┐
 │ 1. PREFILL PHASE (Паралельна обробка всього вхідного промпту)          │
 │    • GPU FLOPs утилізовані на 100%                                    │
 │    • Час до появи найпершого символу: ➔ [ TTFT = 420 ms ]             │
 └───────────────────────────────────┬───────────────────────────────────┘
                                     │
                                     ▼
 ┌───────────────────────────────────────────────────────────────────────┐
 │ 2. DECODE PHASE (Послідовна генерація токен за токеном)               │
 │    • Memory Bandwidth утилізована на 100%                             │
 │    • Швидкість стримінгу: ➔ [ TPS = 85 tokens/sec ]                   │
 └───────────────────────────────────┬───────────────────────────────────┘
                                     │
                                     ▼
                       [ ПОВНА ВІДПОВІДЬ ЗАВЕРШЕНА ]

3. Praktische Engineering-Szenarien im Production-Umfeld

01. Optimierung des interaktiven Assistenten in der IDE

Der Entwickler erwartet Echtzeit-Code-Vorschläge (Inline Completion). Wenn das TTFT 300 ms überschreitet, tippt der Entwickler bereits weiter, und der Vorschlag wird wertlos. Für diese Rolle werden Modelle mit minimalem TTFT ausgewählt (z. B. Gemini Flash oder lokale 3B-Modelle).

02. Anbieterauswahl für das Refactoring einer Codebase

Für die Aufgabe, 500 Zeilen Code im Hintergrund zu schreiben, erledigt ein Modell mit TTFT = 5 Sekunden, aber TPS = 120 Tokens/s, dies in 9 Sekunden. Ein Modell mit sofortigem Start (TTFT = 0,2 s), aber langsamerem TPS = 25 Tokens/s, würde hingegen 20 Sekunden benötigen.

4. Fallstricke, typische Fehler und Sicherheit

• Trügerischer durchschnittlicher TPS: Anbieter werben oft mit dem Spitzen-TPS für kurze Antworten. Wenn der Ausgabetext länger wird (der KV-Cache wächst), kann der TPS um 30–40 % einbrechen.
• Einfluss der Warteschlange (Queue Latency): Wenn der Server durch Anfragen überlastet ist, kann ein hohes TTFT nicht an der Langsamkeit des Modells liegen, sondern daran, dass die Anfrage 2 Sekunden lang in der Scheduler-Warteschlange stand. Trennen Sie stets die Queue Time von der reinen GPU Prefill Time.

5. Strategisches Fazit für Ingenieure im Jahr 2026

TTFT und TPS sind die ingenieurtechnischen Koordinaten bei der Modellauswahl-Architektur. Das Verständnis der Unterschiede zwischen der Prefill- und der Decode-Phase ermöglicht den Aufbau von Systemen, die für den Menschen in der Benutzeroberfläche gleichzeitig als sofort reaktiv wahrgenommen werden und maximale Generierungsgeschwindigkeit für autonome Agenten bieten.