TTFT vs TPS (metryki opóźnienia wnioskowania)

1. Przegląd koncepcji i problem systemowy

Oceniając wydajność modelu sztucznej inteligencji, początkujący deweloperzy często patrzą na jedną ogólną liczbę dotyczącą szybkości: "Generuje szybko". Jednak w rzeczywistym środowisku produkcyjnym opóźnienie dzieli się na dwie zupełnie różne fazy sprzętowe:

1. Faza Pre-fill (Przetwarzanie kontekstu): Model musi „przeczytać” wejściowy prompt składający się z 50 000 tokenów kodu. Jest to operacja intensywna obliczeniowo (Compute-Bound), która determinuje TTFT (Time To First Token).
2. Faza Decode (Generowanie odpowiedzi): Model sekwencyjnie, token po tokenie, pisze nowy kod. Jest to operacja ograniczona przepustowością pamięci (Memory-Bound), która determinuje TPS (Tokens Per Second).

2. Taksonomia architektury i model mentalny

[ UŻYTKOWNIK WYSYŁA ZAPYTANIE ]
                                     │
                                     ▼
 ┌───────────────────────────────────────────────────────────────────────┐
 │ 1. FAZA PREFILL (Równoległe przetwarzanie całego promptu wejściowego) │
 │    • GPU FLOPs wykorzystane w 100%                                    │
 │    • Czas do wygenerowania pierwszego znaku: ➔ [ TTFT = 420 ms ]      │
 └───────────────────────────────────┬───────────────────────────────────┘
                                     │
                                     ▼
 ┌───────────────────────────────────────────────────────────────────────┐
 │ 2. FAZA DECODE (Sekwencyjne generowanie token po tokenie)             │
 │    • Przepustowość pamięci (Memory Bandwidth) wykorzystana w 100%     │
 │    • Szybkość streamingu: ➔ [ TPS = 85 tokens/sec ]                   │
 └───────────────────────────────────┬───────────────────────────────────┘
                                     │
                                     ▼
                       [ PEŁNA ODPOWIEDŹ ZAKOŃCZONA ]

3. Praktyczne scenariusze inżynierskie w produkcji

01. Optymalizacja interaktywnego asystenta w IDE

Deweloper oczekuje podpowiedzi kodowych w czasie rzeczywistym (Inline Completion). Jeśli TTFT przekracza 300 ms, deweloper kontynuuje pisanie ręcznie, a podpowiedź staje się bezwartościowa. Dla tej roli wybiera się modele z minimalnym TTFT (Gemini Flash lub lokalne modele 3B).

02. Wybór providera do refaktoryzacji bazy kodu

W przypadku zadania napisania 500 linii kodu w tle, model z TTFT = 5 sekund, ale TPS = 120 tokenów/s, poradzi sobie w ciągu 9 sekund, podczas gdy model z natychmiastowym startem (TTFT = 0.2 s), ale wolnym TPS = 25 tokenów/s, będzie wymagał 20 sekund.

4. Pułapki, typowe błędy i bezpieczeństwo

• Mylący średni TPS: Providerzy często podają w reklamach szczytowy TPS dla krótkich odpowiedzi. W miarę jak tekst wyjściowy staje się dłuższy (cache KV rośnie), TPS może spaść o 30–40%.
• Wpływ kolejki (Queue Latency): Jeśli serwer jest przeciążony zapytaniami, wysokie TTFT może wynikać nie z powolności modelu, lecz z tego, że zapytanie stało przez 2 sekundy w kolejce planisty. Zawsze oddzielaj czas w kolejce (Queue Time) od czystego czasu GPU Prefill.

5. Strategiczny wniosek dla inżyniera roku 2026

TTFT oraz TPS to inżynierskie współrzędne przy wyborze architektury modeli. Zrozumienie różnicy między fazami Prefill a Decode pozwala budować systemy, które jednocześnie są odczuwalne jako natychmiastowe dla człowieka w interfejsie i zapewniają maksymalną prędkość generowania dla autonomicznych agentów.