PagedAttention & KV-Cache-Management

1. Konzeptüberblick und systemisches Problem

Wenn ein Server Anfragen an ein Sprachmodell bedient, ist der größte Feind der Skalierbarkeit der Speicher:

• Eine NVIDIA A100-GPU verfügt über 80 GB VRAM. Das 70B-Modell im 4-Bit-Quantisierungszustand belegt bereits ~38 GB.
• Es verbleiben 42 GB für Benutzeranfragen.
• Bei traditioneller Speicherallokation kann der Server nur 2–3 gleichzeitige Anfragen mit langem Kontext bedienen. Der Versuch, einen vierten Client zu verbinden, führt zu einem CUDA Out of Memory-Fehler.

PagedAttention löst dieses Problem, indem es das seit 50 Jahren fundamentale Prinzip von Betriebssystemen – virtuellen Paging-Speicher (Paging) – auf den Grafikspeicher (VRAM) von GPUs überträgt.

2. Architektonische Taxonomie und mentales Modell

┌─────────────────────────────────────────────────────────────┐
│                 PAGEDATTENTION ARCHITECTURE                 │
├─────────────────────────────────────────────────────────────┤
│ 1. Logical KV Blocks (Логічний контекст користувача):       │
│    [Токени 0-15] ➔ [Токени 16-31] ➔ [Токени 32-47]         │
├─────────────────────────────────────────────────────────────┤
│                          │                                  │
│                          ▼ Block Table (Таблиця сторінок)   │
│    • Логічний блок 0 ➔ Фізичний блок 7 у VRAM               │
│    • Логічний блок 1 ➔ Фізичний блок 2 у VRAM               │
│    • Логічний блок 2 ➔ Фізичний блок 11 у VRAM              │
├─────────────────────────────────────────────────────────────┤
│ 2. Physical VRAM Pages (Неперервні вільні слоти):           │
│    ┌─────────┬─────────┬─────────┬─────────┬─────────┐      │
│    │ Блок 0  │ Блок 1  │ Блок 2  │ ...     │ Блок 11 │      │
│    │ (Req B) │ (Вільний│ (Req A) │         │ (Req A) │      │
│    └─────────┴─────────┴─────────┴─────────┴─────────┘      │
│    • Фрагментація пам'яті знижена з 70% до <4%              │
└─────────────────────────────────────────────────────────────┘

3. Praktische Engineering-Szenarien in der Produktion

01. Gemeinsame Nutzung von Präfixen (Prefix Caching / Copy-on-Write)

Wenn 50 Benutzer gleichzeitig Fragen zum selben System-Prompt oder PDF-Dokument stellen, kopiert PagedAttention diesen nicht 50-mal. Alle Anfragen verweisen auf dieselben physischen Seiten des KV-Caches im VRAM. Der Speicher wird erst dann kopiert, wenn der Benutzer beginnt, eine eigene einzigartige Antwort zu generieren (Copy-on-Write).

02. Paralleles Verzweigen agentischer Gedanken (Branching Search)

Wenn ein Agent 4 Lösungsansätze für eine Aufgabe erkundet (Beam Search oder Tree-of-Thought), wird der gemeinsame Anfangskontext in einer einzigen Instanz von Speicherseiten gehalten. Dies spart bis zu 75 % VRAM bei Schwarmberechnungen.

4. Fallstricke, häufige Fehler und Sicherheit

• Overhead der Seitentabellen bei kurzen Texten: Für ultrakurze Dialoge (1–5 Tokens) kann der Overhead für die Verwaltung der Blocktabellen die Dispatcher-Zeit geringfügig erhöhen.
• Seitenbereinigung bei Abbruch der Anfrage: Wenn ein Benutzer die Verbindung abbricht, muss die Engine die zugewiesenen physischen Seiten sofort in den Pool freier Blöcke zurückgeben, andernfalls entsteht ein Speicherleck (VRAM Memory Leak).

5. Strategisches Fazit für Ingenieure im Jahr 2026

PagedAttention hat eine ebenso stille Revolution in der LLM-Infrastruktur ausgelöst wie seinerzeit der virtuelle Speicher in Unix. Dank dieser Technologie ist die Bedienung von Hunderten von Agenten auf einer einzelnen GPU zum wirtschaftlich tragfähigen Industriestandard geworden.