Prompt Caching
Eine Optimierungstechnologie für die Inferenz großer Sprachmodelle (Anthropic Claude, OpenAI, Google Gemini). Sie speichert bereits berechnete Aufmerksamkeitsvektoren des statischen Teils der Eingabeaufforderung (z. B. große Dokumente, Codebasen oder Systemanweisungen) im Serverspeicher und senkt so die Kosten für wiederholte Anfragen um 50–90 %.
1. Konzeptüberblick und Zweck
Stellen Sie sich vor, Sie gehen jeden Tag zum Notar mit demselben dicken Vertrag über 200 Seiten und stellen ihm kleine Fragen:
- Am Montag: „Was steht in Punkt 12 über Force Majeure?“
- Am Dienstag: „Wer ist der Unterzeichner auf der Lieferantenseite?“.
Wenn der Notar jeden Morgen alle 200 Seiten von Anfang bis Ende neu lesen würde und Ihnen für jeden Lesetag die volle Gebühr berechnete – Sie wären innerhalb einer Woche bankrott.
Bis Mitte 2024 funktionierten Sprachmodelle genau so: Wenn Sie ein Buch oder eine Codebasis eines Projekts in den Kontext luden, mussten Sie bei jeder neuen Eingabe erneut für alle diese 100.000 Tokens bezahlen!
Die Revolution war Prompt Caching:
- Sie laden einen großen Text einmal hoch.
- Der Server speichert ihn im schnellen Speicher (Hot Memory).
- Bei allen folgenden Anfragen zahlen Sie nur 10 % der Kosten, und die Antwort erscheint 3–4 Mal schneller!
Mentales Modell: Riesiger Rabatt von 90 % auf wiederholte Fragen zu großen Dokumenten.
2. Kostenvergleich: ohne Cache vs. mit Prompt Caching
СЦЕНАРІЙ: Ви спілкуєтеся з кодовою базою проєкту (50 000 токенів)
і ставите 10 послідовних запитань.
БЕЗ КЕШУВАННЯ (Класичний API):
10 запитів * 50 000 токенів = 500 000 вхідних токенів
💸 Витрати за розмову: $1.50 (Повільне очікування щоразу)
─────────────────────────────────────────────────────────────
З PROMPT CACHING (Anthropic / OpenAI):
Запит 1: Запис у кеш (50 000 токенів за повною ціною) = $0.15
Запити 2..10: Читання з гарячого кешу зі знижкою 90%!
9 * 50 000 * 10% ціни = $0.13
🎉 Загальні витрати: ВСЬОГО $0.28 замість $1.50!
⚡ Швидкість відповіді зросла втричі!
3. Die goldene Regel für den Prompt-Aufbau im Cache
Damit die Server erkennen, dass der Text gecacht werden kann, nutzen Sie das Prinzip der Stabilitätspyramide:
- Spitze (100 % unveränderlicher Teil): Allgemeine Systemrolle + große Dokumentation Ihres Unternehmens oder ein Buch. (Dieser Block wird dauerhaft gecacht).
- Mitte (Weitgehend unveränderlich): Dialoghistorie der letzten wenigen Nachrichten.
- Unten (Jedes Mal neu): Die letzte kurze Benutzerfrage.
4. Praktische Schlussfolgerung
Wenn Sie einen Dokumentenanalysator, einen Coding-Assistenten oder einen Support-Bot auf Basis Ihrer internen Wissensdatenbank entwickeln – aktivieren Sie unbedingt Prompt Caching. Dies senkt nicht nur Ihre monatliche Rechnung um ein Vielfaches, sondern macht den Bot auch blitzschnell für Ihre Kunden.
FAQ: Prompt Caching
Verwandte Begriffe
Tokenökonomie und Budgetkalkulation (Mathematik der Token-Preisgestaltung)
Methodik zur Berechnung der finanziellen Kosten für die Nutzung kommerzieller KI-APIs. Erläutert den Preisunterschied zwischen Eingabe- (Prompt/Input) und Ausgabe-Tokens (Completion/Output), versteckte Kontextkosten sowie die Formel zur Bewertung der Unit Economics von Startups.
KV-Cache (Key-Value Cache)
Eine Speicheroptimierung in Transformer-Modellen, die Schlüssel- und Wertvektoren (Keys and Values) bereits verarbeiteter Tokens im schnellen GPU-Speicher speichert. Dies ermöglicht die sofortige Generierung jedes nächsten Wortes, führt jedoch zu einem rapiden Anstieg des Speicherverbrauchs mit jeder neuen Nachricht im Chat.
Kontextfenstergröße (Gedächtnis der aktuellen Konversation)
Die maximale Textmenge (in Tokens), die ein Sprachmodell während einer laufenden Unterhaltung gleichzeitig im Speicher halten kann. Sie bestimmt, welche Dokumentlänge ohne Inhaltsverlust auf einmal hochgeladen werden kann.