Caching promptów (Prompt Caching)
Technologia optymalizacji inferencji w dużych modelach językowych (Anthropic Claude, OpenAI, Google Gemini). Przechowuje już obliczone wektory uwagi statycznej części wejściowego promptu (dużych dokumentów, baz kodu lub instrukcji systemowych) w pamięci serwerów, obniżając koszt powtarzających się zapytań o 50–90%.
1. Przegląd koncepcji i przeznaczenia
Wyobraź sobie, że codziennie przychodzisz do notariusza z tym samym grubym kontraktem liczącym 200 stron i zadajesz mu drobne pytania:
- W poniedziałek: «Co jest napisane o siłach wyższych w punkcie 12?»
- We wtorek: «Kto jest podpisany po stronie dostawcy?».
Gdyby notariusz każdego ranka czytał od nowa wszystkie 200 stron od pierwszego słowa i pobierał pełną opłatę za każdy dzień czytania – zbankrutowałbyś w ciągu tygodnia.
Do połowy 2024 roku modele językowe działały dokładnie tak: jeśli wczytałeś do kontekstu książkę lub bazę kodową projektu, przy każdej nowej replice provider kazał Ci płacić za te wszystkie 100 000 tokenów raz za razem!
Rewolucją stało się Prompt Caching (Cacheowanie promptów):
- Wczytujesz duży tekst tylko raz.
- Serwer zapisuje go w pamięci podręcznej (hot memory).
- Przy wszystkich kolejnych zapytaniach płacisz tylko 10% kosztu, a odpowiedź pojawia się 3–4 razy szybciej!
Model mentalny: ogromna zniżka 90% na powtarzalne pytania dotyczące dużych dokumentów.
2. Porównanie kosztów: bez cache'a a z Prompt Caching
SCENARIUSZ: Rozmawiasz z bazą kodową projektu (50 000 tokenów)
i zadajesz 10 kolejnych pytań.
BEZ BUFOROWANIA (Klasyczne API):
10 żądań * 50 000 tokenów = 500 000 tokenów wejściowych
💸 Koszt rozmowy: $1,50 (Powolne oczekiwanie przy każdym żądaniu)
─────────────────────────────────────────────────────────────
Z PROMPT CACHING (Anthropic / OpenAI):
Żądanie 1: Zapis do bufora (50 000 tokenów po pełnej cenie) = $0,15
Żądania 2..10: Odczyt z gorącego bufora ze zniżką 90%!
9 * 50 000 * 10% ceny = $0,13
🎉 Łączny koszt: TYLKO $0,28 zamiast $1,50!
⚡ Szybkość odpowiedzi wzrosła trzykrotnie!
3. Złota zasada konstruowania promptu pod cache
Aby serwery zrozumiały, że tekst można cacheować, stosuj zasadę piramidy stabilności:
- Szczyt (100% niezmienialna część): Ogólna rola systemowa + duża dokumentacja Twojej firmy lub książka. (Ten blok jest cacheowany „na sztywno”).
- Środek (Warunkowo niezmienialny): Historia dialogu z ostatnich kilku wiadomości.
- Dół (Zawsze nowy): Ostatnie krótkie pytanie użytkownika.
4. Praktyczny wniosek
Jeśli tworzysz analizator dokumentów, asystenta kodowego lub bota wsparcia opartego na korporacyjnej bazie wiedzy – koniecznie włącz Prompt Caching. To nie tylko zmniejszy Twoje miesięczne rachunki kilkukrotnie, ale także sprawi, że bot będzie błyskawicznie szybki dla klientów.
FAQ: Caching promptów (Prompt Caching)
Powiązane pojęcia
Ekonomia tokenów i kalkulacja budżetu (Matematyka wyceny tokenów)
Metodyka obliczania kosztów finansowych korzystania z komercyjnych API sztucznej inteligencji. Wyjaśnia różnice w cenie między tokenami wejściowymi (Prompt/Input) a wyjściowymi (Completion/Output), ukryte koszty kontekstu oraz formułę oceny ekonomii jednostkowej startupu.
Pamięć podręczna KV (Key-Value Cache)
Optymalizacja pamięci w modelach Transformer, która przechowuje wektory kluczy i wartości (Keys and Values) przetworzonych już tokenów w szybkiej pamięci GPU. Umożliwia natychmiastowe generowanie każdego kolejnego słowa, jednak jej rozmiar gwałtownie rośnie wraz z każdym nowym komunikatem w czacie.
Rozmiar okna kontekstowego (Pamięć bieżącej rozmowy)
Maksymalna objętość tekstu (w tokenach), którą model językowy jest w stanie jednoczesnie utrzymać w pamięci podczas bieżącej sesji. Określa, jaką długość dokumentów można załadować jednorazowo bez utraty treści.