Kwantyzacja (Model Quantization)

1. Przegląd koncepcji i problem systemowy

Oryginalne modele językowe są trenowane w formacie liczb zmiennoprzecinkowych o wysokiej precyzji (FP16 lub BF16), gdzie każdy parametr wagowy zajmuje 16 bitów (2 bajty). Aby uruchomić współczesny otwarty model o 70 miliardach parametrów (np. Llama 3.3 70B), samo załadowanie statycznych wag wymaga: $$70 \times 10^9 \times 2 \text{ bajty} \approx 140 \text{ GB VRAM}$$

Czyni to inferencję niemożliwą na sprzęcie konsumenckim: inżynier potrzebuje serwera z co najmniej dwoma kartami graficznymi klasy NVIDIA A100 (80GB), kosztującego ponad $30,000. Co więcej, prędkość generowania tokenów jest ograniczona przepustowością magistrali pamięci (Memory Bandwidth), która musi przesyłać 140 GB danych dla każdego wygenerowanego symbolu.

Model Quantization (kwantyzacja modeli) to matematyczna metoda optymalizacji i kompresji sieci neuronowych. Zamiast 16-bitowych liczb, wagi są mapowane na 8-bitowe, 4-bitowe lub nawet 2-bitowe liczby całkowite albo zoptymalizowane formaty zmiennoprzecinkowe. Kwantyzacja zmniejsza rozmiar modelu 2–4-krotnie, umożliwiając uruchamianie modeli 70B na dostępnych kartach graficznych lub laptopach przy praktycznie zerowej utracie jakości generowania kodu.

2. Taksonomia architektoniczna i model mentalny

Krajobraz technologii kwantyzacji klasyfikuje się według głębokości analizy oraz docelowego środowiska sprzętowego:

┌─────────────────────────────────────────────────────────────┐
│                 TAKSONOMIA METOD KWANTYZACJI                │
├─────────────────────────────────────────────────────────────┤
│ 1. Kwantyzacja po treningu (PTQ - Bez ponownego uczenia)    │
├─────────────────┬───────────────────────────┬───────────────┤
│ GGUF (K-quants) │ AWQ (Z uwzględnieniem     │ FP8 (Natywna) │
│ • llama.cpp     │   aktywacji)              │ • NVIDIA Ada/ │
│ • CPU / Metal   │ • Ochrona 1% ważnych wag  │   Hopper/vLLM │
│ • Q4_K_M, Q5_K  │ • NVIDIA Tensor Cores     │ • Zero strat  │
│                 │ • Inferencja 4-bitowa     │               │
│                 │   (W4A16)                 │               │
├─────────────────┴───────────────────────────┴───────────────┤
│ 2. Kwantyzacja z uwzględnieniem treningu (QAT - Uczenie ze  │
│    kompresją)                                               │
└─────────────────────────────────────────────────────────────┘

1. GGUF K-Quants (Ekosystem llama.cpp):
   • Wykorzystuje skalowanie blokowe (Block-wise scaling). Kluczowe warstwy uwagi (attention) zachowują wyższą rozdzielczość (5–6 bitów), a mniej krytyczne warstwy Feed-Forward są kwantyzowane do 4 bitów. Idealne rozwiązanie dla Apple Silicon (Metal) oraz pamięci operacyjnej systemu.
2. AWQ (Activation-Aware Weight Quantization):
   • Identyfikuje najbardziej podatne na błędy wagi („Outlier Weights”, stanowiące około 1% całości) na podstawie zbioru kalibracyjnego i pozostawia je bez agresywnej kwantyzacji. Eliminuje to degradację logiki w modelach 4-bitowych na kartach graficznych NVIDIA.
3. Format sprzętowy FP8 (E4M3 / E5M2):
   • Natywny 8-bitowy format liczb zmiennoprzecinkowych, wspierany sprzętowo przez układy NVIDIA H100 oraz RTX 4090. Zapewnia dwukrotne przyspieszenie obliczeń macierzowych (GEMM) bez jakiejkolwiek utraty perplexity.
4. Kwantyzacja KV-cache (KV Cache Quantization):
   • Kompresja historii kontekstu z FP16 do INT8 lub INT4, co pozwala utrzymywać okna kontekstu rzędu 128k tokenów bez przepełnienia pamięci.

3. Pipeline techniczny i mechanika wewnętrzna

Cykl życia kwantyzacji modelu post-treningowego:

1. Analiza wag źródłowych (FP16 Base Model): Skrypt odczytuje tensory w formacie SafeTensors o wysokiej precyzji.
2. Kalibracja rozkładu (Calibration Phase): Przez model przepuszczana jest niewielka próbka tekstu (np. 512 sekwencji kodu). Algorytm rejestruje amplitudę aktywacji w każdej warstwie.
3. Matematyczne skalowanie i przesunięcie: Zakres liczb rzeczywistych $[x_{\min}, x_{\max}]$ jest mapowany na dyskretny zakres liczb całkowitych (np. $[-8, 7]$ dla INT4): $$q = \text{round}\left(\frac{x}{S}\right) + Z$$ gdzie $S$ to współczynnik skali (Scale), a $Z$ to punkt zerowy (Zero-point).
4. Pakowanie do kontenera binarnego: Skwantyzowane wagi są pakowane w bloki (np. po 32 lub 256 liczb) wraz z ich lokalnymi współczynnikami skalowania i zapisywane do pliku .gguf lub .safetensors.
5. Dekwantyzacja w locie (On-the-fly Dequantization): Podczas generowania tokenów rdzenie akceleratora natychmiast odczytują skompresowane 4-bitowe wagi z pamięci i dekompresują je w rejestrach procesora do szybkiego mnożenia.

4. Praktyczne scenariusze inżynierskie w produkcji

01. Wdrożenie Llama 3.3 70B na dwóch konsumenckich kartach graficznych

Inżynier buduje serwer korporacyjny dla zespołu deweloperskiego:

• Oryginalny model FP16 wymaga 140 GB VRAM (konieczny drogi serwer z 8x GPU).
• Po kwantyzacji do AWQ 4-bit rozmiar modelu spada do 38 GB.
• Model swobodnie mieści się w konfiguracji złożonej z dwóch kart RTX 3090 (24 GB + 24 GB = 48 GB VRAM), zapewniając prędkość 30 tokenów/s dla całego zespołu przy budżecie $1,500.

02. Serwisowanie pod dużym obciążeniem na klastrze H100 w formacie FP8

Firma fintech obsługuje tysiące żądań na sekundę poprzez vLLM:

• Modele są konwertowane do formatu FP8.
• Przepustowość klastra ulega podwojeniu dzięki sprzętowym jednostkom Tensor Cores obsługującym FP8, a koszty wynajmu chmury AWS/Lambda Labs spadają o 50%.

03. Uruchomienie modelu kodującego 32B na MacBook Pro

Programista uruchamia Qwen 2.5 Coder 32B w podróży:

• Plik w formacie qwen2.5-coder-32b-instruct-q4_k_m.gguf zajmuje zaledwie 19 GB na dysku.
• Model ładuje się do zunifikowanej pamięci laptopa (36 GB RAM), zużywając minimalną ilość energii baterii przy wysokiej szybkości odpowiedzi.

5. Pułapki, typowe błędy i bezpieczeństwo

• Ekstremalna nadmierna kwantyzacja (Quantization Cliff): Próba skompresowania modelu poniżej 3 bitów (np. Q2_K) prowadzi do gwałtownego załamania semantyki: model zaczyna pomijać nawiasy zamykające w kodzie, generować nieskończone pętle i tracić kontekst.
• Błąd wyboru formatu pod konkretny sprzęt: Próba uruchomienia modeli GGUF na klastrze serwerowych kart graficznych pod wysokim obciążeniem wielowątkowym będzie znacznie wolniejsza niż wykorzystanie wyspecjalizowanych silników vLLM z formatem AWQ lub FP8.
• Utrata precyzji w krytycznych obliczeniach matematycznych: Jeśli model jest używany do złożonych symulacji numerycznych, naiwna kwantyzacja 4-bitowa może kumulować błąd zaokrągleń w wynikach końcowych.
• Niepoprawne dane kalibracyjne: Jeśli model był kwantyzowany z użyciem zbioru kalibracyjnego zawierającego wyłącznie literaturę piękną w języku angielskim, jego zdolności do pisania kodu w Rust lub rozumienia języka polskiego mogą ulec znacznemu pogorszeniu.