Typy kwantyzacji: FP16, INT8, INT4
Techniczne formaty reprezentacji wag sieci neuronowych. Od pełnej 16-bitowej precyzji zmiennoprzecinkowej (FP16 / BF16) po całkowitoliczbowe formaty kompresji (INT8, INT4, AWQ, EXL2), które określają równowagę między zużyciem pamięci a jakością merytoryczną odpowiedzi.
1. Przegląd koncepcji i przeznaczenia
Każda wiedza sieci neuronowej to liczba. Ale komputer może przechowywać tę samą liczbę na różne sposoby:
- Można zapisać ją z maksymalną precyzją do 10 miejsc po przecinku (jak w laboratorium fizycznym).
- Można zaokrąglić ją do najbliższej liczby całkowitej (jak resztę w sklepie).
Typy kwantyzacji (FP16, INT8, INT4) to decyzja o tym, ile bitów pamięci jesteś gotów poświęcić na zapis każdego z miliardów parametrów modelu.
Kluczowa zasada inżynierska: to jak rozdzielczość wideo: 4K Ultra HD (FP16), dobre Full HD (INT8) lub zoptymalizowane 720p (INT4). Na większości ekranów 720p wygląda świetnie, a ładuje się 4 razy szybciej.
2. Tabela porównawcza formatów precyzji
| Format | Liczba bitów na wartość | Rozmiar modelu 8B | Precyzja logiki | Gdzie stosowany |
|---|---|---|---|---|
| FP16 / BF16 | 16 bitów (2 bajty) | ~16 GB | 100% (Wzorcowe) | Serwery chmurowego treningu |
| INT8 | 8 bitów (1 bajt) | ~8.5 GB | 99.5% wzorca | Serwery dla taniego API |
| INT4 (Q4) | 4 bity (0.5 bajta) | ~4.8 GB | 97.0% wzorca | Komputery domowe i laptopy |
| INT2 (Q2) | 2 bity (0.25 bajta) | ~2.5 GB | < 70% (Błędy) | Eksperymenty entuzjastów |
3. Dlaczego kompresja 4-bitowa (INT4) stała się rewolucją
Do 2023 roku uważano, że zaokrąglenie liczb do 4 bitów (gdzie istnieje tylko 16 możliwych wartości: od 0 do 15) całkowicie „ogłupi” model językowy.
Ale naukowcy opracowali inteligentne metody (takie jak AWQ – Activation-aware Weight Quantization oraz GGUF K-quants):
- Zbadali, że jedynie 1% wag modelu jest „kluczowo ważnych” dla jego rozumowania.
- Ten 1% pozostawia się w wysokiej precyzji, a pozostałe 99% liczb śmiało kompresuje do 4 bitów.
- W rezultacie model „schudł” 3.5-krotnie, zachowując niemal 98% swojego oryginalnego intelektu!
4. Praktyczna konkluzja
Gdy wybierasz format modelu w lokalnych aplikacjach (LM Studio, Ollama):
- Jeśli masz dużo VRAM ➔ wybierz INT8 (Q8) dla maksymalnej estetyki tekstu.
- Jeśli pamięć jest ograniczona ➔ zawsze bierz INT4 (Q4_K_M). To niekwestionowany złoty standard.
FAQ: Typy kwantyzacji: FP16, INT8, INT4
Powiązane pojęcia
Kwantyzacja i format GGUF
Metoda matematyczna zmniejszająca precyzję wag modelu (np. z 16-bitowego FP16 do 4-bitowego INT4) oraz zunifikowany plik binarny w formacie GGUF, umożliwiający natychmiastowe ładowanie na procesory i karty graficzne za pośrednictwem silnika llama.cpp.
Pamięć wideo (VRAM) dla AI
Pamięć wideo procesora graficznego (Video RAM), do której ładowane są wagi sieci neuronowej oraz okno kontekstowe. Jest to kluczowa wąska gardło sprzętowe: jeśli model nie mieści się w VRAM, albo nie uruchomi się, albo będzie działał dziesiątki razy wolniej na zwykłym procesorze.
Liczba parametrów modelu (7B, 14B, 70B)
Oznaczenie całkowitej liczby parametrów trenujących (wag) w dużym modelu językowym, gdzie litera 'B' oznacza miliardy (Billion). Jest to kluczowy wskaźnik pojemności intelektualnej modelu, jego wydajności oraz wymagań dotyczących pamięci komputera.