Quantisierungstypen: FP16, INT8, INT4
Technische Formate zur Darstellung von neuronalen Netzwerk-Gewichten. Von der vollen 16-Bit-Fließkomma-Genauigkeit (FP16 / BF16) bis hin zu ganzzahligen Komprimierungsformaten (INT8, INT4, AWQ, EXL2), die das Gleichgewicht zwischen Speicherverbrauch und intelligenter Antwortqualität bestimmen.
1. Überblick über das Konzept und den Zweck
Jedes Wissen eines neuronalen Netzwerks ist eine Zahl. Aber ein Computer kann dieselbe Zahl auf unterschiedliche Weise speichern:
- Man kann sie mit maximaler Genauigkeit bis zu 10 Dezimalstellen erfassen (wie im Physiklabor).
- Oder man rundet sie auf die nächste ganze Zahl (wie beim Wechselgeld im Laden).
Quantisierungstypen (FP16, INT8, INT4) sind die Entscheidung darüber, wie viele Bits Speicherplatz Sie bereit sind, für jeden der Milliarden Parameter des Modells zu reservieren.
Das zentrale ingenieurwissenschaftliche Prinzip: Wie bei der Videoauflösung: 4K Ultra HD (FP16), gutes Full HD (INT8) oder optimiertes 720p (INT4). Auf den meisten Bildschirmen sieht 720p hervorragend aus, lädt aber viermal schneller.
2. Vergleichstabelle der Präzisionsformate
| Format | Bits pro Zahl | Modellgröße 8B | Logik-Präzision | Einsatzbereich |
|---|---|---|---|---|
| FP16 / BF16 | 16 Bit (2 Bytes) | ~16 GB | 100% (Referenz) | Cloud-Training-Server |
| INT8 | 8 Bit (1 Byte) | ~8.5 GB | 99.5% der Referenz | Server für günstige API |
| INT4 (Q4) | 4 Bit (0.5 Bytes) | ~4.8 GB | 97.0% der Referenz | Heim-PCs & Laptops |
| INT2 (Q2) | 2 Bit (0.25 Bytes) | ~2.5 GB | < 70% (Ausfälle) | Enthusiasten-Experimente |
3. Warum die 4-Bit-Kompression (INT4) zur Revolution wurde
Bis 2023 galt es als sicher, dass ein Sprachmodell vollständig „verrückt“ wird, wenn man Zahlen auf 4 Bit rundet (wobei nur 16 mögliche Werte existieren: von 0 bis 15).
Aber Wissenschaftler entwickelten intelligente Methoden (wie AWQ – Activation-aware Weight Quantization und GGUF K-quants):
- Sie entdeckten, dass nur 1 % der Gewichte des Modells für die Intelligenz „kritisch wichtig“ sind.
- Dieses 1 % bleibt in hoher Präzision erhalten, während die restlichen 99 % der Zahlen mutig auf 4 Bit komprimiert werden.
- Das Ergebnis: Das Modell schrumpfte um das 3,5-fache, behielt aber fast 98 % seiner ursprünglichen Intelligenz!
4. Praktische Schlussfolgerung
Wenn Sie das Modellformat in lokalen Anwendungen wählen (LM Studio, Ollama):
- Wenn Sie viel VRAM haben ➔ wählen Sie INT8 (Q8) für maximale Textästhetik.
- Wenn der Speicher begrenzt ist ➔ nehmen Sie immer INT4 (Q4_K_M). Dies ist der unübertroffene Goldstandard.
FAQ: Quantisierungstypen: FP16, INT8, INT4
Verwandte Begriffe
Quantisierung und GGUF-Format
Mathematische Methode zur Reduzierung der Präzision numerischer Modellgewichte (z. B. von 16-Bit-FP16 auf 4-Bit-INT4) sowie das einheitliche Binärdateiformat GGUF für die sofortige Ladung in Prozessoren und Grafikkarten über die llama.cpp-Engine.
Videospeicher (VRAM) für KI
Der Videospeicher der Grafikkarte (Video RAM), in dem die Gewichte des neuronalen Netzes und das Kontextfenster geladen werden. Dies ist das wichtigste Hardware-Engpass: Wenn ein Modell nicht in den VRAM passt, startet es entweder gar nicht oder läuft auf einer herkömmlichen CPU um ein Vielfaches langsamer.
Anzahl der Modellparameter (7B, 14B, 70B)
Bezeichnung für die Gesamtanzahl der Trainingsparameter (Gewichte) in einem großen Sprachmodell, wobei der Buchstabe 'B' Milliarden (Billion) bedeutet. Dies ist ein Hauptindikator für die intellektuelle Kapazität des Modells, seine Verarbeitungsgeschwindigkeit und die Anforderungen an den Computerspeicher.