Quantisierung und GGUF-Format
Mathematische Methode zur Reduzierung der Präzision numerischer Modellgewichte (z. B. von 16-Bit-FP16 auf 4-Bit-INT4) sowie das einheitliche Binärdateiformat GGUF für die sofortige Ladung in Prozessoren und Grafikkarten über die llama.cpp-Engine.
1. Überblick über das Konzept und den Zweck
Wenn Labore wie Meta oder Mistral das Training eines neuronalen Netzwerks abschließen, werden dessen Parameter in einer extrem hohen mathematischen Präzision gespeichert (16-Bit-Gleitkommazahlen – FP16). Ein Modell mit 8 Milliarden Parametern belegt in diesem Format etwa 16 GB, ein Modell mit 70 Milliarden Parametern mehr als 140 GB! Keine gewöhnliche Heim-GPU kann eine solche Datei öffnen.
Quantisierung (Quantization) ist im Wesentlichen eine mathematische „Rundung“:
- Anstatt Zahlen wie
3.14159265zu speichern, runden wir sie auf kurze 4-Bit-Ganzzahlen von0bis15. - Die Größe des Modells reduziert sich um den Faktor 3–4.
- Es passt sofort in den Speicher eines Budget-Laptops.
Das Kernprinzip für Entwickler lautet: MP3-Kompression für künstliche Intelligenz: Die Dateigröße sinkt drastisch, während das menschliche Ohr (oder der Nutzer im Chat) kaum einen Unterschied feststellt.
2. Wie Zahlen bei der Quantisierung komprimiert werden
ОРИГІНАЛ (FP16 - 16 біт на кожне число):
[ 0.8329104 ] [ -0.1982735 ] [ 0.0482910 ]
--> 16 ГБ розміру моделі (Потрібна серверна відеокарта)
▼ ПРОЦЕС КВАНТУВАННЯ (Зменшення розрядності)
КВАНТОВАНА ВЕРСІЯ (Q4_K_M - 4 біти на кожне число):
[ 13 ] [ 2 ] [ 7 ]
--> Лише 4.8 ГБ розміру моделі (Працює на домашній карті на 8 ГБ)
3. Entscheidungstabelle für Quantisierungsvarianten
| GGUF-Bezeichnung | Bits | Antwortqualität | Empfehlung |
|---|---|---|---|
| Q8_0 | 8 Bit | 99,8 % vom Original | Für Enthusiasten mit ausreichend RAM |
| Q5_K_M | 5 Bit | 98,5 % vom Original | Hervorragende Wahl, wenn VRAM verfügbar ist |
| Q4_K_M | 4 Bit | 97,0 % vom Original | Goldstandard: Standardauswahl |
| Q3_K_M | 3 Bit | 90,0 % vom Original | Wenn das Modell nicht passt, aber unbedingt laufen soll |
| Q2_K | 2 Bit | < 75 % (mögliche Fehler) | Nicht für ernsthafte Aufgaben empfohlen |
4. Praktisches Fazit
Wenn Sie ein Modell für einen lokalen Chat in LM Studio oder über Ollama herunterladen, wählen Sie immer die Version mit der Kennzeichnung Q4_K_M oder Q5_K_M. Dies garantiert maximale Generierungsgeschwindigkeit bei minimaler Belastung Ihrer Hardware.
FAQ: Quantisierung und GGUF-Format
Verwandte Begriffe
Videospeicher (VRAM) für KI
Der Videospeicher der Grafikkarte (Video RAM), in dem die Gewichte des neuronalen Netzes und das Kontextfenster geladen werden. Dies ist das wichtigste Hardware-Engpass: Wenn ein Modell nicht in den VRAM passt, startet es entweder gar nicht oder läuft auf einer herkömmlichen CPU um ein Vielfaches langsamer.
LM Studio
Eine kostenlose Desktop-Anwendung für Windows, macOS und Linux, mit der Sie offene LLMs per Klick finden, herunterladen und ausführen können – ganz ohne Terminal. Sie verfügt über einen integrierten lokalen Server, der mit der OpenAI API kompatibel ist.
Ollama (Plattform für lokale Modellausführung)
Ein führendes Open-Source-Tool zum einfachen Herunterladen, Konfigurieren und lokalen Ausführen von Sprachmodellen (Llama, DeepSeek, Qwen) mit einer integrierten REST-API, die mit OpenAI kompatibel ist.