Types de quantification : FP16, INT8, INT4
Formats techniques de représentation des poids des réseaux de neurones. De la précision flottante complète en 16 bits (FP16 / BF16) aux formats entiers compressés (INT8, INT4, AWQ, EXL2), qui définissent l'équilibre entre la consommation mémoire et la qualité intellectuelle des réponses.
1. Vue d'ensemble du concept et de la finalité
Chaque paramètre d'un réseau neuronal est représenté par un nombre. Or, un ordinateur peut stocker ce nombre de différentes manières :
- En le consignant avec une précision maximale jusqu'à 10 décimales (comme en laboratoire de physique).
- Ou en l'arrondissant à l'entier le plus proche (comme pour rendre la monnaie).
Les types de quantification (FP16, INT8, INT4) correspondent au choix du nombre de bits de mémoire que vous êtes prêt à allouer pour chaque paramètre parmi les milliards composant le modèle.
Le principe d'ingénierie clé est analogue à la résolution vidéo : 4K Ultra HD (FP16), Full HD correct (INT8) ou 720p optimisé (INT4). Sur la plupart des écrans, le 720p offre une qualité visuelle excellente tout en se chargeant 4 fois plus rapidement.
2. Tableau comparatif des formats de précision
| Format | Bits par nombre | Taille du modèle 8B | Précision logique | Cas d'utilisation |
|---|---|---|---|---|
| FP16 / BF16 | 16 bits (2 octets) | ~16 Go | 100 % (Référence) | Serveurs cloud d'entraînement |
| INT8 | 8 bits (1 octet) | ~8,5 Go | 99,5 % vs référence | Serveurs pour API économique |
| INT4 (Q4) | 4 bits (0,5 octet) | ~4,8 Go | 97,0 % vs référence | PC et laptops domestiques |
| INT2 (Q2) | 2 bits (0,25 octet) | ~2,5 Go | < 70 % (Dégradation) | Expérimentations d'enthousiastes |
3. Pourquoi la compression 4 bits (INT4) a constitué une révolution
Avant 2023, on considérait qu'une réduction des nombres à 4 bits (ne laissant que 16 valeurs possibles : de 0 à 15) rendrait le modèle linguistique totalement incohérent.
Cependant, les chercheurs ont développé des méthodes intelligentes telles que AWQ (Activation-aware Weight Quantization) et les GGUF K-quants :
- Ils ont découvert que seuls 1 % des poids sont « critiques » pour la cohérence du modèle.
- Ces 1 % sont conservés en haute précision, tandis que les 99 % restants sont compressés sans hésitation sur 4 bits.
- Résultat : le modèle a réduit sa taille d'un facteur 3,5 tout en préservant près de 98 % de son intelligence originale !
4. Conclusion pratique
Lorsque vous sélectionnez un format de modèle dans les outils locaux (LM Studio, Ollama) :
- Si vous disposez de beaucoup de VRAM ➔ privilégiez INT8 (Q8) pour une fidélité textuelle maximale.
- Si la mémoire est limitée ➔ optez systématiquement pour INT4 (Q4_K_M). C'est le standard or incontestable.
FAQ: Types de quantification : FP16, INT8, INT4
Termes associés
Quantification et format GGUF
Méthode mathématique de réduction de la précision des poids numériques du modèle (par exemple, du FP16 16 bits à l'INT4 4 bits) et fichier binaire unifié au format GGUF pour un chargement instantané sur les processeurs et cartes graphiques via le moteur llama.cpp.
Mémoire vidéo (VRAM) pour l'IA
La mémoire vidéo (Video RAM) du processeur graphique, dans laquelle sont chargés les poids des réseaux de neurones et la fenêtre de contexte. C'est le principal goulot d'étranglement matériel : si un modèle ne tient pas dans la VRAM, il ne démarrera pas ou fonctionnera dix fois plus lentement sur un processeur standard.
Nombre de paramètres du modèle (7B, 14B, 70B)
Indication du nombre total de paramètres d'apprentissage (poids) dans un grand modèle de langage, où la lettre 'B' signifie milliards (Billion). C'est l'indicateur principal de la capacité intellectuelle du modèle, de sa vitesse d'exécution et des exigences en mémoire informatique.