Mémoire vidéo (VRAM) pour l'IA

1. Aperçu du concept et de sa finalité

Lorsque les passionnés d’IA locale affirment : « Mon RTX 4060 avec 8 Go ne me suffit pas » ou « J’ai opté pour un Mac doté de 64 Go de mémoire unifiée », ils parlent tous de la même chose : la capacité de stockage nécessaire pour héberger le poids numérique d’un réseau neuronal.

La VRAM (Video RAM) est une mémoire vive ultra-rapide dédiée à la carte graphique. Pour qu’un grand modèle de langage puisse répondre à vos requêtes, deux conditions sont impératives :

1. L’intégralité de ses milliards de coefficients numériques (les poids) doit être chargée en mémoire.
2. De l’espace doit également être réservé pour l’historique de votre conversation (le KV-cache).

Pour un débutant, imaginez la VRAM comme la surface de travail d’un artisan. Si le plan de travail est trop petit, il faut ranger les outils dans le couloir, ce qui rend chaque opération interminable.

2. Comment un modèle consomme l’espace vidéo

┌─────────────────────────────────────────────────────────────┐
│                   STRUCTURE D'OCCUPATION DE LA VRAM         │
├─────────────────────────────────────────────────────────────┤
│ 1. POIDS DU MODÈLE (70-80%) :                               │
│    Modèle de 8 milliards de paramètres en compression       │
│    4 bits = ~5,5 Go                                         │
├─────────────────────────────────────────────────────────────┤
│ 2. CACHE KV DU CONTEXTE (15-20%) :                          │
│    Historique de la conversation                            │
│    (par ex., 8 000 tokens) = ~1,5 Go                        │
├─────────────────────────────────────────────────────────────┤
│ 3. TAMPON DE GÉNÉRATION ET SYSTÈME (5%) :                   │
│    Variables de travail pour le calcul du token suivant     │
│    = ~0,8 Go                                                │
├─────────────────────────────────────────────────────────────┤
│ 🎯 TOTAL REQUIS : ~7,8 Go de VRAM                           │
│    (idéal pour une carte graphique de 8 Go)                 │
└─────────────────────────────────────────────────────────────┘

3. Repères par volume de VRAM pour un usage domestique

• 4–6 Go de VRAM : Le seuil minimal. Permet d’exécuter des modèles très compacts (Phi-3 Mini, Gemma 2B) ou des générateurs d’images légers (SD 1.5).
• 8–12 Go de VRAM : La norme idéale pour débuter. Offre un confort d’exécution pour Llama 3 (8B), Mistral 7B ainsi que la génération d’images via FLUX/SDXL.
• 16–24 Go de VRAM : Le niveau utilisateur avancé. Supporte des modèles de 14 à 32 milliards de paramètres et permet un travail parallèle sur des bases de connaissances (RAG).
• 48 Go+ (ou Apple Unified Memory) : La classe entreprise à domicile. Nécessaire pour exécuter des modèles lourds de 70B paramètres.

4. Règle fondamentale pour le choix du matériel

Le volume de VRAM est bien plus critique que la vitesse de la puce. Il vaut mieux posséder une carte plus ancienne disposant de 16 Go de mémoire (par exemple, une RTX 3060 12GB ou une RTX 4060 Ti 16GB) plutôt qu’une carte phare ultramoderne limitée à 8 Go. En effet, un grand modèle intelligent ne peut tout simplement pas tenir physiquement dans seulement 8 Go de VRAM.