FreeToken : Exécuter des modèles MoE géants sur des PC classiques

C'est une révolution pour les passionnés de hardware : désormais, même un simple PC gamer peut exécuter des modèles avancés à des vitesses interactives, en utilisant les poids officiels sans recourir à une quantification extrême.

Des chercheurs de l'UC Berkeley, du MIT et de l'UT Austin ont publié le code source de FreeToken, un système conçu spécifiquement pour faire tourner des modèles ultra-grands de type Mixture-of-Experts (MoE) sur des ordinateurs standards.

Les résultats présentés dans leur article scientifique sont impressionnants :

• Qwen3.6 35B → Laptop équipé d'une RTX 4060 (8 Go) → 39 tokens/s
• DeepSeek-V4-Flash 284B → RTX 5090 → 22–25 tokens/s
• GLM-5.2 753B → RTX PRO 6000 → 15 tokens/s

Par rapport à Ollama, la vitesse de génération est 3 à 4 fois supérieure, tandis que le traitement du contexte d'entrée est 6 à 30 fois plus rapide.

Concrètement, cela signifie qu'un ordinateur portable de jeu disposant de seulement 8 Go de mémoire vidéo peut déjà faire tourner un modèle de 35 milliards de paramètres à près de 40 tokens par seconde. C'est même plus rapide que la vitesse médiane de génération de Codex (33 tokens/s), comme le soulignent les auteurs.

Le fonctionnement technique

L'idée centrale de FreeToken repose sur une orchestration intelligente entre le GPU, le CPU, la RAM et le bus PCIe.

Puisque les modèles MoE n'activent qu'une petite partie des experts pour chaque token, il n'est pas nécessaire de maintenir des centaines de milliards de paramètres dans la mémoire vidéo en permanence. FreeToken décide dynamiquement :

1. Quelles parties du modèle garder dans la VRAM.
2. Quelles parties déplacer temporairement de la RAM vers le GPU.
3. Quelles parties calculer directement sur le CPU.

Durant la phase de préfill (traitement du contexte), le système précharge les experts de la couche suivante. Lors de la génération, il répartit les calculs en fonction de la vitesse actuelle du CPU, du GPU et du PCIe.

Le système intègre également un Agent State Cache. Lorsqu'un agent appelle des outils, modifie le contexte ou reprend une tâche antérieure, FreeToken peut éviter une grande partie du retraitement du contexte.

Accessibilité maximale

FreeToken est livré avec une interface graphique complète. Il n'est plus nécessaire de convertir les modèles au format GGUF ni de compiler le projet depuis le code source. De plus, FreeToken Desktop inclut des intégrations natives pour les agents : vous sélectionnez un modèle, choisissez une application, et lancez-le.