DeepSeek-V4.1-Flash avec 763 milliards de paramètres peut s’exécuter localement sur un GPU de 12 Go
DeepSeek-V4.1-Flash avec 763 milliards de paramètres peut s’exécuter localement sur un GPU de 12 Go
Des chercheurs d’IST Austria ont présenté une version quantifiée de DeepSeek-V4.1-Flash pouvant s’exécuter sur des GPU grand public avec 12 Go de VRAM.
Des chercheurs de l’institut autrichien IST Austria ont présenté une version quantifiée du modèle d’IA DeepSeek-V4.1-Flash avec 763 milliards de paramètres, qui peut s’exécuter localement même sur un GPU doté de 12 Go de mémoire vidéo.
La méthode de quantification GSQ-RCO et le moteur d’inférence Strata permettent de l’utiliser sur des GPU grand public.
D’après les résultats des tests :
RTX 5070 avec 12 Go de VRAM et 64 Go de RAM fournit environ 5 jetons par seconde lors de la génération de réponse et jusqu’à 231 jetons par seconde lors du traitement du contexte d’entrée. RTX 3060 avec 12 Go de VRAM et 46 Go de RAM atteint 8–10 jetons par seconde lors de la génération de réponse et environ 149 jetons par seconde lors du traitement du contexte d’entrée.
Son exécution nécessite une grande quantité de RAM et au moins 239 Go d’espace libre sur le stockage, car une grande partie des poids du modèle est stockée dans la RAM et sur SSD, puis chargée au besoin.
Cette vitesse est difficile à qualifier d’élevée, et les tâches agentiques complexes continuent d’exiger des ressources informatiques importantes. Néanmoins, la possibilité d’exécuter un modèle de 763 milliards de paramètres sur un ordinateur ordinaire témoigne de progrès significatifs en quantification et en optimisation de l’inférence.
Pourquoi c'est important
AnalyseCela montre des progrès en quantification et en optimisation de l’inférence, même si l’exécution locale de grands modèles d’IA reste exigeante en ressources.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs
Lié dans l'écosystème
Guides pratiques, terminologie clé et compétences d'agents
GGUF & Modern Quantization Standards
Universal binary file format for storing and instantly loading quantized language models on CPUs and GPUs in llama.cpp, Ollama, and LM Studio.
Framework MLX pour Apple Silicon
Bibliothèque native d'apprentissage automatique conçue par Apple, optimisée pour tirer pleinement parti de la mémoire unifiée et des cœurs graphiques des puces de la série M (M2/M3/M4) lors de l'exécution de grands modèles de langage (LLM).
Comment exécuter un LLM en local : configuration, modèles et optimisation
Guide complet pour l'exécution de réseaux de neurones locaux sur votre PC : exigences matérielles, déploiement d'Ollama et d'Open WebUI, aperçu de Llama 3, Qwen 2.5, DeepSeek et quantification GGUF.
Comment exécuter DeepSeek-R1 localement et gratuitement sur Mac, Windows et Linux
Vous en avez assez des limitations des services cloud et des paiements récurrents pour l'API DeepSeek-R1 ? Vous n'êtes pas seul. De nombreux développeurs, utilisateurs d'IA et chercheurs souhaitent un contrôle total sur leurs données et leurs flux de travail.
Grok Bot peut désormais interagir directement avec les applications système d’un smartphone
Grok Bot peut désormais travailler directement avec les applications système sur iOS et Android : calendrier, rappels, contacts, messages, géolocalisation, mais aussi éclairage et serrures.
Kimi K3.1 Pro génère avec succès un site 3D où un bras robotique est démonté en 2 317 pièces
Le modèle Kimi K3.1 Pro a répondu à une demande de création d’un site web tridimensionnel où un bras robotique est démonté en 2 317 pièces individuelles.