Mistral dévoile « Le Chonk » : Large 4, un modèle multimodal de 1 050 milliards de paramètres
Mistral lance son nouveau modèle phare, Large 4 (surnommé « Le Chonk »), une architecture MoE multimodale atteignant 1,05 billion de paramètres et supportant un contexte d'un million de tokens.
Mistral dévoile « Le Chonk » : Large 4, un modèle multimodal de 1 050 milliards de paramètres
Mistral a présenté son nouveau modèle phare, Large 4. En interne, l'entreprise le surnomme « Le Chonk », une référence au mème Le Chaton Fat, qui mettait en scène un faux géant des modèles Mistral apparu sur les réseaux sociaux il y a quelques mois.
Caractéristiques clés
- Architecture : Mixture of Experts (MoE)
- Paramètres : 1,05 billion au total, dont 49 milliards actifs
- Modalités : Multimodal, incluant l'analyse d'images
- Contexte : Jusqu'à 1 million de tokens
- Disponibilité : Via l'API en
public preview
Selon les tests internes de Mistral, Large 4 établit un nouveau standard SOTA (State Of The Art) pour les modèles ouverts aux États-Unis et en Europe. L'entreprise met en avant ses performances en programmation, cybersécurité et finance, affirmant que le modèle surpasse certains modèles propriétaires de pointe dans les tâches de détection d'objets sur images.
Le modèle a été entraîné depuis zéro pendant environ deux mois sur 4 000 unités Nvidia Grace Blackwell. Pour un modèle de cette taille, il s'agit d'un cluster relativement compact.
Les poids du modèle devraient être publiés le 27 octobre.
Pourquoi c'est important
AnalyseCette sortie renforce la concurrence sur le marché des IA à poids ouverts et offre aux développeurs un modèle multimodal à long contexte, idéal pour les charges de travail complexes en code, sécurité et finance.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs
Lié dans l'écosystème
Guides pratiques, terminologie clé et compétences d'agents
LLM (Large Language Model - Grand modèle de langage)
Classe fondamentale d'architectures de réseaux neuronaux basée sur le transformateur autorégressif, qui prédit la distribution probabiliste des tokens suivants et démontre des propriétés émergentes de pensée abstraite, de synthèse de code et de raisonnement logique.
Mistral AI (Modèles ouverts et efficaces européens)
Série de modèles ouverts et commerciaux hautement performants issus de la startup française Mistral AI (Mistral 7B, Mixtral 8x7B, Mistral Large). Réputés pour leur compacité, leur rapidité et le respect de la confidentialité des données.
Partie II. Architecture des agents IA : du modèle à la mémoire et aux outils
Immersion technique approfondie : tokenisation, cache KV, déterminisme de l'échantillonnage, stack d'entraînement, quantification, ingénierie contextuelle, stack de sécurité, RAG en production, ReAct et systèmes swarm multi-agents.
Alibaba dévoile Qwen4-Max avec un contexte d’un million de tokens
Le nouveau modèle phare d’Alibaba vise la programmation, le développement de jeux et les tâches agentiques, avec un prix inférieur à celui des principaux concurrents américains.