Mistral dévoile « Le Chonk » : Large 4, un modèle multimodal de 1 050 milliards de paramètres
Mistral lance son nouveau modèle phare, Large 4 (surnommé « Le Chonk »), une architecture MoE multimodale atteignant 1,05 billion de paramètres et supportant un contexte d'un million de tokens.
Mistral dévoile « Le Chonk » : Large 4, un modèle multimodal de 1 050 milliards de paramètres
Mistral a présenté son nouveau modèle phare, Large 4. En interne, l'entreprise le surnomme « Le Chonk », une référence au mème Le Chaton Fat, qui mettait en scène un faux géant des modèles Mistral apparu sur les réseaux sociaux il y a quelques mois.
Caractéristiques clés
- Architecture : Mixture of Experts (MoE)
- Paramètres : 1,05 billion au total, dont 49 milliards actifs
- Modalités : Multimodal, incluant l'analyse d'images
- Contexte : Jusqu'à 1 million de tokens
- Disponibilité : Via l'API en
public preview
Selon les tests internes de Mistral, Large 4 établit un nouveau standard SOTA (State Of The Art) pour les modèles ouverts aux États-Unis et en Europe. L'entreprise met en avant ses performances en programmation, cybersécurité et finance, affirmant que le modèle surpasse certains modèles propriétaires de pointe dans les tâches de détection d'objets sur images.
Le modèle a été entraîné depuis zéro pendant environ deux mois sur 4 000 unités Nvidia Grace Blackwell. Pour un modèle de cette taille, il s'agit d'un cluster relativement compact.
Les poids du modèle devraient être publiés le 27 octobre.
Pourquoi c'est important
AnalyseCette sortie renforce la concurrence sur le marché des IA à poids ouverts et offre aux développeurs un modèle multimodal à long contexte, idéal pour les charges de travail complexes en code, sécurité et finance.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs