Mistral stellt Large 4 vor: Multimodales Modell mit 1,05 Billionen Parametern
Mistral hat sein neues Flaggschiff-Modell Large 4 vorgestellt, intern auch als „Le Chonk“ bezeichnet. Das multimodale MoE-Modell verfügt über 1,05 Billionen Parameter und unterstützt einen Kontext von bis zu einer Million Tokens.
Mistral stellt Large 4 vor: Multimodales Modell mit 1,05 Billionen Parametern
Mistral hat sein neues Flaggschiff-Modell, Large 4, eingeführt. Intern wird das Modell Berichten zufolge als „Le Chonk“ bezeichnet – eine Anspielung auf das Meme „Le Chaton Fat“, ein fiktives riesiges Mistral-Modell, das vor einigen Monaten in den sozialen Medien auftauchte.
Wichtige Details
- Architektur: MoE (Mixture of Experts)
- Parameter: 1,05 Billionen insgesamt, 49 Milliarden aktiv
- Modalitäten: Multimodal, einschließlich Bildanalyse
- Kontext: Bis zu 1 Million Tokens
- Verfügbarkeit: Über die API in der
öffentlichen Vorschau
Laut den eigenen Tests von Mistral ist Large 4 ein neues Open-SOTA-Modell (State-of-the-Art) für den US- und europäischen Markt. Das Unternehmen hebt Stärken im Bereich Coding, Cybersicherheit und Finanzen hervor und gibt an, dass das Modell einige geschlossene Frontier-Modelle bei Aufgaben zur Objekterkennung in Bildern übertreffe.
Das Modell wurde etwa zwei Monate lang von Grund auf neu trainiert, wobei ein Cluster aus 4.000 Nvidia Grace Blackwell Einheiten verwendet wurde. Für ein Modell dieser Größe ist dies ein relativ kompakter Rechencluster.
Die Freigabe der Gewichte ist für den 27. Oktober angekündigt.
Warum das wichtig ist
AnalyseDie Veröffentlichung stärkt den Wettbewerb im Markt für Open-Weight-KI und bietet Entwicklern ein leistungsstarkes, multimodales Modell mit langem Kontext für anspruchsvolle Workloads in Coding, Sicherheit und Finanzwesen.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern