Mistral prezentuje Le Chonk: Large 4 – multimodalny model z 1,05 biliona parametrów
Mistral wprowadził swój nowy flagowy model Large 4, znany wewnętrznie jako Le Chonk. To multimodalna architektura MoE o łącznej liczbie 1,05 biliona parametrów, obsługująca kontekst do 1 miliona tokenów.
Mistral prezentuje Le Chonk: Large 4 – multimodalny model z 1,05 biliona parametrów
Mistral zaprezentował swój nowy flagowy model, Large 4. Wewnętrznie firma nazywa go „Le Chonk”, co jest nawiązaniem do mema „Le Chaton Fat” – fikcyjnego giganta Mistral, który pojawił się w mediach społecznościowych kilka miesięcy temu.
Kluczowe szczegóły
- Architektura: MoE (Mixture of Experts)
- Parametry: 1,05 biliona łącznie, 49 miliardów aktywnych
- Modalności: multimodalne, w tym analiza obrazu
- Kontekst: do 1 miliona tokenów
- Dostępność: przez API w fazie
public preview
Według własnych testów Mistrala, Large 4 to nowy otwarty model SOTA (State-of-the-Art) dla rynku amerykańskiego i europejskiego. Firma podkreśla jego możliwości w zakresie kodowania, cyberbezpieczeństwa oraz finansów, wskazując, że model przewyższa niektóre zamknięte modele frontier w zadaniach detekcji obiektów na obrazach.
Model został wytrenowany od podstaw w ciągu około dwóch miesięcy na klastrze składającym się z 4000 jednostek Nvidia Grace Blackwell. Jak na tak dużą skalę modelu, jest to stosunkowo kompaktowa infrastruktura obliczeniowa.
Wagi modelu mają zostać udostępnione 27 października.
Dlaczego to ważne
AnalizaPremiera wzmacnia konkurencję na rynku modeli AI o otwartych wagach, oferując deweloperom zaawansowane narzędzie multimodalne z długim kontekstem, idealne do zastosowań w kodowaniu, bezpieczeństwie i sektorze finansowym.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami