Mistral prezentuje Le Chonk: Large 4 – multimodalny model z 1,05 biliona parametrów
Mistral wprowadził swój nowy flagowy model Large 4, znany wewnętrznie jako Le Chonk. To multimodalna architektura MoE o łącznej liczbie 1,05 biliona parametrów, obsługująca kontekst do 1 miliona tokenów.
Mistral prezentuje Le Chonk: Large 4 – multimodalny model z 1,05 biliona parametrów
Mistral zaprezentował swój nowy flagowy model, Large 4. Wewnętrznie firma nazywa go „Le Chonk”, co jest nawiązaniem do mema „Le Chaton Fat” – fikcyjnego giganta Mistral, który pojawił się w mediach społecznościowych kilka miesięcy temu.
Kluczowe szczegóły
- Architektura: MoE (Mixture of Experts)
- Parametry: 1,05 biliona łącznie, 49 miliardów aktywnych
- Modalności: multimodalne, w tym analiza obrazu
- Kontekst: do 1 miliona tokenów
- Dostępność: przez API w fazie
public preview
Według własnych testów Mistrala, Large 4 to nowy otwarty model SOTA (State-of-the-Art) dla rynku amerykańskiego i europejskiego. Firma podkreśla jego możliwości w zakresie kodowania, cyberbezpieczeństwa oraz finansów, wskazując, że model przewyższa niektóre zamknięte modele frontier w zadaniach detekcji obiektów na obrazach.
Model został wytrenowany od podstaw w ciągu około dwóch miesięcy na klastrze składającym się z 4000 jednostek Nvidia Grace Blackwell. Jak na tak dużą skalę modelu, jest to stosunkowo kompaktowa infrastruktura obliczeniowa.
Wagi modelu mają zostać udostępnione 27 października.
Dlaczego to ważne
AnalizaPremiera wzmacnia konkurencję na rynku modeli AI o otwartych wagach, oferując deweloperom zaawansowane narzędzie multimodalne z długim kontekstem, idealne do zastosowań w kodowaniu, bezpieczeństwie i sektorze finansowym.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami
Powiązane w ekosystemie
Praktyczne poradniki, kluczowa terminologia i skille agentów
LLM (Large Language Model - Duży Model Językowy)
Fundamentalna klasa architektur sieci neuronowych opartych na autoregresyjnym transformatorze, która przewiduje rozkład prawdopodobieństwa kolejnych tokenów i wykazuje emergentne właściwości abstrakcyjnego myślenia, syntezy kodu oraz wnioskowania logicznego.
Mistral AI (Europejskie modele otwarte i efektywne)
Seria wysokowydajnych modeli open-source oraz komercyjnych francuskiego startupu Mistral AI (Mistral 7B, Mixtral 8x7B, Mistral Large). Znane z kompaktowości, szybkości działania oraz poszanowania prywatności danych.
Część II. Architektura agentów AI: od modelu do pamięci i narzędzi
Głęboka analiza inżynierska: tokenizacja, cache KV, determinizm próbkowania, stos treningowy, kwantyzacja, inżynieria kontekstu, stos bezpieczeństwa, produkcyjny RAG, ReAct oraz systemy multiagentowe typu swarm.
OpenAI wydało modele GPT 6.2 Astra i Sol
OpenAI przedstawiło GPT 6.2 Astra i Sol; Astra prowadzi w testach agentów i oferuje bardziej konkurencyjne ceny.