Mistral lança Le Chonk: Large 4, um modelo multimodal com 1,05 biliões de parâmetros
A Mistral apresentou o seu novo modelo principal, Large 4, apelidado internamente de 'Le Chonk'. Este modelo MoE multimodal possui 1,05 biliões de parâmetros totais, suporta contextos de até 1 milhão de tokens e está disponível em pré-visualização pública.
Mistral lança Le Chonk: Large 4, um modelo multimodal com 1,05 biliões de parâmetros
A Mistral introduziu o seu novo modelo principal, Large 4. Internamente, a empresa reporta que o chama de "Le Chonk", uma referência ao meme "Le Chaton Fat", um suposto modelo gigante da Mistral que circulou nas redes sociais meses atrás.
Detalhes principais
- Arquitetura: MoE (Mixture of Experts)
- Parâmetros: 1,05 biliões no total, 49 biliões ativos
- Modalidades: Multimodal, incluindo análise de imagens
- Contexto: Até 1 milhão de tokens
- Disponibilidade: Através da API em
public preview(pré-visualização pública)
De acordo com os testes internos da Mistral, o Large 4 é um novo modelo aberto SOTA (State-of-the-Art) para os EUA e Europa. A empresa destaca as capacidades em programação, cibersegurança e finanças, afirmando que o modelo supera alguns modelos fechados de fronteira em tarefas de deteção de objetos em imagens.
O modelo foi treinado do zero durante aproximadamente dois meses em 4.000 unidades Nvidia Grace Blackwell. Para um modelo deste tamanho, trata-se de um cluster relativamente compacto.
Está prometida a libertação dos pesos do modelo para 27 de outubro.
Por que isso importa
AnáliseEste lançamento reforça a concorrência no mercado de IA de pesos abertos, oferecendo aos developers um modelo multimodal de longo contexto ideal para cargas de trabalho em programação, segurança e finanças.
Debater na comunidade
Compartilhe suas dúvidas e insights com desenvolvedores