Mistral представила Le Chonk: Large 4 на 1,05 трлн параметров
Mistral выпустила мультимодальную модель Large 4 с архитектурой MoE и контекстом до 1 млн токенов. Ваги обещают опубликовать 27 октября.
Mistral представила новую флагманскую модель Large 4. Но официально внутри компании её называют Le Chonk. Это отсылка к мему Le Chaton Fat, фейковой гигантской модели Mistral, которую несколько месяцев назад придумали в соцсетях.
Large 4 — это крупненькая MoE на 1,05T параметров, 49B активных. Модель мультимодальная, поддерживает контекст до 1 млн токенов и уже доступна через API в режиме public preview.
По собственным тестам Mistral, это новая открытая SOTA по США и Европе. Отдельно выделяют кодинг, кибербезопасность и финансы, а в задачах на детекцию объектов на изображениях модель обходит даже некоторые закрытые фронтиры.
Обучали с нуля около двух месяцев на 4 000 Nvidia Grace Blackwell. Для модели такого размера это, кстати, довольно компактный кластер.
Веса обещают выпустить 27 октября.
Почему это важно
АналитикаМодель усиливает конкуренцию в открытом сегменте и показывает результаты, близкие к закрытым фронтирам, в кодинге, кибербезопасности и финансах.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
LLM (Large Language Model - Большая языковая модель)
Фундаментальный класс нейросетевых архитектур на основе авторегрессионного трансформера, который предполагает вероятностное распределение следующих токенов и демонстрирует эмергентные свойства абстрактного мышления, синтеза кода и логического вывода.
Mistral AI (Европейские открытые и эффективные модели)
Серия высокоэффективных открытых и коммерческих моделей от французского стартапа Mistral AI (Mistral 7B, Mixtral 8x7B, Mistral Large). Известны компактностью, скоростью и уважением к приватности данных.
Alibaba представила Qwen4-Max с контекстным окном на миллион токенов
Флагманская нейросеть Qwen4-Max заявлена как самая мощная модель Alibaba для программирования, разработки игр и агентных задач, с ценой ниже топовых американских конкурентов.
Часть I. Архитектура ИИ-агентов: фундаментальные блоки
Одиннадцать фундаментальных строительных блоков современного ИИ-агента: таксономия моделей, агентный рантайм, техники промптинга, дистилляция, архитектура навыков (skills), память, function calling и FinOps.