Thinking Machines опубликовала веса модели Inkling 2 Small
Thinking Machines опубликовала веса модели Inkling 2 Small
Доступны веса MoE-модели с 594 млрд параметров и 17 млрд активных; претрейн занял 68 часов на 12 трлн токенов, а RL — ещё 9 дней на кластере из 2048 видеокарт.
Thinking Machines опубликовала веса модели Inkling 2 Small
Это MoE-модель на 594 миллиарда параметров с 17B активных. Претрейн закончили всего за 68 часов, использовав 12 триллионов токенов. На RL ушло ещё 9 дней кластера в 2048 видеокарт. При этом модель вполне себе конкурентоспособна с китайскими моделями 2–3 месячной давности. Для запуска этой малышки нужны две B300 или четыре H200. Ждём версию побольше.
Почему это важно
АналитикаРелиз показывает, что крупные MoE-модели с открытыми весами могут появляться очень быстро, но запуск таких моделей всё ещё требует мощной GPU-инфраструктуры уровня B300 или H200.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
Mistral AI (Европейские открытые и эффективные модели)
Серия высокоэффективных открытых и коммерческих моделей от французского стартапа Mistral AI (Mistral 7B, Mixtral 8x7B, Mistral Large). Известны компактностью, скоростью и уважением к приватности данных.
Часть II. Архитектура ИИ-агентов: от модели до памяти и инструментов
Глубокое инженерное погружение: токенизация, KV-кэш, детерминизм сэмплинга, тренировочный стек, квантование, контекстная инженерия, стек безопасности, производственный RAG, ReAct и мультиагентные swarm-системы.
Фронтирные Модели (Frontier Models)
Самый мощный класс искусственного интеллекта на переднем крае мировых исследований (Claude 3.7 Sonnet, OpenAI o3/GPT-4.5, Gemini 2.0 Pro), определяющий границы современных возможностей рассуждения, автономности и кодирования.
Часть I. Архитектура ИИ-агентов: фундаментальные блоки
Одиннадцать фундаментальных строительных блоков современного ИИ-агента: таксономия моделей, агентный рантайм, техники промптинга, дистилляция, архитектура навыков (skills), память, function calling и FinOps.