Thinking Machines выпустила Inkling 2 Small: MoE-модель, которая конкурирует с более крупными флагманами
Thinking Machines выпустила Inkling 2 Small — модель, которая, несмотря на свои размеры, способна конкурировать с куда более крупными флагманами.
Она построена на архитектуре Mixture-of-Experts и насчитывает 594 млрд параметров, но при обработке каждого токена задействует лишь 17 млрд. Кроме того, модель умеет работать с изображениями и позволяет регулировать глубину рассуждений.
В тестах по программированию Inkling 2 Small не уступает многим значительно более крупным моделям. Но самое интересное — третье место в DesignArena, где она оказалась сразу за мощнейшими закрытыми моделями.
Полные веса обещают опубликовать уже на следующей неделе под лицензией Apache 2.0.
Почему это важно
АналитикаМодель показывает, что архитектура Mixture-of-Experts позволяет достигать флагманского уровня при меньших вычислительных затратах на токен. Публикация весов под Apache 2.0 может ускорить эксперименты и внедрение ИИ-решений.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
Thinking Machines выпустила новую модель Inkling 2 Small
Thinking Machines представила Inkling 2 Small — MoE-модель на 594B параметров, которая заняла первое место среди открытых моделей в общем лидерборде и умеет самостоятельно дообучать другие модели.
LLM (Large Language Model - Большая языковая модель)
Фундаментальный класс нейросетевых архитектур на основе авторегрессионного трансформера, который предполагает вероятностное распределение следующих токенов и демонстрирует эмергентные свойства абстрактного мышления, синтеза кода и логического вывода.
Лучшая в мире модель для задач кибербезопасности уже здесь
OpenAI представила GPT-6 Cyber с рекордными результатами в бенчмарке ExploitGym, обнаружением уязвимостей Firefox и анализом ошибок Linux; доступ пока ограничен.
Часть I. Архитектура ИИ-агентов: фундаментальные блоки
Одиннадцать фундаментальных строительных блоков современного ИИ-агента: таксономия моделей, агентный рантайм, техники промптинга, дистилляция, архитектура навыков (skills), память, function calling и FinOps.