Thinking Machines выпустила зацикленный трансформер Inkling 2 Mini




Thinking Machines, стартап Миры Мурати, выпустила Inkling 2 Mini — модель на архитектуре looped transformer. Это тот же подход, который, по предположениям, лежит в основе GPT-6 Astra.
Основная идея: вместо того чтобы прогонять фиксированный стек слоёв ровно один раз, модель многократно пропускает скрытое состояние через один и тот же блок слоёв перед генерацией следующего токена. Это добавляет глубину рассуждений без увеличения числа параметров и без лишних трат токенов на reasoning.
Многие предполагают, что такая архитектура также могла лечь в основу Fable 5.2 и GPT Sol. Именно за счёт зацикливания могло произойти удешевление моделей и оптимизация потребления токенов, которые наблюдались в последние месяцы.
Thinking Machines выпустила компактную версию looped transformer для локального запуска:
- всего 26.4B параметров;
- активных параметров — около 3.4B;
- за счёт повторного прогона слоёв получается примерно 5.4B активаций весов на токен.
Всего в модели 24 слоя, организованных в четыре блока по шесть слоёв. Первый и последний блоки выполняются один раз, а два средних — по три раза. В итоге на токен приходится 48 применений слоёв. Повторно прогоняются только средние слои, потому что, по словам авторов, в них происходит более абстрактное рассуждение. На тестах это дало значительно лучший результат, чем зацикливание последних 12 слоёв.
По бенчмаркам модель показывает уровень, сопоставимый с Qwen3.8-27B, а по отдельным метрикам даже выше, несмотря на меньшее число параметров. Для локального запуска это действительно интересный вариант.
Почему это важно
АналитикаInkling 2 Mini показывает, что looped transformer может дать более глубокое рассуждение без пропорционального роста параметров. Для локальных и edge-сценариев это потенциально снижает требования к памяти и вычислениям при сохранении конкурентного качества.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
Thinking Machines выпустила Inkling 2 Mini — модель с открытыми весами для локального кода
Thinking Machines выпустила Inkling 2 Mini с открытыми весами и циклической архитектурой трансформера: модель можно запускать локально на Mac и использовать для программирования без интернета.
OpenAI выпустила модели GPT 6.2 Astra и Sol
OpenAI представила GPT 6.2 Astra и Sol: Astra показала сильные результаты в агентных тестах и заняла первое место в рейтинге AA-3D, а новые тарифы делают её конкурентоспособной среди других моделей.
Часть I. Архитектура ИИ-агентов: фундаментальные блоки
Одиннадцать фундаментальных строительных блоков современного ИИ-агента: таксономия моделей, агентный рантайм, техники промптинга, дистилляция, архитектура навыков (skills), память, function calling и FinOps.
Часть II. Архитектура ИИ-агентов: от модели до памяти и инструментов
Глубокое инженерное погружение: токенизация, KV-кэш, детерминизм сэмплинга, тренировочный стек, квантование, контекстная инженерия, стек безопасности, производственный RAG, ReAct и мультиагентные swarm-системы.