Thinking Machines представила зациклений ШІ-трансформер Inkling 2 Mini




Thinking Machines, стартап Міри Мураті, представила Inkling 2 Mini — модель на архітектурі looped transformer. Це той самий підхід, який, за припущеннями, нібито лежить в основі GPT-6 Astra.
Основна ідея: замість того, щоб проганяти фіксований стек шарів рівно один раз, модель багаторазово пропускає прихований стан через один і той самий блок шарів перед генерацією наступного токена. Це додає глибини міркуванню без збільшення кількості параметрів і без зайвої витрати токенів на міркування.
Багато хто припускає, що така архітектура також могла лягти в основу Fable 5.2 і GPT Sol. Саме завдяки зацикленню могло статися подешевшання моделей та оптимізація споживання токенів, які спостерігалися останніми місяцями.
Thinking Machines випустила компактну версію looped transformer, розраховану на локальний запуск:
- усього 26,4B параметрів;
- активних параметрів — приблизно 3,4B;
- через повторний прогін шарів виходить близько 5,4B активацій ваг на токен.
У моделі загалом 24 шари, організовані в чотири блоки по шість шарів. Перший і останній блоки виконуються один раз, а два середні — по три рази. У підсумку на токен припадає 48 застосувань шарів. Повторно проганяються лише середні шари, тому що, як зазначають автори, саме в них відбувається більш абстрактне міркування. У тестах це дало значно кращий результат, ніж зациклювання останніх 12 шарів.
За бенчмарками модель демонструє рівень, порівнянний із Qwen3.8-27B, а за окремими метриками навіть вищий, попри меншу кількість параметрів. Для локального запуску це справді цікавий варіант.
Чому це важливо
АналітикаInkling 2 Mini показує, що looped transformer може підвищувати глибину міркування без пропорційного зростання параметрів. Це важливо для локального та edge-запуску ШІ, де обмежені пам’ять і обчислювальні ресурси.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Thinking Machines випустила Inkling 2 Mini — відкриту ШІ-модель для локального кодування
Thinking Machines представила модель Inkling 2 Mini з відкритими вагами, циклічною архітектурою трансформера та можливістю працювати локально на Mac без інтернету.
Частина I. Архітектура ШІ-агентів: фундаментальні блоки
Десять фундаментальних блоків сучасного агента: таксономія моделей, рантайм-петля, техніки промптингу, дистиляція, навички (skills), пам'ять, function calling та юніт-економіка.
Частина II. Архітектура ШІ-агентів: від моделі до пам'яті та інструментів
Глибоке інженерне занурення: токенізація, KV-кеш, детермінізм семплінгу, тренувальний стек, квантування, контекстна інженерія, стек безпеки, виробничий RAG, ReAct та мультиагентні swarm-системи.
Frontier Models (Фронтирні моделі ШІ)
Найпотужніший клас штучного інтелекту на передньому краї світових досліджень (Claude 3.7 Sonnet, OpenAI o3/GPT-4.5, Gemini 2.0 Pro), що визначає межу сучасних можливостей міркування, автономності та кодування.