Recurrent Looped Transformer: новий погляд на архітектуру ШІ-моделей

Looped Transformer — одна з найбільш обговорюваних архітектурних ідей у світі штучного інтелекту зараз.

У новому технічному звіті пропонується розширити цикл між токенами. Recurrent Looped Transformer робить декодер рекурентним для кожного токена, охоплюючи як запит, так і відповідь.

Каузальний енкодер формує загальну KV-пам'ять. Для кожного нового токена декодер об'єднує:

• представлення цього токена з енкодера;
• власне фінальне приховане стан від попереднього токена;
• кеш нещодавніх активацій з ковзним вікном.

При декодері з 48 шарів шлях обчислень після t токенів проходить через 48t блоків декодера, хоча кожен окремий токен виконує фіксовану кількість блоків.

Це означає, що глибина обчислень зростає разом із довжиною послідовності, а вартість обробки одного токена залишається постійною.

Один і той же перехід між станами використовується для попереднього навчання, SFT (Supervised Fine-Tuning), генерації та відтворення в RL (Reinforcement Learning). На межі між запитом і відповіддю стан не скидається.

Під час RL replay стани перебудовуються з поточними вагами моделі замість повторного використання застарілих станів із попередніх запусків.

Поки що це саме архітектурна пропозиція. Автор зазначає, що приріст у міркуваннях, прискорення на залізі та масштабування RL — це цілі, які ще не були виміряні.

📄 Стаття та код на GitHub