Skip to main content
AI RADARModèles
1•21/11/2026, 15:41•3 min de lecture

Thinking Machines publie le transformeur en boucle Inkling 2 Mini

Thinking Machines publie le transformeur en boucle Inkling 2 Mini - 1
Thinking Machines publie le transformeur en boucle Inkling 2 Mini - 2
Thinking Machines publie le transformeur en boucle Inkling 2 Mini - 3
Thinking Machines publie le transformeur en boucle Inkling 2 Mini - 4
+1

Thinking Machines, la startup fondée par Mira Murati, a publié Inkling 2 Mini, un modèle reposant sur l’architecture looped transformer. Il s’agit de la même approche qui, selon des spéculations, pourrait être à la base de GPT-6 Astra.

L’idée principale est simple : au lieu de faire passer un état caché par une pile fixe de couches différentes exactement une fois, le modèle traverse plusieurs fois le même bloc de couches avant de générer le token suivant. Cela ajoute de la profondeur au raisonnement sans augmenter le nombre de paramètres ni dépenser de tokens supplémentaires pour raisonner.

Beaucoup supposent que cette architecture pourrait aussi avoir inspiré Fable 5.2 et GPT Sol. La mise en boucle des couches pourrait aider à expliquer la baisse récente des coûts des modèles et l’amélioration de l’efficacité de consommation des tokens observée ces derniers mois.

Thinking Machines a publié une version compacte de looped transformer conçue pour une exécution locale :

  • 26,4B de paramètres au total ;
  • environ 3,4B de paramètres actifs ;
  • environ 5,4B d’activations de poids par token grâce aux passages répétés des couches.

Le modèle contient 24 couches, organisées en quatre blocs de six. Le premier et le dernier bloc sont exécutés une fois, tandis que les deux blocs intermédiaires sont exécutés trois fois chacun. Au total, chaque token nécessite 48 applications de couches. Seules les couches intermédiaires sont répétées, car, selon les auteurs, elles assurent un raisonnement plus abstrait. Lors des tests, cette approche a donné des résultats nettement meilleurs que la mise en boucle des 12 dernières couches.

Sur les benchmarks, le modèle affiche un niveau comparable à Qwen3.8-27B, et parfois supérieur sur certaines métriques, malgré un nombre de paramètres inférieur. Pour un déploiement local, c’est une option réellement intéressante.

Poids | Billet de blog

Pourquoi c'est important

Analyse

Inkling 2 Mini montre que les transformeurs en boucle peuvent approfondir le raisonnement sans augmenter proportionnellement la taille du modèle. C’est important pour l’IA locale et edge, où la mémoire et la puissance de calcul sont limitées.

Discuter dans la communauté

Partagez vos questions et vos idées avec les développeurs

Rejoindre Telegram

Lié dans l'écosystème

Guides pratiques, terminologie clé et compétences d'agents