GLM-5.3 a contribué à la construction de l'inférence en production pour GLM-5.3-Flash

Z.ai a publié un rapport technique détaillant la manière dont le modèle GLM-5.3 a participé à la construction de l'inférence en production pour GLM-5.3-Flash.

L'équipe présente ce processus comme une première étape vers l'amélioration récursive de soi, affirmant que de telles pratiques « changent complètement la façon dont les prochaines générations de modèles sont construites ».

Les ingénieurs ont dû déployer un cluster de plus de 100 000 accélérateurs chinois (et non Nvidia). Selon les auteurs, il s'agit du premier déploiement de puces fabriquées en Chine à cette échelle.

Le modèle GLM-5.3 a été utilisé pour optimiser les performances et la vitesse. En seulement deux semaines, les ingénieurs ont triplé le débit grâce à l'aide du modèle.

L'agent IA a formulé indépendamment des hypothèses sur les sources de perte de vitesse et a rédigé les correctifs correspondants. Les humains définissaient les objectifs, surveillaient la sécurité et prenaient les décisions finales.

Trois corrections spécifiques réalisées de manière autonome par l'agent :

• suppression d'un goulot d'étranglement lié au GIL Python qui consommait environ 20 % des performances ;
• augmentation de la vitesse du noyau de décodage (decode kernel) par un facteur de 1,71 ;
• correction de la précision numérique dans le noyau KDA pour les contextes longs ; ce correctif a ensuite été intégré à Flash Linear Attention.

Original Z.ai engineering report