GLM-5.3 optimiert eigene Inferenz-Infrastruktur auf chinesischen Beschleunigern

Z.ai hat einen technischen Bericht veröffentlicht, der beschreibt, wie das GLM-5.3-Modell an der Entwicklung der Produktions-Inferenz für GLM-5.3-Flash beteiligt war.

Das Team betrachtet diesen Prozess als ersten Schritt hin zu einer rekursiven Selbstverbesserung und betont, dass solche Praktiken „die Art und Weise, wie die nächsten Generationen von Modellen entwickelt werden, grundlegend verändern“.

Die Ingenieure mussten ein Cluster mit über 100.000 chinesischen Beschleunigern (keine Nvidia-Hardware) bereitstellen. Laut den Autoren handelt es sich um die erste Bereitstellung von in China hergestellten Chips in dieser Größenordnung.

GLM-5.3 wurde eingesetzt, um Leistung und Geschwindigkeit zu optimieren. Mit Hilfe des Modells konnten die Ingenieure den Durchsatz innerhalb von nur zwei Wochen verdreifachen.

Der KI-Agent formulierte eigenständig Hypothesen darüber, wo Leistungsengpässe auftraten, und entwickelte entsprechende Korrekturen. Menschen legten die Ziele fest, überwachten die Sicherheit und trafen die endgültigen Entscheidungen.

Drei spezifische Korrekturen, die der Agent autonom durchführte:

• Entfernung eines Python-GIL-Engpasses, der etwa 20 % der Leistung kostete;
• Beschleunigung des Decode-Kernels um den Faktor 1,71;
• Korrektur der numerischen Präzision im KDA-Kernel für lange Kontexte; diese Änderung wurde später in Flash Linear Attention integriert.

Originaler technischer Bericht von Z.ai