Qwen-4-Architektur: Neue Meilensteine in der KI

Qwen-4-Architektur: Neue Meilensteine in der KI

Model Scope hat den Countdown für die Veröffentlichung von Qwen3.8-Flash-Next gestartet. Die Freigabe erfolgt innerhalb eines Tages und markiert das erste Modell, das auf der Architektur der nächsten Generation basiert – welche zugleich die Grundlage für Qwen-4 bilden wird.

Hauptmerkmale von Qwen-3.8 Flash-Next

Dieses Modell nutzt eine MoE-Struktur (Mixture of Experts) mit 125B Parametern plus einer 51B N-Gramm-Tabelle (wobei nur 6B Parameter aktiv sind). Es übertrifft Opus 4.6 Max bei 8 von 9 Benchmarks! Zudem schlägt es Qwen3.8-27B und DeepSeek-V4-Flash, während die Trainingskosten um den Faktor 9 niedriger ausfielen als bei Qwen3.7-Plus.

Zentrale Innovationen in der Architektur

1. N-Gramm-Einbettungen: Dies ist eine Tabelle, die nicht nach einzelnen Tokens, sondern nach kurzen Sequenzen indiziert ist. Das Modell speichert typische lokale Token-Kombinationen direkt als Vektoren, was die Berechnungen pro Token reduziert und die Gesamtkapazität des Modells erhöht.

2. Gated DeltaNet + Qwen Sparse Attention: Das Modell wählt relevante Kontextblöcke aus und verarbeitet ausschließlich diese. Gated DeltaNet ist ein linearer Aufmerksamkeitsmechanismus mit Gates, die steuern, was sich das Modell merkt und was es vergisst. Ergebnis: Bei einem 1-Million-Token-Kontext wurde das Prefilling 7,6-mal schneller und das Decoding 4,9-mal schneller.

3. Gated Residual Connections: Gates in den residuellen Verbindungen bestimmen, wie viel Information weitergegeben wird.

4. Muon-Optimizer: Dieser neue Optimierer sorgt für eine neunkfache Einsparung der Trainingskosten.

Fazit

Insgesamt führt dies zu günstigerem Training, mehr Parametern und weniger Berechnungen pro Token. Dies stellt einen weiteren Erfolg im chinesischen Open-Source-Bereich dar.