NVIDIA löst den zentralen Kompromiss moderner LLMs

Bei der Arbeit mit jedem Large Language Model (LLM) steht man vor der Wahl zwischen Geschwindigkeit und Qualität. Autoregressive Modelle wie GPT liefern hohe Qualität, arbeiten jedoch langsam, da sie Token einzeln generieren.

Diffusionsmodelle gehen den entgegengesetzten Weg. Sie generieren ganze Blöcke parallel, was sie schneller macht, aber diese Geschwindigkeit geht auf Kosten der Qualität.

Dies ist das Problem, das NVIDIA-Forscher lösen wollten.

Sie nahmen ein 30-Milliarden-Parameter-Modell und teilten es in zwei Teile auf, um Tokens parallel statt nacheinander zu generieren. So entstand Nemotron-Labs-TwoTower – ein Diffusions-Sprachmodell von NVIDIA Research, das auf Basis von Nemotron-3-Nano-30B-A3B adaptiert wurde.

Bevor man versteht, wie TwoTower funktioniert, ist es wichtig zu begreifen, warum Diffusions-LLMs hinter autoregressiven Modellen zurückbleiben.

Ein Diffusions-LLM beginnt mit einem Block maskierter Tokens und enthüllt sie über mehrere Durchläufe. In jedem Durchlauf liest es den gesamten bereits generierten Text, während es gleichzeitig die maskierten Tokens im aktuellen Block vorhersagt. Das bedeutet, dass dasselbe Netzwerk zwei völlig unterschiedliche Aufgaben gleichzeitig ausführt. Es muss den bestehenden Kontext verstehen und gleichzeitig Tokens vorhersagen, die noch nicht existieren.

Ein Satz Gewichte wird auf zwei verschiedene Aufgaben gelenkt, sodass sich das Netzwerk nicht vollständig auf eine spezialisieren kann.

TwoTower löst dieses Problem, indem es nicht erzwingt, dass ein einziges Netzwerk beide Aufgaben erfüllt. Stattdessen wird das vortrainierte autoregressive Modell in zwei Türme aufgeteilt.

1. Context Tower

Dies ist der eingefrorene Teil des Modells, der den gesamten bereits generierten Text genau so liest wie das Originalmodell. Er wird nicht weiter trainiert, sodass die intellektuellen Fähigkeiten des Modells vollständig erhalten bleiben.

2. Denoiser Tower

Dies ist der trainierbare Teil des Modells, der jeden neuen Block von Tokens parallel generiert. Um den Kontext aufrechtzuerhalten, nutzt er ständig Cross-Attention zum Context Tower.

Der interessanteste Aspekt ist die Interaktion dieser beiden Türme. Sie sind schichtweise verbunden: Die fünfte Schicht des Denoiser Towers interagiert mit der fünften Schicht des Context Towers, die sechste mit der sechsten und so weiter. Dies ermöglicht dem Denoiser Zugriff auf die gesamte mehrstufige Repräsentation des Kontexts aus dem Basismodell, nicht nur auf dessen finale versteckte Repräsentation.

Ergebnisse:

• 2,42-facher höherer Durchsatz bei der Generierung
• 98,7 % Qualitätsbewahrung des Originalmodells
• Architektur basiert auf einem hybriden 30B Mamba–Transformer MoE-Modell
• Für das Training wurden nur etwa 2,1 Billionen Tokens verwendet – ein Bruchteil der 25 Billionen Tokens, die für das Pre-Training des Originalmodells genutzt wurden

Diese letzte Zahl ist besonders wichtig. Keine der Komponenten wurde von Grund auf neu trainiert. Dies ist eine Anpassung, die zu einem bereits vorhandenen autoregressiven Modell hinzugefügt werden kann. Sie verwandelt relativ kostengünstig das langsame Decoding eines einzelnen Tokens in eine schnelle parallele Blockgenerierung.

Daher ist dies für alle latenzsensitiven Systeme ein Ansatz, der definitiv erforscht werden sollte. Man muss nicht mehr zwischen einem vertrauenswürdigen Modell und der benötigten Geschwindigkeit wählen.

Gewichte, Code und Trainingsmethodik sind im Open Access veröffentlicht.

Artikel:

https://arxiv.org/pdf/2606.26493