DiffusionGemma in vLLM integriert: Neue Antwortgenerierung ohne traditionelle Token-Erzeugung

Diogo Almeida, Mitentwickler von RLHF und einer der Autoren des InstructGPT-Papers (der Technologie, die 2022 das Fundament für ChatGPT legte), stellte eine neue Modellklasse vor, die als System One Models bezeichnet wird. Diese Modelle unterscheiden sich grundlegend von herkömmlichen LLMs, da sie Text nicht sequenziell generieren.

Matt Mastracci, ein Beitragender zum vLLM-Projekt, nahm das Google DiffusionGemma 26B-Modell und implementierte einen ähnlichen Ansatz, ohne das Modell feinabzustimmen.

Funktionsweise

Anstelle der traditionellen Textgenerierung wird eine Antwortvorlage spezifiziert. Nach einem einzelnen Denoising-Schritt werden die Antworten und ihre Wahrscheinlichkeiten sofort aus den Logits extrahiert. Die Methode unterstützt folgende Formate:

• Ja/Nein
• Multiple-Choice
• Scoring

Integration in vLLM

Dieser Modus wurde nun zu vLLM hinzugefügt. Laut ersten Tests liegt die Qualität der Antworten nahe an der ursprünglichen Jev-Methode. Ein entscheidender Vorteil besteht darin, dass das Modell im NVFP4-Format auf einer einzigen GPU mit 24 GB Speicher ausgeführt werden kann.

Zusätzliche Materialien:

• djev-run Repository