DiffusionGemma in vLLM integriert: Neue Antwortgenerierung ohne traditionelle Token-Erzeugung
Entwickler haben DiffusionGemma in vLLM integriert und damit den Ansatz der "System One Models" umgesetzt, bei dem Antworten durch einen einzelnen Denoising-Schritt statt sequenzieller Token-Generierung erzeugt werden.
Diogo Almeida, Mitentwickler von RLHF und einer der Autoren des InstructGPT-Papers (der Technologie, die 2022 das Fundament für ChatGPT legte), stellte eine neue Modellklasse vor, die als System One Models bezeichnet wird. Diese Modelle unterscheiden sich grundlegend von herkömmlichen LLMs, da sie Text nicht sequenziell generieren.
Matt Mastracci, ein Beitragender zum vLLM-Projekt, nahm das Google DiffusionGemma 26B-Modell und implementierte einen ähnlichen Ansatz, ohne das Modell feinabzustimmen.
Funktionsweise
Anstelle der traditionellen Textgenerierung wird eine Antwortvorlage spezifiziert. Nach einem einzelnen Denoising-Schritt werden die Antworten und ihre Wahrscheinlichkeiten sofort aus den Logits extrahiert. Die Methode unterstützt folgende Formate:
- Ja/Nein
- Multiple-Choice
- Scoring
Integration in vLLM
Dieser Modus wurde nun zu vLLM hinzugefügt. Laut ersten Tests liegt die Qualität der Antworten nahe an der ursprünglichen Jev-Methode. Ein entscheidender Vorteil besteht darin, dass das Modell im NVFP4-Format auf einer einzigen GPU mit 24 GB Speicher ausgeführt werden kann.
Zusätzliche Materialien:
Warum das wichtig ist
AnalyseDies eröffnet neue Möglichkeiten für schnelle und effiziente Antwortgenerierung bei Klassifizierungsaufgaben und ermöglicht es, leistungsstarke Modelle auf Consumer-Hardware zu betreiben.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern
Verwandt im Ökosystem
Praktische Leitfäden, Terminologie und Agenten-Skills
vLLM (Hochleistungs-Inferenz-Engine)
Führende Open-Source-Server-Inferenz- und LLM-Serving-Engine, die den Durchsatz durch den PagedAttention-Memory-Virtualisierungsalgorithmus und Continuous Batching revolutioniert hat.
KV-Cache Offloading & Kompression
Hardware- und algorithmische Methoden zur temporären Auslagerung des Key-Value-Caches (KV-Cache) aus dem teuren GPU-Videospeicher in den Systemspeicher (RAM) oder schnelle NVMe-SSDs.
Unbegrenzter Figma-MCP für KI-Agenten über ein Open-Source-Plugin
figma-console-mcp ermöglicht es KI-Agenten, die Figma-Plugin-API als MCP-Server zu nutzen und das Limit von 20 Aufrufen pro Monat im kostenlosen Figma-Tarif zu umgehen.
Monobank-Acquiring ohne Entwickler per Vibe Coding integrieren
Schritt-für-Schritt-Anleitung zur Integration von Monobank-Online-Zahlungen auf einer Website: Compliance für Einzelunternehmer (FOP), Terminal-Einrichtung, ECDSA-Webhook-Verifizierung, zuverlässige UX und Sicherheitstests.