Qwen3.8-27B erreicht auf Laptops 70 Tokens pro Sekunde dank DFlash 2
Die neue Technologie DFlash 2 beschleunigt das Modell Qwen3.8-27B auf Laptops auf bis zu 70 Tokens pro Sekunde, ohne dabei Kompromisse bei der Ausgabequalität einzugehen.
Qwen3.8-27B erreicht auf Laptops 70 Tokens pro Sekunde
Das neu veröffentlichte DFlash 2 markiert eine neue Generation des spekulativen Decodings, basierend auf Block-Diffusion.
DFlash 2 beschleunigt Qwen3.8-27B auf einem MacBook Pro mit M5 Max-Chip auf 70 Tokens pro Sekunde. Die Beschleunigung des autoregressiven Decodings beträgt das 4,6-Fache, während die finale Ausgabe vollständig identisch mit dem Originalmodell bleibt – buchstäblich kein einziges abweichendes Token.
Neue Funktionen
Neue Draft-Modelle für Qwen3.8-27B sind bereits verfügbar und bieten native Unterstützung für SGLang, vLLM, llama.cpp und oMLX.
Kern des Ansatzes
Weitere Informationen zum Ansatz finden Sie unter: DFlash 2
Warum das wichtig ist
AnalyseTechnologien wie DFlash 2 steigern die Leistungsfähigkeit von KI-Modellen erheblich und ermöglichen deren Einsatz auf zugänglicheren Endgeräten. Dies eröffnet Entwicklern und Forschern im Bereich der künstlichen Intelligenz neue Möglichkeiten.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern