Qwen3.8-27B osiąga prędkość 70 tokenów na sekundę na laptopach dzięki DFlash 2
Nowa technologia DFlash 2 przyspiesza model Qwen3.8-27B do 70 tokenów na sekundę na laptopach, zachowując przy tym pełną jakość wyjścia.
Qwen3.8-27B osiąga prędkość 70 tokenów na sekundę na laptopach
Ukazała się nowa wersja DFlash 2, reprezentująca kolejną generację dekodowania spekulacyjnego opartego na dyfuzji bloków.
DFlash 2 przyspiesza działanie modelu Qwen3.8-27B do 70 tokenów na sekundę na MacBooku Pro z procesorem M5 Max. Przyspieszenie dekodowania autoregresyjnego wynosi aż 4,6-krotnie, podczas gdy finalny wynik pozostaje całkowicie identyczny z modelem oryginalnym – nie różni się nawet pojedynczym tokenem.
Nowe funkcje
Nowe modele draft dla Qwen3.8-27B są już dostępne i oferują natywne wsparcie dla SGLang, vLLM, llama.cpp oraz oMLX.
Istota podejścia
Więcej informacji o metodzie można znaleźć pod adresem: DFlash 2
Dlaczego to ważne
AnalizaTechnologia DFlash 2 znacząco podnosi wydajność modeli AI, umożliwiając ich efektywne uruchamianie na bardziej dostępnych urządzeniach mobilnych. Otwiera to nowe możliwości dla programistów i badaczy w dziedzinie sztucznej inteligencji.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami