Qwen3.8-27B тепер працює зі швидкістю 70 токенів/с на ноутбуці
Qwen3.8-27B тепер може обробляти 70 токенів за секунду на ноутбуках завдяки новій технології DFlash 2. Це значне покращення швидкості без втрати якості виходу.
Qwen3.8-27B тепер працює зі швидкістю 70 токенів/с на ноутбуці
Вийшов DFlash 2 — нове покоління спекулятивного декодування на основі блочної дифузії.
DFlash 2 розганяє Qwen3.8-27B до 70 токенів/с на MacBook Pro з M5 Max. Ускорення авторегресійного декодування досягає 4,6 разів, а підсумковий вихід залишається повністю ідентичним вихідній моделі — буквально жодного відмінного токена.
Нові можливості
Вже доступні нові чернеткові моделі для Qwen3.8-27B з нативною підтримкою SGLang, vLLM, llama.cpp та oMLX.
Суть підходу
Детальніше про підхід можна дізнатися за посиланням: DFlash 2
Чому це важливо
АналітикаЦе важливо, оскільки нові технології, такі як DFlash 2, значно підвищують продуктивність AI-моделей, що дозволяє їх використовувати на більш доступних пристроях. Це відкриває нові можливості для розробників і дослідників у сфері штучного інтелекту.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Дослідники MIT CSAIL показали Weight-Space Programming: ШІ без навчання редагує ваги Qwen3.5-0.8B
Розробники з MIT CSAIL описали Weight-Space Programming: модель Astra без градієнтного спуску читала ваги Qwen3.5-0.8B і покращила її результати на математичних бенчмарках.
JSON — структуровані дані для програм, API та AI-агентів
Повний практичний посібник з формату JSON: синтаксичні правила, серіалізація через parse/stringify, робота з REST API, JSON Schema та структурований вивід для штучного інтелекту.
Формати DOCX та XLSX: коли потрібен повноцінний фінальний документ від ШІ
Повний практичний посібник з генерації та опрацювання документів DOCX і таблиць XLSX за допомогою ШІ: порівняння з Markdown та CSV, промпт-інжиніринг, робота з формулами та автоматизація в коді.
Binance оприлюднили розслідування крадіжки $6,3 млрд
Розслідування пов’язує масштабну крадіжку з модифікованим Homebrew, фальшивою співбесідою та використанням внутрішнього ШІ-інструменту Binance.