Qwen3.8-27B теперь работает со скоростью 70 токенов/с на ноутбуке
Qwen3.8-27B теперь может обрабатывать 70 токенов в секунду на ноутбуках благодаря новой технологии DFlash 2. Это значительное улучшение скорости без потери качества выхода.
Qwen3.8-27B теперь работает со скоростью 70 токенов/с на ноутбуке
Вышел DFlash 2 — новое поколение спекулятивного декодирования на основе блочной диффузии.
DFlash 2 разгоняет Qwen3.8-27B до 70 токенов/с на MacBook Pro с M5 Max. Ускорение авторегрессионного декодирования достигает 4,6 раза, а итоговый вывод остаётся полностью идентичным исходной модели — буквально ни одного отличающегося токена.
Новые возможности
Уже доступны новые черновые модели для Qwen3.8-27B с нативной поддержкой SGLang, vLLM, llama.cpp и oMLX.
Суть подхода
Подробнее о подходе можно узнать по ссылке: DFlash 2
Почему это важно
АналитикаЭто важно, поскольку новые технологии, такие как DFlash 2, значительно повышают производительность AI-моделей, что позволяет их использовать на более доступных устройствах. Это открывает новые возможности для разработчиков и исследователей в области искусственного интеллекта.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
GPT-6 без дообучения улучшила веса Qwen3.5-0.8B
Исследователи MIT CSAIL показали Weight-Space Programming: Astra без градиентного спуска и обучения изменила веса Qwen3.5-0.8B и улучшила её результаты на MATH-500 и GSM8K.
JSON — структурированные данные для программ, API и AI-агентов
Полное практическое руководство по формату JSON: синтаксические правила, сериализация через parse/stringify, работа с REST API, валидация по JSON Schema и структурированный вывод для ИИ.
Форматы DOCX и XLSX: когда от ИИ требуется полноценный финальный документ
Практическое руководство по созданию и обработке документов DOCX и таблиц XLSX с помощью ИИ: сравнение с Markdown и CSV, промпт-инжиниринг, работа с формулами и автоматизация в коде.
Binance опубликовали расследование кражи $6,3 млрд
Расследование связывает кражу с заражённым Homebrew, фальшивым собеседованием и использованием внутреннего ИИ-инструмента Binance.