Speculative Decoding & Draft Models(Спекулятивне декодування та драфт-моделі)

1. Огляд концепції та системна проблема

Генерація тексту великими моделями (LLM) страждає від фундаментального апаратного вузького місця — обмеження пропускної здатності пам'яті (Memory-Bandwidth Bound):

• Графічні процесори мають колосальну обчислювальну потужність (TFLOPs), але під час послідовної генерації одного токена за раз обчислювальні блоки 95% часу просто чекають, поки ваги моделі перекачаються з VRAM.
• Це обмежує швидкість великих моделей на рівні 25–40 токенів на секунду, що занадто повільно для довгих агентських циклів.

Speculative Decoding (Спекулятивне декодування) елегантно вирішує цю проблему за допомогою зв'язки двох моделей: крихітної драфт-моделі (Draft Model, наприклад, 1B–3B) та цільової великої моделі (Target Model, наприклад, 70B).

2. Архітектурна таксономія та ментальна модель

┌─────────────────────────────────────────────────────────────┐
│               SPECULATIVE DECODING PIPELINE                 │
├─────────────────────────────────────────────────────────────┤
│ 1. DRAFT GENERATION (Крихітна модель 1B працює з кешу GPU): │
│    • Швидко генерує гіпотезу з K=5 токенів:                 │
│      ["const", " ", "user", " =", " "]                     │
│    • Займає всього 5 мілісекунд                             │
├─────────────────────────────────────────────────────────────┤
│                          │                                  │
│                          ▼ ОДИН ПРОХІД ВЕЛИКОЇ МОДЕЛІ       │
├─────────────────────────────────────────────────────────────┤
│ 2. TARGET VERIFICATION (Велика модель 70B в один такт):     │
│    • Перевіряє всі 5 токенів паралельно за один виклик VRAM │
│    • Результат перевірки:                                   │
│      [Токен 1: OK] [Токен 2: OK] [Токен 3: OK] [Токен 4: OK] │
│      [Токен 5: REJECT -> Замінити на " {"]                  │
├─────────────────────────────────────────────────────────────┤
│ 3. OUTPUT SPEEDUP:                                          │
│    • За 1 такт VRAM згенеровано 4.5 валідних токени         │
│    • Реальне прискорення: 2.5x – 3.2x TPS                   │
└─────────────────────────────────────────────────────────────┘

3. Практичні інженерні сценарії в продакшені

01. Прискорення агентських кодових циклів у vLLM

Запуск сервера vLLM із параметром спекулятивного декодування:

vllm serve meta-llama/Llama-3.3-70B-Instruct \
  --speculative-model meta-llama/Llama-3.2-1B-Instruct \
  --num-speculative-tokens 5 \
  --gpu-memory-utilization 0.95

Швидкість генерації коду зростає з 35 до 95 токенів на секунду без жодних змін у клієнтському коді.

02. Medusa & Eagle (Спекуляція без окремої драфт-моделі)

Новітні архітектури (Medusa Heads), де замість окремої моделі використовуються кілька додаткових шарів виведення (Decoding Heads) на самій цільовій моделі, що економить пам'ять GPU.

4. Підводні камені, типові помилки та безпека

• Acceptance Rate Degradation (Падіння відсотка прийняття): Якщо драфт-модель суттєво відрізняється за стилем чи навчальними даними від цільової, велика модель відхилятиме 80% запропонованих токенів. Прискорення зникне, а час інференсу навіть зросте. Драфт-модель має бути з тієї ж родини (наприклад, Llama 1B для Llama 70B).
• Витрати VRAM на другу модель: Драфт-модель займає додаткові 2–4 ГБ відеопам'яті, що може бути критично на відеокартах із лімітом 24 ГБ.

5. Стратегічний висновок для інженера 2026 року

Спекулятивне декодування стало обов'язковим стандартом промислового інференсу. Завдяки йому автономні агенти отримують високу реактивність і швидкість, що критично скорочує очікування користувача при виконанні складних задач.