Sampling Parameters (Temperature, Top-p, Min-p)(Параметри семплювання та декодування токенів)

1. Огляд концепції та системна проблема

Мовна модель не генерує готовий текст безпосередньо. На кожному авторегресійному кроці вихідний шар трансформера видає масив сирих ненормалізованих чисел — логітів (Logits) для кожного слова зі словника розміром 100 000+ елементів. Перетворення цих сирих чисел на конкретний вибраний токен регулюється алгоритмом декодування.

Якщо завжди обирати токен із абсолютно найвищою ймовірністю (жадібний пошук, Greedy Search), модель стає передбачуваною, сухою і часто потрапляє у нескінченні цикли повторення тих самих фраз. Навпаки, якщо обирати слова повністю випадково, генерація перетворюється на беззмістовне марення та синтаксичні помилки.

Sampling Parameters (параметри семплювання) — це набір математичних регуляторів, які змінюють форму ймовірнісного розподілу перед вибором символу. Розуміння їхньої внутрішньої механіки дозволяє інженеру тонко балансувати між суворим детермінізмом компілятора та креативною евристикою пошуку рішень.

2. Архітектурна таксономія та ментальна модель

Конвеєр обробки логітів складається з послідовних математичних фільтрів:

┌─────────────────────────────────────────────────────────────┐
│                 TOKEN DECODING PIPELINE                     │
├─────────────────────────────────────────────────────────────┤
│ 1. Raw Output Logits z_i from Transformer Linear Head       │
├─────────────────────────────────────────────────────────────┤
│ 2. Penalties Modification:                                  │
│    • Frequency Penalty (Зниження ваги за кількість повторів)│
│    • Presence Penalty (Одноразовий штраф за вже згадані слова)│
├─────────────────────────────────────────────────────────────┤
│ 3. Temperature Scaling: z'_i = z_i / T                      │
│    T ➔ 0: піки загострюються (Argmax детермінізм)          │
│    T > 1: розподіл згладжується (висока ентропія)           │
├─────────────────────────────────────────────────────────────┤
│ 4. Softmax Normalization: P(w_i) = exp(z'_i) / Sum(exp(z'_j))│
├─────────────────────────────────────────────────────────────┤
│ 5. Truncation Filters (Top-K ➔ Top-P ➔ Min-P)                │
│    Відсікання довгого «хвоста» малоймовірних сміттєвих токенів│
├─────────────────────────────────────────────────────────────┤
│ 6. Stochastic Multinomial Draw (Фінальний вибір токена)     │
└─────────────────────────────────────────────────────────────┘

1. Температура (Temperature, $T$):
   • Масштабуючий дільник для вектора логітів перед функцією Softmax. При $T \to 0$ різниця між найбільш імовірним токеном та іншими прагне до нескінченності (детермінізм). При високій температурі ($T = 1.0–1.5$) малоймовірні токени отримують реальний шанс бути обраними.
2. Top-P (Nucleus Sampling):
   • Динамічний поріг кумулятивної ймовірності. Алгоритм сортує токени за спаданням і залишає лише мінімальну множину, сума ймовірностей якої досягає $P$ (наприклад, 0.9 = 90% маси розподілу).
3. Min-P (Dynamic Thresholding):
   • Сучасний передовий фільтр. Відсікає всі токени, чия індивідуальна ймовірність менша за $P_{\min} = \text{Min-P} \times P_{\max}$, де $P_{\max}$ — ймовірність абсолютного лідера. Якщо лідер має 80%, а Min-P = 0.05, відсікаються всі варіанти з шансом менше 4%.
4. Штрафи за повторення (Presence & Frequency Penalties):
   • Знижують значення логітів токенів, які вже зустрічалися в згенерованому тексті, запобігаючи зацикленню.

3. Технічний пайплайн та внутрішня механіка

Життєвий цикл одного кроку ймовірнісного вибору токена:

1. Отримання логітів: Останній шар мережі видає сирий вектор логітів $z = [12.4, 8.1, 15.6, -3.2, \dots]$.
2. Застосування штрафів за повторення: Якщо слово вже зустрічалося тричі, його логіт зменшується на величину $3 \times \text{frequency_penalty}$.
3. Температурне ділення: Кожне значення вектора ділиться на температуру: $z'_i = z_i / T$.
4. Розрахунок імовірностей через Softmax: Логіти переводяться в нормалізовані ймовірності від 0 до 1, сума яких строго дорівнює 1.0.
5. Фільтрація через Min-P: Знаходиться найвищий бал $P_{\max} = 0.70$. При $\text{Min-P} = 0.1$ поріг становить $0.07$. Усі токени з імовірністю нижче 7% видаляються з пулу.
6. Стохастичний розіграш (Multinomial Sampling): Генератор псевдовипадкових чисел (PRNG) здійснює вибірку зі збереженого пулу ймовірностей. Обраний токен передається на вихід.

4. Практичні інженерні сценарії в продакшені

01. Безпомилкова генерація SQL-запитів та схем валідації

Бекенд-сервіс генерує код міграцій на основі промпту користувача:

• Налаштування: temperature: 0.0 (Greedy Search).
• Модель гарантовано обирає найбільш стандартні синтаксичні конструкції, виключаючи випадкові помилки коми чи неіснуючі ключові слова.

02. Використання Min-p для високоякісного рефакторингу

Агент рефакторить складний алгоритмічний модуль:

• Налаштування: temperature: 0.7, min_p: 0.05.
• Модель отримує творчу свободу у виборі архітектурного патерну, але механізм Min-P надійно захищає від вибору випадкових галюцинованих функцій.

03. Дослідницький брейншторм архітектури (High Entropy Search)

Генерація нетривіальних бізнес-ідей та сценаріїв тестування:

• Налаштування: temperature: 0.9, top_p: 0.95.
• Модель пропонує несподівані крайові випадки, нестандартні сценарії навантаження та альтернативні гіпотези збоїв систем.

5. Підводні камені, типові помилки та безпека

• Штрафи за повторення ламають синтаксис коду: Високий frequency_penalty (наприклад, > 0.5) у задачах програмування веде до катастрофи: модель намагається уникати природних повторів ключових слів (return, const, закриваючих фігурних дужок }}), що ламає компіляцію. Для коду штрафи мають дорівнювати 0.
• Фіксована температура в нових моделях міркування: У моделях класу OpenAI o1 або DeepSeek-R1 внутрішній ланцюжок думок навчався під строго фіксовану температуру (зазвичай $T=1.0$ або $0.6$). Спроба примусово виставити $T=0$ через API часто заборонена або руйнує процес самокорекції моделі.
• Конфлікт надмірно агресивних фільтрів: Одночасне встановлення top_p: 0.1 та високого min_p може скоротити вибірку до єдиного або нульового токена, викликаючи збій інференс-рушія.
• Ілюзія відтворюваності через Seed: Параметр seed фіксує початковий стан генератора випадкових чисел, але не гарантує однаковий текст при зміні версії драйвера CUDA або кількості паралельних потоків у батчі.