Веса и смещения нейронной сети (Weights & Biases)

1. Обзор концепции и системная проблема

Когда вы загружаете открытую модель с Hugging Face (например, Llama 3.1 8B или Mistral NeMo), вы получаете один или несколько файлов с расширением .safetensors весом от 4 до 140 гигабайт.

Что содержится внутри этих файлов? Есть ли там тексты из Википедии или программный код?

Нет. Там сохранен результат сотен тысяч часов вычислений на кластерах GPU — Матрицы Весов (Weights) и Векторы Смещений (Biases):

• Веса ($W$): коэффициенты масштабирования входных векторов. Они определяют, насколько сильно один концепт связан с другим в многомерном пространстве.
• Смещения ($b$): дополнительный сдвиг, который регулирует базовую вероятность активации нейрона независимо от входных данных (порог возбуждения).

Математическая основа одного линейного слоя трансформера: $$y = \sigma(W \cdot x + b)$$ где $x$ — входной вектор токенов, $W$ — матрица весов, $b$ — вектор смещений, а $\sigma$ — функция активации (GELU или SwiGLU).

Ментальная модель: если представить мозг как гигантский пульт звукорежиссера с 70 миллиардами ползунков, то веса — это зафиксированные с миллиметровой точностью положения каждого ползунка после года тренировки.

┌─────────────────────────────────────────────────────────────┐
│                 МЕХАНИКА ВЫЧИСЛЕНИЯ НЕЙРОНА                │
├─────────────────────────────────────────────────────────────┤
│ Входные токены (x):                                        │
│   • Токен 1 ("Кот")     ─── [ Вес w1: +2.85 ] ───┐         │
│   • Токен 2 ("Лает")    ─── [ Вес w2: -3.40 ] ───┼──> Σ + b│
│   • Токен 3 ("Мясо")    ─── [ Вес w3: +1.15 ] ───┘   │     │
│                                                       ▼     │
│ Смещение (Bias b): -0.50 ────────────────────> [ АКТИВАЦИЯ ]│
│                                                       │     │
│                                                       ▼     │
│ Выходной прогноз (y): "Мурлычет" (Вероятность: 96.4%)    │
└─────────────────────────────────────────────────────────────┘

2. Архитектурная таксономия и ментальная модель

Вместо слепой веры в черный ящик, вы можете легко проверить заголовок и типы сохраненных тензоров в терминале:

# 1. Быстрый просмотр метаданных и структуры тензоров без загрузки всей модели в RAM
python -c "
from safetensors import safe_open
with safe_open('model.safetensors', framework='pt', device='cpu') as f:
    for key in list(f.keys())[:5]:
        tensor = f.get_slice(key)
        print(f'{key}: shape={tensor.get_shape()}, dtype={tensor.get_dtype()}')
"

# 2. Проверка целостности и контрольной суммы файла весов SHA256
sha256sum model-00001-of-00004.safetensors

# 3. Быстрая загрузка модели с HuggingFace через официальный CLI
huggingface-cli download Qwen/Qwen2.5-Coder-7B-Instruct --include "*.safetensors"

3. Почему файлы весов весят десятки гигабайт

Каждый отдельный весовой коэффициент — это действительное число:

• Модель Llama 3.1 на 8 миллиардов параметров содержит 8 000 000 000 отдельных чисел.
• В стандартной точности Bfloat16 / FP16 каждое число занимает ровно 2 байта (16 бит).
• Расчет размера: $8 \times 10^9 \times 2 \text{ байты} \approx 16 \text{ Гигабайт}$.
• Если применить 4-битное квантиование (GGUF Q4_K_M или AWQ), каждое число сжимается до 0.5 байта, и модель «худеет» до 4.8 ГБ, что позволяет запустить ее даже на обычном ноутбуке с 8 ГБ RAM.

4. Практические инженерные сценарии в продакшене

Файл весов — это и есть материальное воплощение искусственного интеллекта. Когда компании говорят «Мы открываем веса (Open Weights)», это означает, что они выкладывают публичный файл .safetensors, предоставляя вам полную свободу запускать, изучать и модифицировать модель локально без зависимости от облачных API.

01. Инспекция весов через Python

02. Проверка целостности файла весов

03. Загрузка модели с Hugging Face через CLI

5. Подводные камни, типовые ошибки и безопасность

При работе с весами и смещениями важно помнить о потенциальных уязвимостях, связанных с форматом хранения. Использование Safetensors значительно снижает риски, однако всегда проверяйте целостность файлов перед загрузкой.