Wagi i przesunięcia sieci neuronowych (Weights & Biases)

1. Przegląd koncepcji i istota matematyczna

Gdy pobierasz otwarty model z Hugging Face (np. Llama 3.1 8B lub Mistral NeMo), otrzymujesz jeden lub kilka plików z rozszerzeniem .safetensors o wadze od 4 do 140 gigabajtów.

Co znajduje się wewnątrz tych plików? Czy to teksty z Wikipedii lub kod źródłowy?

Nie. Przechowują one wynik setek tysięcy godzin obliczeń na klastrach GPU — Macierze Wag (Weights) oraz Wektory Biasów:

• Wagi ($W$): współczynniki skalowania wektorów wejściowych. Określają, jak silnie jeden koncept jest powiązany z innym w wielowymiarowej przestrzeni.
• Biasy ($b$): dodatkowa przesunięcie regulujące bazowe prawdopodobieństwo aktywacji neuronu niezależnie od danych wejściowych (próg pobudzenia).

Matematyczne podstawy jednej warstwy liniowej transformera: $$y = \sigma(W \cdot x + b)$$ gdzie $x$ to wektor wejściowy tokenów, $W$ to macierz wag, $b$ to wektor biasów, a $\sigma$ to funkcja aktywacji (GELU lub SwiGLU).

Model mentalny: jeśli wyobrazimy sobie mózg jako gigantyczny mikser dźwięku z 70 miliardami suwaków, to wagi to ustawienia każdego suwaka utrwalone z milimetrową precyzją po roku treningu.

┌─────────────────────────────────────────────────────────────┐
│                 MECHANIZM OBLICZEŃ NEURONU                  │
├─────────────────────────────────────────────────────────────┤
│ Tokeny wejściowe (x):                                       │
│   • Token 1 ("Kot")       ─── [ Waga w1: +2.85 ] ───┐       │
│   • Token 2 ("Szczeka")   ─── [ Waga w2: -3.40 ] ───┼──> Σ + b│
│   • Token 3 ("Mięso")     ─── [ Waga w3: +1.15 ] ───┘   │     │
│                                                       ▼     │
│ Przesunięcie (Bias b): -0.50 ────────────────────> [ AKTYWACJA ]│
│                                                       │     │
│                                                       ▼     │
│ Prognoza wyjściowa (y): "Miauczy" (Prawdopodobieństwo: 96.4%)│
└─────────────────────────────────────────────────────────────┘

2. Praktyczne komendy CLI i inspekcja pliku wag w Pythonie

Zamiast ślepo ufać czarnemu pudełku, możesz łatwo sprawdzić nagłówek oraz typy zapisanych tensorów bezpośrednio w terminalu:

# 1. Швидкий перегляд метаданих та структури тензорів без завантаження всієї моделі в RAM
python -c "
from safetensors import safe_open
with safe_open('model.safetensors', framework='pt', device='cpu') as f:
    for key in list(f.keys())[:5]:
        tensor = f.get_slice(key)
        print(f'{key}: shape={tensor.get_shape()}, dtype={tensor.get_dtype()}')
"

# 2. Перевірка цілісності та контрольної суми файлу вагів SHA256
sha256sum model-00001-of-00004.safetensors

# 3. Швидке завантаження моделі з HuggingFace через офіційний CLI
huggingface-cli download Qwen/Qwen2.5-Coder-7B-Instruct --include "*.safetensors"

3. Dlaczego pliki wag ważą dziesiątki gigabajtów

Każdy pojedynczy współczynnik wagowy to liczba rzeczywista:

• Model Llama 3.1 z 8 miliardami parametrów zawiera 8 000 000 000 osobnych liczb.
• W standardowej precyzji Bfloat16 / FP16 każda liczba zajmuje dokładnie 2 bajty (16 bitów).
• Obliczenie rozmiaru: $8 \times 10^9 \times 2 \text{ bajty} \approx 16 \text{ Gigabajtów}$.
• Jeśli zastosujemy kwantyzację 4-bitową (GGUF Q4_K_M lub AWQ), każda liczba jest kompresowana do 0.5 bajta, a model „chudnie” do 4.8 GB, co pozwala uruchomić go nawet na zwykłym laptopie z 8 GB RAM.

4. Podsumowanie

Plik wag to materialne ucieleśnienie sztucznej inteligencji. Gdy firmy mówią «Otwieramy wagi (Open Weights)», oznacza to, że udostępniają publiczny plik .safetensors, dając Ci pełną swobodę lokalnego uruchamiania, analizowania i modyfikowania modelu bez zależności od chmurowych API.