Skip to main content

Liczba parametrów modelu (7B, 14B, 70B)

DLA AGENTÓW AIChatGPTClaude

Oznaczenie całkowitej liczby parametrów trenujących (wag) w dużym modelu językowym, gdzie litera 'B' oznacza miliardy (Billion). Jest to kluczowy wskaźnik pojemności intelektualnej modelu, jego wydajności oraz wymagań dotyczących pamięci komputera.

1. Przegląd koncepcji i przeznaczenia

Gdy szukasz modelu open-source w katalogach lub aplikacjach (LM Studio, Ollama, Hugging Face), przy każdej nazwie widzisz liczby:

  • Phi-3 3.8B
  • Mistral 7B
  • DeepSeek 14B
  • Llama 3 70B
  • Llama 3.1 405B

Liczba parametrów (Parameter Count) to „objętość mózgu” modelu. Jest to całkowita liczba numerycznych synaps, w których zakodowana jest cała wiedza, reguły gramatyczne oraz łańcuchy logiczne sztucznej inteligencji.

Kluczowa zasada inżynierska: analogia do pojemności silnika w samochodzie – od 1,2 litra dla ekonomicznej jazdy miejskiej po monstrum o pojemności 6 litrów do bicia rekordów prędkości.

2. Skala rozmiarów modeli i wymagany hardware

┌─────────────────────────────────────────────────────────────┐
│                 KLASYFIKACJA ROZMIARÓW MODELI                │
├─────────────────────────────────────────────────────────────┤
│ 🚗 1B – 3B (Ultra-kompaktowe):                               │
│    Wymagania: 2–4 GB pamięci (działa na smartfonach)         │
│    Zastosowanie: Szybkie podpowiedzi, autouzupełnianie,      │
│                  proste tłumaczenia                          │
├─────────────────────────────────────────────────────────────┤
│ 🚙 7B – 8B (Złoty standard do użytku domowego):              │
│    Wymagania: 6–8 GB VRAM (dowolny nowoczesny laptop lub Mac)│
│    Zastosowanie: Czat, pisanie artykułów, podstawowe kodowanie│
├─────────────────────────────────────────────────────────────┤
│ 🏎️ 14B – 32B (Profesjonalna klasa średnia):                  │
│    Wymagania: 12–24 GB VRAM (karta graficzna RTX 3060 12GB / │
│               Mac)                                           │
│    Zastosowanie: Głęboka analiza danych, rozumowanie,         │
│                  wysokiej jakości kod                        │
├─────────────────────────────────────────────────────────────┤
│ 🚀 70B (Ciężarówki klasy enterprise):                         │
│    Wymagania: 40–48 GB VRAM (Mac Studio lub 2x RTX 3090)     │
│    Zastosowanie: Poziom wiedzy zbliżony do komercyjnego GPT-4 │
└─────────────────────────────────────────────────────────────┘

3. Jak szybko oszacować wymaganą pamięć

Prosta heurystyka inżynierska dla skwantowanych modeli 4-bitowych (Q4):

Pomnóż liczbę miliardów parametrów przez 0,75. Wynik to przybliżona liczba gigabajtów pamięci RAM lub VRAM potrzebna do uruchomienia modelu.

  • Model 8B ➔ 8 * 0,75 ≈ 6 GB pamięci.
  • Model 14B ➔ 14 * 0,75 ≈ 10,5 GB pamięci.
  • Model 70B ➔ 70 * 0,75 ≈ 52 GB pamięci.

4. Praktyczna rada

Nie warto od razu gonić za największą liczbą 70B: generowanie tekstu będzie powolne, a system przeciążony. Zacznij od sprawdzonych modeli o wielkości 7B–8B parametrów – ich jakość w pełni wystarczy do 90% codziennych zadań.

/ Najczęściej zadawane pytaniaSchema.org FAQPage

FAQ: Liczba parametrów modelu (7B, 14B, 70B)

Litera 'B' pochodzi od angielskiego słowa Billion (miliard). Oznacza to, że model 8B posiada 8 miliardów parametrów, a model 70B – 70 miliardów współczynników numerycznych.
/ Linki wewnętrzne

Powiązane pojęcia

Wszystkie hasła
Modele i inferencja

Pamięć wideo (VRAM) dla AI

Pamięć wideo procesora graficznego (Video RAM), do której ładowane są wagi sieci neuronowej oraz okno kontekstowe. Jest to kluczowa wąska gardło sprzętowe: jeśli model nie mieści się w VRAM, albo nie uruchomi się, albo będzie działał dziesiątki razy wolniej na zwykłym procesorze.

Czytaj hasło
Modele i inferencja

Wagi i przesunięcia sieci neuronowych (Weights & Biases)

Fundamentalna natura wytrenowanej sieci neuronowej. Wagi (Weights) to macierzowe współczynniki siły połączeń między sztucznymi neuronami, a przesunięcia (Biases) to progi czułości aktywacji. Wyjaśnienie formatów zapisu (.safetensors, bfloat16, fp8) oraz inspekcji wag za pomocą Pythona i CLI.

Czytaj hasło
Modele i inferencja

Typy kwantyzacji: FP16, INT8, INT4

Techniczne formaty reprezentacji wag sieci neuronowych. Od pełnej 16-bitowej precyzji zmiennoprzecinkowej (FP16 / BF16) po całkowitoliczbowe formaty kompresji (INT8, INT4, AWQ, EXL2), które określają równowagę między zużyciem pamięci a jakością merytoryczną odpowiedzi.

Czytaj hasło