Pre-training
The initial stage of creating a Foundation Model. It involves aligning a neural network with trillions of words from the internet, books, and code using clusters of thousands of GPUs over months, at costs ranging from tens to hundreds of millions of dollars.
1. Przegląd koncepcji i przeznaczenia
Gdy nowa sieć neuronowa istnieje jedynie na papierze jako kod, jej „mózg” jest całkowicie pusty. Wszystkie miliardy wag liczbowych wypełnione są losowym szumem. Model nie odróżnia litery „A” od kropki.
Pre-training to etap, podczas którego pusta macierz przekształca się w uniwersalną bazę ludzkiej wiedzy:
- Prezentuje się mu setki miliardów zdań.
- Model próbuje przewidzieć każde kolejne słowo.
- W przypadku błędu matematyka nieznacznie koryguje jego parametry (metoda backpropagation).
- Po trzech miesiącach ciągłych obliczeń na tysiącach kart graficznych model perfekcyjnie przyswaja gramatykę, fakty o świecie, logikę oraz dziesiątki języków.
Kluczowa zasada dla developera: uniwersytecka edukacja dla AI – czytanie wszystkich książek z biblioteki przez lata bez snu i odpoczynku.
2. Skala przemysłowego Pre-trainingu
┌─────────────────────────────────────────────────────────────┐
│ FABRYKA PRETRENINGU │
├─────────────────────────────────────────────────────────────┤
│ 📚 DANE WEJŚCIOWE: │
│ 15 bilionów tokenów (cała wartościowa wiedza internetu) │
├─────────────────────────────────────────────────────────────┤
│ ⚡ MOC OBLICZENIOWA SPRZĘTU: │
│ Klaster od 16 000 do 100 000 chipów Nvidia H100 │
├─────────────────────────────────────────────────────────────┤
│ ⏳ CZAS I KOSZTY: │
│ 90–120 dni nieprzerwanej pracy, ponad $100 000 000 │
├─────────────────────────────────────────────────────────────┤
│ 🎯 WYNIK: MODEL BAZOWY (Base Model) │
│ „Surowy geniusz”, który wie wszystko, ale wymaga │
│ doszlifowania │
└─────────────────────────────────────────────────────────────┘
3. Dlaczego modele bazowe rzadko trafiają do zwykłych użytkowników
Jeśli otworzysz „surowy” model bazowy (np. Llama-3-Base zamiast Llama-3-Instruct) i wpiszesz mu:
- «Cześć, pomóż mi napisać list do mamy»
Może odpowiedzieć:
- «...oraz do taty i babci, wyślij go pocztą na adres ul. Centralna 12. Rozdział 2: Jak prawidłowo pisać listy...»
Model po prostu autouzupełnia stronę internetową! Aby zamienić ten zbiór wiedzy w użytecznego asystenta, konieczne są kolejne etapy: Fine-tuning oraz RLHF.
4. Praktyczny wniosek
Ponieważ przeprowadzenie Pre-trainingu jest możliwe tylko dla gigantycznych korporacji (Google, Meta, Microsoft/OpenAI) lub bogatych startupów venture capital, cały świat korzysta z ich owoców pracy: albo poprzez płatne API, albo pobierając otwarte wagi modeli (Open Weights).
FAQ: Pre-training
Powiązane pojęcia
Prawa skalowania AI (Scaling Laws)
Empiryczne prawo sformułowane przez OpenAI i Google (przez Jareda Kaplana w 2020 roku), które stwierdza, że wydajność modelu językowego przewidywalnie rośnie zgodnie z prawem potęgowym wraz ze zwiększaniem trzech czynników: liczby parametrów modelu, ilości danych treningowych oraz zużytej mocy obliczeniowej (Compute).
Fine-tuning (Dostrajanie)
Proces adaptacji już wytrenowanego dużego modelu językowego do wąsko specjalistycznego zadania lub stylu przy użyciu niewielkiego, wysokiej jakości zestawu danych (Supervised Fine-Tuning, SFT). Pozwala na nauczenie AI terminologii medycznej, korporacyjnego tonu komunikacji lub formatowania specyficznego kodu w ciągu kilku godzin.
Uczenie ze wzmocnieniem na podstawie opinii ludzi (RLHF)
Metoda uczenia maszynowego (Reinforcement Learning from Human Feedback), która wykorzystuje porównawcze oceny ludzi do trenowania modelu nagrody (Reward Model). Dzięki RLHF modele językowe nauczyły się być pomocne, uczciwe i bezpieczne (Helpful, Honest, Harmless).