Prawa skalowania AI (Scaling Laws)
Empiryczne prawo sformułowane przez OpenAI i Google (przez Jareda Kaplana w 2020 roku), które stwierdza, że wydajność modelu językowego przewidywalnie rośnie zgodnie z prawem potęgowym wraz ze zwiększaniem trzech czynników: liczby parametrów modelu, ilości danych treningowych oraz zużytej mocy obliczeniowej (Compute).
1. Przegląd koncepcji i przeznaczenia
W 2020 roku badacz Jared Kaplan wraz z zespołem OpenAI opublikował odkrycie, które na zawsze zmieniło historię technologii.
Ustalili oni, że sztuczna inteligencja podlega niezwykle precyzyjnym prawom matematycznym, przypominającym prawa grawitacji w fizyce:
- Jeśli zwiększysz rozmiar modelu dziesięciokrotnie i dostarczysz mu dziesięciokrotnie więcej danych treningowych – jego błąd maleje ściśle zgodnie z wzorem matematycznym.
- Żadnych przypadkowości ani „magii”: więcej mocy obliczeniowej + więcej danych = gwarantowany wzrost inteligencji.
Prawo to nazwano Scaling Laws (Prawa skalowania). To właśnie dlatego Microsoft, Google, Meta i Amazon zaczęły budować gigantyczne centra danych o wartości setek miliardów dolarów.
Z praktycznego punktu widzenia jest to odpowiedź na pytanie: dlaczego nowy model jest zawsze mądrzejszy od starego.
2. Trzy filary skalowania
┌─────────────────────────────────────────────────────────────┐
│ RÓWNANIE SKALOWANIA JARED KAPLAN │
├─────────────────────────────────────────────────────────────┤
│ BŁĄD MODELU ZMNIEJSZA SIĘ POTĘGOWO WRAZ ZE: │
│ │
│ 1. [ N ] Liczba parametrów (mózg modelu) │
│ 7B ➔ 70B ➔ 400B parametrów │
│ │
│ 2. [ D ] Ilość danych do przetworzenia │
│ 1 bilion ➔ 15 bilionów tokenów │
│ │
│ 3. [ C ] Ilość obliczeń (karty graficzne Nvidia) │
│ 1 000 GPU ➔ 100 000 superchipów │
│ │
│ 📉 Wynik: Liniowy wzrost inteligencji na wykresie! │
└─────────────────────────────────────────────────────────────┘
3. Nowa era: skalowanie podczas wnioskowania (Inference Scaling)
Gdy zasoby otwartego internetu się wyczerpały, laboratoria odkryły drugi oddech praw skalowania: Test-Time Scaling (skalowanie czasu inferencji):
- Jeśli pozwolisz modelowi „myśleć” przed udzieleniem odpowiedzi nie przez 1 sekundę, a przez 30 sekund (generując ukryte łańcuchy myślowe), jego zdolność do rozwiązywania złożonych problemów matematycznych i programistycznych rośnie w równie przewidywalny sposób!
4. Praktyczny wniosek
Dopóki obowiązują prawa skalowania, możliwości sztucznej inteligencji będą nadal gwałtownie rosły z roku na rok. To, co dziś wydaje się nierealną fantastyką naukową, po jednym lub dwóch cyklach skalowania stanie się rutynową funkcją w Twoim telefonie.
FAQ: Prawa skalowania AI (Scaling Laws)
Powiązane pojęcia
Pre-training
The initial stage of creating a Foundation Model. It involves aligning a neural network with trillions of words from the internet, books, and code using clusters of thousands of GPUs over months, at costs ranging from tens to hundreds of millions of dollars.
Ogólna sztuczna inteligencja (AGI)
Ogólna sztuczna inteligencja (Artificial General Intelligence) to hipotetyczny, autonomiczny system zdolny do rozumienia, uczenia się i wykonywania dowolnego zadania intelektualnego na poziomie człowieka lub przewyższania go w większości dziedzin pracy o wartości ekonomicznej.
Liczba parametrów modelu (7B, 14B, 70B)
Oznaczenie całkowitej liczby parametrów trenujących (wag) w dużym modelu językowym, gdzie litera 'B' oznacza miliardy (Billion). Jest to kluczowy wskaźnik pojemności intelektualnej modelu, jego wydajności oraz wymagań dotyczących pamięci komputera.