GRPO i DPO – nowoczesne algorytmy dopasowania

1. Przegląd koncepcji i problem systemowy

Tradycyjne uczenie modeli z wykorzystaniem wzmocnienia metodą PPO (Proximal Policy Optimization), stosowane we wcześniejszych wersjach ChatGPT, stanowiło niezwykle trudne wyzwanie inżynieryjne:

• Niestabilność procesu uczenia: pojedynczy nieudany krok gradientowy mógł prowadzić do kolapsu językowego lub nieskończonych powtórzeń.
• Ogromne wymagania sprzętowe: trenowanie modelu o rozmiarze 70B wymagało utrzymywania w pamięci klastra czterech osobnych sieci neuronowych tej samej wielkości.
• Blokowało to otwartą społeczność badawczą przed eksperymentami z uczeniem modeli rozumowania (reasoning).

Pojawienie się DPO (Direct Preference Optimization) oraz przełomowego algorytmu GRPO (Group Relative Policy Optimization) opracowanego przez laboratorium DeepSeek zdemokratyzowało post-trening, czyniąc uczenie modeli rozumowania stabilnym, tanim i dostępnym.

2. Taksonomia architektoniczna i model mentalny

┌─────────────────────────────────────────────────────────────┐
│                 GRPO GROUP EVALUATION SCHEME                │
├─────────────────────────────────────────────────────────────┤
│ Input Prompt: "Write a function to solve Two-Sum in O(N)"   │
│                             │                               │
│                             ▼ Parallel Sample Generation    │
│  [Output 1]  [Output 2]  [Output 3]  [Output 4]  [Output 5] │
│  Reward: 1.0 Reward: 0.8 Reward: 0.0 Reward: 1.0 Reward: 0.2│
│  (All Tests) (No Tests)  (CompileErr)(All Tests) (Timeout)  │
├─────────────────────────────────────────────────────────────┤
│                             │                               │
│                             ▼ Calculate Group Statistics    │
│  • Group Mean Reward = 0.6                                  │
│  • Standard Deviation = 0.42                                │
├─────────────────────────────────────────────────────────────┤
│                             │                               │
│                             ▼ Relative Advantage Score      │
│  • Output 1 Advantage: +0.95 (Strong Positive Gradient)     │
│  • Output 3 Advantage: -1.42 (Strong Negative Gradient)     │
│                             │                               │
│   NO SEPARATE VALUE/CRITIC MODEL NEEDED IN VRAM!            │
└─────────────────────────────────────────────────────────────┘

3. Praktyczne scenariusze inżynierskie w środowisku produkcyjnym

01. Szybkie dopasowanie do korporacyjnego stylu kodu

Zespół deweloperski bierze bazowy model open-source i trenuje go za pomocą DPO na 500 parach własnych pull requestów. Model po dwóch godzinach treningu na jednej maszynie przyswaja wszystkie reguły architektury firmy bez skomplikowanych pipeline’ów nagród.

02. Stymulowanie modeli do długich łańcuchów myślowych (RL-Incentivized Reasoning)

Korzystając z GRPO wraz z funkcją wynagrodzenia za poprawność kodu (RLVR), deweloperzy mogą trenować własne modele typu R1-Zero, które samodzielnie odkrywają skuteczność rozumowania.

4. Pułapki, typowe błędy i bezpieczeństwo

• Length Bias (Uprzedzenie do długości): Modele podczas optymalizacji DPO/GRPO mogą zauważyć, że dłuższe odpowiedzi średnio otrzymują wyższą ocenę, i zacząć „lać wodę”. Konieczne jest wprowadzenie kar za nadmiarowe tokeny (Length Penalty).
• Out-of-Distribution Degradation: Jeśli model jest trenowany zbyt agresywnie wyłącznie na jednym typie zadań, może utracić zdolność do ogólnego dialogu. Zawsze kontroluj dywergencję KL (Kullback-Leibler divergence) względem modelu bazowego.

5. Strategiczny wniosek dla inżyniera roku 2026

GRPO oraz DPO przekształciły przygotowanie współczesnych modeli w deterministyczną i dostępną procedurę. Zrozumienie tych algorytmów pozwala inżynierom tworzyć wąsko wyspecjalizowane, wysokowydajne modele dla własnych produktów bez budżetów technologicznych gigantów.