Surapprentissage (Overfitting)

1. Vue d'ensemble du concept et essence mathématique

L'objectif principal de tout modèle d'apprentissage automatique n'est pas de reproduire le passé, mais d'extrapoler avec succès les connaissances vers un futur inconnu : c'est-à-dire démontrer une capacité de généralisation (Generalization).

Lorsque la capacité paramétrique du modèle (nombre de poids) dépasse largement la complexité informationnelle du dataset d'entraînement, on observe le phénomène de Surapprentissage (Overfitting / High Variance). Au lieu d'extraire des régularités invariantes, le réseau de neurones identifie des corrélations aléatoires dans le bruit des données.

Modèle mental : comme un étudiant qui, avant l'examen, mémorise par cœur les numéros exacts des réponses à la fin du manuel au lieu d'étudier les formules : il affichera 100 % de réussite aux tests blancs, mais échouera dès la première tâche d'ingénierie réelle impliquant des chiffres différents.

┌─────────────────────────────────────────────────────────────┐
│                 COURBE DE DIVERGENCE DU SURAPPRENTISSAGE    │
├─────────────────────────────────────────────────────────────┤
│ LOSS (Erreur)                                               │
│   ▲                                                         │
│   │   Sous-apprentissage     POINT IDÉAL     Surapprentissage│
│   │                          │                              │
│   │                          ▼ (Déclencheur d'Arrêt Précoce)│
│   │   \                      /                              │
│   │    \                    / ═══════════════════════ Val   │
│   │     \                  /                         Loss   │
│   │      \───────...──────/                                 │
│   │       \                                                 │
│   │        \───────────────────────────────────────── Train │
│   │                                                  Loss   │
│   └────────────────────────────────────────────────────────►│
│                            ÉPOQUES D'ENTRAÎNEMENT (Epochs)  │
└─────────────────────────────────────────────────────────────┘

2. Implémentation pratique : Early Stopping dans la boucle d'entraînement PyTorch

Voici comment les ingénieurs implémentent l'arrêt automatique de l'entraînement dans le code pour empêcher la dégradation du modèle :

import torch

class EarlyStopping:
    def __init__(self, patience: int = 3, min_delta: float = 0.001):
        self.patience = patience          # Скільки епох чекати після зупинки прогресу
        self.min_delta = min_delta        # Мінімальне покращення loss
        self.counter = 0
        self.best_loss = float('inf')
        self.should_stop = False

    def check(self, val_loss: float) -> bool:
        if val_loss < self.best_loss - self.min_delta:
            self.best_loss = val_loss
            self.counter = 0              # Скидаємо лічильник: є покращення!
        else:
            self.counter += 1
            if self.counter >= self.patience:
                self.should_stop = True
                print(f"[ALERT] Overfitting виявлено! Зупинка навчання на eval_loss: {val_loss:.4f}")
        return self.should_stop

Lors du fine-tuning via la bibliothèque Hugging Face Trainer, cela se configure littéralement en deux lignes de configuration :

from transformers import EarlyStoppingCallback, TrainingArguments

training_args = TrainingArguments(
    eval_strategy="epoch",
    save_strategy="epoch",
    load_best_model_at_end=True,
    metric_for_best_model="eval_loss",
    weight_decay=0.01  # L2 регуляризація
)
callbacks = [EarlyStoppingCallback(early_stopping_patience=2)]

3. Les quatre principales méthodes de lutte contre le surapprentissage

1. Régularisation des poids (Weight Decay / $L_2$) : Pénalise le modèle pour des valeurs absolues trop élevées des poids dans la fonction de perte ($Loss = Loss_{orig} + \lambda \sum w_i^2$), ce qui force le modèle à rester lisse et robuste face aux pics locaux.
2. Dropout (Désactivation aléatoire des nœuds) : Pendant l'entraînement, 10 à 20 % des neurones aléatoires dans chaque couche sont temporairement mis à zéro. Cela empêche la « collusion » (co-adaptation) entre les neurones et oblige le réseau à trouver des chemins redondants fiables pour la transmission du signal.
3. Réduction de la capacité paramétrique (LoRA Rank Reduction) : Si le dataset d'adaptation est petit (par exemple, 200 exemples de style corporatif), définir r=64 dans LoRA entraînera presque certainement un surapprentissage catastrophique. Réduire le rang à r=8 ou r=16 agit comme un puissant régularisateur.
4. Augmentation de données et données synthétiques : Ajout artificiel de bruit, reformulation via des modèles de langage et extension du contenu pour diluer les formulations spécifiques.

4. Conclusion technique finale

Le surapprentissage est le prix à payer pour la haute capacité expressive des réseaux de neurones modernes. Un ingénieur ML professionnel ne se fie jamais aux belles métriques de loss d'entraînement, mais maintient toujours strictement un ensemble de données de validation hors de la boucle d'entraînement.