Pré-entraînement (Pre-training)
Étape initiale de la création d'un modèle de langue fondamental (Foundation Model). Ce processus consiste à ajuster un réseau de neurones sur des billions de mots issus d'Internet, de livres et de code, en utilisant des clusters composés de milliers de cartes graphiques pendant plusieurs mois, pour un coût s'élevant à des dizaines ou centaines de millions de dollars.
1. Aperçu du concept et de sa finalité
Lorsqu'un nouveau réseau neuronal vient d'être créé sous forme de code, son « cerveau » est totalement vide. Ses milliards de poids numériques sont remplis de bruit aléatoire. Il ne distingue pas la lettre « A » d'un point.
Le Pre-training est l'étape au cours de laquelle une matrice vide se transforme en une base universelle des connaissances humaines :
- On lui soumet des centaines de milliards de phrases.
- Elle tente de prédire chaque mot suivant.
- En cas d'erreur, les mathématiques ajustent légèrement ses paramètres (rétropropagation du gradient — Backpropagation).
- Après trois mois de calculs continus sur des milliers de GPU, le modèle maîtrise parfaitement la grammaire, les faits sur le monde, la logique et des dizaines de langues.
Le principe fondamental pour un développeur : une formation universitaire pour l'IA : lire tous les livres d'une bibliothèque pendant des années sans dormir ni se reposer.
2. L'échelle industrielle du Pre-training
┌─────────────────────────────────────────────────────────────┐
│ FABRIQUE D'APPRENTISSAGE PRÉALABLE │
├─────────────────────────────────────────────────────────────┤
│ 📚 DONNÉES D'ENTRÉE : │
│ 15 billions de tokens (l'intégralité du web de qualité │
│ de l'humanité) │
├─────────────────────────────────────────────────────────────┤
│ ⚡ PUISSANCE MATÉRIELLE : │
│ Cluster de 16 000 à 100 000 puces Nvidia H100 │
├─────────────────────────────────────────────────────────────┤
│ ⏳ DURÉE ET COÛT : │
│ 90 à 120 jours de fonctionnement continu, │
│ plus de 100 000 000 $ de dépenses │
├─────────────────────────────────────────────────────────────┤
│ 🎯 RÉSULTAT : MODÈLE DE BASE (Base Model) │
│ Un « génie brut » qui sait tout, mais qui nécessite │
│ d'être éduqué │
└─────────────────────────────────────────────────────────────┘
3. Pourquoi les modèles de base sont rarement destinés aux utilisateurs ordinaires
Si vous ouvrez un modèle de base « brut » (par exemple Llama-3-Base au lieu de Llama-3-Instruct) et que vous lui écrivez :
- « Salut, aide-moi à écrire une lettre à ma mère »
Il peut répondre :
- « ...et à mon père, et à ma grand-mère, et envoyez-la par la poste à l'adresse rue Centrale, 12. Chapitre 2 : Comment bien rédiger une lettre... »
Il se contente d'auto-compléter une page web ! Pour transformer cette masse de connaissances en un assistant serviable, les étapes suivantes sont nécessaires : le Fine-tuning et le RLHF.
4. Conclusion pratique
Puisque seuls les géants technologiques (Google, Meta, Microsoft/OpenAI) ou les startups financées par le capital-risque peuvent réaliser un Pre-training, le monde entier bénéficie de leurs fruits : soit via des API payantes, soit en téléchargeant les poids ouverts (Open Weights).
FAQ: Pré-entraînement (Pre-training)
Termes associés
Lois d'échelle de l'IA (Scaling Laws)
Loi empirique établie par OpenAI et Google (formulée par Jared Kaplan en 2020), qui stipule que les performances d'un modèle linguistique augmentent de manière prévisible selon une loi de puissance lorsque trois facteurs sont accrus : le nombre de paramètres du modèle, le volume des données d'entraînement et la puissance de calcul utilisée (Compute).
Fine-Tuning
Processus d'adaptation d'un grand modèle pré-entraîné à une tâche ou un style spécifique à l'aide d'un petit jeu de données de haute qualité (Supervised Fine-Tuning, SFT). Permet d'apprendre à l'IA la terminologie médicale, le ton corporatif ou le formatage de code spécifique en quelques heures.
Apprentissage par renforcement à partir des retours humains (RLHF)
Méthode d'apprentissage (Reinforcement Learning from Human Feedback) qui utilise les évaluations comparatives humaines pour entraîner un modèle de récompense (Reward Model). C'est grâce au RLHF que les modèles linguistiques ont appris à être utiles, honnêtes et inoffensifs (Helpful, Honest, Harmless).