Lois d'échelle de l'IA (Scaling Laws)
Loi empirique établie par OpenAI et Google (formulée par Jared Kaplan en 2020), qui stipule que les performances d'un modèle linguistique augmentent de manière prévisible selon une loi de puissance lorsque trois facteurs sont accrus : le nombre de paramètres du modèle, le volume des données d'entraînement et la puissance de calcul utilisée (Compute).
1. Vue d’ensemble du concept et de sa finalité
En 2020, le chercheur Jared Kaplan, accompagné de l’équipe OpenAI, a publié une découverte qui a définitivement changé l’histoire technologique mondiale.
Ils ont établi que l’intelligence artificielle obéit à des lois mathématiques extrêmement précises, comparables aux lois de la gravitation en physique :
- Si vous multipliez par 10 la taille d’un modèle et lui fournissez 10 fois plus de livres, son taux d’erreur diminue selon une formule mathématique stricte.
- Aucune part au hasard ni à la « magie » : plus de hardware + plus de données = une intelligence garantie supérieure.
Cette loi a été baptisée Scaling Laws (Lois de mise à l’échelle). C’est précisément pour cette raison que Microsoft, Google, Meta et Amazon ont commencé à construire des data centers géants dont les coûts se chiffrent en centaines de milliards de dollars.
D’un point de vue pratique, cela répond à la question suivante : pourquoi un nouveau modèle est-il toujours plus intelligent que le précédent.
2. Les trois piliers de la mise à l’échelle
┌─────────────────────────────────────────────────────────────┐
│ LOI DE SCALING DE JARED KAPLAN │
├─────────────────────────────────────────────────────────────┤
│ L'ERREUR DU MODÈLE DIMINUE SELON UNE PUISSANCE DE : │
│ │
│ 1. [ N ] Nombre de paramètres (cerveau du modèle) │
│ 7B ➔ 70B ➔ 400B paramètres │
│ │
│ 2. [ D ] Volume de données d'apprentissage │
│ 1 billion ➔ 15 billions de tokens │
│ │
│ 3. [ C ] Quantité de calculs (cartes graphiques Nvidia) │
│ 1 000 GPU ➔ 100 000 superpuces │
│ │
│ 📉 Résultat : Une ligne droite de croissance de l'intelligence sur le graphique ! │
└─────────────────────────────────────────────────────────────┘
3. Une nouvelle ère : la mise à l’échelle lors de l’inférence (Inference Scaling)
Lorsque le volume de données disponibles sur Internet ouvert s’est épuisé, les laboratoires ont découvert un second souffle aux lois de mise à l’échelle : le Test-Time Scaling (mise à l’échelle au moment de l’inférence) :
- Si l’on permet au modèle de « réfléchir » avant de répondre pendant 30 secondes plutôt qu’une seule seconde (en générant des chaînes de raisonnement cachées), sa capacité à résoudre des tâches complexes en mathématiques et en programmation augmente avec la même prévisibilité !
4. Conclusion pratique
Tant que les lois de mise à l’échelle restent valables, les capacités de l’intelligence artificielle continueront de croître de façon exponentielle chaque année. Ce qui semble aujourd’hui relever de la science-fiction irréalisable deviendra, après une ou deux générations de mise à l’échelle, une fonctionnalité banale dans votre téléphone.
FAQ: Lois d'échelle de l'IA (Scaling Laws)
Termes associés
Pré-entraînement (Pre-training)
Étape initiale de la création d'un modèle de langue fondamental (Foundation Model). Ce processus consiste à ajuster un réseau de neurones sur des billions de mots issus d'Internet, de livres et de code, en utilisant des clusters composés de milliers de cartes graphiques pendant plusieurs mois, pour un coût s'élevant à des dizaines ou centaines de millions de dollars.
Intelligence artificielle générale (AGI)
L'intelligence artificielle générale (Artificial General Intelligence) est un système autonome hypothétique capable de comprendre, d'apprendre et d'exécuter n'importe quelle tâche intellectuelle au niveau humain ou de surpasser l'humain dans la plupart des secteurs économiques à forte valeur ajoutée.
Nombre de paramètres du modèle (7B, 14B, 70B)
Indication du nombre total de paramètres d'apprentissage (poids) dans un grand modèle de langage, où la lettre 'B' signifie milliards (Billion). C'est l'indicateur principal de la capacité intellectuelle du modèle, de sa vitesse d'exécution et des exigences en mémoire informatique.