Comment une formule de 1847 entraîne ChatGPT : la descente de gradient de Cauchy
La méthode d’optimisation centrale derrière ChatGPT et les réseaux de neurones modernes a été proposée en 1847 par le mathématicien français Augustin-Louis Cauchy pour calculer les orbites planétaires.
La formule qui a appris à l’IA à écrire
ChatGPT et les autres modèles de langage modernes sont entraînés à l’aide d’un algorithme apparu en 1847. Il s’agit de la descente de gradient :
w ← w − η∇L
Sans elle, aucun réseau de neurones moderne n’existerait. La méthode n’a pas été inventée par OpenAI ni par Google, mais en France il y a près de 180 ans, lorsque le mathématicien Augustin-Louis Cauchy cherchait un moyen plus rapide de calculer le mouvement des corps célestes.
Imaginez que vous êtes au sommet d’une montagne recouverte d’un épais brouillard. Vous ne voyez pas la vallée, mais vous sentez la pente sous vos pieds. Vous faites un pas dans la direction de la descente la plus raide, vous mesurez à nouveau la pente et vous faites un autre pas. Ainsi, pas à pas, vous descendez dans la vallée.
Un réseau de neurones fonctionne selon le même principe :
- La montagne représente les erreurs du modèle, c’est-à-dire la fonction de perte.
- La vallée est la zone où les erreurs sont minimales et les réponses les plus exactes.
- Chaque pas est une mise à jour des paramètres du modèle.
- La pente est le gradient, c’est-à-dire la direction dans laquelle l’erreur croît le plus vite.
La seule différence est que cette montagne n’a pas trois dimensions, mais des milliards de paramètres. C’est pourquoi l’entraînement de l’IA moderne exige des ressources de calcul énormes et une implémentation mathématique rigoureuse.
Cauchy calculait les orbites planétaires, tandis que sa formule est devenue la base des machines qui écrivent du texte, répondent à des questions et génèrent des images.
Pourquoi c'est important
AnalyseCela rappelle que l’IA moderne repose sur des mathématiques classiques et explique pourquoi l’entraînement de grands modèles exige des données, des calculs massifs et une optimisation stable.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs
Lié dans l'écosystème
Guides pratiques, terminologie clé et compétences d'agents
Surapprentissage (Overfitting)
Problème fondamental de l'apprentissage automatique : le modèle s'adapte excessivement au jeu de données d'entraînement, y compris à son bruit spécifique, perdant ainsi sa capacité de généralisation sur de nouvelles données. Analyse de la divergence des fonctions de perte, des techniques de régularisation et de l'Early Stopping dans le code.
ChatGPT : comment choisir le modèle, l'offre tarifaire et rédiger des prompts efficaces
1. Système d'exploitation sur une page...
Guide des prompts : comment créer un site web avec ChatGPT — processus étape par étape, prompts et limites
Guide pratique complet pour la création de sites web à l'aide de ChatGPT : prompts prêts à l'emploi pour la structure, le code et le design, aperçu de ChatGPT Sites et analyse des limitations.
Mémoire ChatGPT (Sauvegarde des faits entre les conversations)
Fonctionnalité de mémoire à long terme de ChatGPT (Memory). Permet à l'intelligence artificielle de retenir votre nom, profession, technologies préférées, format de réponse et détails personnels entre des chats totalement différents.