Un cours gratuit explique l’entraînement des modèles de raisonnement

Désormais, presque tout le monde peut construire son propre modèle de raisonnement.

Sebastian Raschka a publié un cours entièrement gratuit et ouvert le code source de tous les matériaux.

À l’aide d’un petit modèle, Qwen3-0.6B, il montre comment les modèles de raisonnement sont réellement entraînés et quelles étapes composent ce processus.

Le cours permet de comprendre comment :

• apprendre à un modèle à rechercher différentes façons de résoudre une même tâche ;
• vérifier automatiquement la justesse des réponses obtenues ;
• améliorer son comportement grâce à l’apprentissage par récompense et à GRPO ;
• observer comment un modèle trouve parfois des moyens de contourner le système de récompense lui-même ;
• entraîner un modèle plus compact sur des données de raisonnement de DeepSeek-R1.

Tout le code peut être exécuté individuellement, en suivant le déroulement de l’entraînement et en remarquant progressivement comment le comportement du modèle évolue.

Il n’est pas nécessaire de repartir de zéro : le point de départ est déjà un petit modèle prêt à l’emploi, et non un modèle fondamental qu’il faudrait entraîner depuis le début.

Si vous avez longtemps voulu comprendre comment fonctionnent des modèles comme DeepSeek-R1, ce cours offre une rare possibilité de parcourir tout le processus par vous-même.

GitHub: reasoning-from-scratch