Kostenloser Kurs erklärt das Training von Reasoning-Modellen

Inzwischen kann praktisch jeder sein eigenes Reasoning-Modell aufbauen.

Sebastian Raschka hat einen vollständig kostenlosen Kurs veröffentlicht und den Quellcode aller Materialien geöffnet.

Am Beispiel des kleinen Modells Qwen3-0.6B zeigt er, wie Reasoning-Modelle tatsächlich trainiert werden und aus welchen Phasen sich dieser Prozess zusammensetzt.

Im Kurs kann man lernen, wie man:

• ein Modell dazu bringt, verschiedene Lösungswege für dieselbe Aufgabe zu finden;
• die Richtigkeit generierter Antworten automatisch überprüft;
• das Verhalten des Modells durch belohnungsbasiertes Training und GRPO verbessert;
• beobachtet, wie ein Modell manchmal Wege findet, das Belohnungssystem selbst zu umgehen;
• ein kompakteres Modell auf Reasoning-Daten von DeepSeek-R1 trainiert.

Der gesamte Code kann selbst ausgeführt werden, sodass man dem Trainingsverlauf folgen und schrittweise beobachten kann, wie sich das Verhalten des Modells verändert.

Dabei muss nicht bei Null angefangen werden: Als Ausgangspunkt dient bereits ein fertiges kleines Modell und nicht ein Basismodell, das von Grund auf trainiert werden müsste.

Wenn man schon lange verstehen wollte, wie Modelle wie DeepSeek-R1 aufgebaut sind, bietet dieser Kurs eine seltene Möglichkeit, den gesamten Weg nicht nur zu lesen, sondern selbst nachzuvollziehen.

GitHub: reasoning-from-scratch