ARC AGI 3 — Ein Problem der Fähigkeiten

ARC AGI 3 — Ein Problem der Fähigkeiten

Skills haben sich als deutlich effektiver erwiesen als herkömmliche System-Prompts. Sie können Tool-Nutzung integrieren und lösen dabei das Problem der Wiederholbarkeit und Konsistenz von Antworten. Dies ist eine äußerst nützliche Funktion, wenn ein striktes Ausgabeformat erforderlich ist, beispielsweise beim Ausfüllen von Tabellen.

Das Team erreichte mit einem maßgeschneiderten Skill für Claude Opus 5 eine Punktzahl von 100 % im ARC AGI 3 Benchmark. Der Skill zwingt das Modell buchstäblich dazu, zweimal nachzudenken, bevor es Vorhersagen auf der Benchmark trifft. Infolgedessen sprang die Leistung des Modells von 30 % auf eine makellose 100 %, was bereits besser ist als frühere Ergebnisse, während etwa die Hälfte der Schritte benötigt wurde.

Es gab keinen Betrug in Form von Dataset-Regeln innerhalb des Skills. Der Tool-Aufruf enthält lediglich einen harten logischen Block. Wenn das Modell nicht vor der Antwort schlussfolgert und nicht versucht, den nächsten Schritt durch Ausfüllen der entsprechenden Zellen vorherzusagen, wird die Vorhersage zur Überarbeitung zurückgesandt. Andernfalls folgt sie den grundlegenden Anweisungen.

Auf der einen Seite scheint Reinforcement Learning (RL) das klassische Prompt-Engineering getötet zu haben, und nun hat das Skill-Engineering seinen Platz fest eingenommen.

Dies zeigt auch, wie ineffektiv der ARC AGI-Benchmark auf unserem Weg zur AGI war (kein Vorwurf an François).