ARC AGI 3 — Le défi des compétences

ARC AGI 3 — Le défi des compétences

Les compétences (« skills ») se sont avérées nettement plus efficaces que les prompts système. Elles permettent d'intégrer l'utilisation d'outils, résolvant ainsi les problèmes de répétabilité et de cohérence des réponses. Cette fonctionnalité s'avère extrêmement utile lorsqu'un format de sortie strict est requis, par exemple pour le remplissage de tableaux.

L'équipe, utilisant une compétence personnalisée pour Claude Opus 5, a atteint un score de 100 % sur ARC AGI 3. La compétence force littéralement le modèle à réfléchir deux fois avant d'effectuer des prédictions sur le benchmark. En conséquence, le modèle est passé de 30 % à un score impeccable de 100 %, ce qui dépasse déjà les résultats précédents, tout en utilisant environ la moitié du nombre d'étapes.

Il n'y a eu aucune triche sous forme de règles de jeu de données intégrées dans la compétence. L'appel d'outil contient simplement un bloc logique dur intégré. Si le modèle ne raisonne pas avant de répondre et n'essaie pas de prédire l'étape suivante en remplissant les cellules correspondantes, la prédiction est renvoyée pour révision. Sinon, il suit les instructions de base.

D'une part, l'apprentissage par renforcement (RL) semble avoir tué l'ingénierie classique des prompts, et l'ingénierie des compétences a désormais fermement pris sa place.

Cela montre également à quel point le benchmark ARC AGI a été inefficace sur notre trajectoire vers l'AGI (sans offense, François).