ARC AGI 3 — Le défi des compétences
ARC AGI 3 — Le défi des compétences
Les « skills » surpassent les prompts système en garantissant une cohérence accrue, permettant à Claude Opus 5 d'atteindre un score parfait de 100 % sur ARC AGI 3.
ARC AGI 3 — Le défi des compétences
Les compétences (« skills ») se sont avérées nettement plus efficaces que les prompts système. Elles permettent d'intégrer l'utilisation d'outils, résolvant ainsi les problèmes de répétabilité et de cohérence des réponses. Cette fonctionnalité s'avère extrêmement utile lorsqu'un format de sortie strict est requis, par exemple pour le remplissage de tableaux.
L'équipe, utilisant une compétence personnalisée pour Claude Opus 5, a atteint un score de 100 % sur ARC AGI 3. La compétence force littéralement le modèle à réfléchir deux fois avant d'effectuer des prédictions sur le benchmark. En conséquence, le modèle est passé de 30 % à un score impeccable de 100 %, ce qui dépasse déjà les résultats précédents, tout en utilisant environ la moitié du nombre d'étapes.
Il n'y a eu aucune triche sous forme de règles de jeu de données intégrées dans la compétence. L'appel d'outil contient simplement un bloc logique dur intégré. Si le modèle ne raisonne pas avant de répondre et n'essaie pas de prédire l'étape suivante en remplissant les cellules correspondantes, la prédiction est renvoyée pour révision. Sinon, il suit les instructions de base.
D'une part, l'apprentissage par renforcement (RL) semble avoir tué l'ingénierie classique des prompts, et l'ingénierie des compétences a désormais fermement pris sa place.
Cela montre également à quel point le benchmark ARC AGI a été inefficace sur notre trajectoire vers l'AGI (sans offense, François).
Pourquoi c'est important
AnalyseCette avancée illustre comment les nouvelles approches de formation, privilégiant les compétences structurées aux prompts traditionnels, peuvent améliorer radicalement la performance des IA. Elle ouvre de nouvelles perspectives pour le développement fiable et cohérent des technologies d'intelligence artificielle.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs
Lié dans l'écosystème
Guides pratiques, terminologie clé et compétences d'agents
Compétences d'agent (Agent Skills & Custom Workflows)
Modèle architectural de chargement dynamique à la demande (On-Demand Loading) de procédures spécialisées, de scripts et de modèles (SKILL.md) dans la fenêtre contextuelle de l'agent.
Tous les fichiers de Claude Code : ce qui est stocké dans le dossier .claude
Guide complet de l'architecture interne de Claude Code : niveaux de configuration, CLAUDE.md, règles avec filtrage par chemin (path-gating), mémoire automatique, droits d'accès, compétences (skills), sous-agents et nettoyage des transcripts.
Guide des prompts pour les modèles génératifs GPT Image
Les modèles de génération d'images gpt-image d'OpenAI sont conçus pour produire des visuels de qualité professionnelle et des processus créatifs entièrement maîtrisés. Ils conviennent aussi bien aux designers professionnels...
Syndrome de l'imposteur synthétique
Dévalorisation existentielle de son expertise d'ingénieur, due au fait que la majeure partie du code et des décisions architecturales est générée par des modèles d'IA plutôt que développée manuellement.