ARC AGI 3 — A Questão das Habilidades
ARC AGI 3 — A Questão das Habilidades
O ARC AGI 3 demonstra como novas habilidades podem aprimorar o desempenho dos modelos de IA, garantindo maior precisão e consistência.
ARC AGI 3 — A Questão das Habilidades
As "skills" (habilidades) mostraram-se muito superiores aos prompts de sistema. Elas permitem incorporar o uso de ferramentas, resolvendo problemas de repetibilidade e consistência nas respostas. Este é um recurso extremamente útil quando se exige um formato de saída rigoroso, por exemplo, para preenchimento de tabelas.
A equipe, utilizando uma skill personalizada para o Claude Opus 5, alcançou uma pontuação de 100% no ARC AGI 3. A habilidade força literalmente o modelo a refletir duas vezes antes de fazer previsões no benchmark. Como resultado, o modelo saltou de 30% para 100% limpos, superando resultados anteriores enquanto utilizava cerca da metade do número de etapas.
Não houve trapaça na forma de regras do dataset dentro da skill. A chamada de ferramenta possui simplesmente um bloqueio lógico rígido embutido. Se o modelo não raciocinar antes de responder e não tentar prever o próximo passo preenchendo as células correspondentes, a previsão é devolvida para revisão. Caso contrário, ele segue as instruções básicas.
Por um lado, parece que o RL (Reinforcement Learning) matou o engenharia de prompts clássica, e agora a engenharia de skills assumiu firmemente seu lugar.
Isso também mostra quão ineficaz tem sido o benchmark ARC AGI em nossa trajetória rumo à AGI (sem ofensa, François).
Por que isso importa
AnáliseEste caso ilustra como novas abordagens de treinamento de IA podem melhorar significativamente o desempenho. O uso de skills em vez de prompts tradicionais abre novas possibilidades para o desenvolvimento de tecnologias de inteligência artificial.
Debater na comunidade
Compartilhe suas dúvidas e insights com desenvolvedores
Relacionado no ecossistema
Guias práticos, terminologia essencial e skills de agentes
Todos os arquivos do Claude Code: o que é armazenado na pasta .claude
Guia completo da arquitetura interna do Claude Code: níveis de configuração, CLAUDE.md, regras com path-gating, memória automática, permissões de acesso, skills, subagentes e limpeza de transcrições.
Guia de prompts para modelos generativos GPT Image
Os modelos de geração de imagens gpt-image da OpenAI foram criados para obter visuais de qualidade de produção e processos criativos totalmente controláveis. São adequados tanto para design profissional...
Síndrome do Impostor Sintética
Desvalorização existencial da própria expertise de engenharia devido ao fato de que a maior parte do código e das decisões arquiteturais é gerada por modelos de IA, em vez de ser desenvolvida manualmente pelo programador.
Agent Skills & Custom Workflows
Architectural pattern for dynamically loading narrowly specialized procedural instructions, scripts, and templates (SKILL.md) into the agent's context window strictly on demand (On-Demand Loading).