ARC AGI 3 — A Questão das Habilidades

ARC AGI 3 — A Questão das Habilidades

As "skills" (habilidades) mostraram-se muito superiores aos prompts de sistema. Elas permitem incorporar o uso de ferramentas, resolvendo problemas de repetibilidade e consistência nas respostas. Este é um recurso extremamente útil quando se exige um formato de saída rigoroso, por exemplo, para preenchimento de tabelas.

A equipe, utilizando uma skill personalizada para o Claude Opus 5, alcançou uma pontuação de 100% no ARC AGI 3. A habilidade força literalmente o modelo a refletir duas vezes antes de fazer previsões no benchmark. Como resultado, o modelo saltou de 30% para 100% limpos, superando resultados anteriores enquanto utilizava cerca da metade do número de etapas.

Não houve trapaça na forma de regras do dataset dentro da skill. A chamada de ferramenta possui simplesmente um bloqueio lógico rígido embutido. Se o modelo não raciocinar antes de responder e não tentar prever o próximo passo preenchendo as células correspondentes, a previsão é devolvida para revisão. Caso contrário, ele segue as instruções básicas.

Por um lado, parece que o RL (Reinforcement Learning) matou o engenharia de prompts clássica, e agora a engenharia de skills assumiu firmemente seu lugar.

Isso também mostra quão ineficaz tem sido o benchmark ARC AGI em nossa trajetória rumo à AGI (sem ofensa, François).