Modelo ou Wrapper?

Se você está desenvolvendo agentes de IA para produção, este artigo vale ser salvo.

Os autores coletaram 41 cenários típicos de falha e os classificaram com base nos componentes onde o problema surge na interseção. Cada erro está ligado à interação entre o modelo, o wrapper (camada de encapsulamento), o usuário, as ferramentas, a memória ou o ambiente, indicando onde a causa reside e onde precisa ser corrigida.

Isso reflete bem a realidade: a maioria dos problemas com agentes de IA não surge no modelo em si, mas na interseção entre o modelo e a infraestrutura ao seu redor.

A abordagem também é adequada para análise automática. Em testes com quatro modelos avançados, o melhor "juiz" de IA alcançou um coeficiente de concordância kappa de Cohen de 0,76 em comparação com a rotulagem manual. Isso permite a classificação automática de erros diretamente na produção, em vez de dissecá-los manualmente após cada incidente.

Neste ano, a engenharia de wrappers tornou-se um dos principais fatores na qualidade dos agentes de IA, mas ainda não havia uma linguagem comum para separar erros do modelo de erros do wrapper. Este trabalho oferece tal sistema.

Artigo: arxiv.org/abs/2607.28802