Como a OpenAI testa novos modelos: o desafio de reescrever o Codex em Rust
Andrew Ambrosino, líder do Codex na OpenAI, revelou o benchmark interno para avaliar novos modelos: a reescrita completa da aplicação desktop Codex utilizando Rust e GPUI.
Andrew Ambrosino, líder do projeto Codex na OpenAI, compartilhou como a empresa avalia internamente seus novos modelos. Sempre que um novo modelo é lançado, ele recebe a mesma tarefa: reescrever completamente a aplicação desktop Codex em Rust, utilizando o framework GPUI.
O objetivo não é apenas criar uma demonstração, mas construir uma aplicação nativa completa que funcione de forma consistente em diferentes plataformas. Segundo Ambrosino, a complexidade reside não apenas no código, mas também na coordenação. A equipe do Codex altera o produto tão rapidamente que o modelo literalmente não consegue acompanhar uma versão fixa.
A ideia é que um único modelo suficientemente poderoso suporte simultaneamente a versão para Mac (em AppKit), a versão para Windows (em WinUI 3) e uma versão independente completa em Rust.
"Ainda não chegamos lá. Mas estamos muito mais perto", observou ele.
Por que isso importa
AnáliseEsta abordagem destaca que a avaliação das capacidades de IA exige tarefas de engenharia complexas, envolvendo a manutenção de aplicações nativas multiplataforma, indo além dos benchmarks padrão.
Debater na comunidade
Compartilhe suas dúvidas e insights com desenvolvedores