Comment OpenAI teste ses nouveaux modèles : le défi de la réécriture de Codex en Rust
Andrew Ambrosino, responsable de Codex chez OpenAI, a révélé le benchmark interne utilisé pour évaluer les nouveaux modèles : la réécriture complète de l'application desktop Codex en Rust et GPUI.
Andrew Ambrosino, qui dirige le projet Codex chez OpenAI, a partagé la méthode utilisée par l'entreprise pour évaluer en interne ses nouveaux modèles. À chaque sortie d'un nouveau modèle, il lui assigne une tâche identique : réécrire intégralement l'application desktop Codex en utilisant le langage Rust et le framework GPUI.
L'objectif ne se limite pas à la création d'une simple démonstration, mais vise à construire une application native complète fonctionnant de manière cohérente sur différentes plateformes. Selon Ambrosino, la complexité ne réside pas uniquement dans le code, mais aussi dans la coordination. L'équipe Codex modifie le produit si rapidement que le modèle peine littéralement à suivre une version figée.
La vision est qu'un modèle suffisamment puissant puisse simultanément prendre en charge la version Mac basée sur AppKit, la version Windows reposant sur WinUI 3, ainsi qu'une version distincte entièrement développée en Rust.
« Nous n'y sommes pas encore. Mais nous en sommes beaucoup plus proches », a-t-il noté.
Pourquoi c'est important
AnalyseCette approche souligne que l'évaluation des capacités de l'IA nécessite désormais des tâches d'ingénierie complexes impliquant la maintenance d'applications natives multiplateformes, dépassant largement les benchmarks standards.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs