Wie OpenAI neue Modelle testet: Die Herausforderung, Codex in Rust neu zu schreiben
Andrew Ambrosino, Lead von Codex bei OpenAI, enthüllte den internen Benchmark für neue Modelle: die vollständige Neuentwicklung der Desktop-Codex-App in Rust unter Verwendung des GPUI-Frameworks.
Andrew Ambrosino, Leiter von Codex bei OpenAI, gab Einblicke in die interne Evaluierung neuer Modelle durch das Unternehmen. Jedes Mal, wenn ein neues Modell veröffentlicht wird, weist er ihm dieselbe Aufgabe zu: die vollständige Neuentwicklung der Desktop-Codex-Anwendung in Rust unter Verwendung des GPUI-Frameworks.
Das Ziel ist nicht nur die Erstellung einer Demo, sondern die Entwicklung einer vollständigen nativen Anwendung, die plattformübergreifend konsistent funktioniert. Laut Ambrosino liegt die Komplexität nicht nur im Code selbst, sondern auch in der Koordination. Das Codex-Team verändert das Produkt so schnell, dass das Modell buchstäblich nicht mit einer festen Version Schritt halten kann.
Die Idee dahinter ist, dass ein ausreichend leistungsstarkes Modell gleichzeitig die Mac-Version auf AppKit, die Windows-Version auf WinUI 3 und eine separate vollständige Version in Rust unterstützt.
"Wir sind noch nicht dort. Aber wir sind viel näher dran", bemerkte er.
Warum das wichtig ist
AnalyseDieser Ansatz verdeutlicht, dass die Bewertung von KI-Fähigkeiten komplexe Engineering-Aufgaben erfordert, die über Standard-Benchmarks hinausgehen und die Wartung plattformübergreifender nativer Anwendungen einschließen.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern