Jak OpenAI testuje nowe modele: Wyzwanie przepisywania Codex na Rust
Andrew Ambrosino, lider zespołu Codex w OpenAI, ujawnił wewnętrzny benchmark dla nowych modeli: całkowite przepisanie aplikacji desktopowej Codex na język Rust z wykorzystaniem frameworka GPUI.
Andrew Ambrosino, lider zespołu odpowiedzialnego za Codex w firmie OpenAI, podzielił się szczegółami dotyczącymi tego, jak firma wewnętrznie ocenia nowe modele AI. Za każdym razem, gdy wypuszczany jest nowy model, otrzymuje on to samo zadanie: pełne przepisanie desktopowej aplikacji Codex na język programowania Rust przy użyciu frameworka GPUI.
Celem nie jest jedynie stworzenie demonstracji, ale zbudowanie kompletnej, natywnej aplikacji, która działa spójnie na różnych platformach. Według Ambrosino złożoność tego przedsięwzięcia wynika nie tylko z samego kodu, ale także z kwestii koordynacji. Zespół Codex wprowadza zmiany w produkcie tak szybko, że model dosłownie nie nadąża za aktualizowaną wersją.
Idea zakłada, że jeden wystarczająco potężny model będzie w stanie jednocześnie wspierać wersję na macOS (opartą na AppKit), wersję na Windows (korzystającą z WinUI 3) oraz osobną, pełną implementację w Rust.
"Jeszcze tam nie jesteśmy. Ale jesteśmy znacznie bliżej," zauważył Ambrosino.
Dlaczego to ważne
AnalizaTo podejście podkreśla, że ocena możliwości AI wymaga skomplikowanych zadań inżynieryjnych związanych z utrzymaniem natywnych aplikacji wieloplatformowych, wykraczających poza standardowe benchmarki.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami