Chip OpenAI Jalapeño przewyższa wydajnością Nvidię w zakresie wnioskowania

Chip OpenAI Jalapeño przewyższa Nvidię w zakresie wnioskowania

OpenAI opublikowało post na blogu, szczegółowo opisujący testy chipa Jalapeño przeprowadzone w ramach InferenceX przez SemiAnalysis oraz prezentację podczas konferencji Hot Chips. Każdy układ wyposażony jest w 216 GB pamięci HBM4 i może osiągać przepustowość do 13,4 PFLOP/s w trybie mxfp4. W porównaniu z modelami GB200/GB300, Jalapeño generuje znacznie więcej tokenów na sekundę przy szczytowej wydajności oraz oferuje do dwukrotnie wyższą efektywność energetyczną (tokeny na wat) przy maksymalnym przepływie danych, a przewaga ta rośnie wraz ze zwiększaniem liczby tokenów na sekundę dla pojedynczego użytkownika.

Jednakże głównym konkurentem dla Jalapeño jest nowa generacja chipów Nvidii – Rubin. Wyniki benchmarków dla Rubina są obecnie ograniczone, ale na podstawie dostępnych danych wydaje się, że Jalapeño również go przewyższa. Warto zauważyć, że benchmarki Rubina wykorzystują dekodowanie spekulatywne, podczas gdy Jalapeño wciąż dysponuje dużym marginesem na optymalizację.

Podsumowując, OpenAI posiada teraz bardzo zaawansowany chip, który dorównuje najlepszym rozwiązaniom Nvidii w zakresie wnioskowania. Najbardziej uderzające jest jednak tempo rozwoju: projekt został zainicjowany w październiku 2024 roku, pierwsza wersja trafiła do produkcji w listopadzie 2025 roku, a pierwsze gotowe układy pojawiły się w maju 2026 roku. W mniej niż trzy miesiące oprogramowanie chipa osiągnęło poziom pozwalający konkurować z najlepszymi produktami na rynku. Co ciekawe, Jalapeño został opracowany przez niewielki zespół liczący zaledwie około 30 osób. Masowe wdrożenia tego układu spodziewane są w przyszłym roku.