OpenAIs Jalapeño-Chip übertrifft Nvidia bei der Inferenz

OpenAIs Jalapeño-Chip übertrifft Nvidia bei der Inferenz

OpenAI hat einen Blogbeitrag veröffentlicht, in dem die Tests des Jalapeño-Chips auf InferenceX von SemiAnalysis sowie ein Vortrag auf der Hot Chips-Konferenz detailliert beschrieben werden. Jeder Chip verfügt über 216 Gigabyte HBM4-Speicher und kann bis zu 13,4 PFLOP/s im mxfp4-Format liefern. Im Vergleich zum GB200/GB300 erzeugt er bei Spitzenleistung deutlich mehr Tokens pro Sekunde und erreicht bei maximalem Durchsatz bis zu zweimal so viele Tokens pro Watt. Diese Leistungslücke vergrößert sich weiter, wenn die Anzahl der Tokens pro Sekunde und Nutzer steigt.

Der eigentliche Konkurrent für den Jalapeño ist jedoch Nvidias neue Chip-Generation Rubin. Die Benchmark-Ergebnisse für Rubin sind derzeit noch begrenzt, doch basierend auf den verfügbaren Daten scheint auch hier der Jalapeño die Oberhand zu haben. Bemerkenswert ist dabei, dass Rubins Benchmarks spekulatives Decoding nutzen, während beim Jalapeño noch erhebliches Optimierungspotenzial besteht.

Zusammenfassend lässt sich sagen, dass OpenAI nun über einen sehr leistungsfähigen Chip verfügt, der mit den besten Nvidia-Chips im Bereich Inferenz konkurrieren kann. Besonders auffällig ist die Geschwindigkeit der Entwicklung: Das Projekt wurde im Oktober 2024 initiiert, die erste Version ging im November 2025 in Produktion, und die ersten Chips waren bis Mai 2026 fertiggestellt. In weniger als drei Monaten erreichte die Software des Chips bereits ein Niveau, das einen Wettbewerb mit den Branchenbesten ermöglicht. Interessanterweise wurde der Jalapeño von einem kleinen Team aus nur etwa 30 Personen entwickelt. Die Massenverbreitung des Jalapeño wird für das kommende Jahr erwartet.