OpenAI prezentuje tryb Ultrafast dla modelu GPT-5.6 Sol

Nowy tryb opiera się na wnioskowaniu (inference) realizowanym przez infrastrukturę Cerebras. Firma obiecuje przyspieszenie aż o 14-krotność (!), umożliwiając modelowi generowanie do 750 tokenów na sekundę.

Dla tak dużego modelu jak Sol jest to wynik monumentalny. Takie osiągi są możliwe dzięki architekturze Wafer-Scale Engine firmy Cerebras, która utrzymuje wagi modelu bezpośrednio na ogromnych chipach, eliminując konieczność ich przerzucania między pamięcią a magazynem danych.

W zaprezentowanym wideo pokazano speedrun benchmarku HLE. Cały test zajął nieco ponad 11 godzin. Dla porównania, model Claude Fable potrzebował niemal 80 godzin na wykonanie tego samego zadania.

Obecnie tryb Ultrafast jest dostępny wyłącznie dla wybranej grupy użytkowników API, jednak istnieje szansa, że wkrótce trafi do szerokiego grona odbiorców – choć będzie wiązał się ze znacząco wyższymi kosztami.