Były deweloper ChatGPT przedstawia nową klasę modeli AI, które nie generują tekstu

Diogo Almeida, były deweloper ChatGPT, współautor techniki RLHF oraz jeden z twórców artykułu naukowego o InstructGPT (metody, która w 2022 roku położyła fundamenty pod powstanie ChatGPT), przedstawił nową klasę modeli zwanych System One Models.

W 2024 roku Almeida założył firmę TypeSafe AI. Po dwóch latach pracy w trybie stealth, spółka oficjalnie ujawniła swój pierwszy model – Jev.

Kluczowa koncepcja

Idea opiera się na założeniu, że dla wielu zadań tekst jest zbędny. Gdy model musi sklasyfikować żądanie, ocenić ryzyko lub wybrać kolejny krok dla agenta, standardowy LLM nadal generuje odpowiedź token po tokenie, co następnie wymaga parsowania.

Jev natychmiast zwraca jednak ustrukturyzowaną odpowiedź wraz z prawdopodobieństwem każdej opcji. Na przykład, zamiast pisać tekst o tym, jak przekierować żądanie użytkownika, bezpośrednio zwraca wymaganą kategorię.

Wydajność i cennik

Dzięki pominięciu generowania tekstu, Jev działa od 20 do 200 razy szybciej niż standardowe LLM w tego typu zadaniach (czas odpowiedzi wynosi 70–500 ms).

Cennik również jest nietypowy:

• $0.042 za 1 milion tokenów wejściowych.
• Tokeny wyjściowe są bezpłatne (ponieważ model nie generuje tekstu, lecz dane strukturalne).

Jev jest obecnie dostępny we wczesnej fazie testów (early access).