Cloudflare udostępnia open-source’owe modele decyzyjne Clef i Clef-flash
Cloudflare opublikował na licencji Apache 2.0 modele Clef oraz Clef-flash, oferujące ściśle typowane wyjścia probabilistyczne do klasyfikacji, scoringu i szybkiego podejmowania decyzji w pipeline’ach.
Cloudflare udostępnił Clef i Clef-flash, dwa open-source’owe modele decyzyjne opublikowane na licencji Apache 2.0. Wagi modeli są dostępne na platformie Hugging Face.
Kluczową ideą stojącą za modelem decyzyjnym jest to, że nie generuje on swobodnego tekstu. Zamiast tego zwraca ściśle typowane odpowiedzi wraz z prawdopodobieństwem. Dzięki temu takie modele są przydatne w szerokiej klasie zadań, obejmującej:
- klasyfikację;
- scoring;
- szybkie podejmowanie decyzji wewnątrz pipeline’ów;
- routing żądań.
Oryginalny model Jev został wydany zaledwie kilka tygodni temu, jednak szybko przyciągnął uwagę rynku: w tym czasie wielu graczy, w tym OpenAI, wprowadziło już własne analogiczne rozwiązania.
W porównaniu z Jevem, Clef od Cloudflare potrafi przetwarzać obrazy i oferuje okno kontekstowe o długości 64K tokenów (w przeciwieństwie do 32K w Jev). Pod względem wydajności:
- Clef: mediana opóźnienia wynosi 209 ms;
- Clef-flash: mediana opóźnienia wynosi 39 ms;
- Jev: mediana opóźnienia wynosi 524 ms.
Na benchmarku Jev Decision Index model Clef również zajmuje pierwsze miejsce.
Równolegle Cloudflare uruchomił platformę RL (Reinforcement Learning), która umożliwia fine-tuning modelu Clef pod kątem specyficznych zadań klientów.
Dlaczego to ważne
AnalizaTo poszerza stack open-source dla systemów produkcyjnych wymagających szybkich, typowanych i mierzalnych decyzji bez generowania tekstu. Fala analogicznych rozwiązań od dużych graczy przyspiesza standaryzację modeli decyzyjnych.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami