Laya: Open-source’owa, lokalna alternatywa dla Jev w podejmowaniu decyzji

Okazuje się, że Jev zyskał open-source’ową, lokalną alternatywę — Layę.

Laya to lokalny, open-source’owy model do podejmowania decyzji, dysponujący 421 milionami parametrów. Jest zaprojektowany do obsługi ustrukturyzowanych decyzji, takich jak szybkie odpowiedzi tak/nie, oceny czy wybory z listy opcji.

Kluczowe cechy:

• Działa przy zapotrzebowaniu na pamięć poniżej 1 GB
• Udostępniany bezpłatnie na platformie Hugging Face
• Kompatybilny z laptopami, a nawet smartfonami

W testach porównawczych Layę zestawiono z chmurowym systemem Jev. Oba modele rozgrywały tę samą grę w Snake’a przez 30 sekund, korzystając z identycznego formatu decyzji.

Wyniki:

• Laya: wynik 46, długość wężyka 52, 86,5 decyzji na sekundę, mediana czasu (P50) ~9 ms
• Jev: wynik 1, długość wężyka 7, 3,2 decyzji na sekundę, pełny cykl żądania API 317 ms

Na urządzeniu M5 Pro medianowy czas reakcji wyniósł 15,3 ms dla lokalnej Layi oraz 298,1 ms dla chmurowego Jev. W tym teście oznacza to różnicę niemal 20-krotną na korzyść modelu lokalnego.

Główna różnica polega na tym, że Laya podejmuje każdą decyzję lokalnie, podczas gdy Jev musi czekać na odpowiedź z chmury API na każdym kroku.

Niemniej projekt ma dwie wskazane ograniczenia:

1. Kontekst wynosi zaledwie 512–1024 tokeny, więc niektóre zadania po prostu się nie zmieszczą.
2. Bez dodatkowego fine-tuningu Laya generalizuje gorzej niż Jev.

Link do repozytorium