Laya : une alternative locale et open source à Jev pour la prise de décision

Il semble que Jev dispose désormais d'une alternative locale et open source : Laya.

Laya est un modèle de prise de décision fonctionnant en local, comptant 421 millions de paramètres. Il est conçu pour traiter des décisions structurées (réponses rapides oui/non, évaluations ou choix parmi plusieurs options).

Caractéristiques principales :

• Fonctionne avec moins de 1 Go de mémoire
• Disponible gratuitement sur Hugging Face
• Compatible avec les ordinateurs portables et même les smartphones

Dans le cadre de tests comparatifs, Laya a été confronté au service cloud Jev. Les deux systèmes ont joué au même jeu Snake pendant 30 secondes, utilisant le même format de décision.

Résultats :

• Laya : score de 46, longueur de 52, 86,5 décisions par seconde, latence médiane (P50) d'environ 9 ms
• Jev : score de 1, longueur de 7, 3,2 décisions par seconde, cycle complet de requête API de 317 ms

Sur un processeur M5 Pro, le temps médian était de 15,3 ms pour Laya en local contre 298,1 ms pour Jev via le cloud. Cela représente une différence de performance proche de 20x dans ce test spécifique.

La différence fondamentale réside dans le fait que Laya effectue chaque décision localement, tandis que Jev doit attendre une réponse de l'API cloud à chaque étape.

Cependant, le projet présente deux limitations identifiées :

1. Le contexte est limité à 512–1024 tokens, ce qui signifie que certaines tâches complexes ne peuvent pas être traitées.
2. Sans fine-tuning supplémentaire, Laya généralise moins bien que Jev.