Laya: Die Open-Source-Lokalalternative zu Jev für Entscheidungsprozesse
Laya ist ein lokales, quelloffenes Entscheidungsmodell mit 421 Millionen Parametern, das als schnelle Offline-Alternative zum cloudbasierten Jev dient und in Benchmarks einen Geschwindigkeitsvorteil von fast dem Zwanzigfachen zeigt.
Es scheint, dass Jev eine quelloffene lokale Alternative hat – Laya.
Laya ist ein lokales, quelloffenes Entscheidungsmodell mit 421 Millionen Parametern. Es arbeitet mit strukturierten Entscheidungen (schnelle Ja/Nein-Antworten, Bewertungen oder Auswahlmöglichkeiten aus Optionen).
Hauptmerkmale:
- Läuft mit weniger als 1 GB Speicherplatz
- Kostenlos auf Hugging Face verfügbar
- Funktioniert auf Laptops und sogar Smartphones
In Tests wurde Laya mit dem cloudbasierten Jev verglichen. Beide Systeme spielten dasselbe Spiel „Snake“ mit demselben Entscheidungsformat für 30 Sekunden.
Ergebnisse:
- Laya: Punktestand 46, Länge 52, 86,5 Entscheidungen pro Sekunde, P50 ~9 ms
- Jev: Punktestand 1, Länge 7, 3,2 Entscheidungen pro Sekunde, vollständiger API-Anfragezyklus 317 ms
Auf dem M5 Pro betrug die Medianzeit 15,3 ms für das lokale Laya und 298,1 ms für das Cloud-Jev. Dies entspricht einem Unterschied von fast dem Zwanzigfachen in diesem Test.
Der Hauptunterschied besteht darin, dass Laya jede Entscheidung lokal trifft, während Jev bei jedem Schritt auf eine Antwort von der Cloud-API wartet.
Das Projekt weist jedoch zwei genannte Einschränkungen auf:
- Der Kontext umfasst nur 512–1024 Tokens, sodass einige Aufgaben schlicht nicht passen.
- Ohne zusätzliches Fine-Tuning generalisiert Laya schlechter als Jev.
Warum das wichtig ist
AnalyseDieser Vergleich verdeutlicht, wie kleine lokale Modelle kritische Latenzvorteile gegenüber Cloud-APIs für Aufgaben bieten können, die sofortige Entscheidungsfindung erfordern.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern