Laya: Die Open-Source-Lokalalternative zu Jev für Entscheidungsprozesse
Laya ist ein lokales, quelloffenes Entscheidungsmodell mit 421 Millionen Parametern, das als schnelle Offline-Alternative zum cloudbasierten Jev dient und in Benchmarks einen Geschwindigkeitsvorteil von fast dem Zwanzigfachen zeigt.
Es scheint, dass Jev eine quelloffene lokale Alternative hat – Laya.
Laya ist ein lokales, quelloffenes Entscheidungsmodell mit 421 Millionen Parametern. Es arbeitet mit strukturierten Entscheidungen (schnelle Ja/Nein-Antworten, Bewertungen oder Auswahlmöglichkeiten aus Optionen).
Hauptmerkmale:
- Läuft mit weniger als 1 GB Speicherplatz
- Kostenlos auf Hugging Face verfügbar
- Funktioniert auf Laptops und sogar Smartphones
In Tests wurde Laya mit dem cloudbasierten Jev verglichen. Beide Systeme spielten dasselbe Spiel „Snake“ mit demselben Entscheidungsformat für 30 Sekunden.
Ergebnisse:
- Laya: Punktestand 46, Länge 52, 86,5 Entscheidungen pro Sekunde, P50 ~9 ms
- Jev: Punktestand 1, Länge 7, 3,2 Entscheidungen pro Sekunde, vollständiger API-Anfragezyklus 317 ms
Auf dem M5 Pro betrug die Medianzeit 15,3 ms für das lokale Laya und 298,1 ms für das Cloud-Jev. Dies entspricht einem Unterschied von fast dem Zwanzigfachen in diesem Test.
Der Hauptunterschied besteht darin, dass Laya jede Entscheidung lokal trifft, während Jev bei jedem Schritt auf eine Antwort von der Cloud-API wartet.
Das Projekt weist jedoch zwei genannte Einschränkungen auf:
- Der Kontext umfasst nur 512–1024 Tokens, sodass einige Aufgaben schlicht nicht passen.
- Ohne zusätzliches Fine-Tuning generalisiert Laya schlechter als Jev.
Warum das wichtig ist
AnalyseDieser Vergleich verdeutlicht, wie kleine lokale Modelle kritische Latenzvorteile gegenüber Cloud-APIs für Aufgaben bieten können, die sofortige Entscheidungsfindung erfordern.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern
Verwandt im Ökosystem
Praktische Leitfäden, Terminologie und Agenten-Skills
OpenAI stellt GPT-6 Cyber vor – Modell mit neuen Rekorden für Cybersicherheit
OpenAI berichtet über neue Cybersicherheits-Ergebnisse von GPT-6 Cyber, darunter 48,5 % im ExploitGym-Benchmark und 81 zuvor unbekannte Firefox-Schwachstellen; der Zugang bleibt zunächst beschränkt.
Vier Lebenslauf-Tipps vom Leiter für Applied-AI-Entwicklung bei OpenAI
Wulfie Bain, Leiter der Applied-AI-Entwicklung bei OpenAI, nannte vier Regeln: Kürze, Relevanz, Ergebnisfokus und starke Erfolge am Anfang.
JSON – strukturierte Daten für Anwendungen, APIs und KI-Agenten
Ein umfassender praktischer Leitfaden zum JSON-Format: Syntaxregeln, Serialisierung über parse/stringify, Arbeit mit REST-APIs, JSON Schema und strukturierter Output für künstliche Intelligenz.
DOCX- und XLSX-Formate: Wann ein vollwertiges finales Dokument von KI erforderlich ist
Ein umfassender praktischer Leitfaden zur Generierung und Verarbeitung von DOCX-Dokumenten und XLSX-Tabellen mit KI: Vergleich mit Markdown und CSV, Prompt-Engineering, Arbeit mit Formeln und Automatisierung im Code.