Laya — відкрита локальна альтернатива Jev для прийняття рішень
Laya — це відкрита локальна модель на 421 млн параметрів, яка пропонує альтернативу хмарному Jev для задач прийняття рішень, демонструючи майже 20-кратну перевагу в швидкодії.
Здається, у хмарного сервісу Jev з’явилася відкрита локальна альтернатива — модель Laya.
Laya — це локальна відкрита модель прийняття рішень з 421 мільйоном параметрів. Вона спеціалізується на структурованих рішеннях: швидкі відповіді «так/ні», оцінки або вибір із варіантів.
Ключові особливості:
- Працює з менш ніж 1 ГБ пам’яті
- Безкоштовно доступна на Hugging Face
- Запускається на ноутбуці та навіть на смартфоні
У тесті Laya порівняли з хмарним Jev. Обидві системи грали в одну й ту ж гру «Змійка» з однаковим форматом рішень протягом 30 секунд.
Результати:
- Laya: рахунок 46, довжина 52, 86,5 рішення за секунду, P50 близько 9 мс
- Jev: рахунок 1, довжина 7, 3,2 рішення за секунду, повний цикл запиту до API 317 мс
На чіпі M5 Pro медіанний час склав 15,3 мс для локальної Laya та 298,1 мс для хмарного Jev. Це майже 20-кратна різниця в швидкодії.
Головна відмінність полягає в тому, що Laya приймає кожне рішення локально, тоді як Jev на кожному кроці чекає на відповідь від хмарного API.
При цьому у проєкту є два обмеження, про які заявлено прямо:
- Контекст становить лише 512–1024 токени, тому деякі складні задачі просто не помістяться.
- Без додаткового налаштування Laya гірше узагальнює, ніж Jev.
.com/NandhaKishorM/laya)
Чому це важливо
АналітикаПорівняння демонструє, як локальні малі моделі можуть забезпечити критичну перевагу в швидкодії (latency) порівняно з хмарними API для задач, що вимагають миттєвих рішень.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
JSON — структуровані дані для програм, API та AI-агентів
Повний практичний посібник з формату JSON: синтаксичні правила, серіалізація через parse/stringify, робота з REST API, JSON Schema та структурований вивід для штучного інтелекту.
Формати DOCX та XLSX: коли потрібен повноцінний фінальний документ від ШІ
Повний практичний посібник з генерації та опрацювання документів DOCX і таблиць XLSX за допомогою ШІ: порівняння з Markdown та CSV, промпт-інжиніринг, робота з формулами та автоматизація в коді.
LMSYS Chatbot Arena (Рейтинг ELO)
Краудсорсингова відкрита платформа сліпого A/B-тестування LLM, що визначає відносну силу мовних моделей на базі статистичної моделі Бредлі-Террі та шахового рейтингу Elo.
GGUF & Modern Quantization Standards
Універсальний бінарний формат файлів для зберігання та миттєвого завантаження квантованих мовних моделей на процесорах та відеокартах у llama.cpp, Ollama та LM Studio.