Laya — открытая локальная альтернатива Jev
Laya — локальная открытая модель принятия решений на 421 млн параметров, демонстрирующая почти 20-кратное преимущество в скорости по сравнению с облачным Jev.
Похоже, у Jev появилась открытая локальная альтернатива — Laya.
Laya — локальная открытая модель принятия решений на 421 млн параметров. Она работает со структурированными решениями (быстрые ответы да/нет, оценка или выбор из вариантов).
Ключевые особенности:
- Работает менее чем с 1 ГБ памяти
- Бесплатно доступна на Hugging Face
- Запускается на ноутбуке и даже на телефоне
В тесте Laya сравнили с облачным Jev. Обе системы играли в одну и ту же змейку с одинаковым форматом решений в течение 30 секунд.
Результаты:
- Laya: счёт 46, длина 52, 86,5 решений в секунду, P50 около 9 мс
- Jev: счёт 1, длина 7, 3,2 решения в секунду, полный цикл запроса к API 317 мс
На M5 Pro медианное время составило 15,3 мс для локальной Laya и 298,1 мс для облачного Jev. Это почти 20-кратная разница в этом тесте.
Главное отличие здесь в том, что Laya принимает каждое решение локально, тогда как Jev на каждом шаге ждёт ответ от облачного API.
При этом у проекта есть два ограничения, о которых заявляется прямо:
- Контекст всего 512–1024 токена, поэтому некоторые задачи просто не поместятся.
- Без дополнительной настройки Laya хуже обобщает, чем Jev.
.com/NandhaKishorM/laya)
Почему это важно
АналитикаСравнение показывает, как локальные малые модели могут обеспечить критическое преимущество в задержке (latency) по сравнению с облачными API для задач, требующих мгновенных решений.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
JSON — структурированные данные для программ, API и AI-агентов
Полное практическое руководство по формату JSON: синтаксические правила, сериализация через parse/stringify, работа с REST API, валидация по JSON Schema и структурированный вывод для ИИ.
Форматы DOCX и XLSX: когда от ИИ требуется полноценный финальный документ
Практическое руководство по созданию и обработке документов DOCX и таблиц XLSX с помощью ИИ: сравнение с Markdown и CSV, промпт-инжиниринг, работа с формулами и автоматизация в коде.
LMSYS Chatbot Arena (Рейтинг ELO)
Краудсорсинговая открытая платформа слепого A/B-тестирования LLM, определяющая относительную силу языковых моделей на основе статистической модели Бредли-Терри и шахматного рейтинга Elo.
GGUF и Современные Стандарты Квантизации
Универсальный бинарный формат файлов для хранения и мгновенной загрузки квантизированных языковых моделей на процессорах и видеокартах в llama.cpp, Ollama и LM Studio.