Laya: Uma Alternativa Open-Source Local ao Jev para Tomada de Decisão
A Laya é um modelo open-source local com 421 milhões de parâmetros que oferece uma alternativa rápida e offline ao Jev baseado em nuvem, demonstrando uma vantagem de velocidade quase 20 vezes superior nos benchmarks.
Parece que o Jev agora tem uma alternativa open-source local — a Laya.
A Laya é um modelo de tomada de decisão local e open-source com 421 milhões de parâmetros. Ela opera com decisões estruturadas (respostas rápidas sim/não, avaliações ou escolhas entre opções).
Principais recursos:
- Executa com menos de 1 GB de memória
- Disponível gratuitamente no Hugging Face
- Funciona em laptops e até mesmo em smartphones
Nos testes, a Laya foi comparada com o Jev baseado em nuvem. Ambos os sistemas jogaram o mesmo jogo de Snake com o mesmo formato de decisão durante 30 segundos.
Resultados:
- Laya: pontuação 46, comprimento 52, 86,5 decisões por segundo, P50 ~9 ms
- Jev: pontuação 1, comprimento 7, 3,2 decisões por segundo, ciclo completo de requisição à API 317 ms
No M5 Pro, o tempo mediano foi de 15,3 ms para a Laya local e 298,1 ms para o Jev na nuvem. Isso representa uma diferença de quase 20 vezes neste teste.
A principal diferença é que a Laya toma cada decisão localmente, enquanto o Jev aguarda uma resposta da API na nuvem a cada passo.
No entanto, o projeto apresenta duas limitações declaradas:
- O contexto é limitado a apenas 512–1024 tokens, portanto, algumas tarefas simplesmente não caberão.
- Sem ajustes adicionais (fine-tuning), a Laya generaliza pior do que o Jev.
Por que isso importa
AnáliseEsta comparação destaca como modelos locais pequenos podem fornecer vantagens críticas de latência sobre APIs em nuvem para tarefas que exigem tomada de decisão instantânea.
Debater na comunidade
Compartilhe suas dúvidas e insights com desenvolvedores