Modelo de Linguagem Compacto e Aberto Atinge 50 Mil Estrelas no GitHub
Um novo modelo de linguagem compacto e aberto viralizou no GitHub, permitindo treinamento com custos mínimos e alta eficiência. O projeto destaca-se pela extrema leveza e transparência total do código.
Modelo de Linguagem Compacto e Aberto Atinge 50 Mil Estrelas no GitHub
Um pequeno modelo de código aberto foi descoberto e já acumulou 50 mil estrelas no GitHub, garantindo sua posição na seção "Trending" da plataforma.
Com o seu auxílio, é possível treinar um supercompacto modelo de linguagem com apenas 25,8 milhões de parâmetros — por aproximadamente US$ 3 e em cerca de duas horas.
O projeto aposta na máxima compactação: a menor versão tem apenas 1/2700 do tamanho do GPT-3. Além disso, o treinamento do tokenizador foi disponibilizado, assim como todo o código para as etapas completas de treinamento — Pretrain, SFT (Fine-Tuning Supervisionado) e outras fases. O repositório também inclui o modelo visual multimodal MiniMind-V.
Todos os scripts de treinamento são escritos em PyTorch puro, compatíveis com arquiteturas MoE (Mixture of Experts), representando essencialmente uma implementação aberta de todas as etapas de treinamento de grandes modelos de linguagem.
Por que isso importa
AnáliseEste modelo representa um passo significativo no desenvolvimento de LLMs compactos, reduzindo drasticamente os custos de treinamento e o uso de recursos computacionais. O acesso aberto ao código e aos materiais de treinamento fomenta o desenvolvimento colaborativo pela comunidade.
Debater na comunidade
Compartilhe suas dúvidas e insights com desenvolvedores