Un modèle de langage compact et open source atteint 50 000 étoiles sur GitHub
Un nouveau modèle de langage compact a conquis la communauté GitHub, offrant une formation à coût minimal et en temps record.
Un modèle de langage compact et open source atteint 50 000 étoiles sur GitHub
Un petit modèle open source a été identifié, ayant déjà cumulé 50 000 étoiles sur GitHub et figurant dans la section « Trending ».
Grâce à ce projet, il est possible d'entraîner un modèle de langage ultra-compact comptant seulement 25,8 millions de paramètres pour environ 3 dollars et deux heures.
Le projet mise sur une compacité maximale : sa plus petite version ne représente que 1/2700e de la taille de GPT-3. De plus, l'entraînement du tokenizer est accessible, ainsi que le code complet pour toutes les étapes de formation — Pretrain, SFT (Supervised Fine-Tuning) et autres. Le projet inclut également le modèle visuel multimodal MiniMind-V.
Tous les scripts d'entraînement sont écrits en PyTorch pur, compatibles avec les architectures MoE (Mixture of Experts), et constituent essentiellement une implémentation ouverte de toutes les étapes de l'entraînement des grands modèles de langage.
Pourquoi c'est important
AnalyseCe modèle marque une étape cruciale dans le développement des LLM compacts, réduisant drastiquement les coûts et les ressources nécessaires. La transparence totale du code et des données d'entraînement stimule l'innovation communautaire.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs