Kompaktes Open-Source-Sprachmodell erreicht 50.000 GitHub-Stars
Ein neues, extrem kompaktes Open-Source-Sprachmodell hat auf GitHub große Aufmerksamkeit erregt und ermöglicht das Training mit minimalen Kosten und Zeitaufwand.
Kompaktes Open-Source-Sprachmodell erreicht 50.000 GitHub-Stars
Ein kleines, offenes Modell wurde entdeckt, das bereits 50.000 Sterne auf GitHub gesammelt hat und in die Trending-Sektion aufgenommen wurde.
Mit seiner Hilfe kann ein superkompaktes Sprachmodell mit nur 25,8 Millionen Parametern trainiert werden – für etwa 3 US-Dollar und zwei Stunden.
Das Projekt setzt auf maximale Kompaktheit: Die kleinste Version ist nur 1/2700 so groß wie GPT-3. Zusätzlich sind das Training des Tokenizers sowie der vollständige Code für alle Trainingsphasen – Pretrain, SFT und weitere – verfügbar. Das Projekt umfasst auch das multimodale visuelle Modell MiniMind-V.
Alle Trainingsskripte sind in reinem PyTorch geschrieben, kompatibel mit MoE-Architekturen (Mixture of Experts) und stellen im Wesentlichen eine offene Implementierung aller Phasen des Trainings großer Sprachmodelle dar.
Warum das wichtig ist
AnalyseDieses Modell stellt einen wichtigen Schritt in der Entwicklung kompakter Sprachmodelle dar, indem es die Trainingskosten und den Ressourcenverbrauch erheblich senkt. Der offene Zugang zu Code und Trainingsmaterialien fördert zudem die Weiterentwicklung durch die Community.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern