Kompaktes Open-Source-Sprachmodell erreicht 50.000 GitHub-Stars
Ein neues, extrem kompaktes Open-Source-Sprachmodell hat auf GitHub große Aufmerksamkeit erregt und ermöglicht das Training mit minimalen Kosten und Zeitaufwand.
Kompaktes Open-Source-Sprachmodell erreicht 50.000 GitHub-Stars
Ein kleines, offenes Modell wurde entdeckt, das bereits 50.000 Sterne auf GitHub gesammelt hat und in die Trending-Sektion aufgenommen wurde.
Mit seiner Hilfe kann ein superkompaktes Sprachmodell mit nur 25,8 Millionen Parametern trainiert werden – für etwa 3 US-Dollar und zwei Stunden.
Das Projekt setzt auf maximale Kompaktheit: Die kleinste Version ist nur 1/2700 so groß wie GPT-3. Zusätzlich sind das Training des Tokenizers sowie der vollständige Code für alle Trainingsphasen – Pretrain, SFT und weitere – verfügbar. Das Projekt umfasst auch das multimodale visuelle Modell MiniMind-V.
Alle Trainingsskripte sind in reinem PyTorch geschrieben, kompatibel mit MoE-Architekturen (Mixture of Experts) und stellen im Wesentlichen eine offene Implementierung aller Phasen des Trainings großer Sprachmodelle dar.
Warum das wichtig ist
AnalyseDieses Modell stellt einen wichtigen Schritt in der Entwicklung kompakter Sprachmodelle dar, indem es die Trainingskosten und den Ressourcenverbrauch erheblich senkt. Der offene Zugang zu Code und Trainingsmaterialien fördert zudem die Weiterentwicklung durch die Community.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern
Verwandt im Ökosystem
Praktische Leitfäden, Terminologie und Agenten-Skills
10 GitHub-Repositories, die Ihnen helfen, in 90 Tagen ein KI-Ingenieur zu werden
KI-Ingenieur zu werden bedeutet heute nicht nur, sich mit Modellen und Prompts auszukennen. Der Großteil der praktischen Arbeit dreht sich um Agenten, RAG-Systeme, Orchestrierung (Orchestration), Vektordatenbanken (Vector Databases) und KI-Infrastruktur.
Auswahl an GitHub-Repositories für SEO und Keyword-Recherche
8 geprüfte Open-Source-Repositories auf GitHub zur Erfassung von Semantik, technischen Website-Audits und Generative Engine Optimization (GEO).
GitHub Copilot Workspace
Eine Cloud-basierte Agent-Entwicklungsumgebung von GitHub, die GitHub Issues in vollständig spezifizierte und getestete Pull Requests umwandelt, ohne dass eine lokale Klonung des Repositorys erforderlich ist.
Vier Lebenslauf-Tipps vom Leiter für Applied-AI-Entwicklung bei OpenAI
Wulfie Bain, Leiter der Applied-AI-Entwicklung bei OpenAI, nannte vier Regeln: Kürze, Relevanz, Ergebnisfokus und starke Erfolge am Anfang.