Otwarty, kompaktowy model językowy z 50 tysiącami gwiazdek na GitHubie
Nowy otwarty, kompaktowy model językowy zdobył ogromną popularność na GitHubie, umożliwiając trenowanie przy minimalnych kosztach i czasie.
Otwarty, kompaktowy model językowy z 50 tysiącami gwiazdek na GitHubie
Zidentyfikowano otwarty, mały model, który zgromadził już 50 000 gwiazdek na platformie GitHub i trafił do sekcji Trending.
Dzięki niemu możliwe jest wytrenowanie superkompaktowego modelu językowego posiadającego jedynie 25,8 miliona parametrów – proces ten zajmuje około dwóch godzin i kosztuje zaledwie 3 dolary.
Projekt stawia na maksymalną kompaktowość: jego najmniejsza wersja jest tylko 1/2700 rozmiaru GPT-3. Udostępniono również możliwość trenowania tokenizera oraz pełny kod dla wszystkich etapów szkolenia, w tym Pretrain, SFT i innych. W skład projektu wchodzi także multimodalny model wizualny MiniMind-V.
Wszystkie skrypty treningowe zostały napisane w czystym PyTorch, są kompatybilne z architekturami MoE (Mixture of Experts) i stanowią de facto otwartą implementację wszystkich etapów szkolenia dużych modeli językowych.
Dlaczego to ważne
AnalizaTen model stanowi istotny krok w rozwoju kompaktowych modeli językowych, pozwalając na znaczną redukcję kosztów szkolenia i zużycia zasobów. Otwarty dostęp do kodu oraz materiałów szkoleniowych sprzyja dynamicznemu rozwojowi społeczności.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami
Powiązane w ekosystemie
Praktyczne poradniki, kluczowa terminologia i skille agentów
Badacze z MIT pokazali, że GPT-6 Astra może ulepszać inne modele AI przez bezpośrednią zmianę wag
W eksperymencie Astra zwiększyła dokładność Qwen3.5-0.8B w benchmarku MATH-500 z 7,9% do 48,1%, zmieniając zaledwie 0,016% wag modelu.
10 repozytoriów GitHub, które pomogą zostać inżynierem AI w 90 dni
Zostanie inżynierem AI to dziś nie tylko kwestia modeli i promptów. Większość rzeczywistej pracy opiera się na agentach, systemach RAG, orkiestracji (orchestration), bazach danych wektorowych (vector databases) oraz infrastrukturze AI.
Zbiór repozytoriów GitHub do SEO i wyszukiwania słów kluczowych
8 sprawdzonych repozytoriów open-source na GitHubie służących do zbierania semantyki, audytu technicznego witryn oraz optymalizacji pod kątem generatywnych silników wyszukiwania (GEO).
GitHub Copilot Workspace
Chmurowe środowisko agentowej rozwoju od GitHub, które przekształca zgłoszenia GitHub Issues w całkowicie sformalizowane i przetestowane Pull Requests bez konieczności lokalnego klonowania repozytorium.