Otwarty, kompaktowy model językowy z 50 tysiącami gwiazdek na GitHubie
Nowy otwarty, kompaktowy model językowy zdobył ogromną popularność na GitHubie, umożliwiając trenowanie przy minimalnych kosztach i czasie.
Otwarty, kompaktowy model językowy z 50 tysiącami gwiazdek na GitHubie
Zidentyfikowano otwarty, mały model, który zgromadził już 50 000 gwiazdek na platformie GitHub i trafił do sekcji Trending.
Dzięki niemu możliwe jest wytrenowanie superkompaktowego modelu językowego posiadającego jedynie 25,8 miliona parametrów – proces ten zajmuje około dwóch godzin i kosztuje zaledwie 3 dolary.
Projekt stawia na maksymalną kompaktowość: jego najmniejsza wersja jest tylko 1/2700 rozmiaru GPT-3. Udostępniono również możliwość trenowania tokenizera oraz pełny kod dla wszystkich etapów szkolenia, w tym Pretrain, SFT i innych. W skład projektu wchodzi także multimodalny model wizualny MiniMind-V.
Wszystkie skrypty treningowe zostały napisane w czystym PyTorch, są kompatybilne z architekturami MoE (Mixture of Experts) i stanowią de facto otwartą implementację wszystkich etapów szkolenia dużych modeli językowych.
Dlaczego to ważne
AnalizaTen model stanowi istotny krok w rozwoju kompaktowych modeli językowych, pozwalając na znaczną redukcję kosztów szkolenia i zużycia zasobów. Otwarty dostęp do kodu oraz materiałów szkoleniowych sprzyja dynamicznemu rozwojowi społeczności.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami