Відкрита компактна мовна модель з 50 тисячами зірок на GitHub
Представлено нову відкриту компактну мовну модель, яка вже здобула популярність на GitHub. Вона дозволяє навчати моделі з мінімальними витратами та часом.
Відкрита компактна мовна модель з 50 тисячами зірок на GitHub
Знайдена відкрита невелика модель, яка вже набрала 50 тисяч зірок на GitHub і потрапила в розділ Trending.
З її допомогою можна навчити надкомпактну мовну модель всього з 25,8 млн параметрів — приблизно за 3 долари і два години.
Проект робить ставку на максимальну компактність: найменша версія становить всього 1/2700 від розміру GPT-3. Крім того, в відкритий доступ викладено навчання токенізатора, а також повний код для всіх етапів навчання — Pretrain, SFT і не тільки. Проект також включає мультимодальну візуальну модель MiniMind-V.
Всі навчальні скрипти написані на чистому PyTorch, сумісні з архітектурами MoE і фактично представляють собою відкриту реалізацію всіх етапів навчання великих мовних моделей.
Чому це важливо
АналітикаЦя модель є важливим кроком у розвитку компактних мовних моделей, що дозволяє зменшити витрати на навчання та використовувати менше ресурсів. Відкритий доступ до коду та навчальних матеріалів сприяє розвитку спільноти розробників.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
10 GitHub-репозиторіїв, які допоможуть стати AI-інженером за 90 днів
Стати AI-інженером сьогодні — це не лише про моделі та промпти. Більша частина реальної роботи будується навколо агентів, RAG-систем, оркестрації (orchestration), векторних баз даних (vector databases) та AI-інфраструктури.
Підбірка GitHub репозиторіїв для SEO та пошуку за ключами
8 перевірених open-source репозиторіїв на GitHub для збору семантики, технічного аудиту сайтів та Generative Engine Optimization (GEO).
GitHub Copilot Workspace
Хмарне середовище агентської розробки від GitHub, що трансформує GitHub Issues у повністю специфіковані та протестовані Pull Requests без необхідності локального клонування репозиторію.
Binance оприлюднили розслідування крадіжки $6,3 млрд
Розслідування пов’язує масштабну крадіжку з модифікованим Homebrew, фальшивою співбесідою та використанням внутрішнього ШІ-інструменту Binance.