Открытая компактная языковая модель с 50 тысячами звезд на GitHub
Представлена новая открытая компактная языковая модель, которая уже завоевала популярность на GitHub. Она позволяет обучать модели с минимальными затратами и временем.
Открытая компактная языковая модель с 50 тысячами звезд на GitHub
Найдена открытая небольшая модель, которая уже набрала 50 тысяч звезд на GitHub и попала в раздел Trending.
С ее помощью можно обучить сверхкомпактную языковую модель всего с 25,8 млн параметров — примерно за 3 доллара и два часа.
Проект делает ставку на максимальную компактность: самая маленькая версия составляет всего 1/2700 от размера GPT-3. Кроме того, в открытый доступ выложено обучение токенизатора, а также полный код для всех этапов обучения — Pretrain, SFT и не только. Проект также включает мультимодальную визуальную модель MiniMind-V.
Все обучающие скрипты написаны на чистом PyTorch, совместимы с архитектурами MoE и по факту представляют собой открытую реализацию всех этапов обучения больших языковых моделей.
Почему это важно
АналитикаЭта модель является важным шагом в развитии компактных языковых моделей, позволяя снизить затраты на обучение и использовать меньше ресурсов. Открытый доступ к коду и учебным материалам способствует развитию сообщества разработчиков.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
10 GitHub-репозиториев, которые помогут стать AI-инженером за 90 дней
Стать AI-инженером сегодня – это не только о моделях и промптах. Большая часть реальной работы строится вокруг агентов, RAG-систем, оркестрации (orchestration), векторных баз данных (vector databases) и AI-инфраструктуры.
Подборка GitHub репозиториев для SEO и поиска по ключам
8 проверенных open-source репозиториев на GitHub для сбора семантики, технического аудита сайтов и Generative Engine Optimization (GEO).
GitHub Copilot Workspace
Облачная среда агентской разработки от GitHub, которая трансформирует GitHub Issues в полностью специфицированные и протестированные Pull Requests без необходимости локального клонирования репозитория.
Binance опубликовали расследование кражи $6,3 млрд
Расследование связывает кражу с заражённым Homebrew, фальшивым собеседованием и использованием внутреннего ИИ-инструмента Binance.