Modelo de lenguaje compacto y abierto con 50,000 estrellas en GitHub
Se presenta un nuevo modelo de lenguaje compacto y abierto que ha ganado popularidad en GitHub, permitiendo entrenar con costos y tiempos mínimos.
Modelo de lenguaje compacto y abierto con 50,000 estrellas en GitHub
Se ha encontrado un pequeño modelo abierto que ya ha ganado 50,000 estrellas en GitHub y ha llegado a la sección de Tendencias.
Con su ayuda, se puede entrenar un modelo de lenguaje supercompacto con solo 25.8 millones de parámetros — aproximadamente por 3 dólares y dos horas.
El proyecto apuesta por la máxima compactidad: la versión más pequeña es solo 1/2700 del tamaño de GPT-3. Además, se ha hecho disponible el entrenamiento del tokenizador, así como el código completo para todas las etapas de entrenamiento — Pretrain, SFT y más. El proyecto también incluye el modelo visual multimodal MiniMind-V.
Todos los scripts de entrenamiento están escritos en PyTorch puro, son compatibles con arquitecturas MoE y, de hecho, representan una implementación abierta de todas las etapas de entrenamiento de grandes modelos de lenguaje.
Por qué es importante
AnálisisEste modelo representa un paso importante en el desarrollo de modelos de lenguaje compactos, permitiendo reducir los costos de entrenamiento y el uso de recursos. El acceso abierto al código y a los materiales de entrenamiento fomenta el desarrollo de la comunidad.
Debatir en la comunidad
Comparte tus preguntas e ideas con desarrolladores
Relacionado en el ecosistema
Guías prácticas, terminología y skills de agentes
10 repositorios de GitHub que te ayudarán a convertirte en ingeniero de IA en 90 días
Convertirse en ingeniero de inteligencia artificial hoy en día no se trata solo de modelos e indicaciones. La mayor parte del trabajo real se basa en agentes, sistemas RAG, orquestación, bases de datos vectoriales e infraestructura de inteligencia artificial.
Top Repositorios de GitHub para SEO y Keyword Research
8 repositorios open-source verificados en GitHub para búsqueda semántica de palabras clave, auditorías técnicas y Optimización para Motores Generativos (GEO).
GitHub Copilot Workspace
Entorno de desarrollo en la nube de GitHub que transforma GitHub Issues en Pull Requests completamente especificados y probados sin necesidad de clonar el repositorio localmente.
Investigadores del MIT muestran que GPT-6 Astra puede mejorar otros modelos de IA cambiando sus pesos
En un experimento, Astra elevó la precisión de Qwen3.5-0.8B en MATH-500 del 7,9% al 48,1% cambiando solo el 0,016% de los pesos del modelo.