Thinking Machines publie les poids du modèle Inkling 2 Small
Thinking Machines publie les poids du modèle Inkling 2 Small
Inkling 2 Small est un modèle MoE de 594 milliards de paramètres avec 17 milliards actifs, entraîné sur 12 billions de tokens et publié en poids ouverts.
Thinking Machines publie les poids du modèle Inkling 2 Small
Inkling 2 Small est un modèle Mixture-of-Experts (MoE) comptant 594 milliards de paramètres au total et 17 milliards de paramètres actifs. Selon l’annonce, le pré-entraînement a été terminé en seulement 68 heures, en utilisant 12 billions de tokens. L’apprentissage par renforcement (RL) a nécessité 9 jours supplémentaires sur un cluster de 2 048 GPUs.
Le modèle est décrit comme compétitif par rapport aux modèles chinois sortis il y a deux à trois mois. Pour le faire tourner, il faut deux GPUs B300 ou quatre GPUs H200. Une version plus grande est attendue.
Pourquoi c'est important
AnalyseCette publication montre que les grands modèles MoE à poids ouverts peuvent arriver très vite, mais leur exploitation reste dépendante d’une infrastructure GPU haut de gamme.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs
Lié dans l'écosystème
Guides pratiques, terminologie clé et compétences d'agents
Mistral AI (Modèles ouverts et efficaces européens)
Série de modèles ouverts et commerciaux hautement performants issus de la startup française Mistral AI (Mistral 7B, Mixtral 8x7B, Mistral Large). Réputés pour leur compacité, leur rapidité et le respect de la confidentialité des données.
Partie II. Architecture des agents IA : du modèle à la mémoire et aux outils
Immersion technique approfondie : tokenisation, cache KV, déterminisme de l'échantillonnage, stack d'entraînement, quantification, ingénierie contextuelle, stack de sécurité, RAG en production, ReAct et systèmes swarm multi-agents.
Guide des prompts pour les modèles génératifs GPT Image
Les modèles de génération d'images gpt-image d'OpenAI sont conçus pour produire des visuels de qualité professionnelle et des processus créatifs entièrement maîtrisés. Ils conviennent aussi bien aux designers professionnels...
DeepSeek-R1 (Modèle de raisonnement DeepSeek)
Un modèle de raisonnement à poids ouverts (Open Weights Reasoning Model) révolutionnaire, basé sur une architecture MoE de 671B paramètres, qui a démontré la capacité de former une pensée logique extrêmement complexe grâce à un apprentissage par renforcement pur (GRPO).