Sand.ai dévoile MAGI-2 Preview : un modèle vidéo MoE open source avec audio synchronisé
Sand.ai publie les poids et le code d'inférence de MAGI-2, un modèle génératif vidéo-audio basé sur une architecture Mixture of Experts (MoE) fine-grained. Cette approche permet de générer des clips de 10 secondes à haute qualité tout en réduisant drastiquement les coûts de calcul.
Sand.ai dévoile MAGI-2 Preview : un modèle vidéo MoE open source avec audio synchronisé
Les développeurs de Sand.ai ont publié les poids ainsi que le code d'inférence pour leur nouveau modèle, MAGI-2 Preview. Conçu autour d'une architecture mono-flux (single-stream), ce modèle est capable de générer des séquences vidéo de 10 secondes accompagnées de pistes audio parfaitement synchronisées.
Une efficacité computationnelle remarquable
L'une des caractéristiques distinctives de MAGI-2 est l'utilisation d'une architecture Mixture of Experts (MoE) fine-grained, encore rare dans le domaine de la génération vidéo. Bien que le modèle totalise 114 milliards de paramètres, seuls 6 milliards sont activés par token.
En termes de charge de calcul par étape, cette conception rend le modèle nettement plus léger que le MiniMax H3 dense (33B), dont il a réduit les coûts d'inférence d'environ dix fois. Ce gain d'efficacité a permis à MAGI-2 de grimper à la 6ᵉ place du classement Artificial Analysis.
Pipeline de génération en deux étapes
Le processus de génération repose sur une approche en deux phases :
- Le modèle de base génère la vidéo à basse résolution.
- Un module de raffinement (refiner) met ensuite l'image à l'échelle jusqu'à une définition de 1080p.
Accessibilité locale vs Cloud
Actuellement, MAGI-2 ne rivalise pas avec MiniMax H3 en matière d'accessibilité locale. Alors que la version quantifiée de H3 peut s'exécuter sur une seule carte graphique de 24 Go (RTX 3090/4090), MAGI-2 nécessite des ressources matérielles bien plus importantes.
Cependant, pour les fournisseurs de services cloud, l'inférence via API sera considérablement moins coûteuse grâce au faible nombre de paramètres actifs (6B). De plus, cette architecture offre un excellent potentiel de mise à l'échelle (scalability) pour les développements futurs.
Pourquoi c'est important
AnalyseCe modèle ouvre de nouvelles perspectives pour la génération vidéo avec audio synchronisé en réduisant significativement les coûts d'inférence grâce à son architecture MoE innovante. Son potentiel de scalabilité le positionne comme un concurrent sérieux pour les infrastructures cloud.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs