Harvard ouvre un cours gratuit sur l’ingénierie des systèmes de ML

Harvard a ouvert gratuitement l’un des cours les plus détaillés sur l’ingénierie des systèmes d’apprentissage automatique.

Le cours CS249r va bien au-delà de l’architecture des réseaux de neurones. L’accent est mis sur l’infrastructure technique dont dépendent l’entraînement et le déploiement efficace des modèles : processeurs, hiérarchie mémoire, transfert de données, accélérateurs, calcul distribué, inférence, quantification, serving, fiabilité et déploiement.

Les ressources ouvertes comprennent deux volumes de ML Systems, TinyTorch pour créer son propre framework ML à partir de zéro, des laboratoires interactifs dans le navigateur, MLSys·im pour expérimenter les goulets d’étranglement matériels et infrastructurels, StaffML pour pratiquer la conception de systèmes, ainsi que les supports de cours.

TinyTorch propose 20 modules séquentiels. Dans les laboratoires, il est possible de modifier les paramètres du système et d’observer immédiatement où apparaissent les goulets d’étranglement, au lieu de se limiter à la théorie.

Ce cours est recommandé après une première approche des réseaux de neurones et des Transformers. Comprendre le fonctionnement de l’attention est utile, mais un autre niveau de compréhension apparaît lorsqu’on analyse pourquoi le KV cache consomme autant de mémoire, quand l’inférence devient limitée par la bande passante mémoire, comment le batching affecte le débit et pourquoi l’ajout de GPU supplémentaires ne donne pas toujours une amélioration proportionnelle.

Tous les matériaux sont disponibles sur mlsysbook.ai.

GitHub : harvard-edge/cs249r_book