Harvard udostępnia darmowy kurs o inżynierii systemów ML

Harvard udostępnił za darmo jeden z najbardziej szczegółowych kursów dotyczących inżynierii systemów uczenia maszynowego.

Kurs CS249r wykracza daleko poza architekturę sieci neuronowych. Główna uwaga skupia się na infrastrukturze technicznej, od której zależą trenowanie i efektywne uruchamianie modeli: procesory, hierarchia pamięci, przesyłanie danych, akceleratory, obliczenia rozproszone, wnioskowanie, kwantyzacja, serwowanie modeli, niezawodność i wdrażanie.

W otwartym dostępie znalazły się dwa tomy ML Systems, TinyTorch do budowy własnego frameworku ML od zera, interaktywne laboratoria w przeglądarce, MLSys·im do eksperymentowania z wąskimi gardłami sprzętu i infrastruktury, StaffML do ćwiczeń z projektowania systemów oraz slajdy wykładów.

TinyTorch obejmuje 20 kolejnych modułów. W laboratoriach można zmieniać parametry systemu i natychmiast obserwować, gdzie pojawiają się wąskie gardła, zamiast ograniczać się do teorii.

Kurs najlepiej przechodzić po zapoznaniu się z sieciami neuronowymi i Transformerami. Zrozumienie działania attention jest przydatne, ale inny poziom zrozumienia pojawia się, gdy analizuje się, dlaczego pamięć KV cache zużywa tyle miejsca, kiedy wnioskowanie jest ograniczone przepustowością pamięci, jak batching wpływa na throughput i dlaczego dodanie kolejnych GPU nie zawsze daje proporcjonalny wzrost wydajności.

Wszystkie materiały są dostępne na mlsysbook.ai.

GitHub: harvard-edge/cs249r_book