Гарвард открыл бесплатный курс по инженерии ML-систем

Гарвард бесплатно открыл один из самых подробных курсов по инженерии систем машинного обучения.

Курс CS249r выходит далеко за рамки архитектуры нейросетей. Основное внимание уделено инженерной инфраструктуре, от которой зависит обучение и эффективный запуск моделей: процессорам, иерархии памяти, передаче данных, ускорителям, распределённым вычислениям, инференсу, квантованию, сервингу, надёжности и развёртыванию.

В открытый доступ вошли два тома по ML Systems, TinyTorch для создания собственного ML-фреймворка с нуля, интерактивные лабораторные работы в браузере, MLSys·im для экспериментов с узкими местами оборудования и инфраструктуры, StaffML для практики по системному проектированию, а также слайды лекций.

В TinyTorch предусмотрено 20 последовательных модулей. В лабораторных можно менять параметры системы и сразу наблюдать, где возникают узкие места, вместо того чтобы ограничиваться изучением теории.

Я бы рекомендовал проходить этот курс после знакомства с нейросетями и Transformers.

Понимать принцип работы attention полезно. Но совсем другой уровень понимания начинается, когда разбираешься, почему KV-кэш расходует столько памяти, когда инференс упирается в пропускную способность памяти, как batching влияет на throughput и почему добавление новых GPU не всегда приводит к пропорциональному росту производительности.

Всё здесь: mlsysbook.ai

GitHub: harvard-edge/cs249r_book