Harvard abre curso gratuito sobre engenharia de sistemas de ML

Harvard abriu gratuitamente um dos cursos mais detalhados sobre engenharia de sistemas de aprendizado de máquina.

O curso CS249r vai muito além da arquitetura de redes neurais. O foco principal é a infraestrutura de engenharia da qual dependem o treinamento e a execução eficiente dos modelos: processadores, hierarquia de memória, transferência de dados, aceleradores, computação distribuída, inferência, quantização, serving, confiabilidade e implantação.

Os materiais abertos incluem dois volumes de ML Systems, TinyTorch para criar seu próprio framework de ML do zero, laboratórios interativos no navegador, MLSys·im para experimentar gargalos de hardware e infraestrutura, StaffML para prática de design de sistemas e os slides das aulas.

TinyTorch possui 20 módulos sequenciais. Nos laboratórios, é possível alterar parâmetros do sistema e observar imediatamente onde surgem os gargalos, em vez de apenas estudar teoria.

O curso é recomendado depois de conhecer redes neurais e Transformers. Entender o funcionamento do attention é útil, mas outro nível de compreensão surge ao analisar por que o KV cache consome tanta memória, quando a inferência fica limitada pela largura de banda de memória, como o batching afeta o throughput e por que adicionar mais GPUs nem sempre gera ganho proporcional de desempenho.

Todos os materiais estão disponíveis em mlsysbook.ai.

GitHub: harvard-edge/cs249r_book