Projeto de ML da Semana – Estimativa de Profundidade de Cena em Tempo Real
Um engenheiro polonês demonstra estimativa de profundidade em tempo real no navegador usando TypeGPU, alcançando latências de apenas 8 ms.
Projeto de ML da Semana – Estimativa de Profundidade de Cena em Tempo Real
Um projeto desenvolvido por um engenheiro da Software Mansion (Polônia) acumulou 7,4 milhões de visualizações em apenas um dia. A solução utiliza o TypeGPU, uma biblioteca que permite escrever shaders de GPU diretamente em TypeScript.
O autor implementou uma rede neural que reconstrói um mapa de profundidade de cena a partir de uma imagem 2D comum, obtendo esse resultado em aproximadamente 8 ms em um chip M4 Pro.
Como um quadro de vídeo a 60 fps dura cerca de 16,7 ms, isso garante uma experiência totalmente em tempo real, executada diretamente no navegador. Além disso, todo o processo — desde a inferência da rede neural até a renderização final com iluminação — opera em um único pipeline de GPU, eliminando a transferência de dados entre CPU e GPU.
Embora a demonstração seja visualmente impressionante, o código não é open-source (há especulações de que possa ter sido vendido para empresas como a Zoom por valores milionários).
Por que isso importa
AnáliseEste projeto evidencia novas possibilidades no processamento de imagens em tempo real, impactando significativamente o desenvolvimento de tecnologias web e IA. O uso de shaders de GPU via TypeScript abre horizontais inéditos para a eficiência computacional dos navegadores.
Debater na comunidade
Compartilhe suas dúvidas e insights com desenvolvedores