Projekt ML tygodnia: Estymacja głębi sceny w czasie rzeczywistym
Inżynier z Software Mansion zaprezentował projekt, który wykorzystuje bibliotekę TypeGPU do estymacji głębi sceny w czasie rzeczywistym bezpośrednio w przeglądarce. Rozwiązanie osiąga imponujące wyniki dzięki integracji sieci neuronowej i renderingu w jednym potoku GPU.
Projekt ML tygodnia: Estymacja głębi sceny w czasie rzeczywistym
Projekt stworzony przez inżyniera z polskiej firmy Software Mansion zdobył 7,4 miliona wyświetleń w ciągu zaledwie jednego dnia. Kluczem do sukcesu jest wykorzystanie TypeGPU – biblioteki umożliwiającej pisanie shaderów GPU bezpośrednio w języku TypeScript.
Autor uruchomił sieć neuronową, która rekonstruuje mapę głębi sceny na podstawie zwykłego obrazu 2D, osiągając czas przetwarzania około 8 ms na chipie M4 Pro.
Klatka wideo przy 60 klatkach na sekundę trwa około 16,7 ms, co czyni to pełnoprawnym doświadczeniem w czasie rzeczywistym działającym bezpośrednio w przeglądarce. Co więcej, cały proces – od pracy sieci neuronowej po finalny rendering z oświetleniem – odbywa się w ramach jednego potoku GPU, eliminując konieczność przesyłania danych tam i z powrotem między CPU a GPU.
Demo wygląda szczególnie imponująco, jednak kod źródłowy nie jest udostępniony publicznie (spekulacje sugerują, że może zostać sprzedany firmie Zoom za kilka milionów).
Dlaczego to ważne
AnalizaProjekt demonstruje nowe możliwości w przetwarzaniu obrazu w czasie rzeczywistym, które mogą znacząco wpłynąć na rozwój technologii webowych i sztucznej inteligencji. Wykorzystanie shaderów GPU w TypeScript otwiera przed deweloperami zupełnie nowe horyzonty wydajnościowe.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami