ML-Projekt der Woche: Echtzeit-Szenentiefenschätzung
Ein Ingenieur von Software Mansion demonstriert die Echtzeit-Tiefenschätzung von Szenen im Browser unter Verwendung von TypeGPU und erzielt dabei beeindruckende Ergebnisse auf Apple-Hardware.
ML-Projekt der Woche: Echtzeit-Szenentiefenschätzung
Ein Projekt eines Ingenieurs von Software Mansion (Polen) hat innerhalb eines Tages 7,4 Millionen Aufrufe generiert. Die Lösung basiert auf TypeGPU – einer Bibliothek, die es ermöglicht, GPU-Shader direkt in TypeScript zu schreiben.
Der Autor hat ein neuronales Netzwerk implementiert, das eine Tiefenkarte einer Szene aus einem herkömmlichen 2D-Bild rekonstruiert. Auf einem M4 Pro Chip wird dies in etwa 8 Millisekunden erreicht.
Da ein Videoframe bei 60 fps etwa 16,7 ms dauert, ergibt sich ein echtes Echtzeiterlebnis direkt im Browser. Darüber hinaus läuft der gesamte Prozess – vom neuronalen Netzwerk bis zum finalen Rendering mit Beleuchtung – in einer einzigen GPU-Pipeline, ohne dass Daten zwischen CPU und GPU hin- und hergeschoben werden müssen.
Die Demo ist visuell besonders eindrucksvoll, jedoch ist der Code nicht Open Source (es gibt Spekulationen über einen möglichen Verkauf an Zoom für mehrere Millionen Dollar).
Warum das wichtig ist
AnalyseDieses Projekt zeigt neue Möglichkeiten in der Echtzeit-Bildverarbeitung auf, die die Entwicklung von Webtechnologien und KI erheblich beeinflussen könnten. Der Einsatz von GPU-Shadern in TypeScript eröffnet Entwicklern völlig neue Horizonte.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern