ML-проект недели – определение глубины сцены в реальном времени
Проект инженера из Польши демонстрирует возможность определения глубины сцены в реальном времени с помощью нейросети. Используя библиотеку TypeGPU, он достигает впечатляющих результатов прямо в браузере.
ML-проект недели – определение глубины сцены в реальном времени
На 7.4 миллиона просмотров за сутки разлетелся проект инженера из Software Mansion (Польша). Он работает с TypeGPU – библиотекой, которая позволяет писать GPU-шейдеры прямо на TypeScript.
Автор запустил нейросеть, которая по обычной 2D-картинке восстанавливает карту глубины сцены, и укладывается при этом в ~8 мс на чипе M4 Pro.
Кадр видео при 60 fps длится ~16.7 мс, так что это полноценный реалтайм прямо в браузере. Плюс все, от нейросети до финального рендера со светом, работает в одном GPU-пайплайне, без передачи данных туда-обратно между CPU и GPU.
Демо выглядит особенно хорошо, но кода в опенсорсе нет (возможно, его собираются продать Zoom за несколько миллионов).
Почему это важно
АналитикаЭтот проект демонстрирует новые возможности в обработке изображений в реальном времени, что может оказать значительное влияние на развитие веб-технологий и AI. Использование GPU-шейдеров на TypeScript открывает новые горизонты для разработчиков.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
AI-дайджест за две недели: GPT-6.1 Terra, Gemini 4 Carbon, Mistral Large 4 и изменения тарифов
Свежий обзор новостей AI: обновления LLM, изменения подписок OpenAI и Anthropic, новые world-модели, видео-генераторы и корпоративные детали.
JSON — структурированные данные для программ, API и AI-агентов
Полное практическое руководство по формату JSON: синтаксические правила, сериализация через parse/stringify, работа с REST API, валидация по JSON Schema и структурированный вывод для ИИ.
Форматы DOCX и XLSX: когда от ИИ требуется полноценный финальный документ
Практическое руководство по созданию и обработке документов DOCX и таблиц XLSX с помощью ИИ: сравнение с Markdown и CSV, промпт-инжиниринг, работа с формулами и автоматизация в коде.
Binance опубликовали расследование кражи $6,3 млрд
Расследование связывает кражу с заражённым Homebrew, фальшивым собеседованием и использованием внутреннего ИИ-инструмента Binance.