Веб-скрейпинг уже не будет таким, как раньше: новый подход с PixelRAG
Веб-скрейпинг уже не будет таким, как раньше: новый подход с PixelRAG
PixelRAG - это опенсорсный ретривер-фреймворк, который использует изображения страниц вместо традиционного HTML-парсинга.
Вышел PixelRAG - опенсорсный ретривер-фреймворк, который использует изображения страниц вместо традиционного HTML-парсинга.
По словам разработчиков, традиционные пайплайны HTML-to-text могут терять более 40% содержимого страницы, включая таблицы, графики и элементы разметки. PixelRAG работает с документом в том виде, в каком его видит пользователь после рендеринга.
Как работает пайплайн:
- Рендерит каждый документ (веб-страницы, PDF, изображения) в набор тайлов.
- Создает эмбеддинги с помощью Qwen3-VL-Embedding.
- Создает индекс FAISS и предоставляет API для поиска.
Проект опубликован в открытом доступе под лицензией Apache-2.0, а в статье есть детальные разборы ошибок и сравнения с более чем 25 VLM-моделями.
Почему это важно
АналитикаЭтот новый подход к веб-скрейпингу может значительно повысить точность сбора данных, уменьшая потери информации, что критически важно для аналитики и исследований.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
10 GitHub-репозиториев, которые помогут стать AI-инженером за 90 дней
Стать AI-инженером сегодня – это не только о моделях и промптах. Большая часть реальной работы строится вокруг агентов, RAG-систем, оркестрации (orchestration), векторных баз данных (vector databases) и AI-инфраструктуры.
Подборка GitHub репозиториев для SEO и поиска по ключам
8 проверенных open-source репозиториев на GitHub для сбора семантики, технического аудита сайтов и Generative Engine Optimization (GEO).
GitHub Copilot Workspace
Облачная среда агентской разработки от GitHub, которая трансформирует GitHub Issues в полностью специфицированные и протестированные Pull Requests без необходимости локального клонирования репозитория.
Binance опубликовали расследование кражи $6,3 млрд
Расследование связывает кражу с заражённым Homebrew, фальшивым собеседованием и использованием внутреннего ИИ-инструмента Binance.