Le Web Scraping Réinventé : Présentation de PixelRAG

PixelRAG est un framework de récupération open-source qui exploite les images de pages au lieu du traitement HTML classique.

Selon les développeurs, les pipelines traditionnels de conversion HTML-texte peuvent perdre plus de 40 % du contenu d'une page, y compris les tableaux, les graphiques et les éléments de mise en forme. PixelRAG opère directement sur le document tel qu'il est rendu pour l'utilisateur.

Fonctionnement du Pipeline :

• Rendu de chaque document (pages web, PDF, images) sous forme de tuiles.
• Création d'embeddings via Qwen3-VL-Embedding, affiné par LoRA sur des captures d'écran.
• Construction d'un index FAISS et fourniture d'une API de recherche.

En remplaçant le modèle lecteur par une version plus puissante, la précision peut augmenter sans nécessiter de ré-indexation, car l'index ne conserve que des pixels.

Pour leurs expérimentations, l'équipe du projet a créé un index visuel de l'intégralité de Wikipédia, comprenant plus de 30 millions de captures d'écran. En conséquence, même dans ce format, le système surpasse la meilleure base de référence RAG textuelle de 18,1 % dans les tâches de question-réponse basées uniquement sur le texte.

Un plugin pour Claude Code a également été introduit, permettant l'analyse de pages rendues via des captures d'écran sans interagir avec le DOM.

L'ensemble du projet est publié en accès libre sous licence Apache-2.0. L'article associé inclut des analyses détaillées des erreurs, des études d'ablation et des comparaisons avec plus de 25 modèles VLM.