Web Scraping Nunca Mais Será o Mesmo: Conheça o PixelRAG

O PixelRAG é um framework de recuperação open-source que utiliza imagens de páginas em vez da análise tradicional de HTML.

Segundo os desenvolvedores, os pipelines convencionais de conversão de HTML para texto podem perder mais de 40% do conteúdo da página, incluindo tabelas, gráficos e elementos de marcação. O PixelRAG opera no documento exatamente como ele é renderizado para o usuário.

Como o Pipeline Funciona:

• Renderiza cada documento (páginas web, PDFs, imagens) em um conjunto de blocos visuais (tiles).
• Cria embeddings utilizando o modelo Qwen3-VL-Embedding, ajustado via LoRA em capturas de tela.
• Constrói um índice FAISS e fornece uma API para busca.

Ao substituir o modelo leitor por um mais poderoso, a precisão pode aumentar sem a necessidade de reindexação, pois o índice retém apenas pixels.

Para os experimentos, a equipe do projeto criou um índice visual de toda a Wikipedia — mais de 30 milhões de capturas de tela. Como resultado, mesmo neste formato, o sistema supera o melhor baseline de RAG baseado em texto em 18,1% nas tarefas de resposta a perguntas exclusivamente textuais.

Também foi introduzido um plugin para o Claude Code, permitindo a análise de páginas renderizadas através de capturas de tela sem trabalhar com o DOM.

Todo o projeto é publicado como acesso aberto sob a licença Apache-2.0, e o artigo inclui análises detalhadas de erros, estudos de ablação e comparações com mais de 25 modelos VLM.