Koniec tradycyjnego web scrapingu? Przedstawiamy PixelRAG

PixelRAG to open-source’owy framework do pozyskiwania danych (retriever), który wykorzystuje obrazy stron zamiast tradycyjnego parsowania kodu HTML.

Według twórców, konwencjonalne potoki przetwarzania HTML na tekst mogą tracić ponad 40% zawartości strony, w tym tabele, wykresy oraz elementy znaczników. PixelRAG działa na dokumencie dokładnie tak, jak jest on renderowany dla użytkownika końcowego.

Jak działa pipeline?

• Renderuje każdy dokument (strony internetowe, pliki PDF, obrazy) do zestawu kafelków (tiles).
• Tworzy osadzenia (embeddings) przy użyciu modelu Qwen3-VL-Embedding, dostrojonego za pomocą LoRA na zrzutach ekranu.
• Buduje indeks FAISS i udostępnia API do wyszukiwania.

Dzięki zastąpieniu modelu czytającego (reader model) bardziej zaawansowaną wersją, dokładność może wzrosnąć bez konieczności ponownego indeksowania, ponieważ indeks przechowuje wyłącznie piksele.

Do celów eksperymentalnych zespół projektowy stworzył wizualny indeks całej Wikipedii – obejmujący ponad 30 milionów zrzutów ekranu. Wyniki pokazują, że nawet w tej formie system przewyższa najlepszy baseline RAG oparty na tekście o 18,1% w zadaniach问答owych opartych wyłącznie na tekście.

Wprowadzono również plugin dla Claude Code, umożliwiający analizę renderowanych stron poprzez zrzuty ekranu, bez konieczności pracy z drzewem DOM.

Cały projekt został opublikowany jako otwarte oprogramowanie na licencji Apache-2.0. Artykuł naukowy zawiera szczegółowe analizy błędów, badania ablacyjne oraz porównania z ponad 25 modelami VLM (Vision-Language Models).