Web Scraping neu definiert: Einführung von PixelRAG

PixelRAG ist ein Open-Source-Retriever-Framework, das Seitenbilder anstelle der traditionellen HTML-Analyse nutzt.

Laut den Entwicklern können herkömmliche Pipelines zur Umwandlung von HTML in Text über 40 % des Seiteninhalts verlieren, einschließlich Tabellen, Diagrammen und Markup-Elementen. PixelRAG arbeitet mit dem Dokument genau so, wie es für den Benutzer gerendert wird.

Funktionsweise der Pipeline:

• Rendert jedes Dokument (Webseiten, PDFs, Bilder) in eine Reihe von Kacheln.
• Erstellt Embeddings unter Verwendung von Qwen3-VL-Embedding, das per LoRA auf Screenshots feinabgestimmt wurde.
• Baut einen FAISS-Index auf und stellt eine API für die Suche bereit.

Durch den Austausch des Reader-Modells gegen ein leistungsfähigeres Modell kann die Genauigkeit erhöht werden, ohne dass eine erneute Indexierung erforderlich ist, da der Index nur Pixel speichert.

Für Experimente hat das Projektteam einen visuellen Index der gesamten Wikipedia erstellt – über 30 Millionen Screenshots. Das Ergebnis: Selbst in diesem Format übertrifft das System die beste textbasierte RAG-Baseline um 18,1 % bei Frage-Antwort-Aufgaben, die rein auf Text basieren.

Zudem wurde ein Plugin für Claude Code vorgestellt, das die Analyse gerenderter Seiten über Screenshots ermöglicht, ohne mit dem DOM arbeiten zu müssen.

Das gesamte Projekt wird im Open Access unter der Apache-2.0-Lizenz veröffentlicht. Der Artikel enthält detaillierte Fehleranalysen, Ablationsstudien und Vergleiche mit mehr als 25 VLM-Modellen.