Web Scraping neu definiert: Einführung von PixelRAG
Web Scraping neu definiert: Einführung von PixelRAG
PixelRAG ist ein Open-Source-Retriever-Framework, das auf Seitenbildern statt auf herkömmlicher HTML-Analyse basiert.
PixelRAG ist ein Open-Source-Retriever-Framework, das Seitenbilder anstelle der traditionellen HTML-Analyse nutzt.
Laut den Entwicklern können herkömmliche Pipelines zur Umwandlung von HTML in Text über 40 % des Seiteninhalts verlieren, einschließlich Tabellen, Diagrammen und Markup-Elementen. PixelRAG arbeitet mit dem Dokument genau so, wie es für den Benutzer gerendert wird.
Funktionsweise der Pipeline:
- Rendert jedes Dokument (Webseiten, PDFs, Bilder) in eine Reihe von Kacheln.
- Erstellt Embeddings unter Verwendung von Qwen3-VL-Embedding, das per LoRA auf Screenshots feinabgestimmt wurde.
- Baut einen FAISS-Index auf und stellt eine API für die Suche bereit.
Durch den Austausch des Reader-Modells gegen ein leistungsfähigeres Modell kann die Genauigkeit erhöht werden, ohne dass eine erneute Indexierung erforderlich ist, da der Index nur Pixel speichert.
Für Experimente hat das Projektteam einen visuellen Index der gesamten Wikipedia erstellt – über 30 Millionen Screenshots. Das Ergebnis: Selbst in diesem Format übertrifft das System die beste textbasierte RAG-Baseline um 18,1 % bei Frage-Antwort-Aufgaben, die rein auf Text basieren.
Zudem wurde ein Plugin für Claude Code vorgestellt, das die Analyse gerenderter Seiten über Screenshots ermöglicht, ohne mit dem DOM arbeiten zu müssen.
Das gesamte Projekt wird im Open Access unter der Apache-2.0-Lizenz veröffentlicht. Der Artikel enthält detaillierte Fehleranalysen, Ablationsstudien und Vergleiche mit mehr als 25 VLM-Modellen.
Warum das wichtig ist
AnalyseDieser neue Ansatz für Web Scraping könnte die Genauigkeit der Datensammlung erheblich verbessern und Informationsverluste reduzieren, was für Entwickler und Forscher von entscheidender Bedeutung ist.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern
Verwandt im Ökosystem
Praktische Leitfäden, Terminologie und Agenten-Skills
10 GitHub-Repositories, die Ihnen helfen, in 90 Tagen ein KI-Ingenieur zu werden
KI-Ingenieur zu werden bedeutet heute nicht nur, sich mit Modellen und Prompts auszukennen. Der Großteil der praktischen Arbeit dreht sich um Agenten, RAG-Systeme, Orchestrierung (Orchestration), Vektordatenbanken (Vector Databases) und KI-Infrastruktur.
Auswahl an GitHub-Repositories für SEO und Keyword-Recherche
8 geprüfte Open-Source-Repositories auf GitHub zur Erfassung von Semantik, technischen Website-Audits und Generative Engine Optimization (GEO).
GitHub Copilot Workspace
Eine Cloud-basierte Agent-Entwicklungsumgebung von GitHub, die GitHub Issues in vollständig spezifizierte und getestete Pull Requests umwandelt, ohne dass eine lokale Klonung des Repositorys erforderlich ist.
Binance veröffentlicht Untersuchung zum Diebstahl von 6,3 Mrd. US-Dollar
Die Untersuchung verbindet den Diebstahl mit einem manipulierten Homebrew, einem gefälschten Interview und dem Missbrauch eines internen KI-Tools von Binance.