Dokument-Chunking (Chunking-Strategien)

1. Konzeptüberblick und systemisches Problem

Embedding-Modelle (wie text-embedding-3-large oder bge-m3) verfügen über ein streng limitiertes Eingabefenster (von 512 bis 8192 Tokens). Selbst wenn das Modell technisch in der Lage ist, ein großes PDF-Dokument vollständig zu verarbeiten, komprimiert es alle Informationen in einen einzigen Vektor fester Dimensionalität (z. B. 1536 Zahlenwerte).

Ohne granulare Chunking-Strategien treten folgende Probleme auf:

1. Semantische Verwässerung (Vector Dilution): Der Vektor eines 50-seitigen Dokuments wird so generisch, dass Details spezifischer Funktionen oder Konfigurationen verloren gehen.
2. Unmöglichkeit präziser RAG-Retrieval: Das Suchsystem zieht das gesamte riesige Dokument in den Kontext der generativen LLM, was sofort das Token-Budget erschöpft.
3. „Zerstörung“ der Struktur durch naive Aufteilung: Eine feste Trennung nach Zeichenanzahl (Character Splitting) zerschneidet Wörter mitten im Wort, trennt Funktionsdeklarationen von deren Implementierung und zerstört Tabellenstrukturen.

Chunking ist die Grundlage des RAG-Engineering: Es transformiert monolithischen Roh-Text in eine Sammlung informationsvollständiger, semantisch zusammenhängender Blöcke.

2. Architektonische Taxonomie und mentales Modell

Abhängig von der Datenstruktur werden vier architektonische Ebenen des Chunkings unterschieden:

• 1. Fixed-Size Sliding Window: Der einfachste Ansatz: Der Text wird in Blöcke von $N$ Tokens mit einer Überlappung von $M$ Tokens geschnitten. Schnell, verletzt aber häufig logische Absatzgrenzen.
• 2. Recursive Character Splitting: Ein hierarchischer Ansatz (Standard bei LangChain/LlamaIndex). Der Algorithmus versucht zunächst, den Text an doppelten Zeilenumbrüchen (\n\n) zu trennen. Ist das Segment zu groß, folgt die Trennung an einfachen Umbrüchen (\n), dann an Punkten (. ) und nur als letztes Mittel an Leerzeichen.
• 3. Semantic / Embedding-Distance Chunking: Der Text wird in einzelne Sätze zerlegt. Für jeden Satz wird ein Vektor erzeugt, und die Kosinus-Ähnlichkeit zwischen benachbarten Sätzen berechnet. Die Chunk-Grenze wird dort gesetzt, wo ein abrupter Wechsel der Semantik (Themenwechsel) stattfindet.
• 4. Structural Chunking (AST/Markdown): Berücksichtigt den Syntaxbaum des Dokuments: Markdown wird strikt nach Überschriften-Ebenen (#, ##, ###) unterteilt, wobei „Breadcrumbs“ erhalten bleiben. Programmcode wird über Tree-sitter anhand von Klassen- und Funktionsknoten strukturiert.

3. Technischer Pipeline und interne Mechanik

Die Pipeline für professionelles Chunking besteht aus vier Stufen:

1. Document Ingestion & Pre-cleaning (Bereinigung): Entfernung unsichtbarer Sonderzeichen, Vereinheitlichung der Zeilenumbrüche (\r\n -> \n) und Normalisierung der Unicode-Kodierung (NFC).
2. Boundary Detection (Grenzerkennung): Der Parser erstellt einen Syntaxbaum (AST) oder identifiziert sichere Trennpunkte (Markdown-Separatoren, leere Zeilen zwischen Funktionen).
3. Window Formatting & Overlap Calculation (Schneiden und Überlappen): Der Text wird in Blöcke von 500–700 Tokens gruppiert. An den Anfang jedes folgenden Chunks wird ein Überlappungs-Puffer (10–15 %) vom vorherigen Chunk angehängt.
4. Metadata Enrichment & Context Injection (Kontextanreicherung): Jedem Chunk wird ein Präfix mit Metadaten hinzugefügt: [File: api/auth.ts | Class: AuthService | Method: validateToken] Dies stellt sicher, dass der Vektor des Fragments auch dann gefunden wird, wenn der Methodenname nicht im eigentlichen Code-Tekst erwähnt wird.

4. Praktische Engineering-Szenarien im Production-Umfeld

01. Indexierung der Codebase eines Repositories via Tree-sitter

Jede TypeScript-Datei wird in einen Syntaxbaum geparst. Für jede exportierte Schnittstelle und jede Funktion wird ein separater Chunk gebildet. Wenn eine Funktion 20 Zeilen umfasst, wird sie zusammen mit ihrem JSDoc-Kommentar und der Liste der importierten Typen als eigenständiger Chunk behandelt.

02. Verarbeitung komplexer Tabellen und Finanzberichte

Eine übliche Aufteilung zerschneidet Tabellenzeilen und entzieht den Zahlen ihren Kontext. Professionelles Chunking konvertiert jede Tabellenzeile in einen eigenständigen Textsatz: „Im Jahr 2024 betrug der Umsatz der Cloud-Division $35B, was einem Anstieg von 15 % gegenüber 2023 entspricht“, wodurch Vektoren mit hoher Retrieval-Präzision erzeugt werden.

03. Parsen von API-Dokumentation (OpenAPI / Swagger)

Jeder Endpunkt (z. B. POST /v1/payments) wird in einen separaten Chunk extrahiert, der Pfad, HTTP-Methode, Parameterbeschreibung, Antwortbeispiel und Fehlercodes enthält. Dies ermöglicht dem Agenten die fehlerfreie Generierung von Client-Code.

5. Fallstricke, typische Fehler und Sicherheit

• Das Problem der „Dangling Pronouns“ (schwebende Pronomen): Wenn der Satz „Diese Funktion erfordert Admin-Rechte“ in Chunk 2 landet, der Name der Funktion selbst aber in Chunk 1 verbleibt, kann das Modell die Anfrage nicht korrekt beantworten. Verwenden Sie stets Metadaten mit Parent-Context-Anreicherung (Parent Document Retrieval).
• Aufblähung der Vektor-Datenbank durch übermäßiges Overlap: Eine Überlappung von mehr als 25 % führt zur Duplizierung von Informationen in der Datenbank, erhöht die Kosten für die Indexierung und lädt identische Fragmente in die Top-Ergebnisse.
• Verlust des Strukturkontexts (Loss of Lineage): Ein Chunk ohne Angabe des Dateinamens und der Zeilennummer verwandelt sich in namenloses Rauschen, was die Generierung präziser Referenzen in den Antworten des Agenten erschwert.