Hierarchisches Chunking (Parent-Child)

1. Überblick über das Konzept und den Zweck

Wenn Sie ein Lehrbuch oder einen Gesetzbuchtext für eine RAG-Wissensdatenbank vorbereiten, stehen Sie vor der schwierigsten ingenieurtechnischen Frage: Wie genau soll der Text segmentiert werden?

Betrachten wir das Problem anschaulich:

• Option A (Feine Segmentierung nach 2 Sätzen): Die Suche nach Begriffen wie „Strafe 5.000 UAH“ funktioniert sofort. Aber in diesem winzigen Fragment steht nicht, warum diese Strafe verhängt wurde und an wen sie zu zahlen ist!
• Option B (Grobe Segmentierung nach 10 Seiten): Der Kontext ist vollständig vorhanden, aber der Vektor eines solchen Giganten wird zu einer grauen Masse aus hunderten verschiedener Themen, und der Algorithmus findet keine präzise Antwort.

Die Lösung ist Hierarchisches Chunking (auch bekannt als Parent-Child Retriever).

Aus praktischer Sicht funktioniert dies wie eine Lupe und ein Panorama-Foto: Sie suchen ein Detail durch die Vergrößerungslinse (kleines Chunk), aber um zu verstehen, wo es sich befindet, treten Sie einen Schritt zurück und betrachten den gesamten Raum (Eltern-Chunk).

2. Wie die „Parent-Child“-Kopplung funktioniert

┌─────────────────────────────────────────────────────────────┐
│                 БАТЬКІВСЬКИЙ РОЗДІЛ (Parent Chunk, 1000 слів)│
│ «Розділ 4. Безпека праці та фінансові стягнення...»        │
│ ┌─────────────────────────────────────────────────────────┐ │
│ │ ДИТЯЧИЙ ЧАНК #1 (100 слів):                             │ │
│ │ «За порушення каскового режиму на будівництві...»       │ │
│ └─────────────────────────────────────────────────────────┘ │
│ ┌─────────────────────────────────────────────────────────┐ │
│ │ ДИТЯЧИЙ ЧАНК #2 (100 слів): ➔ ТОЧНИЙ ВЕКТОРНИЙ ЗБІГ!    │ │
│ │ «...накладається штраф у розмірі 5 000 грн.»            │ │
│ └─────────────────────────────────────────────────────────┘ │
└──────────────────────────────┬──────────────────────────────┘
                               │
                               ▼
     Але в контекст моделі відправляється ВЕСЬ БАТЬКІВСЬКИЙ
     РОЗДІЛ #4 цілком! Модель бачить і штраф, і повний контекст!

3. Warum diese Methode die herkömmliche feste Segmentierung verdrängt

1. Ideale Extraktionsgenauigkeit: Vektoren kurzer Sätze sind extrem scharf und spezifisch.
2. Null Halluzinationen durch fehlende Fakten: Das Modell sieht immer die umgebenden Präzisierungen, Ausnahmen von Regeln („außer im Fall von Naturkatastrophen“) und Abschnittsüberschriften.
3. Erhaltung logischer Tabellen: Tabellen werden nicht mitten durch Zeilen geschnitten.

4. Praktische Schlussfolgerung

Moderne Frameworks (LangChain ParentDocumentRetriever und LlamaIndex) unterstützen hierarchisches Chunking out-of-the-box. Investieren Sie eine halbe Stunde in die Konfiguration des Parent-Child-Schemas – und die Genauigkeit der Antworten Ihres Unternehmensbots steigt um mindestens 30 %.