Dokument-Chunking für Einsteiger

1. Überblick über das Konzept und den Zweck

Wenn ein Einsteiger seinen ersten Chatbot für Antworten auf PDF-Anleitungen erstellt, lautet die erste naive Überlegung: „Ich nehme einfach das 200-seitige Handbuch zur Waschmaschine und speichere es in der Datenbank.“

So funktioniert es jedoch nicht:

• Wird die Datei als Ganzes hochgeladen, wird der Vektor unscharf – wie ein Foto im Nebel.
• Wird die Datei satzweise zerschnitten, findet das Modell zwar den Satz „Drücken Sie Taste B“, weiß aber nicht, um welches Waschprogramm es sich handelt, da der Programmname im vorherigen Satz stand.

Chunking (Zerschneiden in Fragmente) ist die Kunst, einen großen monolithischen Text in ideal dimensionierte „Informationsportionen“ zu unterteilen.

Praktische Analogie: Das wichtigste Engineering-Geheimnis, von dem zu 90 % die Qualität der Antworten Ihres Unternehmensbots abhängt.

2. Mentales Modell des Chunkings mit Überlappung (Overlap)

Schauen Sie sich an, wie die Überlappung an der Schnittstelle zweier Fragmente funktioniert:

┌─────────────────────────────────────────────────────────────┐
│                 МЕХАНІКА ЧАНКІНГУ З ПЕРЕКРИТТЯМ             │
├─────────────────────────────────────────────────────────────┤
│ 📄 ЧАНК 1 (500 токенів):                                    │
│    «...Для активації режиму безпеки поверніть перемикач     │
│    за годинниковою стрілкою до упору. [ПОЧАТОК ПЕРЕКРИТТЯ:  │
│    Після цього обов'язково утримуйте червону кнопку 3 сек]» │
├─────────────────────────────────────────────────────────────┤
│                               ▲                             │
│                               │ (Спільні 50 токенів)        │
│                               ▼                             │
├─────────────────────────────────────────────────────────────┤
│ 📄 ЧАНК 2 (500 токенів):                                    │
│    «[КІНЕЦЬ ПЕРЕКРИТТЯ: Після цього обов'язково утримуйте   │
│    червону кнопку 3 сек]. Переконайтеся, що зелений індикатор│
│    почав блимати...»                                        │
└─────────────────────────────────────────────────────────────┘

Dank dieser Überlappung findet das System sowohl Teil 1 als auch Teil 2, selbst wenn der Benutzer fragt: „Wie viele Sekunden muss ich den roten Knopf gedrückt halten?“

3. Drei grundlegende Strategien für das Chunking

1. Fixed-size Chunking: Die einfachste Methode – striktes Zerschneiden alle 500 Zeichen. Schnell, kann aber Wörter oder Sätze mitten durchtrennen.
2. Semantisches Chunking nach Absätzen: Der Text wird anhand doppelter Zeilenumbrüche \n\n oder Punktezeichen geschnitten, wobei die Integrität jedes einzelnen Gedankens erhalten bleibt.
3. Markdown-Chunking nach Überschriften (#, ##, ###): Die beste Wahl für technische Dokumentation. Jeder Unterabschnitt wird zu einem eigenen Chunk, wobei der Name des übergeordneten Abschnitts beibehalten wird.

4. Praktische Schlussfolgerung

Wenn Ihr Bot nur fragmentarisch antwortet oder den Kontext nicht versteht, haben Sie den Text höchstwahrscheinlich zu fein zerschnitten. Erhöhen Sie die Chunk-Größe von 200 auf 600 Tokens und fügen Sie 10 % Overlap hinzu – und die Genauigkeit der Antworten steigt sofort!