Query Expansion & HyDE
Technik zur Vorbereitung von Suchanfragen in RAG-Systemen. Vor der Abfrage der Vektordatenbank generiert das Sprachmodell automatisch Synonyme, Schlüsselwörter oder eine hypothetische Antwort (HyDE – Hypothetical Document Embeddings), was die Qualität der gefundenen Dokumente erheblich verbessert.
1. Überblick über das Konzept und den Zweck
Wenn Sie in einer unternehmensinternen Dokumentenbasis nach Informationen suchen, formulieren Sie Ihre Anfrage oft so, wie Sie denken:
- „Warum funktioniert mein Login per Telefon nicht?“
In der offiziellen Ingenieursdokumentation wird derselbe Prozess jedoch mit anderen Begriffen beschrieben:
- „Zwei-Faktor-SMS-Authentifizierung über Twilio-Gateway: Behebung von Timeouts“.
Würde man Ihre kurze Frage einfach in einen Vektor umwandeln, könnte sie an der offiziellen Dokumentation vorbeischießen.
Query Expansion ist die intelligente Brücke zwischen der Umgangssprache des Menschen und der professionellen Terminologie der Wissensbasis:
- Bevor die Suche in der Vektordatenbank startet, wandelt ein schnelles Modell Ihre einzelne Frage in drei professionelle Varianten um.
- Die Datenbank sucht Dokumente entlang aller drei Richtungen.
- Sie erhalten ein zu 100 % präzises Ergebnis, selbst wenn Sie keinen einzigen Fachbegriff kannten.
In der Ingenieurpraxis entspricht dies der Einstellung eines erfahrenen Bibliothekars, der Ihre einfache Bitte in die exakten wissenschaftlichen Katalogcodes übersetzt.
2. Funktionsweise der HyDE-Methode (Hypothetical Document Embeddings)
┌─────────────────────────────────────────────────────────────┐
│ МЕТОД HyDE В СИСТЕМАХ RAG │
├─────────────────────────────────────────────────────────────┤
│ 1. ВАШЕ ПИТАННЯ: «Чому колесо велосипеда скрипить?» │
├─────────────────────────────────────────────────────────────┤
│ 2. МОДЕЛЬ ГЕНЕРУЄ ГІПОТЕТИЧНУ СТАТТЮ (HyDE): │
│ «Скрип у втулці колеса зазвичай викликаний зносом │
│ підшипників або браком мастила на осі каретки...» │
├─────────────────────────────────────────────────────────────┤
│ 3. ВЕКТОРНИЙ ПОШУК: │
│ Система шукає в базі документи, схожі не на ваше коротке │
│ питання, а на детальну технічну статтю з термінами! │
├─────────────────────────────────────────────────────────────┤
│ 🎯 РЕЗУЛЬТАТ: Миттєво знайдено точну заводську інструкцію! │
└─────────────────────────────────────────────────────────────┘
3. Vier Techniken zur Query Expansion
- Synonymgenerierung: Hinzufügen verwandter Begriffe in Deutsch und Englisch.
- Aufteilung in Teilaufgaben (Decomposition): Wenn eine Anfrage lautet „Vergleiche die Umsätze von Unternehmen X und Y für 2025“, sucht das System getrennt nach den Umsätzen von X und getrennt nach den Umsätzen von Y.
- Step-Back Prompting (Schritt zurück): Generierung einer allgemeineren Frage, um fundamentale Prinzipien des Themas zu extrahieren.
- Korrektur von Tippfehlern und Slang: Automatische Normalisierung des Textes auf den offiziellen Wortschatz.
4. Praktische Schlussfolgerung
Die Einführung einer einfachen Query Expansion-Phase vor der Vektorsuche steigert die Trefferquote relevanter Dokumente in der Unternehmenswissensbasis von 65 % auf 90 %, ohne dass eine teurere Datenbankinfrastruktur erforderlich ist.
FAQ: Query Expansion & HyDE
Verwandte Begriffe
Semantische Suche (Suche nach Inhalt, nicht nach Buchstaben)
Eine Informationssuchtechnologie, die auf dem konzeptionellen Inhalt der Anfrage basiert und nicht auf exakten Übereinstimmungen von Buchstaben oder Schlüsselwörtern. Sie versteht Synonyme, Umschreibungen, Tippfehler und abstrakte Fragen in natürlicher Sprache.
RAG vs. Fine-Tuning (Die ewige Dilemma der KI-Implementierung)
Eine grundlegende architektonische Entscheidung für Unternehmen. RAG (Dokumentensuche zur Laufzeit) im Vergleich zu Fine-Tuning (Anpassung der Modellgewichte durch Nachtraining). Auswahlkriterien basierend auf der Aktualität von Fakten versus spezifischem Verhaltensstil.
Hybride Suche (Hybrid Search: Dense + Sparse / BM25)
Eine Informationsarchitektur, die semantische Vektorsuche (Dense Retrieval – Verständnis von Inhalt und Synonymen) mit klassischer Schlüsselwortsuche für exakte Begriffe (Sparse Retrieval / BM25) kombiniert. Sie gewährleistet eine ideale Balance zwischen konzeptionellem Verständnis und präziser Suche nach Artikelnummern, Seriennummern oder Namen.