RAG (Retrieval-Augmented Generation)

1. Konzeptüberblick und systemisches Problem

Der Versuch, alle internen Unternehmensdokumente durch Vorstraining oder Fine-Tuning in die Gewichte eines neuronalen Netzes zu „pressen“, ist ein fundamentaler ingenieurtechnischer Fehler:

1. Katastrophales Vergessen (Catastrophic Forgetting): Das Modell kann teilweise seine grundlegenden Reasoning-Fähigkeiten verlieren, während es versucht, sich spezifische unternehmensinterne Details einzuprägen.
2. Unmöglichkeit der Datenrücknahme (Right to be Forgotten / GDPR): Wenn vertrauliche Dokumente in die Modellgewichte aufgenommen wurden, können sie nicht daraus entfernt werden, ohne das Modell vollständig neu zu trainieren – ein Prozess, der Hunderttausende von Dollar kosten kann.
3. Fehlende Zugriffsrechte-Kontrolle (RBAC): Ein trainiertes Modell würde einem normalen Mitarbeiter Informationen über die Gehälter des Top-Managements offenbaren, da die Daten in den allgemeinen Gewichtsmatrizen vermischt sind.

RAG (Retrieval-Augmented Generation) trennt die Rechenintelligenz vom Datenspeicher: Die LLM bleibt ein neutraler „Reasoning-Prozessor“, während alle Wissensbestände in einer externen Datenbank unter strikter ingenieurtechnischer Kontrolle gespeichert werden.

2. Architektonische Taxonomie und mentales Modell

Die Evolution der RAG-Architektur wird in drei Generationen klassifiziert:

• 1. Naives RAG (Naive RAG): Lineare Pipeline: Chunking -> Embedding -> Vector DB -> Top-K Nearest Neighbors -> Prompt Context. Diese Variante weist ein hohes Maß an Rauschen auf, ignoriert exakte Übereinstimmungen und leidet unter Halluzinationen bei ungünstigen Textsegmentierungen.
• 2. Fortgeschrittenes RAG (Advanced RAG): Integriert Phasen vor und nach der Abfrage:
  • Pre-Retrieval: Query Expansion, Generierung hypothetischer Antworten (HyDE) und Routing zu verschiedenen Wissensdatenbanken.
  • Retrieval: Hybrid Search (BM25 + HNSW-Vektoren).
  • Post-Retrieval: Filterung anhand von Metadaten, Kontextkompression und Cross-Encoder-basiertes Re-Ranking.
• 3. Modulares und agentisches RAG (Modular / Agentic RAG): Der Agent entscheidet selbstständig, wann eine Suche erforderlich ist, überprüft die erhaltenen Fakten (Self-RAG), korrigiert die Query bei fehlenden Daten und nutzt Graph-Indizes (GraphRAG), um komplexe relationale Zusammenhänge zwischen Entitäten zu erkennen.

3. Technische Pipeline und interne Mechanik

Der vollständige Zyklus eines produktiven RAG-Systems besteht aus zwei Kreisläufen:

Indexierungs-Kreislauf (Offline Ingestion Pipeline):

1. Parsing & Clean: Extraktion von Text aus PDF, Markdown, Notion oder SQL sowie Bereinigung von Markup-Sprachen.
2. Syntax-Aware Chunking: Segmentierung entlang logischer Grenzen (AST / Überschriften) mit Überlappungspuffern.
3. Vectorization & Indexing: Generierung von Embedding-Vektoren und Speicherung in der Vektor-Datenbank zusammen mit Zugriffs-Metadaten.

Abfrage-Kreislauf (Online Query Pipeline):

1. Query Transformation: Umwandlung der Benutzerfrage in eine optimierte Suchanfrage.
2. Hybrid Retrieval: Gleichzeitige Abrufung von Kandidaten über Vektoren und den Volltextindex BM25.
3. Re-ranking: Ein Re-Ranker-Modell (Cross-Encoder) bewertet die Top-30 gefundenen Chunks und behält nur die Top-5 relevantesten bei.
4. Grounded Generation: Die LLM erhält einen strengen Prompt mit eingefügten Chunks und formuliert eine präzise Antwort unter zwingender Angabe der Quellen.

4. Praktische Ingenieursszenarien im Produktionsbetrieb

01. Corporate Assistant mit Zugriffsrechte-Trennung (RBAC)

Die Benutzerabfrage wird mit ihrem JWT-Token begleitet. Die Vektor-Datenbank filtert Dokumente bereits im Pre-Filtering-Schritt aus: WHERE team_id = 'engineering' AND access_level <= user.level. Das Modell erhält physisch keine Informationen in den Kontext, auf die der Benutzer keinen Zugriff hat.

02. Technische Dokumentation für Ingenieure mit direkten Referenzen

Ein Entwickler fragt: „Wie konfiguriere ich SQLite-Replikation?“. RAG liefert die exakte Schrittfolge mit Markierungen [Quelle: docs/replication.md#L45], sodass der Ingenieur per Klick zum Quellcode navigieren kann.

03. Automatisierter Compliance-Audit juristischer Verträge

Das System prüft einen 100-seitigen Vertrag gegen das Register der Unternehmensrichtlinien und ruft dabei nur relevante Klauseln zu Force Majeure und Vertragsstrafen ab.

5. Fallstricke, typische Fehler und Sicherheit

• Vergiftung der Wissensbasis (RAG Poisoning): Ein Angreifer lädt eine Datei mit versteckten Anweisungen (Prompt Injection) in die interne Datenbank hoch, die das RAG-System dazu bringt, allen Benutzern falsche Anweisungen zu geben. Validieren Sie Ihre Wissensquellen und setzen Sie Schutzmechanismen (Guardrails) ein.
• Garbage In, Garbage Out: Wenn Sie schlecht gescannte PDFs mit vielen fragmentierten Wörtern in das RAG-System laden, kann kein Modell adäquate Antworten liefern.
• Verlust des Zusammenhangs zwischen Chunks: Eine zu feine Aufteilung beraubt Sätze ihres Kontexts. Reichern Sie Chunks stets mit den Überschriften ihrer übergeordneten Abschnitte an.