KI-Halluzinationen (Hallucinations & Confabulations)

1. Konzeptüberblick und systemisches Problem

Die gefährlichste Eigenschaft künstlicher Intelligenz liegt in der Diskrepanz zwischen linguistischer Perfektion und faktischer Richtigkeit:

1. Kompetenz-Illusion: Das Modell beschreibt einen erfundenen API-Endpunkt mit derselben überzeugenden, akademischen Tonalität wie die offizielle Dokumentation einer Standardbibliothek.
2. Abhängigkeits-Halluzination: Bei dem Versuch, eine Entwickleraufgabe zu lösen, importiert ein LLM oft praktische Methoden oder Bibliotheken, die in der realen Welt nie existiert haben.
3. Kaskadierende Fehlerakkumulation (Hallucination Cascades): Wenn ein autonomer Agent seine erste Entscheidung auf Basis einer Halluzination trifft, werden alle folgenden 10 Schritte versuchen, diese nicht-existente Realitätslinie weiterzuentwickeln – was Stunden an Zeit und Budget verschwendet.

Halluzinationen (Hallucinations) sind kein Bug eines spezifischen neuronalen Netzwerks, sondern ein inhärentes Merkmal autoregressiver probabilistischer Systeme. Dies erfordert vom Ingenieur ein striktes System externer Verankerung (Grounding) und deterministischer Validierung.

2. Architektonische Taxonomie und mentales Modell

Im Bereich der KI werden Halluzinationen nach drei Hauptausprägungsformen klassifiziert:

• 1. Intrinsische Halluzinationen (Intrinsic Hallucinations): Die Antwort des Modells widerspricht direkt den Informationen, die ihm im Prompt oder RAG-Kontext bereitgestellt wurden (z. B. ist im Text ein Preis von $50 angegeben, das Modell schreibt aber im Fazit $150).
• 2. Extrinsische Halluzinationen (Extrinsic Hallucinations): Das Modell fügt Details hinzu, die weder im Kontext vorhanden waren noch in der Realität existieren (erfundene Gesetzesartikel, Links zu nicht-existenten Seiten, Zitate von Personen).
• 3. Code- & API-Halluzinationen (Code & API Hallucinations):
  • Erfundene CLI-Flags (z. B. docker run --auto-clean).
  • Nicht-existente Klassenmethoden (z. B. Aufruf von db.users.findAndUpsert()).
  • Erfundene npm/pip-Pakete von Drittanbietern (Slopsquatting-Bedrohung).

3. Technischer Pipeline und interne Mechanik

Der Engineering-Pipeline zur Unterdrückung und Detektion von Halluzinationen:

1. Context Grounding (Faktenverankerung): Verwendung von strengem RAG mit einem einschränkenden Prompt: „Antworte ausschließlich basierend auf den bereitgestellten Dokumenten. Falls keine Antwort im Text enthalten ist, gib 'NO_DATA' zurück.“
2. Sampling Parameter Tuning (Kalibrierung der Stichprobenziehung): Einstellung von temperature = 0.0 und Reduktion von top_p, um zufälliges Abdriften in die Schwänze der Wahrscheinlichkeitsverteilung zu minimieren.
3. Deterministic Pre-flight Verification (Deterministische Vorabprüfung): Automatischer Start von Oracles: TypeScript-Kompilierung (tsc), Überprüfung der Existenz des importierten Pakets im offiziellen Registry via API oder HTTP HEAD Request auf Link-URLs.
4. Adversarial Double-Check (Audit durch Kritiker): Ein leichtgewichtiges Judge-Modell vergleicht den Ausgabetext mit den Quelldokumenten und markiert jede unbestätigte Aussage (Fact Extraction & NLI Matching).

4. Praktische Engineering-Szenarien im Production-Umfeld

01. Pre-flight Audit der Dependency-Registries (Schutz vor Slopsquatting)

Ein Agent hat ein Skript geschrieben und ein neues Paket in package.json hinzugefügt. Bevor npm install ausgeführt wird, sendet das Sicherheitssystem eine Anfrage an registry.npmjs.org. Ist das Paket weniger als 48 Stunden alt registriert oder existiert es gar nicht, wird die Aktion sofort blockiert, accompanied by a Alert über Verdacht auf Halluzination oder Angriff.

02. RAGAS Grounding im Corporate Support Assistant

Ein Chatbot beantwortet juristische Fragen von Mitarbeitern. Das Framework überprüft automatisch jede generierte These. Fällt der Faithfulness-Level unter 0.90, sieht der Benutzer die Meldung: „Ich kann keinen genauen Punkt im Reglement finden, bitte wenden Sie sich an die HR-Abteilung.“

03. Schema-Abgleich mit OpenAPI / Swagger

Vor dem Aufruf einer externen API muss der Code-Agent den Funktionsnamen und ihre Argumente mit der Spezifikationsdatei swagger.json abgleichen, um erfundene Request-Parameter zu eliminieren.

5. Fallstricke, typische Fehler und Sicherheit

• Blindes Vertrauen in schönen Stil: Je besser das Modell die Sprache beherrscht, desto leichter glaubt der Mensch seinen Erfindungen. Fordern Sie immer präzise Quellenangaben oder Ausführungs-Artefakte.
• Halluzinationen bei regulatorischen und medizinischen Normen: Der Versuch, steuerrechtliche Ratschläge ohne Anbindung an den aktuellen Gesetzestext via RAG zu erhalten, führt garantiert zu rechtlichen Strafen.
• Künstliche Halluzinationen durch Context Rot: Veralteter oder mit Noise überladener Kontext erhöht die Frequenz von Halluzinationen um das 3–5-fache. Halten Sie den Kontext sauber.