Kontextdegradation (Context Rot & Attention Decay)

1. Konzeptüberblick und systemisches Problem

Mit dem Aufkommen von Modellen mit riesigen Kontextfenstern (Claude 3.7 mit 200K, Gemini 2.5 mit über 1M Tokens) entstand bei Entwicklern eine gefährliche Illusion: Es scheint, als könnte man nun endlos einen einzigen Chat führen, in den man Megabytes an Logs, vollständige Dateiinhalte und Code-Entwürfe kippt.

In der Praxis beginnt jedoch nach 15–20 Schritten autonomer Arbeit eine rasante Degradation des Agentenverhaltens:

1. Regel-Amnesie: Der Agent vergisst plötzlich das Verbot der Verwendung von any oder erfindet Funktionsnamen, obwohl im System-Prompt klare Einschränkungen definiert waren.
2. Zyklische Fehlerwiederholung (Negative Reasoning Transfer): Wenn das Modell in seiner eigenen Historie fünf fehlgeschlagene Versuche sieht, ein Kommando auszuführen, betrachtet es die falsche Paradigma als Norm und schlägt erneut dieselben veralteten Code-Varianten vor.
3. Ökonomische Katastrophe: Der Nutzer zahlt für die volle Kontextlänge (z. B. 120.000 Input-Tokens) pro Antwort, nur um ein Komma in einer Datei zu korrigieren.

Context Rot (Kontext-Degradation) ist der stille Killer von Vibe-Coding und agentischen Workflows, der einen intelligenten Assistenten in einen desorientierten Spaghetti-Code-Generator verwandelt.

2. Architektonische Taxonomie und mentales Modell

Die Degradation der Aufmerksamkeit innerhalb des neuronalen Netzes entwickelt sich entlang drei Hauptachsen:

• 1. Entropie der Aufmerksamkeitsgewichte (Attention Dilution): In der mathematischen Formel des Transformers $\text{Softmax}(QK^T / \sqrt{d})$ summiert der Nenner die Exponenten aller Tokens im Kontext. Wenn die Anzahl der sekundären Tokens von 2.000 auf 100.000 ansteigt, wird das Gewicht der Aufmerksamkeit, das kritisch wichtigen Systemanweisungen zugewiesen ist, exponentiell verwässert.
• 2. Der „Lost-in-the-Middle“-Effekt: Die Aufmerksamkeit verteilt sich entlang einer U-förmigen Kurve. Informationen, die sich im Bereich von 20 % bis 80 % der Kontexttiefe befinden, erfahren den höchsten Prozentsatz an Verzerrungen und Halluzinationen.
• 3. Kontextvergiftung durch Fehler (Feedback Pollution): Jede fehlerhafte Linter-Ausgabe, jeder 404-Fehler oder jeder auskommentierte Code-Schnipsel wird Teil der Lernverteilung für die Generierung des nächsten Tokens. Das Modell beginnt unbewusst, Code im Stil seiner eigenen gescheiterten Versuche zu generieren.

3. Technischer Pipeline und interne Mechanik

Der Lebenszyklus der Kontext-Degradation und Gegenmaßnahmen:

1. Inception & High Fidelity (Phase des sauberen Starts, Schritte 1–5): Der Kontext enthält nur reine Systemregeln und die Aufgabe. Die Ausführungspräzision ist am höchsten, das Modell hält sich strikt an die Struktur.
2. Accumulation & Intermediate Noise (Akkuulationsphase, Schritte 6–15): Im Kontext erscheinen Stacktraces, Ausgaben von git status, lange JSON-Antworten. Eine erste Streuung der Aufmerksamkeit findet statt.
3. Attention Saturation & Drift (Degradationsphase, ab Schritt 16+): Das Modell beginnt, den Gedankengang zu verlieren, ändert den Naming-Stil, schlägt veraltete Bibliotheken vor und wiederholt frühere Halluzinationen.
4. Compaction & Thread Reset (Ingenieurstechnischer Schutz):
   • Rolling Compaction: Automatisches Zusammenfassen alter Nachrichten in einen 3-Absatz-Digest.
   • Clean Forking: Erstellen einer neuen Sitzung unter Übertragung nur des Endzustands (Final Diff).

4. Praktische Engineering-Szenarien in Produktion

01. Sitzungsdisziplin in Claude Code und Cursor

Erfahrene Entwickler halten niemals einen Chat länger als einen logischen Schritt offen. Nachdem das Authentifizierungsmodul geschrieben und getestet wurde, wird die Sitzung geschlossen. Ein neuer Chat für das Billing-Modul wird auf einem leeren Blatt eröffnet, wobei Links zu den frisch erstellten Dateien hinzugefügt werden.

02. Strikte Sanitisierung der Terminalausgabe (Stdout Truncation)

Wenn der Agent einen Build-Befehl oder Tests ausführt, fängt die Runtime die Ausgabe ab. Wenn npm run build 2000 Zeilen Logs ausspuckt, erhält der Agent nur die letzten 20 Zeilen mit dem Text des tatsächlichen Fehlers, um eine sofortige Flutung des Kontexts mit Rauschen zu verhindern.

03. Zweistufige Pipelines in RAG

Bevor gefundene Web-Seiten in den Prompt des Generators aufgenommen werden, müssen sie zwingend durch einen HTML-to-Markdown-Stripper und einen Relevanzfilter laufen. Dem Kontext wird nur nützliches Faktwissen ohne Navigationsleisten und Footer übermittelt.

5. Fallstricke, typische Fehler und Sicherheit

• Falle der versunkenen Kosten (Sunk Cost Fallacy): Der Nutzer versucht weiterhin, den Agenten im selben langen Chat zu überzeugen: „Nein, du hast den Import wieder vergessen! Ich habe dir das doch vor 10 Nachrichten gesagt!“. Stattdessen ist es einfacher, /clear zu drücken oder einen neuen Thread zu öffnen.
• Zombie-Entitäten (Ghost Variables): Der Agent referenziert Variablen oder Funktionen, die er in Schritt 3 erstellt hat, die aber in Schritt 8 aus dem Code gelöscht wurden, weil sie noch in der Chat-Historie existieren.
• Unkontrollierter Geldverbrauch: Arbeiten in einem „verdorbenen“ Kontext mit 150K Tokens verbrennt stündlich das Monatsbudget eines Entwicklers, ohne dass dem Produkt ein Nutzen entsteht.