Kontextfenstergröße (Gedächtnis der aktuellen Konversation)
Die maximale Textmenge (in Tokens), die ein Sprachmodell während einer laufenden Unterhaltung gleichzeitig im Speicher halten kann. Sie bestimmt, welche Dokumentlänge ohne Inhaltsverlust auf einmal hochgeladen werden kann.
1. Überblick über das Konzept und den Zweck
Stellen Sie sich vor, Sie lesen ein Buch, aber Ihr Gedächtnis ist so beschaffen, dass Sie sich nur an die letzten 30 Seiten erinnern können, die Sie gerade gelesen haben. Sobald Sie Seite 31 umblättern, werden die Ereignisse von Seite 1 unwiederbringlich aus Ihrem Kopf gelöscht.
Genau so funktioniert das Context Window eines Sprachmodells. Es ist dessen flüchtiger Arbeitsspeicher.
Alles, was in das Context Window gelangt:
- Die Systemanweisung („Du bist ein erfahrener Tutor“).
- Die gesamte bisherige Chat-Historie in diesem spezifischen Thread.
- Der Text aller von Ihnen hochgeladenen Dateien.
- Ihre aktuelle neue Anfrage.
Wenn die Summe all dieser Elemente das Limit des Modells überschreitet, beginnen alte Daten „abgeschnitten“ zu werden.
2. Evolution der Speicherfenster-Größen
┌─────────────────────────────────────────────────────────────┐
│ ЕВОЛЮЦІЯ РОЗМІРУ КОНТЕКСТНОГО ВІКНА │
├─────────────────────────────────────────────────────────────┤
│ 📜 2022 рік (GPT-3.5): │
│ [4 000 токенів] ➔ ~10 сторінок тексту │
├─────────────────────────────────────────────────────────────┤
│ 📖 2023 рік (GPT-4 Turbo): │
│ [128 000 токенів] ➔ ~300 сторінок (ціла товста книга) │
├─────────────────────────────────────────────────────────────┤
│ 📚 2024–2026 роки (Claude 3.5 Sonnet): │
│ [200 000 токенів] ➔ ~500 сторінок або весь код проекту │
├─────────────────────────────────────────────────────────────┤
│ 🏛️ Google Gemini 1.5 Pro: │
│ [2 000 000 токенів] ➔ Бібліотека з 35 книг або 1 год відео│
└─────────────────────────────────────────────────────────────┘
3. Warum Gespräche in einem einzigen Chat mit der Zeit „dümmer“ werden (Context Rot)
Viele Anfänger begehen einen typischen Fehler: Sie führen monatelang denselben endlosen Dialog, in dem sie Fragen zum Wetter, zu Rezepten, zur Code-Fehlerbehebung und zu Urlaubsplänen stellen.
Mit der Zeit häuft ein solcher Chat Zehntausende von Tokens an altem, unnützem Ballast an. Das Modell beginnt:
- Langsamer zu antworten.
- Sich in seinen eigenen Anweisungen zu verheddern.
- Deutlich mehr Kosten pro neuem Wort zu verursachen.
4. Die goldene Regel der Kontext-Hygiene
Eine Aufgabe — ein neuer Chat!
Sobald Sie mit einer konkreten Aufgabe fertig sind (z. B. einen Artikel geschrieben oder einen Bug im Skript behoben haben) — öffnen Sie einen neuen, leeren Chat. Dies aktualisiert den Arbeitsspeicher des Modells, schont Ihr Budget und gewährleistet höchste Antwortqualität ohne Überreste alten Ballasts.
FAQ: Kontextfenstergröße (Gedächtnis der aktuellen Konversation)
Verwandte Begriffe
Kontextfenster (Context Window)
Die maximale Token-Kapazität, die ein Sprachmodell während der Berechnung einer Inferenzanfrage gleichzeitig im Self-Attention-Mechanismus und im KV-Cache-Speicher halten kann.
Tokens Explained Simply (How Many Words in a Token)
The basic unit of text measurement in language models. An explanation of how words are broken down into tokens, why this impacts request costs, and why Ukrainian words consume more tokens than English ones.
Kontextfenster-Überlauf & Kompaktierung
Engineering Patterns zur Vermeidung fataler Ausfälle bei Erreichen des Kontextlimits: Rolling Summaries, State-Kompaktierung und selektive Verdrängung veralteter Historie.