Der „Lost in the Middle“-Effekt
Eine bekannte kognitive Asymmetrie großer Sprachmodelle, die in einer Studie der Stanford University identifiziert wurde. Sie zeigt, dass die Genauigkeit bei der Informationsextraktion am Anfang und am Ende des Eingabekontexts am höchsten ist, im mittleren Bereich langer Dokumente jedoch stark abfällt.
1. Überblick über das Konzept und den Zweck
Haben Sie jemals versucht, ein dickes Lehrbuch in einer einzigen Nacht vor der Prüfung durchzulesen? Normalerweise erinnern Sie sich hervorragend an das erste Einleitungskapitel und die letzten Seiten, die Sie kurz vor dem Verlassen des Hauses durchgeblättert haben. Aber was auf Seite 240 stand, verschwimmt zu einem grauen Brei.
Seltsam, aber große Sprachmodelle verhalten sich genau so!
Im Jahr 2023 führten Wissenschaftler der Stanford University ein Experiment durch: Sie luden lange Dokumentlisten in Modelle hoch und versteckten die gesuchte Antwort an verschiedenen Stellen. Das Ergebnis schockierte die Branche: Wenn eine Tatsache in der Mitte eines langen Textes lag, sank die Wahrscheinlichkeit, dass das Modell sie findet, von 90 % auf 30 %!
Dieses Phänomen erhielt den Namen Lost in the Middle.
Mentales Modell: Der wichtigste praktische Geheimtipp lautet: Die Platzierung der Information im Prompt ist entscheidend.
2. Die U-förmige Aufmerksamkeitskurve des Modells
ТОЧНІСТЬ ЗНАХОДЖЕННЯ ФАКТУ
100% ────┐ ┌──── 100%
80% │ ╲ ╱ │ 80%
60% │ ╲ ╱ │ 60%
40% │ ╲ ╱ │ 40%
20% │ ╲═════════════════════════════════╱ │ 20%
│ «МЕРТВА ЗОНА СЕРЕДИНИ» │
0% ────┴───────────────────────────────────────────┴──── 0%
ПОЧАТОК ТЕКСТУ СЕРЕДИНА КІНЕЦЬ ТЕКСТУ
(Системний промпт) (Сюди нічого (Запитання)
важливого не кладіть!)
3. So strukturieren Sie lange Prompts korrekt
❌ Fehlerhafte Struktur (Risiko eines Ausfalls):
1. [Довгий документ на 50 сторінок]
2. [Десь усередині на стор. 25: «Головне правило: відповідай тільки українською»]
3. [Запитання до тексту]
Ergebnis: Das Modell übersieht die Regel auf Seite 25 und antwortet auf Englisch.
✅ Makellose ingenieurtechnische Struktur:
1. [Чітка інструкція на початку: «Проаналізуй наведений документ. Відповідай строго українською.»]
2. [Масив документа у розділювачах <document> ... </document>]
3. [Нагадування в самому кінці: «Пам'ятай: витягни лише 3 ключові тези та пиши українською.»]
4. Praktische Schlussfolgerung
Verstecken Sie niemals zentrale Anforderungen oder kritische Fakten tief im Inneren eines riesigen Textblocks. Platzieren Sie alles Wichtige in den ersten und letzten 5 % Ihrer Nachricht.
FAQ: Der „Lost in the Middle“-Effekt
Verwandte Begriffe
Test „Nadel im Heuhaufen“ (Needle In A Haystack / NIAH)
Standard-Benchmark zur Bewertung der Kontextfensterlänge von Sprachmodellen. In einem riesigen Korpus aus zufälligem Hintergrundtext (dem Heuhaufen) wird an verschiedenen Positionen ein kurzer, zufälliger Satz (die Nadel) versteckt, um die Fähigkeit des Modells zu testen, diesen fehlerfrei aufzufinden.
Kontextfenstergröße (Gedächtnis der aktuellen Konversation)
Die maximale Textmenge (in Tokens), die ein Sprachmodell während einer laufenden Unterhaltung gleichzeitig im Speicher halten kann. Sie bestimmt, welche Dokumentlänge ohne Inhaltsverlust auf einmal hochgeladen werden kann.
Trennzeichen und XML-Tags (Strukturierung von Prompts)
Technik zur Gestaltung komplexer Prompts unter Verwendung von XML-Tags (<context>, <rules>) und dreifachen Anführungszeichen (\"\"\"). Hilft dem Modell, klar zu unterscheiden, wo Ihre Regel endet und der zu verarbeitende Text beginnt.