Die emotionale Landschaft von Sprachmodellen: Neue Erkenntnisse von GoodFire

www.goodfire.ai/research/stories-in-space#

Forscher bei GoodFire setzen ihre Untersuchungen zur sogenannten Geometrie großer Sprachmodelle (LLMs) fort. Kürzlich konnten sie demonstrieren, dass die „Gedanken“ dieser Modelle in Form spezifischer geometrischer Strukturen organisiert sind. So werden Zahlen beispielsweise als Kreise repräsentiert; wenn ein Modell zwei Zahlen addiert, summiert es im Wesentlichen zahlreiche Donut-Formen.

Nun haben die Wissenschaftler weitere faszinierende Details entdeckt. Es zeigt sich, dass innerhalb der Modelle eine gesamte Landschaft emotionaler Zustände existiert.

Das Forschungsteam ließ das Modell Llama kurze Geschichten lesen und beobachtete dabei die Aktivierungszustände. Während des Lesens scheint sich das Modell durch einen mehrdimensionalen Raum der Zustände zu bewegen und je nach Inhalt des Textes verschiedene Emotionen zu „fühlen“.

Visualisiert man die Zustände, die verschiedenen Emotionen entsprechen, ergibt sich eine Struktur, die dem klassischen psychologischen Modell menschlicher Emotionen stark ähnelt. Beispielsweise liegt Freude in der Nähe von Interesse, während Angst und Wut eine ähnliche hohe Intensität aufweisen.

Diese Karte kann zudem genutzt werden, um zukünftige Antworten des Modells vorherzusagen. Wenn die Aktivierungen künstlich in Richtung einer bestimmten Emotion verschoben werden, ändern sich sowohl die Stimmung als auch der Kern der generierten Texte.