Emocjonalny krajobraz modeli językowych: Nowe odkrycia GoodFire

Zespół badawczy GoodFire kontynuuje eksplorację tzw. geometrii dużych modeli językowych (LLM). Wcześniejsze prace wykazały, że myśli modeli są zorganizowane w formie konkretnych kształtów geometrycznych – na przykład liczby reprezentowane są jako okręgi, a dodawanie do siebie liczb przez LLM odpowiada sumowaniu wielu torusów.

Teraz naukowcy odkryli nowe, intrygujące szczegóły tej struktury. Okazuje się, że wewnątrz modeli istnieje cały krajobraz stanów emocjonalnych.

Eksperyment polegał na podaniu modelowi LLaMA krótkich opowiadań i obserwacji jego stanów aktywacji. Podczas czytania model przemieszcza się po wielowymiarowej przestrzeni stanów, 'odczuwając' różne emocje w zależności od tego, co dzieje się w tekście w danym momencie.

Wizualizacja stanów odpowiadających różnym emocjom ujawnia strukturę bardzo zbliżoną do klasycznego psychologicznego modelu ludzkich emocji. Na przykład radość znajduje się blisko zainteresowania, podczas gdy lęk i gniew charakteryzują się podobną wysoką intensywnością.

Ta mapa może być również wykorzystywana do przewidywania przyszłych odpowiedzi modelu. Jeśli sztucznie przesuniemy aktywacje w kierunku określonej emocji, zmienia się zarówno nastrój, jak i istota generowanych treści.