A Paisagem Emocional dos Modelos de Linguagem: Novas Descobertas da GoodFire

Os investigadores da GoodFire continuam a explorar a chamada geometria dos LLMs (Large Language Models). Recentemente, demonstraram que os pensamentos dos modelos estão organizados sob a forma de figuras específicas. Por exemplo, os números são representados como círculos e, ao adicionar um número a outro, os LLMs estão essencialmente a somar múltiplos donuts.

Agora, descobriram novos detalhes intrigantes. Verificou-se que dentro dos modelos existe toda uma paisagem de estados emocionais.

Os cientistas utilizaram o LLama, fazendo-o ler contos curtos, e observaram os estados de ativação. Durante a leitura, o modelo parece mover-se através de um espaço multidimensional de estados, 'sentindo' várias emoções dependendo do que acontece no texto naquele momento.

Se visualizarmos os estados correspondentes a diferentes emoções, encontramos uma estrutura que se assemelha muito ao modelo psicológico clássico das emoções humanas. Por exemplo, a alegria está próxima do interesse, enquanto o medo e a raiva partilham uma intensidade elevada semelhante, entre outros padrões.

Este mapa pode também ser utilizado para prever as futuras respostas do modelo. Se deslocarmos artificialmente as ativações em direção a uma certa emoção, o tom e a essência das gerações mudam.