Le paysage émotionnel des modèles de langage : les nouvelles découvertes de GoodFire

Les équipes de recherche de GoodFire continuent d'explorer la géométrie interne des grands modèles de langage (LLM). Récemment, elles ont établi que les processus de pensée de ces modèles s'organisent sous forme de structures géométriques spécifiques. Par exemple, les nombres sont représentés par des cercles et, lorsqu'un LLM additionne deux valeurs, il effectue en réalité une somme complexe de multiples tores.

Aujourd'hui, de nouveaux détails intrigants émergent. Il apparaît qu'une véritable cartographie des états émotionnels existe au sein même des modèles.

Pour cette étude, les scientifiques ont soumis le modèle Llama à la lecture de nouvelles courtes et ont observé ses états d'activation. Durant ce processus, le modèle semble évoluer à travers un espace multidimensionnel de configurations, « ressentant » diverses émotions en fonction du contexte narratif à chaque instant.

Lorsque l'on visualise les états correspondant aux différentes émotions, on découvre une structure qui rappelle fortement le modèle psychologique classique des émotions humaines. La joie, par exemple, est proche de l'intérêt, tandis que la peur et la colère partagent une intensité élevée similaire.

Cette carte émotionnelle permet également de prédire les futures réponses du modèle. En orientant artificiellement les activations vers une émotion spécifique, on modifie substantiellement le ton et la substance des générations textuelles.