El paisaje emocional de los modelos de lenguaje: nuevos descubrimientos de GoodFire

www.goodfire.ai/research/stories-in-space#

Los investigadores de GoodFire continúan explorando la llamada geometría de los LLM. Recientemente, demostraron que los pensamientos de los modelos están organizados en forma de ciertas figuras. Por ejemplo, los números se representan como círculos, y al sumar un número a otro, los LLM están esencialmente sumando numerosos donuts.

Ahora han descubierto nuevos detalles intrigantes. Resulta que dentro de los modelos existe todo un paisaje de estados emocionales.

Los científicos tomaron a LLama, le hicieron leer cuentos cortos y observaron los estados de activación. Durante la lectura, el modelo parece moverse a través de un espacio multidimensional de estados, 'sintiendo' diversas emociones dependiendo de lo que ocurre en el texto en ese momento.

Si visualizamos los estados correspondientes a diferentes emociones, encontramos una estructura que se asemeja mucho al modelo psicológico clásico de las emociones humanas. Por ejemplo, la alegría está cerca del interés, mientras que el miedo y la ira comparten una alta intensidad similar, y así sucesivamente.

Este mapa también se puede utilizar para predecir las respuestas futuras del modelo. Si empujamos artificialmente las activaciones hacia una cierta emoción, el estado de ánimo y la esencia de las generaciones cambian.