Исследовательница изменила всего два нейрона в Qwen3.5 4b — и получила «злой Qwen»

Исследовательница обнаружила, что если в Qwen3.5 4b «исправить» всего два нейрона, вы получите «злой Qwen».

Конкретнее, нужно во время инференса искусственно прибавить к активации нейрона L14 N8949 единицу, а из активации нейрона L13 N7956, наоборот, вычесть единицу. То есть один сигнал мы усиливаем, а другой ослабляем. Это называется steering. И вот такой простой тюнинг служит как бы настройкой личности модели. После неё Qwen начинает отвечать как карикатурный гадкий злодей и заметно тупеет.

Её пост собрал уже более 3 миллионов просмотров, а люди в комментариях делятся тем, как им отвечает злой Qwen (на Kaggle уже даже сделали игрушку). Выглядит довольно комично, а автор говорит, что подобным образом можно найти любую комбинацию нейронов, если она существует: например, сделать модель саркастичной или грустной.