Badaczka „naprawiła” tylko dwa neurony w Qwen3.5 4B — powstał „zły Qwen”

Badaczka odkryła, że „edytując” zaledwie dwa neurony w Qwen3.5 4B podczas inferencji, można uzyskać tak zwany „zły Qwen”.

Konkretnie efekt osiąga się przez:

• dodanie 1 do aktywacji neuronu L14 N8949;
• odjęcie 1 od aktywacji neuronu L13 N7956.

Czyli jeden sygnał jest wzmacniany, a drugi osłabiany. Ta technika nazywa się steering. Tak proste strojenie działa jak ustawienie osobowości modelu: po nim Qwen zaczyna odpowiadać jak karykaturalny złoczyńca i wyraźnie tępieje.

Post badaczki zebrał już ponad 3 miliony wyświetleń, a użytkownicy dzielą się przykładami odpowiedzi „złego Qwen”. Na Kaggle powstała nawet zabawka do testowania tego efektu.

Autorka twierdzi, że w podobny sposób można znaleźć dowolną kombinację neuronów, jeśli istnieje: na przykład sprawić, by model był sarkastyczny lub smutny.