Forscherin „fixt“ nur zwei Neuronen in Qwen3.5 4B — und erhält einen „bösen Qwen“
Durch das künstliche Hinzufügen und Subtrahieren einer Einheit in zwei Neuron-Aktivierungen wird Qwen3.5 4B zu einem karikaturhaften Bösewicht und liefert spürbar schlechtere Antworten.
Eine Forscherin hat entdeckt, dass man durch „Bearbeitung“ von nur zwei Neuronen in Qwen3.5 4B während der Inferenz einen sogenannten „bösen Qwen“ erzeugen kann.
Konkret wird dabei:
- 1 zur Aktivierung des Neurons
L14 N8949addiert; - 1 von der Aktivierung des Neurons
L13 N7956subtrahiert.
Das eine Signal wird also verstärkt, das andere abgeschwächt. Diese Technik heißt steering. Ein so simpler Tuning-Eingriff wirkt wie eine Einstellung der Modellpersönlichkeit: Danach antwortet Qwen wie ein karikaturhafter böser Schurke und wirkt deutlich weniger scharf.
Der Beitrag der Forscherin hat bereits mehr als 3 Millionen Aufrufe gesammelt, und Nutzer teilen Beispiele für Antworten des „bösen Qwen“. Auf Kaggle wurde bereits eine kleine Demo zum Testen des Effekts erstellt.
Die Autorin sagt, dass sich auf ähnliche Weise grundsätzlich jede Neuronen-Kombination finden ließe, sofern sie existiert — zum Beispiel, um ein Modell sarkastisch oder traurig zu machen.
Warum das wichtig ist
AnalyseDas Experiment zeigt, wie empfindlich und steuerbar LLM-Verhalten durch minimale Änderungen in Neuron-Aktivierungen sein kann.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern
Verwandt im Ökosystem
Praktische Leitfäden, Terminologie und Agenten-Skills
Teil I. Architektur von KI-Agenten: Grundlegende Bausteine
Zehn grundlegende Bausteine eines modernen Agenten: Modell-Taxonomie, Runtime-Loop, Prompting-Techniken, Distillation, Skills, Memory, Function Calling und Unit Economics.
Teil II. Architektur von KI-Agenten: Vom Modell zu Gedächtnis und Tools
Tiefes technisches Eintauchen: Tokenisierung, KV-Cache, Determinismus beim Sampling, Trainings-Stack, Quantisierung, Kontext-Engineering, Security-Stack, produktives RAG, ReAct sowie Multi-Agenten-Swarm-Systeme.
Frontier-Modelle
Die leistungsstärkste Klasse künstlicher Intelligenz an der Spitze der globalen Forschung (Claude 3.7 Sonnet, OpenAI o3/GPT-4.5, Gemini 2.0 Pro), die die Grenzen moderner Fähigkeiten in Bezug auf Reasoning, Autonomie und Coding definiert.
LLM (Large Language Model – Großes Sprachmodell)
Eine fundamentale Klasse neuronaler Netzwerkarchitekturen auf Basis autoregressiver Transformer, die Wahrscheinlichkeitsverteilungen für nachfolgende Tokens vorhersagt und emergente Fähigkeiten im abstrakten Denken, in der Code-Synthese sowie im logischen Schlussfolgern zeigt.
OpenAI veröffentlicht GPT-6.1 Terra: fast Sol-Leistung, halb so teuer und schneller beim Coding
GPT-6.1 Terra erreicht in Benchmarks fast GPT-6.1 Sol, kostet aber die Hälfte und fokussiert auf Visual Understanding, Computer Use und natürlicheren Text.
OpenAI veröffentlicht GPT-6.1 Terra
OpenAI hat GPT-6.1 Terra vorgestellt: ein günstigeres Modell, das leicht hinter Sol liegt, aber besonders stark im Computer-Use ist.