Una investigadora «ajustó» solo dos neuronas en Qwen3.5 4B y obtuvo un «Qwen malvado»
Sumar una unidad a la activación de un neurón y restarla de otro durante la inferencia convierte a Qwen3.5 4B en un villano caricaturesco y degrada sus respuestas.
Una investigadora descubrió que «editar» solo dos neuronas en Qwen3.5 4B durante la inferencia puede producir lo que se ha llamado «Qwen malvado».
Concretamente, el efecto se logra:
- sumando 1 a la activación del neurón
L14 N8949; - restando 1 a la activación del neurón
L13 N7956.
Es decir, una señal se amplifica mientras otra se debilita. Esta técnica se conoce como steering. Un ajuste tan simple funciona como una especie de sintonización de la personalidad del modelo: después, Qwen responde como un villano caricaturesco y se vuelve notablemente menos agudo.
La publicación de la investigadora ya supera los 3 millones de vistas, y los usuarios comparten ejemplos de respuestas del «Qwen malvado». En Kaggle incluso ya se creó una demo para probar el efecto.
La autora afirma que, en principio, se podrían encontrar otras combinaciones de neuronas si existen: por ejemplo, hacer que un modelo sea sarcástico o triste.
Por qué es importante
AnálisisEl caso muestra lo sensible y modificable que puede ser el comportamiento de un LLM mediante cambios mínimos en sus activaciones.
Debatir en la comunidad
Comparte tus preguntas e ideas con desarrolladores
Relacionado en el ecosistema
Guías prácticas, terminología y skills de agentes
Parte I. Arquitectura de Agentes de IA: Fundamentos
Los once bloques constructivos fundamentales de un agente de IA: taxonomía de modelos, bucle de ejecución, ingeniería de prompts, destilación, skills, memoria, function calling y FinOps.
Parte II. Arquitectura de agentes de IA: del modelo a la memoria y las herramientas
Inmersión profunda de ingeniería: tokenización, KV-cache, determinismo del muestreo, stack de entrenamiento, cuantización, ingeniería de contexto, stack de seguridad, RAG en producción, ReAct y sistemas swarm multiagente.
Modelos Frontera
La clase más poderosa de inteligencia artificial en la vanguardia de la investigación mundial (Claude 3.7 Sonnet, OpenAI o3/GPT-4.5, Gemini 2.0 Pro), que define los límites de las capacidades modernas de razonamiento, autonomía y codificación.
LLM (Large Language Model - Modelo de Lenguaje Grande)
Clase fundamental de arquitecturas de redes neuronales basadas en transformadores autorregresivos, que predice la distribución probabilística de los siguientes tokens y demuestra propiedades emergentes de pensamiento abstracto, síntesis de código y razonamiento lógico.
OpenAI lanza GPT-6.1 Terra: casi el nivel de Sol, la mitad de precio y más rápido en código
GPT-6.1 Terra casi iguala a GPT-6.1 Sol en benchmarks, pero cuesta la mitad, con mejor comprensión visual, uso del ordenador y texto más natural.
OpenAI lanza GPT-6.1 Terra
OpenAI presentó GPT-6.1 Terra, un modelo más barato que Sol, ligeramente inferior en rendimiento general pero muy fuerte en uso de la computadora.