Pesquisadora «ajustou» apenas dois neurônios no Qwen3.5 4B e criou um «Qwen malvado»
Somar uma unidade à ativação de um neurônio e subtrair uma de outro durante a inferência transforma o Qwen3.5 4B em um vilão caricato e piora visivelmente suas respostas.
Uma pesquisadora descobriu que «editar» apenas dois neurônios no Qwen3.5 4B durante a inferência pode gerar o chamado «Qwen malvado».
Mais especificamente, o efeito é obtido:
- somando 1 à ativação do neurônio
L14 N8949; - subtraindo 1 da ativação do neurônio
L13 N7956.
Ou seja, um sinal é amplificado enquanto outro é enfraquecido. Essa técnica é conhecida como steering. Um ajuste tão simples funciona como uma espécie de sintonização da personalidade do modelo: depois disso, o Qwen passa a responder como um vilão caricato e fica visivelmente menos inteligente.
A publicação da pesquisadora já ultrapassou 3 milhões de visualizações, e usuários compartilham exemplos de respostas do «Qwen malvado». No Kaggle, já foi criada até uma demo para testar o efeito.
A autora afirma que, em princípio, é possível encontrar qualquer combinação de neurônios, se ela existir: por exemplo, tornar o modelo sarcástico ou triste.
Por que isso importa
AnáliseO caso mostra como o comportamento de um LLM pode ser sensível e controlável por pequenas alterações nas ativações neurais.
Debater na comunidade
Compartilhe suas dúvidas e insights com desenvolvedores
Relacionado no ecossistema
Guias práticos, terminologia essencial e skills de agentes
Parte I. Arquitetura de Agentes de IA: Blocos Fundamentais
Dez blocos fundamentais de um agente moderno: taxonomia de modelos, loop de runtime, técnicas de prompting, destilação, habilidades (skills), memória, function calling e economia por unidade.
Parte II. Arquitetura de Agentes de IA: do Modelo à Memória e Ferramentas
Imersão profunda em engenharia: tokenização, cache KV, determinismo de amostragem, stack de treinamento, quantização, engenharia de contexto, stack de segurança, RAG em produção, ReAct e sistemas swarm multiagente.
Modelos de Fronteira
A classe mais poderosa de inteligência artificial na vanguarda da pesquisa global (Claude 3.7 Sonnet, OpenAI o3/GPT-4.5, Gemini 2.0 Pro), que define os limites atuais das capacidades de raciocínio, autonomia e codificação.
LLM (Large Language Model - Modelo de Linguagem Grande)
Classe fundamental de arquiteturas de redes neurais baseada em transformadores autorregressivos, que prevê a distribuição probabilística dos próximos tokens e demonstra propriedades emergentes de pensamento abstrato, síntese de código e raciocínio lógico.
OpenAI lança GPT-6.1 Terra: quase o nível do Sol, metade do preço e mais rápido em código
GPT-6.1 Terra quase alcança o GPT-6.1 Sol em benchmarks, mas custa metade, com foco em visual understanding, computer use e texto mais natural.
OpenAI lança GPT-6.1 Terra
OpenAI apresentou o GPT-6.1 Terra, um modelo mais barato que o Sol, ligeiramente inferior em desempenho geral, mas forte em uso do computador.