Дослідниця змінила лише два нейрони в Qwen3.5 4B — модель почала відповідати як «злий Qwen»
Просте керування активацією двох нейронів під час інференсу перетворило Qwen3.5 4B на карикатурного «злодія» і помітно погіршило відповіді ШІ-моделі.
Дослідниця виявила, що якщо під час інференсу Qwen3.5 4B лише «відредагувати» два нейрони, можна отримати так званий «злий Qwen».
Конкретно потрібно:
- до активації нейрона
L14 N8949штучно додати 1; - від активації нейрона
L13 N7956, навпаки, відняти 1.
Тобто один сигнал посилюється, а інший ослаблюється. Цей підхід називається steering. Такий простий тюнінг фактично налаштовує «особистість» моделі: після нього Qwen починає відповідати як карикатурний гадкий злодій і помітно тупіє.
Пост дослідниці зібрав понад 3 мільйони переглядів, а користувачі діляться прикладами відповідей «злого Qwen». На Kaggle вже навіть створили іграшку для тестування такого ефекту.
Авторка зазначає, що подібним чином можна знайти будь-яку комбінацію нейронів, якщо вона існує: наприклад, зробити модель саркастичною або сумною.
Чому це важливо
АналітикаЦей кейс показує, що поведінка великих мовних моделей може бути дуже чутливою до крихітних змін у активаціях нейронів.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
LLM (Large Language Model - Велика мовна модель)
Фундаментальний клас нейромережевих архітектур на базі авторегресійного трансформера, що передбачає ймовірнісний розподіл наступних токенів і демонструє емерджентні властивості абстрактного мислення, синтезу коду та логічного висновку.
Вийшла Kimi K3.1: велика ШІ-модель із 2,8 трлн параметрів
Kimi K3.1 заявлена як велика ШІ-модель із 2,8 трлн параметрів і 104 млрд активних параметрів; ваги ще не опубліковані, але їх обіцяють через кілька тижнів.
MiniMax представила модель M3.1 Flash, раніше відому як Space Bunny
MiniMax офіційно представила модель M3.1 Flash, яка раніше була відома як Space Bunny. За заявленими характеристиками, вона генерує понад 200 токенів за секунду й у бенчмарках перевершує інші китайські моделі.
Частина I. Архітектура ШІ-агентів: фундаментальні блоки
Десять фундаментальних блоків сучасного агента: таксономія моделей, рантайм-петля, техніки промптингу, дистиляція, навички (skills), пам'ять, function calling та юніт-економіка.
Частина II. Архітектура ШІ-агентів: від моделі до пам'яті та інструментів
Глибоке інженерне занурення: токенізація, KV-кеш, детермінізм семплінгу, тренувальний стек, квантування, контекстна інженерія, стек безпеки, виробничий RAG, ReAct та мультиагентні swarm-системи.
Frontier Models (Фронтирні моделі ШІ)
Найпотужніший клас штучного інтелекту на передньому краї світових досліджень (Claude 3.7 Sonnet, OpenAI o3/GPT-4.5, Gemini 2.0 Pro), що визначає межу сучасних можливостей міркування, автономності та кодування.