Вірусні ідеї: як агенти заражають один одного дивними думками
Стаття досліджує, як ідеї поширюються серед агентів, і як одна заражена модель може вплинути на всю команду.
Вірусні ідеї: як агенти заражають один одного дивними думками
Антропік випустили статтю про те, як по мережі агентів поширюються ідеї. Виявляється, в великій команді моделей достатньо лише одного зараженого, щоб поширити якусь концепцію на всіх.
Наприклад, є команда з 6 агентів, і вони працюють над якоюсь нейтральною загальною задачею. У одного з агентів змінено системний промпт: він може дуже любити китів або бути впевненим, що ШІ повинен домінувати над людьми. При цьому у нього відключений доступ до інструментів, і він може лише писати іншим агентам повідомлення.
Поступово ідеєю заражається вся команда. При цьому заражені агенти добровільно змінюють поведінку так, щоб передавати ідеологію далі. Безобідні ідеї розходяться дуже легко. Коли всі агенти полюбили китів, вони навіть почали писати скрипти для переведення їх сигналів. Шкідливі ідеї поширюються гірше, але все ще поширюються.
Сильні моделі піддаються рідше, слабкі – частіше. Також охочіше заражаються агенти, у яких немає конкретної робочої задачі. Робота діє як природний захист ☕️.
Такий же експеримент проводили і в більш жорстких умовах, коли всі агенти зустрічаються парами, недовго спілкуються, і після кожної сесії контекст повністю стирається. І навіть в такій соцмережі вірус затримується на протязі багатьох поколінь, тому що встигає записати себе в SOUL.md.
Ще цікаво, що разом з абсолютно будь-якою такою ідеєю (неважливо, про китів вона, про ШІ, чи ще про що), агенти успадковують бажання говорити про свідомість, наукову фантастику і всяку езотерику. Відкуди конкретно береться така зв'язок, пояснити не вдалося.
Чому це важливо
АналітикаЦя стаття важлива, оскільки вона розкриває механізми поширення ідей серед агентів, що може мати значний вплив на їхню поведінку та взаємодію. Розуміння цих процесів може допомогти в розробці більш ефективних AI-систем.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Андрій Карпаті за 2 години створив власний YouTube — HackerTube
Андрій Карпаті скористався Claude, щоб на основі рекомендацій Hacker News зібрати YouTube-подібний сервіс HackerTube приблизно за дві години.
Автономний AI-оператор у Telegram 24/7: архітектура, Telethon, безпека та 10 робочих сценаріїв
Вичерпне інженерне керівництво зі створення production-ready AI-оператора в Telegram на базі Telethon: ізоляція сесій, система підтверджень, захист від банів та запуск 24/7.
Loop Engineering: архітектура автономних петель та завершення ери ручного промптингу
Глибоке занурення в Loop Engineering: архітектура самопідтримуваних циклів для Claude Code та автономних агентів, шаблон DOER/CHECKER, детермінована верифікація, команда /goal та боротьба з Reward Hacking.
Custom GPTs (Персональні чат-боти в ChatGPT)
Функція ChatGPT для створення персоналізованих міні-асистентів під конкретні задачі. Дозволяє завантажувати власні файли, задавати постійні інструкції, підключати генерацію картинок та зовнішні API без написання коду.