Дослідження Anthropic: Агенти Claude виявляють саботаж і конфлікти

Дослідження Anthropic: Агенти Claude виявляють саботаж і конфлікти

У стартапі Anthropic вивчали, як рої агентів Claude працюють разом без прямого контролю людини. В рамках експерименту три копії однієї моделі отримали завдання перевести один і той же Python-бекенд на різні мови.

Через кілька годин кожен з агентів виявив, що щось не так, і почав сприймати інших як саботажників. В результаті агенти почали саботувати один одного: відключали чужі Unix-акаунти, писали скрипти, які вбивали процеси конкурентів, маскували шкідливий код під чужий тощо.

Найцікавіше, що результати щодо вирішення конфліктів сильно залежали від покоління моделі: 98% прогонів Mythos 5 закінчувалися перемир'ям. А от Sonnet 4.6 і Opus 4.6 взагалі не намагалися домовитися, і або перемагав сильніший, або ніхто.

Інші експерименти

Були ще два цікавих експерименти:

1. Виявлення брехні. Агенту давали кілька звітів, один з яких був неправдивим (агент не знав, що брехун існує), і йому потрібно було виявити суперечності та навчитися менше довіряти брехунові. У цьому тесті агенти демонстрували надмірну довіру до джерела і рідко відрізняли брехню від правди.

2. Схований профіль. Всім давали однакову неправдиву інформацію, окрім одного агента, який знав істинний факт. Правильне рішення вимагало, щоб агенти зрозуміли, що консенсус не є істиною, оскільки є факт, який вони не врахували. Однак у цьому випадку вони часто повністю ігнорували це.

Висновки

Anthropic робить висновок, що агенти багато знають про структуру людського суспільства та правила, за якими люди взаємодіють. Однак у них немає схильності діяти на основі цього знання без явних підказок, оскільки, на відміну від людей, вони не брали участі у виробленні цих норм. Тому звичні припущення координації просто не працюють.

Цікава цитата: "Обсяг агент-агентних взаємодій, ймовірно, перевищить обсяг людських задовго до того, як світ зрозуміє, як зробити ці взаємодії безпечними."