Anthropic Opus 5.5: защита обходится через субагента Opus 4.6

Opus 5.5 отказывается писать небезпечний код, но созданный через более свободную Opus 4.6 субагент может ослабить защитные механизмы.
Защитные механизмы, на создание которых Anthropic потратила миллиарды долларов при разработке Opus 5.5, оказались уязвимы перед группой ребят, занимающихся созданием читов для Minecraft.
Сообщество Reddit обнаружило абсурдную уязвимость. Если попросить Opus 5.5 написать код, подпадающий под ограничения безопасности, модель сразу откажется. Но если сначала попросить менее ограниченную Opus 4.6 создать субагента, а затем поручить этому субагенту обратиться к Opus 5.5 с той же задачей, защитные механизмы последней оказываются значительно ослаблены. По сути, модель начинает выполнять запросы, от которых прежде отказывалась.
Почему это важно
АналитикаЭто показывает, что безопасность LLM может зависеть от цепочки агентов и контекста запроса, а не только от прямого обращения к модели.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
Anthropic опубликовала руководство по постоянно активным ИИ-агентам
Anthropic выпустила новое руководство, посвящённое ключевым механизмам работы постоянно активных ИИ-агентов.
Официально вышел Qwen-4 Max
Qwen-4 Max позиционируется как модель для агентских и долгосрочных задач с меньшим расходом токенов и сниженной стоимостью по сравнению с Qwen-3.8.
Claude Opus (Флагманская интеллектуальная модель Anthropic)
Самая мощная тяжеловесная модель в семействе Anthropic. Создана для сложного философского и научного анализа, написания многослойных текстов и глубокого понимания контекста.
Управление компьютером через ИИ (Computer Use)
Технология компании Anthropic (представленная в моделях Claude 3.5 Sonnet), позволяющая нейросети управлять операционной системой как обычный человек: делать скриншоты экрана, анализировать координаты окон, перемещать курсор мыши, кликать по кнопкам и вводить текст без использования специальных API.