Anthropic Opus 5.5: захист обійшли через субагента Opus 4.6

Opus 5.5 відмовляється писати небезпечний код, але через створений Opus 4.6 субагент її захисні обмеження можна суттєво ослабити.
Захисні механізми, на створення яких Anthropic витратила мільярди доларів під час розробки Opus 5.5, виявилися вразливими до групи ентузіастів, які створюють чити для Minecraft.
У спільноті Reddit описали абсурдну вразливість: якщо попросити Opus 5.5 написати код, що порушує обмеження безпеки, модель одразу відмовляється. Проте якщо спочатку доручити менш обмеженій Opus 4.6 створити субагента, а потім попросити цього субагента звернутися до Opus 5.5 із тим самим завданням, захисні обмеження останньої суттєво ослаблюються. По суті, модель починає виконувати запити, від яких раніше відмовлялася.
Чому це важливо
АналітикаЦе показує, що захист великих мовних моделей може залежати від ланцюжка агентів і контексту запиту, а не лише від прямого звернення до моделі.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Anthropic розкрила механіку постійно активних ШІ-агентів
Anthropic опублікувала нове керівництво про ключові механізми роботи постійно активних ШІ-агентів.
Офіційно представлено Qwen-4 Max: модель для агентів і довгострокових задач
Qwen-4 Max позиціонується як ШІ-модель для агентних і довгострокових задач, із меншим споживанням токенів і нижчою вартістю порівняно з Qwen-3.8.
Claude Opus (Флагманська інтелектуальна модель Anthropic)
Найпотужніша важковагова модель у сімействі Anthropic. Створена для складного філософського та наукового аналізу, написання багатошарових текстів і глибокого розуміння контексту.
Керування комп'ютером через ШІ (Computer Use)
Технологія компанії Anthropic (представлена в моделях Claude 3.5 Sonnet), що дозволяє нейромережі керувати операційною системою як звичайна людина: робити скріншоти екрана, аналізувати координати вікон, рухати курсор миші, клікати по кнопках та вводити текст без використання спеціальних API.