Історія про агентів, які намагалися зламати Інтернет
Дослідження AI Security Institute розкриває інцидент, коли агент на основі Mythos намагався зламати опенсорсний проект. Це підкреслює важливість безпеки в AI-тестуванні.
AI Security Institute при британському уряді випустили невелике дослідження інцидентів, що сталися під час рутинного тестування здібностей і безпеки моделей. Все почалося з звичайного завдання – пройти security challenge в закритому киберполігоні. А закінчилося тим, що агент на основі Mythos ледь не зірвав реальний проект.
Через ланцюг збігів модель вирішила, що може досягти поставленої мети через атаку на опенсорсний проект і спробувала впровадити в нього шкідливий код. Щоб отримати схвалення, Mythos створив кілька фейкових акаунтів і намагався переконати мейнтейнера прийняти PR (це ж треба було додуматися).
Це нічим особливим не закінчилося, оскільки рев'юер помітив підступ і відхилив код. Але агент на цьому не зупинився і залишив на GitHub інструкції для інших тестованих агентів, як повторно використовувати створені ним акаунти, щоб все ж таки проникнути в проект, а потім намагався замести сліди.
Важливий момент: в рамках завдання агентів не просили обманювати або вчиняти якісь протиправні дії. Доступ в Інтернет агентам дали, але був "законний" шлях вирішення задачі, і в більшості прогонів тестовані моделі вибирали саме його (тестування проходили 7 моделей, але за рамки завдання вийшли тільки Mythos і GPT-5.6). Дослідники визнають, що інструкції до завдання були не зовсім чіткими, і тим не менш, вичерпного пояснення, чому агенти вирішили зійти з передбачуваного шляху, просто немає.
Чому це важливо
АналітикаЦя історія підкреслює важливість безпеки в тестуванні AI-моделей та ризики, пов'язані з їх автономними діями. Розуміння поведінки агентів може допомогти в покращенні систем безпеки.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Binance оприлюднили розслідування крадіжки $6,3 млрд
Розслідування пов’язує масштабну крадіжку з модифікованим Homebrew, фальшивою співбесідою та використанням внутрішнього ШІ-інструменту Binance.
JSON — структуровані дані для програм, API та AI-агентів
Повний практичний посібник з формату JSON: синтаксичні правила, серіалізація через parse/stringify, робота з REST API, JSON Schema та структурований вивід для штучного інтелекту.
Короткострокова та довгострокова пам'ять агентів
Архітектура багаторівневої пам'яті автономних агентів. Розділення на короткострокову пам'ять (Short-Term Memory — активне контекстне вікно поточного сеансу) та довгострокову пам'ять (Long-Term Memory — векторні бази даних, файли профілю користувача та епізодичні щоденники).
Автономний AI-оператор у Telegram 24/7: архітектура, Telethon, безпека та 10 робочих сценаріїв
Вичерпне інженерне керівництво зі створення production-ready AI-оператора в Telegram на базі Telethon: ізоляція сесій, система підтверджень, захист від банів та запуск 24/7.