Автономна атака ШІ-агента на Hugging Face
На Hugging Face відбулася автономна атака ШІ-агента, що викликала серйозні проблеми в їхній інфраструктурі. Атака була здійснена без участі людини, використовуючи шкідливий датасет.
Автономна атака ШІ-агента на Hugging Face
На минулому тижні стало відомо про вторгнення в частину продакшн-інфраструктури Hugging Face. Все почалося з одного шкідливого датасета, в якому була комбінація з двох уразливостей у пайплайні обробки даних HF: ручка в завантажувачі датасетів, що дозволяла віддалене виконання коду, та ін'єкція через конфігурацію датасета. Як тільки цей датасет був оброблений на воркері, атакуючий агент отримав можливість виконувати код на машині.
Далі події почали розвиватися. Агент почав збирати доступи до хмари, а потім став поширюватися далі по внутрішнім кластерам. Атака проводилася за дуже нетиповою для людини схемою, використовуючи «рої» короткоживучих пісочниць, які виконували свою частину завдання і зникали, поступаючи місцем наступним.
Все це відбувалося протягом одних вихідних, і до моменту, коли HF повністю відновили картину, кількість дій атакуючого агента перевищила 17 тисяч (!). Все це – без участі людини.
Зараз HF все усунули і стверджують, що не знайшли слідів втручання в публічні моделі, датасети або Spaces.
Цікаво інше. Коли команда намагалася проаналізувати ці 17 тисяч дій за допомогою комерційних моделей через звичайні API (щоб зрозуміти хронологію, відокремити реальний збиток від відволікаючих маневрів тощо), вони просто натрапили на обмеження безпеки.
Моделі відмовлялися працювати, оскільки система безпеки не могла відрізнити аналітика від самого хакера. В результаті довелося розгортати аналіз на GLM-5.2.
Іронія? Не те слово. При цьому невідомо, яка модель стояла за атакою.
Чому це важливо
АналітикаЦей інцидент підкреслює важливість безпеки в технологіях штучного інтелекту та ризики, пов'язані з автономними системами. Він також демонструє, як складно відстежувати та аналізувати дії ШІ-агентів.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Binance оприлюднили розслідування крадіжки $6,3 млрд
Розслідування пов’язує масштабну крадіжку з модифікованим Homebrew, фальшивою співбесідою та використанням внутрішнього ШІ-інструменту Binance.
Як зробити агента безпечним: stop rules, human approval і sandbox
Агент у продакшені — це процес, який може писати файли, робити API-виклики, змінювати дані та споживати токени автономно, без паузи і без вашої участі в кожному кроці.
Частина II. Як працювати з Codex + оптимізація/безпека/команда
Codex — це не автодоповнення коду в чаті, а повноцінний інженерний агент: він читає репозиторій, планує зміни, редагує файли, запускає тести, перевіряє власні дифи та вміє працюват...
Agent Identity & DID (Decentralized Identifiers)
Криптографічні стандарти (DIDs, Verifiable Credentials, mTLS), що забезпечують автономним ШІ-агентам юридично та технічно визнану ідентичність, право підпису та аудит дій.