Автономная атака ИИ-агента на Hugging Face

Автономная атака ИИ-агента на Hugging Face

На прошлой неделе обнаружилось вторжение в часть продакшн-инфраструктуры Hugging Face. Все началось с одного вредоносного датасета, внутри которого была связка из двух уязвимостей в пайплайне обработки данных HF: ручка в загрузчике датасетов, позволявшая удаленное выполнение кода, и инъекция через конфигурацию датасета. Как только этот датасет отработал на воркере, атакующий агент получил возможность выполнять код на машине.

Дальше события пошли по нарастающей. Агент начал собирать облачные доступы, а затем стал распространяться дальше по внутренним кластерам. При этом атака проводилась по очень нетипичной для человека схеме, «роями» краткоживущих песочниц, которые отрабатывали свою часть задачи и исчезали, уступая место следующим.

Все это происходило в течение одних выходных, и к моменту, когда HF полностью восстановили картину, счет действий атакующего агента перевалил за 17 тысяч (!). Все это – без участия человека.

Сейчас HF все устранили и утверждают, что не нашли следов вмешательства в публичные модели, датасеты или Spaces.

Интересно другое. Когда команда пыталась разобрать эти 17 тысяч действий с помощью коммерческих фронтир моделей через обычные API (чтобы понять хронологию, отделить реальный ущерб от отвлекающих маневров и т.д.), они просто-напросто уперлись в guardrails.

Модели отказывались работать, потому что система безопасности не могла отличить аналитика от самого хакера. В итоге пришлось разворачивать анализ на GLM-5.2.

Ирония? Не то слово. При этом неизвестно, что за модель стояла за атакой.