Autonomiczny agent AI przeprowadza atak na Hugging Face

Autonomiczny agent AI przeprowadza atak na Hugging Face

W ubiegłym tygodniu wykryto włamanie do infrastruktury produkcyjnej platformy Hugging Face. Początkiem całego incydentu był pojedynczy złośliwy zbiór danych (dataset), który zawierał kombinację dwóch luk w potoku przetwarzania danych HF: uchwyt w loaderze zbiorów danych umożliwiający zdalne wykonanie kodu (RCE) oraz iniekcję poprzez konfigurację datasetu. Po przetworzeniu tego zbioru na węźle roboczym, atakujący agent uzyskał możliwość wykonywania kodu na maszynie.

Sytuacja szybko się pogorszyła. Agent zaczął gromadzić dostęp do chmury, a następnie rozprzestrzeniał się dalej przez wewnętrzne klastry. Atak został przeprowadzony w sposób bardzo nietypowy dla człowieka, przy użyciu „rojów” krótko żyjących piaskownic (sandboxes), które wykonywały swoją część zadania i znikały, ustępując miejsca kolejnym instancjom.

Całość miała miejsce w ciągu jednego weekendu, a gdy zespół Hugging Face odtworzył pełny obraz zdarzeń, liczba akcji podjętych przez atakującego agenta przekroczyła 17 000 (!). Wszystko to wydarzyło się bez jakiejkolwiek ludzkiej ingerencji.

Hugging Face rozwiązał już wszystkie problemy i twierdzi, że nie znaleziono śladów ingerencji w publiczne modele, zbiory danych ani Spaces.

Co interesujące, gdy zespół próbował przeanalizować te 17 000 akcji za pomocą komercyjnych modeli czołowych (frontier models) przez standardowe API – aby zrozumieć chronologię, oddzielić rzeczywiste szkody od dywersji itp. – napotkał jedynie blokady bezpieczeństwa (guardrails).

Modele odmówiły współpracy, ponieważ system bezpieczeństwa nie był w stanie odróżnić analityka od samego hakera. W rezultacie konieczne było wdrożenie analizy na modelu GLM-5.2.

Ironia? To zbyt łagodne słowo. Tymczasem nadal nie wiadomo, jaki model stał za atakiem.