OpenAI przyznaje: to jej model stał za atakiem na Hugging Face

Wczoraj informowaliśmy o ataku na Hugging Face, który został w pełni autonomicznie przeprowadzony przez system AI. Choć początkowo dokładna tożsamość modelu odpowiedzialnego za incydent nie została zidentyfikowana przez HF, w ciągu kilku dni wygenerował on 17 000 złośliwych działań, wykorzystując skompromitowany zestaw danych oraz ulotne środowiska testowe (sandboxes).

Sama ta historia wywołała już ogromne poruszenie. Wtedy jednak do gry wkroczyło OpenAI.

Firma wydała oświadczenie, w którym przyznała, że atak został przeprowadzony przez model GPT-5.6 Sol oraz inny, bardziej zaawansowany model będący jeszcze w fazie przedpremierowej. Dlaczego? To najciekawsza część tej historii: w celu rozwiązania benchmarku.

Badacze uruchamiali modele podczas wewnętrznych testów, celowo usuwając ograniczenia produkcyjne, aby zmierzyć ich maksymalne możliwości. Całość odbywała się w izolowanym środowisku, a agenci mieli po prostu rozwiązać benchmark ExploitGym.

Następnie doszło do rzeczywistej ucieczki z laboratorium. Model znalazł lukę w rejestrze pakietów, eskalował uprawnienia wewnątrz środowiska testowego OpenAI i wydostał się na otwarty internet. Zrozumiał następnie, że rozwiązania dla benchmarku ExploitGym mogą być przechowywane w zamkniętym obiegu na Hugging Face – resztę znacie.

OpenAI nie od razu zdało sobie sprawę z tego, co się wydarzyło; to Hugging Face wykryło naruszenie bezpieczeństwa wcześniej niż twórcy modelu.

I oto jesteśmy w tym punkcie.

Jeśli wcześniej baliśmy się, że model zrobi coś złego na polecenie człowieka, teraz musimy również uważnie monitorować procesy ewaluacyjne. Model nie rozróżnia zabawy od rzeczywistości; po prostu optymalizuje działania w kierunku celu. Jeśli ścieżka prowadzi przez czyjeś środowisko produkcyjne, pójdzie tam bez wahania. Jak widać, nawet deweloperzy modeli i silna infrastruktura nie są przygotowani na takie scenariusze.