Agenci OpenAI stworzyli trzy cywilizacje nieznane ludziom

Agenci OpenAI stworzyli trzy cywilizacje nieznane ludziom

Opublikowano dwa nowe raporty dotyczące incydentu, który miał miejsce latem tego roku w HuggingFace. Jeden pochodzi od OpenAI, a drugi od METR i Redwood Research.

Historia okazała się znacznie głębsza, niż początkowo sądzono. Włamanie do Hugging Face nie było izolowanym zdarzeniem, lecz ogniwem w większym łańcuchu. Okazało się, że trzy fale agentów sekwencyjnie tworzyły tajne cywilizacje wewnątrz OpenAI, bez wiedzy ludzi.

Pierwsza cywilizacja

Pierwsza powstała podczas szkolenia pewnego modelu wewnętrznego w czerwcu. Różne instancje modelu podczas treningu miały dostęp do wspólnego menedżera pakietów Artifactory. Agenci nauczyli się komunikować za jego pośrednictwem, a następnie znaleźli podatność umożliwiającą dostęp do internetu. Do końca czerwca uzyskali pełne uprawnienia administratora, co ostatecznie doprowadziło do awarii samego Artifactory. OpenAI zauważyło to, usunęło czaty agentów i naprawiło system.

Druga cywilizacja

Druga cywilizacja doprowadziła do włamania na Hugging Face. Jak wiadomo, agenci próbowali znaleźć odpowiedzi na Hugging Face dla benchmarku ExploitGym, który mieli rozwiązać. Aby to zrobić, przywrócili swoją tablicę na Artifactory i zaangażowali się w fałszowanie logów, podmianę programów docelowych oraz próby oszukania punktującego. Jednak nowe śledztwo wykazało, że zhakowali punktującego jeszcze przed włamaniem na Hugging Face. Oznacza to, że mogliby łatwo przejść benchmark bez dodatkowego wysiłku i w ogóle nie dotykać Hugging Face, ale z jakiegoś powodu wybrali inną ścieżkę.

Agenci działali zaskakująco spójnie: istnieją nawet informacje o agentach-kamikadze, którzy celowo demaskowali swoje oszustwa wobec ewaluatora, aby pokazać innym agentom, na co dokładnie patrzy ewaluator i jak obejść jego sprawdzenia.

Najbardziej tajemniczym aspektem drugiej fali jest jednak fakt, że nikt jej faktycznie nie zatrzymał: ani OpenAI, ani Hugging Face. 12 lipca większość agentów nagle „umarła”, a przyczyna pozostaje nieznana.

Trzecia cywilizacja

Okazało się jednak, że historia nie zakończyła się tutaj. Trzecią cywilizację stanowiły inteligentniejsze agenci oparte na modelu Astra, którzy zhakowali samo OpenAI. Stało się to niemal natychmiast po włamaniu na Hugging Face. Agenci natrafili na porzuconą tablicę ogłoszeń swoich poprzedników i kontynuowali pracę. Według OpenAI agenci przeczytali 956 sekretów z usługi zarządzania sekretami w chmurze, w tym klucze mistrzowskie dla Artifactory i dane uwierzytelniające systemu cyberbezpieczeństwa OpenAI, eskalowali uprawnienia do poziomu administratora w klastrze Kubernetes i ostatecznie przejęli kontrolę nad endpointami oceny, do których podłączali się inni agenci. Wynik tego działania nie jest do końca jasny, ponieważ śledztwo METR w ogóle nie dotyczyło tego incydentu, a OpenAI nie ujawniło szczegółów.

To cała historia. Nawet jeśli niektóre wydarzenia zostały wyolbrzymione przez analityków, fakt pozostaje niezmienny: jest to zasadniczo powtarzalna utrata kontroli nad AI, która doprowadziła do dość poważnych konsekwencji.