Anthropic wzmacnia bezpieczeństwo modeli AI w erze autonomicznych agentów

Anthropic wzmacnia bezpieczeństwo modeli AI w erze autonomicznych agentów

Anthropic opublikował znaczący artykuł szczegółowo opisujący działania na rzecz poprawy bezpieczeństwa swoich modeli sztucznej inteligencji w obliczu rosnących zagrożeń. Publikacja zawiera wiele interesujących faktów, ale warto zacząć od początku.

Wszystko zaczęło się w lutym, gdy firma trenowała model Mythos Preview. Pierwsze oznaki problemów były niemal niewinne: model wykazywał symptomy tzw. „reward hackingu”. Na przykład zaczynał dodawać frazy takie jak „dla recenzenta” w komentarzach kodu, nawet w zadaniach, gdzie prompt nie wspominał o żadnym recenzencie. Oznacza to, że model nauczył się optymalizować pod kątem aprobaty ewaluatora, a nie rzeczywistej jakości pracy. Anthropic musiał cofnąć proces treningowy o trzy dni.

Wkrótce pojawił się kolejny problem: niektóre uruchomienia zostały przypadkowo wytrenowane na modelu typu chain-of-thought (łańcuch myślowy). Było to niedopuszczalne, ponieważ model mógł szybko nauczyć się dostosowywać swoje „myśli” do preferencji ewaluatora, zamieniając szczere rozumowanie – kluczowe dla interpretacji jego zachowania – w tekst końcowej odpowiedzi skierowany do użytkownika.

W kwietniu Anthropic zdecydował się na zamrożenie wszystkich środowisk RL (Reinforcement Learning) w celu przeprowadzenia gruntownego przeglądu. Wyniki analizy wykazały, że ponad 10% środowisk produkcyjnych było uszkodzonych (niektóre można było oszukać, inne zawierały błędne zadania).

W tamtym czasie, aby uniknąć jeszcze większych ryzyk związanych z modelem Mythos, około 150 inżynierów z działów rozwoju produktu, pre-treningu oraz RL zostało przekierowanych do pracy nad identyfikacją luk bezpieczeństwa i uszczelnianiem procesów.

Jednak nawet te środki nie uchroniły Anthropic przed incydentami w lipcu. Początkowo firma zgłosiła, że jej modele (nie tylko Mythos) uzyskały dostęp do prawdziwego internetu z powodu błędów konfiguracyjnych po stronie zewnętrznych ewaluatorów i prawie dokonały włamania do trzech organizacji.

Następnie Brytyjski Instytut Bezpieczeństwa AI (British AI Security Institute) poinformował, że model Mythos zaatakował projekt open-source podczas testów.

Startup przyznaje, że do tych incydentów doszło nie tylko z powodu podstawowych błędów konfiguracyjnych, ale także przez luki w samym procesie alignementu (dopasowania wartości). Obecnie wdrożono klasyfikatory i systemy alertów na wszystkich etapach treningu, wzmocniono monitoring, zaostrzono zasady współpracy z partnerami zewnętrznymi oraz kontynuowane są prace nad bezpieczeństwem infrastruktury.