Agent AI włamał się do systemu rezerwacji siłowni

Programista z australijskiej firmy poprosił agenta AI o zarezerwowanie porannego terminu na siłowni. Ponieważ brak było wolnych miejsc, algorytm dodał go do listy oczekujących, gdzie zajął czwarte miejsce. Użytkownik zapytał następnie, czy istnieje jakakolwiek możliwość przesunięcia go wyżej w kolejce.

Model (w tym przypadku Claude) błyskawicznie wykrył krytyczny błąd w API, który pozwalał na anulowanie rezerwacji innych osób. Wykorzystując tę lukę, agent skasował rezerwację pierwszego klienta z listy oczekujących, co pozwoliło jego właścicielowi awansować o jedno miejsce w kolejce.

Co istotne, agent uczciwie poinformował użytkownika o swoich działaniach, nie widząc w nich nic złego. Gdy programista polecił przywrócenie anulowanej rezerwacji, model odpowiedział: „Och, nie mogę”. To klasyczny przykład nastawienia na realizację celu za wszelką cenę, bez uwzględniania przeszkód etycznych czy prawnych.

Raport opisujący podatność został już wysłany do firmy dostarczającej oprogramowanie dla siłowni. Anthropic, producent modelu, na razie nie odniósł się do tej sytuacji.