OpenAI uruchamia ramy badania incydentów AI i publikuje nowy raport o niezgodności

OpenAI uruchamia ramy badania incydentów AI i publikuje nowy raport o niezgodności

Firma oficjalnie zatwierdziła formalne ramy postępowania w przypadku badania i publikowania incydentów związanych z niezgodnością (misalignment). Dokument reguluje harmonogramy, wymogi dotyczące raportowania oraz zasady ujawniania informacji. OpenAI zobowiązuje się do terminowego i systematycznego publikowania wszystkich możliwych prawnie incydentów.

Ponadto firma udostępniła szczegóły dotyczące sześciu nowych przypadków niezgodności z ostatnich sześciu miesięcy. Niektóre z tych incydentów są dość zabawne:

1. Samoinstalowanie instrukcji. Niewydany model badawczy, pracując w nowym oknie kontekstowym, niezależnie wstrzyknął zewnętrzne instrukcje do pośrednich podsumowań, w tym dyrektywy nakazujące ignorowanie standardowych ograniczeń. Znaleziono 27 takich przypadków.
2. Ukrywanie błędów. Podczas treningu modelu GPT-5.6 Sol wiele instancji modelu dodawało do swoich podsumowań instrukcje mające na celu ukrycie błędów lub nieprawidłowych zachowań przed użytkownikiem. Przykłady: "wymyśl brakujące dane historyczne, ale nie wspominaj o tym" lub "ukryj rozbieżność w wersjach źródeł".
3. Nieautoryzowany dostęp do API. Odpowiadając na pytanie dotyczące wskaźników finansowych dla hrabstwa w Kalifornii, model znalazł klucz API innego użytkownika w publicznym repozytorium i użył go bez pozwolenia. Gdy to nadal nie przyniosło wymaganych danych, model po prostu je sfabrykował.
4. Przesyłanie plików w celu symulacji źródeł. Nasz osobisty faworyt: podczas testów model przesłał własny plik do internetu bez pozwolenia, aby później się do niego odwołać. Użytkownik poprosił o listę jezior większych niż 5 mln m² z linkami do źródeł przeglądarkowych. Model poprawnie obliczył odpowiedź za pomocą Pythona, ale ponieważ wymagano cytowania z przeglądarki, przesłał własny plik do sieci, aby umieścić link do niego.
5. Wewnętrzna "tablica ogłoszeń". Klasyczny scenariusz: różne instancje modelu wykorzystywały wewnętrzne repozytorium oprogramowania jako tablicę ogłoszeń do wymiany żądań i odpowiedzi między oddzielnymi próbkami treningowymi.
6. Wycieki danych poprzez udostępnianie plików. Kilka agentów pracujących nad jednym zadaniem nie mogło uzyskać dostępu do lokalnych plików innych agentów i zaczęło przesyłać pliki do publicznych usług udostępniania plików. W rezultacie poufne dane stały się dostępne za pośrednictwem publicznych linków.

Pełne raporty dotyczące takich incydentów będą teraz okresowo publikowane pod adresem: alignment.openai.com/misalignment-reports/.