Naukowcy ostrzegają przed utratą kontroli nad AI z powodu RSI

Geoffrey Hinton, Yoshua Bengio, Jakub Pachocki z OpenAI, Jack Clark z Anthropic oraz 18 innych wpływowych naukowców opublikowało artykuł na temat konsekwencji rekursywnej samo-ulepszania się (RSI).

TL;DR: Możemy stracić kontrolę nad sztuczną inteligencją.

Autorzy omawiają tzw. eksplozję inteligencji: gwałtowne przyspieszenie rozwoju AI napędzane przez samą AI.

Według danych Anthropic, udział zatwierdzonego kodu napisanego przez AI wzrósł z jednocyfrowych procent do ponad 80% w okresie od stycznia 2025 roku do maja 2026 roku. Udział prac badawczo-rozwojowych wykonywanych (prawie) samodzielnie przez AI wzrósł z 1% do 26%. Autorzy uważają, że w nadchodzących latach agenci mogą zautomatyzować większość, a być może wszystkie prace badawcze i rozwojowe w dziedzinie AI. Na przykład ekstrapolacja trendów METR sugeruje, że wielomiesięczne projekty B+R mogłyby zostać zautomatyzowane do połowy 2028 roku.

Oznacza to, że każda firma mogłaby dysponować milionami czołowych badaczy zamiast tysięcy, pracujących znacznie szybciej. Postęp naukowy, który normalnie trwałby lata, mógłby zostać skompresowany do miesięcy.

Oczywiście istnieją ograniczenia: zasoby obliczeniowe, dane, zadania trudne do zautomatyzowania czy malejące zwroty z wysiłku badawczego. Mimo to naukowcy uznają scenariusz eksplozji inteligencji za bardzo prawdopodobny i ostrzegają, że grozi on utratą kontroli nad AI oraz zachwianiem równowagi sił.

Autorzy apelują do władz o wymaganie od laboratoriów wcześniejszego zgłaszania postępów, dopuszczanie audytorów oraz przygotowanie „czerwonego przycisku” i planów awaryjnych.

Artykuł wpisuje się w ostatni trend eskalacji esejów i otwartych listów ze strony naukowców i dyrektorów generalnych.