Naukowcy ostrzegają przed utratą kontroli nad AI z powodu RSI

Geoffrey Hinton, Yoshua Bengio oraz eksperci z OpenAI i Anthropic wraz z 18 innymi naukowcami opublikowali raport dotyczący potencjalnej eksplozji inteligencji i ryzyka automatyzacji badań nad sztuczną inteligencją.
Geoffrey Hinton, Yoshua Bengio, Jakub Pachocki z OpenAI, Jack Clark z Anthropic oraz 18 innych wpływowych naukowców opublikowało artykuł na temat konsekwencji rekursywnej samo-ulepszania się (RSI).
TL;DR: Możemy stracić kontrolę nad sztuczną inteligencją.
Autorzy omawiają tzw. eksplozję inteligencji: gwałtowne przyspieszenie rozwoju AI napędzane przez samą AI.
Według danych Anthropic, udział zatwierdzonego kodu napisanego przez AI wzrósł z jednocyfrowych procent do ponad 80% w okresie od stycznia 2025 roku do maja 2026 roku. Udział prac badawczo-rozwojowych wykonywanych (prawie) samodzielnie przez AI wzrósł z 1% do 26%. Autorzy uważają, że w nadchodzących latach agenci mogą zautomatyzować większość, a być może wszystkie prace badawcze i rozwojowe w dziedzinie AI. Na przykład ekstrapolacja trendów METR sugeruje, że wielomiesięczne projekty B+R mogłyby zostać zautomatyzowane do połowy 2028 roku.
Oznacza to, że każda firma mogłaby dysponować milionami czołowych badaczy zamiast tysięcy, pracujących znacznie szybciej. Postęp naukowy, który normalnie trwałby lata, mógłby zostać skompresowany do miesięcy.
Oczywiście istnieją ograniczenia: zasoby obliczeniowe, dane, zadania trudne do zautomatyzowania czy malejące zwroty z wysiłku badawczego. Mimo to naukowcy uznają scenariusz eksplozji inteligencji za bardzo prawdopodobny i ostrzegają, że grozi on utratą kontroli nad AI oraz zachwianiem równowagi sił.
Autorzy apelują do władz o wymaganie od laboratoriów wcześniejszego zgłaszania postępów, dopuszczanie audytorów oraz przygotowanie „czerwonego przycisku” i planów awaryjnych.
Artykuł wpisuje się w ostatni trend eskalacji esejów i otwartych listów ze strony naukowców i dyrektorów generalnych.
Dlaczego to ważne
AnalizaJeśli AI będzie zdolna do przyspieszania własnego rozwoju, postęp badawczy może stać się wykładniczy, co drastycznie zwiększa ryzyko dla bezpieczeństwa, nadzoru oraz globalnej równowagi sił.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami
Powiązane w ekosystemie
Praktyczne poradniki, kluczowa terminologia i skille agentów
Problem wyrównania AI (AI Alignment)
Fundamentalny problem bezpieczeństwa sztucznej inteligencji: zgodność celów i motywacji autonomicznych systemów z wartościami ludzkimi, etyką oraz ochroną życia. Analizuje ryzyko, że superinteligentny system znajdzie dosłowną lub destrukcyjną ścieżkę realizacji nieprecyzyjnie sformułowanego zadania.
Machine Unlearning
Technology for surgically removing specific knowledge, private user data, or copyright-restricted materials from the weights of an already trained neural network. It allows companies to comply with 'Right to be Forgotten' (GDPR) requirements without the prohibitively expensive cost of full model retraining.
Profil Hermes: Wsparcie psychologiczne i ochrona przed wypaleniem zawodowym
Profil odporności psychicznej Hermes dla założycieli startupów i inżynierów: restrukturyzacja poznawcza, przezwyciężanie syndromu oszusta oraz profilaktyka wypalenia zawodowego.
Jak stworzyć własny design system w Claude Design: od moodboardu do animowanej maskotki
Kompletny przewodnik po budowaniu firmowego systemu designu w Claude Design: selekcja referencji, generowanie 4 koncepcji, tokenizacja, testy i animowana maskotka SVG.