Cientistas alertam para a perda de controlo sobre a IA devido à Inteligência Recursiva (RSI)

Geoffrey Hinton, Yoshua Bengio, Jakub Pachocki da OpenAI, Jack Clark da Anthropic e mais 18 cientistas altamente influentes escreveram um artigo sobre o que a RSI poderia levar.

Resumo rápido: podemos perder o controlo sobre a IA.

Os autores discutem a chamada "explosão da inteligência": uma aceleração acentuada do progresso da IA impulsionada pela própria IA.

De acordo com a Anthropic, a percentagem de código aprovado escrito por IA cresceu de dígitos únicos para mais de 80% entre janeiro de 2025 e maio de 2026. A parte do trabalho de I&D realizado (quase) independentemente pela IA aumentou de 1% para 26%. Os autores acreditam que, nos próximos anos, agentes poderão automatizar a maior parte da investigação e desenvolvimento em IA, e possivelmente todo ele. Por exemplo, a extrapolação das tendências da METR sugere que projetos de I&D de vários meses poderiam ser automatizados até meados de 2028.

Isso significa que cada empresa poderia ter milhões de investigadores de topo em vez de milhares, trabalhando mais rapidamente. O progresso científico que normalmente levaria anos poderia, portanto, ser comprimido em meses.

Claro, existem limitações: restrições computacionais, dados, tarefas difíceis de automatizar, rendimentos decrescentes do esforço de investigação, etc. Ainda assim, os cientistas consideram a explosão da inteligência um cenário muito provável e alertam que ela ameaça a perda de controlo sobre a IA e a ruptura do equilíbrio de poder.

Os autores pedem às autoridades que exijam que os laboratórios reportem antecipadamente, permitam auditores e preparem um "botão vermelho" e planos de emergência.

O artigo junta-se à recente tendência de ensaios escalonados e cartas abertas de cientistas e CEOs.