Alerte des scientifiques : risque de perte de contrôle sur l'IA due à l'amélioration récursive

Geoffrey Hinton, Yoshua Bengio, Jakub Pachocki d'OpenAI, Jack Clark d'Anthropic et 18 autres scientifiques très influents ont rédigé un article explorant les conséquences potentielles de l'amélioration récursive du système (RSI).

En bref : nous pourrions perdre le contrôle de l'IA.

Les auteurs discutent de ce que l'on appelle l'« explosion de l'intelligence » : une accélération brutale des progrès de l'IA, propulsée par l'IA elle-même.

Selon Anthropic, la part du code approuvé écrit par l'IA est passée de quelques pourcents à plus de 80 % entre janvier 2025 et mai 2026. La proportion de travaux de R&D réalisés (presque) indépendamment par l'IA a augmenté de 1 % à 26 %. Les auteurs estiment que dans les années à venir, les agents pourraient automatiser la majeure partie, voire la totalité, de la recherche et du développement en IA. Par exemple, l'extrapolation des tendances METR suggère que des projets de R&D de plusieurs mois pourraient être automatisés d'ici mi-2028.

Cela signifie que chaque entreprise pourrait disposer de millions de chercheurs de pointe au lieu de milliers, travaillant plus rapidement. Le progrès scientifique qui prendrait normalement des années pourrait ainsi être compressé en quelques mois.

Bien sûr, il existe des limites : contraintes de calcul, disponibilité des données, tâches difficiles à automatiser, rendements décroissants des efforts de recherche, etc. Néanmoins, les scientifiques considèrent l'explosion de l'intelligence comme un scénario très probable et avertissent qu'elle menace la perte de contrôle sur l'IA ainsi qu'une rupture de l'équilibre des pouvoirs.

Les auteurs demandent aux autorités d'exiger des laboratoires qu'ils fassent rapport à l'avance, d'autoriser les auditeurs et de préparer un « bouton rouge » ainsi que des plans d'urgence.

Cet article s'inscrit dans la tendance récente d'essais et de lettres ouvertes alarmistes provenant de scientifiques et de PDG.