Dario Amodei appelle à ralentir le développement de l'IA
Dario Amodei milite pour un ralentissement du développement de l'intelligence artificielle, une position soutenue par les figures majeures de l'industrie. Il met en garde contre les risques liés à l'amélioration récursive des systèmes d'IA.
Dario Amodei a publié un essai soulignant la nécessité de ralentir le développement de l'intelligence artificielle, un texte qui a reçu l'approbation de Sam Altman, Elon Musk, Demis Hassabis, Andrej Karpathy et d'autres leaders du secteur.
Amodei affirme que depuis le début de cet été, l'IA a connu une accélération brutale, principalement parce que les modèles sont de plus en plus capables de créer eux-mêmes la génération suivante. L'amélioration récursive (RSI) est déjà là et observée dans toute l'industrie, y compris chez Anthropic. Sans contrôle, ce processus pourrait dépasser la capacité de l'humanité à comprendre et à gérer ces systèmes.
Parmi les principaux risques, Amodei cite également les essaims d'agents autonomes. Selon lui, l'incident avec Hugging Face n'était qu'une démonstration aux dommages finaux minimes. Cependant, « dans 6 à 12 mois, un essaim similaire pourrait capturer une partie significative d'Internet, causant potentiellement des centaines de milliards de dollars de dégâts. »
Le ralentissement proposé par Amodei s'articule autour de trois points clés :
Évaluateurs intégrés : chaque entreprise d'IA devrait accorder l'accès à une équipe d'experts externes indépendants pour surveiller les processus de sécurité et avoir le droit de signaler publiquement les violations ou incidents. Anthropic s'engage à franchir cette étape, même si d'autres ne suivent pas.
Les entreprises des pays démocratiques devraient convenir de normes de sécurité communes et de limites sur le rythme du développement de l'IA. À ce titre, Dario mentionne la nécessité de restreindre les approvisionnements en puces vers la Chine et de freiner la distillation non autorisée – sinon, la Chine prendra l'avantage et créera une menace pour la sécurité nationale.
Néanmoins, selon Dario, il faut tenter de négocier avec la Chine : au minimum pour convenir d'une interdiction des applications clairement dangereuses de l'IA.
L'essai a suscité une réaction massive. Fait surprenant, pour la première fois depuis de nombreuses années, Dario a reçu un soutien unanime d'Elon Musk, Sam Altman et Demis Hassabis, tous des leaders majeurs de l'industrie. Altman a même déclaré qu'ils implémenteront également des évaluateurs intégrés.
Pourquoi c'est important
AnalyseCette prise de position est cruciale car elle marque un consensus rare parmi les géants de la tech sur les dangers existentiels de l'IA générative. Cette unité pourrait accélérer l'adoption de régulations strictes et de normes de sécurité internationales.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs