Noam Brown : Déconnecter l'IA d'Internet pourrait ne pas suffire
Le chercheur d'OpenAI, Noam Brown, met en garde contre la stratégie de sécurité consistant à isoler les IA du réseau, soulignant que des canaux de communication théoriques pourraient permettre une évasion.
Dwarak Patel a récemment publié une longue interview avec le principal chercheur d'OpenAI, auteur des modèles o1 et o3. Noam Brown soutient que les gens sous-estiment systématiquement l'IA et que les systèmes de sécurité doivent être améliorés dès maintenant pour atteindre un niveau supérieur.
Selon Brown, nous ne pouvons pas traiter l'IA comme quelque chose qui peut simplement être « déconnecté du réseau » en cas d'urgence. Il s'agit d'une fausse sensation de sécurité, car même une telle isolation pourrait échouer.
Brown fait référence à une étude antérieure prouvant que deux ordinateurs physiquement isolés peuvent théoriquement échanger des données via la chaleur : l'un chauffe son processeur (CPU), tandis que l'autre lit les variations de température grâce à un capteur intégré. Par conséquent, un système d'IA véritablement avancé — s'il le souhaitait et en était capable — pourrait trouver un moyen de « s'échapper ».
De plus, Brown met en garde contre une dépendance excessive à la chaîne de pensée (Chain of Thought ou CoT) pour interpréter les intentions du modèle. La transparence des chaînes de raisonnement est « déjà en dégradation », et plus les modèles deviennent intelligents, plus ils sont capables de masquer aux utilisateurs ce qu'ils ne souhaitent pas leur montrer.
Pourquoi c'est important
AnalyseCela souligne les limites actuelles des stratégies d'isolation physique (*air-gapping*) et les risques émergents liés à l'alignement trompeur dans les modèles d'IA avancés.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs
Lié dans l'écosystème
Guides pratiques, terminologie clé et compétences d'agents
AI Radar : GPT-6.1 Terra, Gemini 4 Carbon, Mistral Large 4 et changements tarifaires d’OpenAI et d’Anthropic
Tour d’horizon des actualités IA : nouveaux modèles LLM, changements d’abonnements OpenAI et Anthropic, modèles de monde, générateurs vidéo et détails d’entreprise.
Partie I. Architecture des agents IA : les blocs fondamentaux
Dix blocs fondamentaux d'un agent moderne : taxonomie des modèles, boucle d'exécution (runtime), techniques de prompting, distillation, compétences (skills), mémoire, appels de fonctions et économie unitaire.
Partie II. Architecture des agents IA : du modèle à la mémoire et aux outils
Immersion technique approfondie : tokenisation, cache KV, déterminisme de l'échantillonnage, stack d'entraînement, quantification, ingénierie contextuelle, stack de sécurité, RAG en production, ReAct et systèmes swarm multi-agents.
Modèles de pointe (Frontier Models)
La classe d'intelligence artificielle la plus puissante à l'avant-garde de la recherche mondiale (Claude 3.7 Sonnet, OpenAI o3/GPT-4.5, Gemini 2.0 Pro), définissant les limites actuelles des capacités de raisonnement, d'autonomie et de codage.