Jensen Huang et plus de 100 partenaires lancent la plateforme NVIDIA Open Agent Safety

Jensen Huang, accompagné de plus de 100 partenaires, a annoncé le lancement de la plateforme NVIDIA Open Agent Safety.

Il s'agit d'un système conçu pour contrôler et contraindre les agents d'intelligence artificielle. L'idée centrale est de surveiller un agent non seulement au niveau logiciel, mais également au niveau matériel.

Techniquement, cette solution repose sur deux composants principaux :

1. OpenShell — Un environnement d'exécution open source (licence Apache 2.0) qui lance l'agent dans un bac à sable avec une isolation au niveau du noyau. L'opérateur prédéfinit quels fichiers, outils et identifiants l'agent peut utiliser ; cette politique est appliquée avant le lancement et pendant l'exécution.

2. Sentry — Une couche de contrôle indépendante fonctionnant directement sur le DPU BlueField-4. Elle agrège les actions de l'agent en une vue d'ensemble unique, détecte les tentatives de déviation par rapport à la tâche assignée et vérifie que l'agent ne dispose pas de permissions supérieures à celles qui lui ont été accordées.

Le point crucial réside dans le fait que le BlueField-4 se trouve sur le seul chemin entre le nœud et le modèle. Comme l'agent ne peut effectuer l'étape suivante sans appeler le modèle, le DPU voit tout et peut interrompre la charge de travail en temps réel, tout en restant isolé de l'hôte et hors de portée de l'agent.

Bien que le logiciel soit ouvert et que la norme de sécurité soit déclarée comme commune, il existe une nuance importante : l'ensemble de la pile fonctionne de manière optimale (sans surprise !) sur le matériel NVIDIA. Jensen Huang vendait déjà le matériel utilisé pour entraîner et exécuter les agents ; il vend désormais le matériel garantissant que ces agents ne sortent pas de leur cadre. Une stratégie de monopole assumée.

Parmi les partenaires figurent Anthropic, SpaceX, HuggingFace et Perplexity. Il semble qu'OpenAI n'ait pas été invitée.