Jensen Huang und über 100 Partner stellen NVIDIAs Open Agent Safety Platform vor

Jensen Huang und mehr als 100 Partner haben die NVIDIA Open Agent Safety Platform angekündigt.

Dieses System dient der Steuerung und Begrenzung von KI-Agenten. Der Kernansatz besteht darin, einen Agenten nicht nur auf Softwareebene, sondern auch auf Hardwareebene zu überwachen.

Technisch setzt sich die Lösung aus zwei Komponenten zusammen:

1. OpenShell – Eine Open-Source-Laufzeitumgebung (Apache 2.0), die den Agenten in einer Sandbox mit Kernel-Level-Isolation startet. Der Operator definiert im Voraus, auf welche Dateien, Tools und Zugangsdaten der Agent zugreifen darf; diese Richtlinie wird vor dem Start und während der Laufzeit erzwungen.

2. Sentry – Eine unabhängige Kontrollschicht, die direkt auf der BlueField-4 DPU läuft. Sie aggregiert die Aktionen des Agenten zu einem Gesamtbild, erkennt Versuche, vom zugewiesenen Task abzuweichen, und stellt sicher, dass der Agent keine weitergehenden Berechtigungen nutzt als ihm gewährt wurden.

Der entscheidende Punkt ist, dass die BlueField-4 auf dem einzigen Pfad zwischen Knoten und Modell sitzt. Da der Agent keinen nächsten Schritt unternehmen kann, ohne das Modell aufzurufen, sieht die DPU alles und kann die Workload in Echtzeit unterbrechen, während sie isoliert vom Host und außerhalb der Reichweite des Agenten bleibt.

Die Software wird offen sein, und der Sicherheitsstandard wird als gemeinsamer Standard deklariert. Es gibt jedoch eine Nuance: Der gesamte Stack funktioniert am besten (überraschungsfrei!) auf NVIDIA-Hardware. Zunächst verkauft Huang die Hardware zum Training und Betrieb von Agenten; nun verkauft er die Hardware, die sicherstellt, dass diese Agenten nicht entkommen. Monopol!

Zu den Partnern gehören Anthropic, SpaceX, HuggingFace, Perplexity und andere. OpenAI wurde offenbar nicht eingeladen.