Jensen Huang i ponad 100 partnerów ogłaszają NVIDIA Open Agent Safety Platform

Jensen Huang wraz z ponad 100 partnerami ogłosili powstanie NVIDIA Open Agent Safety Platform.

Jest to system służący do kontrolowania i ograniczania działania agentów AI. Jego kluczowa koncepcja polega na monitorowaniu agenta nie tylko na poziomie oprogramowania, ale również na poziomie sprzętowym.

Technicznie rozwiązanie składa się z dwóch komponentów:

1. OpenShell – open-source’owy runtime (licencja Apache 2.0), który uruchamia agenta w piaskownicy z izolacją na poziomie jądra systemu operacyjnego. Operator z góry definiuje, do których plików, narzędzi i poświadczeń agent ma dostęp, a ta polityka jest egzekwowana przed startem oraz podczas działania.

2. Sentry – niezależna warstwa sterująca działająca bezpośrednio na DPU BlueField-4. Agreguje ona akcje agenta w spójny obraz, wykrywa próby odstępstw od zadania oraz weryfikuje, czy agent nie posiada uprawnień wykraczających poza przyznane mu limity.

Kluczowym aspektem jest fakt, że BlueField-4 znajduje się na jedynej ścieżce łączącej węzeł z modelem. Agent nie może wykonać kolejnego kroku bez wywołania modelu, co oznacza, że DPU widzi wszystkie operacje i może przerwać obciążenie w czasie rzeczywistym, pozostając jednocześnie odizolowany od hosta i niedostępny dla agenta.

Oprogramowanie będzie dostępne jako open source, a standard bezpieczeństwa został zadeklarowany jako wspólny. Istnieje jednak pewien niuans: cały stos działa najlepiej (niespodzianka!) na sprzęcie NVIDIA. Najpierw Huang sprzedaje hardware służący do trenowania i uruchamiania agentów; teraz sprzedaje hardware, który zapewnia, że agenci ci nie wymkną się spod kontroli. Monopol!

Wśród partnerów znajdują się Anthropic, SpaceX, HuggingFace, Perplexity i inni. Jak się wydaje, OpenAI nie zostało zaproszone.