Google stellt Agent Substrate vor: Kubernetes-Infrastruktur für Millionen von KI-Agenten

Google hat eine neue Kubernetes-Infrastruktur zum Betrieb von Millionen von KI-Agenten vorgestellt. Das System wurde vollständig als Open Source veröffentlicht.

Agent Substrate ist bereits auf GKE verfügbar. Anstatt Tausende inaktive Agenten laufen zu lassen, die kontinuierlich CPU- und Speicherressourcen verbrauchen, kann das System diese pausieren, Ressourcen freigeben und sie innerhalb von Millisekunden wieder aufnehmen.

Was Agent Substrate leistet:

• Ermöglicht den Betrieb bis zu 10-mal mehr Agent-Umgebungen auf denselben Rechenressourcen im Vergleich zu Standard-Container-Umgebungen
• Pausiert inaktive Agenten und setzt ihre Arbeit in unter 500 ms fort, wobei der vollständige Zustand erhalten bleibt
• Unterstützt über 500 Suspendierungs- und Wiederaufnahme-Vorgänge pro Sekunde
• Hostet über 1.000 schlafende Agent-Umgebungen auf einem einzigen Server
• Führt Agenten in isolierten MicroVMs oder gVisor-Sandboxes aus, um zusätzliche Sicherheit zu gewährleisten
• Funktioniert über die Kubernetes-API und unterstützt GKE sowie andere Kubernetes-Cluster

KI-Agenten verbringen die meiste Zeit damit, auf Antworten von Modellen, Tools, APIs oder Menschen zu warten. Die ständige Reservierung von Rechenressourcen für sie wird schnell teuer.

Agent Substrate pausiert inaktive Agenten, gibt Ressourcen frei und nimmt sie wieder auf, wenn sie erneut benötigt werden.

Im Wesentlichen baut Google eine Kubernetes-native Ausführungsschicht auf, die darauf ausgelegt ist, KI-Agenten in großem Maßstab zu betreiben.