Generalist stellt Roboter vor, der Aktionen aus einer einzigen Demonstration lernt

Generalist stellt Roboter vor, der Aktionen aus einer einzigen Demonstration lernt

Es genügt eine einzige Demonstration, um GEN-1.5 anzuzeigen, was zu tun ist; das Modell kann die Aufgabe anschließend sofort und eigenständig im One-Shot-Modus fortsetzen, ohne dass ein Fine-Tuning oder Gewichtsaktualisierungen erforderlich sind.

Die Demonstration wird in den Kontextfenster des Modells eingefügt, ähnlich wie ein Prompt bei großen Sprachmodellen (LLMs). Das Modell behandelt dies als Teil der Sequenz und setzt die Verarbeitung von diesem Punkt aus fort.

Interessanterweise handelt es sich hierbei um eine emergente Eigenschaft. Die Autoren geben explizit an, dass sie keine architektonischen Änderungen für das In-Context-Learning vorgenommen haben; sie fütterten das Modell lediglich mit einer enormen Menge an physischen Erfahrungen (Wohnhäuser, Lagerhallen, Fabriken usw.), woraufhin es begann, die Fähigkeit zu zeigen, aus einem einzelnen Beispiel zu lernen – ähnlich wie GPT-3 in der Vergangenheit.

Darüber hinaus erwähnt der Blogbeitrag, dass das In-Context-Learning manchmal sogar besser funktioniert als 1–5 Schritte des Fine-Tunings auf denselben Daten.