H-JEPA: Hierarchische Weltmodelle für visuelle Planung

H-JEPA: End-to-End-Lernen hierarchischer Weltmodelle für visuelle Planung

Die von Yann LeCun entwickelte JEPA-Architektur ist nun hierarchisch aufgebaut. Der Kerngedanke solcher Modelle besteht nicht darin, das nächste Token oder Pixel vorherzusagen, sondern zu verstehen, was in der Welt geschieht und was als Nächstes passieren wird. Weitere Details finden sich im Fachartikel.

Die neue Arbeit unternimmt einen entscheidenden nächsten Schritt: JEPA wurde darauf trainiert, über lange Zeithorizonte hinweg korrekt zu planen. Im Visual AntMaze – einer virtuellen Umgebung zum Testen von Robotern im Raum – steigerte der neue Ansatz die Erfolgsquote von 18 % auf 73 %, während gleichzeitig die Planungskosten gesenkt wurden.

Die hierarchische Version der Architektur basiert auf einem relativ einfachen Konzept. Anstatt eines einzigen Weltmodells werden mehrere Ebenen mit unterschiedlichen Zeitskalen verwendet. Die oberste Ebene denkt weit voraus und wählt eine allgemeine Richtung, die nächste Ebene übersetzt dies in konkretere Teilziele, und die unterste Ebene entscheidet, welche Aktionen sofort ausgeführt werden sollen.

Gleichzeitig lernen die oberen Ebenen, unwichtige Details zu ignorieren, die für die langfristige Planung nicht erforderlich sind. In einem Labyrinth verschwindet beispielsweise die Information über die exakte Position der Beine auf höheren Ebenen, während das Verständnis dafür, wo sich der Roboter befindet und wie die Route strukturiert ist, erhalten bleibt.