H-JEPA : Des modèles du monde hiérarchiques pour la planification visuelle

H-JEPA : Apprentissage de bout en bout de modèles du monde hiérarchiques pour la planification visuelle

L'architecture JEPA de Yann LeCun devient désormais hiérarchique. L'idée centrale derrière ces modèles n'est pas de deviner le prochain jeton ou pixel, mais de comprendre ce qui se passe dans le monde et ce qui va se produire ensuite. Plus de détails sont disponibles dans le papier.

Ce nouveau travail franchit une étape importante : JEPA a été entraîné pour planifier efficacement sur de longues périodes. Sur Visual AntMaze — un environnement virtuel destiné à tester les robots dans l'espace — la nouvelle approche a augmenté le taux de réussite de 18 % à 73 %, tout en réduisant les coûts de planification.

La version hiérarchique de l'architecture repose sur une idée relativement simple. Au lieu d'un seul modèle du monde, plusieurs niveaux avec différentes échelles de temps sont utilisés. Le niveau supérieur pense loin à l'avance et choisit une direction générale, le niveau suivant la transforme en sous-objectifs plus concrets, et le niveau inférieur décide quelles actions doivent être prises immédiatement.

Parallèlement, les niveaux supérieurs apprennent à ignorer les petits détails qui ne sont pas nécessaires à la planification à long terme. Par exemple, dans un labyrinthe, les informations concernant la position exacte des pattes disparaissent aux niveaux supérieurs, mais la compréhension de l'emplacement du robot et de la structure de l'itinéraire demeure.