H-JEPA: Hierarchiczne modele świata do planowania wizualnego

H-JEPA: Uczenie end-to-end hierarchicznych modeli świata do planowania wizualnego

Architektura JEPA Yann’a LeCun’a zyskała właśnie swoją hierarchiczną odmianę. Kluczowa idea stojąca za tego typu modelami nie polega na zgadywaniu kolejnego tokenu czy piksela, ale na zrozumieniu, co dzieje się w świecie i co nastąpi w przyszłości. Więcej szczegółów można znaleźć w artykule naukowym.

Nowa praca stanowi ważny krok naprzód: model JEPA został wytrenowany tak, aby prawidłowo planować działania w długich horyzontach czasowych. W środowisku Visual AntMaze – wirtualnym laboratorium do testowania robotów przestrzennych – nowe podejście zwiększyło wskaźnik sukcesu z 18% do 73%, jednocześnie obniżając koszty obliczeniowe związane z planowaniem.

Hierarchiczna wersja architektury opiera się na stosunkowo prostym założeniu. Zamiast pojedynczego modelu świata wykorzystuje się wiele poziomów operujących na różnych skalach czasowych. Poziom najwyższy myśli daleko w przyszłość i wybiera ogólny kierunek, kolejny poziom przekłada go na bardziej konkretne podcele, a najniższy decyduje, jakie działania należy podjąć natychmiast.

Jednocześnie wyższe poziomy uczą się odrzucać drobne detale, które są zbędne przy planowaniu długoterminowym. Na przykład w labiryncie informacja o dokładnej pozycji nóg znika na wyższych poziomach abstrakcji, podczas gdy wiedza o tym, gdzie znajduje się robot i jak skonstruowana jest trasa, zostaje zachowana.