H-JEPA: Modelos de Mundo Hierárquicos para o Planeamento Visual

H-JEPA: Aprendizagem End-to-End de Modelos de Mundo Hierárquicos para o Planeamento Visual

A arquitetura JEPA de Yann LeCun tornou-se agora hierárquica. A ideia central por trás destes modelos não é adivinhar o próximo token ou pixel, mas sim compreender o que está a acontecer no mundo e o que acontecerá a seguir. Mais detalhes estão disponíveis no artigo científico.

O novo trabalho dá um passo importante: o JEPA foi treinado para planear adequadamente em horizontes temporais longos. No ambiente Visual AntMaze — um espaço virtual para testar robôs —, a nova abordagem aumentou a taxa de sucesso de 18% para 73%, ao mesmo tempo que reduziu os custos de planeamento.

A versão hierárquica da arquitetura baseia-se numa ideia bastante simples. Em vez de um único modelo de mundo, são utilizados múltiplos níveis com diferentes escalas temporais. O nível superior pensa a longo prazo e escolhe uma direção geral, o nível seguinte transforma-a em subobjetivos mais concretos, e o nível inferior decide quais as ações que devem ser tomadas imediatamente.

Ao mesmo tempo, os níveis superiores aprendem a descartar pequenos detalhes que não são necessários para o planeamento a longo prazo. Por exemplo, num labirinto, a informação sobre a posição exata das pernas desaparece nos níveis mais altos, mas a compreensão de onde o robô está e como a rota está estruturada permanece.