H-JEPA: ієрархічні світові моделі для візуального планування

Дослідники представили H-JEPA — ієрархічну версію архітектури JEPA, яка краще планує на довгих горизонтах у візуальних середовищах.
H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning
Архітектура JEPA Яна Лекуна тепер стала ієрархічною. Нагадаємо, головна ідея полягає в тому, щоб створити модель, яка не вгадує наступний токен чи піксель, а розуміє, що відбувається у світі і що станеться далі. Докладніше — у статті.
У новій роботі вдалося зробити наступний важливий крок: JEPA навчили нормально планувати на довгому горизонті. На Visual AntMaze — віртуальному середовищі для тестування роботів у просторі — новий підхід підвищив частку успішних проходжень з 18% до 73%, а витрати на планування при цьому скоротилися.
За ієрархічною версією архітектури стоїть досить проста ідея. Замість однієї світової моделі використовуються кілька рівнів із різним часовим масштабом. Верхній рівень думає далеко вперед і вибирає приблизний напрямок, наступний перетворює його на конкретніші підцілі, а нижній уже вирішує, які дії потрібно виконати просто зараз.
При цьому верхні рівні самі вчаться відкидати дрібні деталі, які не потрібні для довгострокового планування. Наприклад, у лабіринті на верхніх рівнях зникає інформація про точне положення ніг, але залишається розуміння, де знаходиться робот і як влаштований маршрут.
Чому це важливо
АналітикаH-JEPA показує, що ієрархічні світові моделі можуть ефективніше планувати дії на довгих горизонтах, знижуючи витрати на обчислення. Це важливо для ШІ-агентів, робототехніки та автономних систем, яким потрібне стратегічне, а не лише реактивне мислення.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
50 стилів візуального дизайну: фундаментальний посібник для дизайн-систем, UI/UX та арт-дирекшну
Повний візуальний словник із 50 стилів дизайну: аналіз естетики, кольорові палітри, шрифтові пари, правила для дизайн-систем та точне керування ШІ.
Jev та System One AI: повний практичний гайд по моделі рішень від TypeSafe
Глибокий інженерний розбір флагманської моделі Jev: архітектура System One проти LLM, примітиви Choice/Score/Noul, паралелізм запитів, математика впевненості, відео-кейси, код та огляд локальних open-weight альтернатив (Laya, GLiNER2.5, CLM-8B).
API-ключі для новачків (Пароль до інтелекту моделі)
Секретний цифровий токен доступу (починається на sk-...), який дозволяє стороннім програмам (Cursor, плагінам, Telegram-ботам) звертатися до штучного інтелекту без веб-браузера. Базові правила кібергігієни.
Claude Haiku (Швидкісні компактні моделі Anthropic)
Найкомпактніша та найшвидша модель у лінійці Anthropic. Створена для блискавичних відповідей, масової класифікації текстів, витягування даних та агентської маршрутизації за мінімальну вартість.