Skip to main content
Всі новини
AI RADARМоделі
178•01.10.2026, 16:49•3 хв читання

Meta пропонує давати моделям повний контроль над власним контекстом

Meta пропонує давати моделям повний контроль над власним контекстом
Коротко про головне30 сек

Context Language Models (CLM) прибирають заздалегідь задану логіку керування контекстом і дозволяють моделі самостійно редагувати історію в файлі, доступному через Bash, що знижує витрати на обчислення в довгих задачах.

Дослідники Meta запропонували підхід Context Language Models (CLM), у якому модель отримує повний контроль над власним контекстом.

Зазвичай контекст агента розширюється за простою схемою: старий контекст + нова відповідь -> новий контекст. Коли історія стає надто довгою, її доводиться окремо стискати чи чистити.

У CLM автори пропонують прибрати заздалегідь задану логіку керування контекстом і дати моделі змогу самій переписувати власну історію.

Технічно весь поточний контекст зберігається у звичайному файлі, до якого модель має доступ через Bash. Вона може в будь-який момент:

  • видалити непотрібні повідомлення;
  • замінити великий шматок історії короткою заміткою;
  • зберегти важливий результат дослівно;
  • повністю перебудувати вміст.

Після кожної зміни файл стає новим контекстом моделі.

При цьому моделі не дають жодних правил щодо того, як саме керувати історією. В експериментах агенти самі починали робити помітки всередині контексту, писати функції для видалення старих результатів пошуку та збирати компактні таблиці зі станом інших агентів. Наприклад, в одному з тестів модель за 163 редагування утримувала робочий контекст у межах 6–8K токенів.

Автори пішли далі й спробували окремо навчити модель цьому навичу через навчання з підкріпленням (RL). Після навчання Qwen3.5-9B на BrowseComp-Plus результат виріс із 28.8% до 42.5%, а обчислень знадобилося на 38.8% менше, ніж у базової моделі, навченої тим самим способом зі звичайним узагальненням.

Довільне редагування контексту, щоправда, ламає звичайне кешування. Якщо змінити щось посередині історії, усі стани після цього місця формально треба перераховувати заново. Тому автори запропонували Suffix Cache Reuse: для незмінених частин контексту продовжують використовувати старий KV-cache, навіть якщо текст перед ними змінився. В експериментах це скоротило серверні обчислення ще приблизно на 35% без помітної втрати якості.

На довгих задачах різниця стає суттєвою. На 12-годинному EdgeBench CLM отримав на 5% більше балів за скорочення обчислень на 59%. У 24-годинному тесті на оптимізацію коду CLM за того ж обчислювального бюджету показав на 65% кращий результат, ніж базовий підхід.

Усе це працює поверх звичайних LLM, без зміни архітектури самої моделі.

Код | Стаття

Чому це важливо

Аналітика

Це важливо, бо самокерований контекст ШІ-агентів може зменшити вартість інференсу та підвищити автономність у багатокрокових задачах.

Обговорити новину у спільноті

Діліться своїм досвідом та думками з ШІ-розробниками

Спільнота Андрія Орлова
+5 Points
← До стрічки новин

Пов'язані матеріали екосистеми

Практичні гайди, термінологія та агентські скіли

Термін у глосарії

Meta Llama (Головний відкритий стандарт штучного інтелекту)

Флагманська серія відкритих мовних моделей від компанії Meta (Llama 3, 3.3). Доступна для вільного скачування, модифікації та локального запуску на власних серверах без обмежень і цензури.

Практичний гайд

Jev та System One AI: повний практичний гайд по моделі рішень від TypeSafe

Глибокий інженерний розбір флагманської моделі Jev: архітектура System One проти LLM, примітиви Choice/Score/Noul, паралелізм запитів, математика впевненості, відео-кейси, код та огляд локальних open-weight альтернатив (Laya, GLiNER2.5, CLM-8B).

Термін у глосарії

Сімейство Llama (Meta Llama)

Серія фундаментальних відкритих мовних моделей від Meta (Llama 3, 3.1, 3.3), що стали промисловим стандартом екосистеми Open Weights, локального ШІ та корпоративного файн-тюнінгу.

Новина

DeepSeek відкрила частину інтерфейсу свого ШІ-чату

DeepSeek опублікувала вихідний код інтерфейсу свого ШІ-чата з пошуком в інтернеті, режимом глибокого міркування та історією переписки.