В MIT научили ИИ-агентов обмениваться KV-кешем вместо текста
Исследователи MIT предложили архитектуру SwaT, которая передаёт уже обработанный контекст между моделями в мультиагентных системах, сокращая потери и ускоряя работу.
В MIT научили ИИ-агентов обмениваться KV-кешем вместо текста
В мультиагентных системах постоянно приходится передавать контекст между моделями. Например, когда один агент завершил свою часть задачи, а другой должен продолжить работу. Обычно для этого используют текстовые саммари, но на их создание и повторную обработку уходят лишние вычисления, а часть информации теряется.
Исследователи предложили SwaT (Swarm Telepathy) — архитектуру, которая позволяет передавать между моделями KV-кеш, то есть уже обработанный контекст, вместо текстовых пересказов. Причём работает даже между разными семействами моделей.
На бенчмарках SwaT в сочетании со сжатием кеша показал в среднем на 40% более высокое качество ответов и четырёхкратное ускорение по сравнению с передачей текстовых саммари. Ещё интереснее, что таким способом удалось передать визуальную информацию от VLM обычной текстовой модели.
Почему это важно
АналитикаЭто снижает лишние вычисления и потери контекста в мультиагентных системах и позволяет эффективнее координировать разные модели, включая передачу визуальной информации от VLM текстовой модели.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
Claude Code Projects: как один ИИ координирует команду автономных агентов
Глубокий разбор Claude Code Projects: архитектура Coordinator и Threads, параллельные ветки, общая память MEMORY.md и управление облачными агентами.
Jev и System One AI: полное практическое руководство по модели решений от TypeSafe
Глубокий инженерный разбор флагманской модели Jev: архитектура System One против LLM, примитивы Choice/Score/Noul, параллелизм запросов, математика уверенности, видео-кейсы, код и обзор локальных open-weight альтернатив (Laya, GLiNER2.5, CLM-8B).
AI-агенты (Autonomous Agents)
Программные системы на базе LLM, способные самостоятельно воспринимать состояние окружающей среды, декомпозировать сложные цели, вызывать внешние инструменты и итеративно исправлять собственные ошибки.
KV-Cache Offloading & Compression
Аппаратные и алгоритмические методы временной выгрузки кеша ключей и значений (KV-Cache) из дорогой видеопамяти GPU в системную оперативную память (RAM) или быстрые NVMe SSD.