Vercel Labs открыла исходник agent-desktop для Computer Use на уровне всей ОС
Vercel Labs опубликовала исходный код agent-desktop — инструмента, который переносит экономный по токенам подход Computer Use на всю операционную систему без скриншотов.
Vercel Labs открыла исходник agent-desktop.
Инструмент переносит подход к Computer Use, знакомый по agent-browser и отличающийся экономным расходом токенов, на всю операционную систему.
Главная особенность инструмента заключается в том, что ему не нужны скриншоты. Вместо анализа изображений агент напрямую считывает дерево доступности системы, получая информацию о кнопках, полях ввода и других элементах интерфейса.
При этом agent-desktop работает в фоновом режиме и не перехватывает управление мышью, поэтому пользователь может продолжать работать за компьютером. Поддерживается и одновременная работа нескольких агентов, каждый из которых получает собственный курсор.
Почему это важно
АналитикаРабота с деревом доступности вместо скриншотов снижает расход токенов и задержку, а фоновый режим и отдельные курсоры позволяют нескольким агентам взаимодействовать с ОС без перехвата управления у пользователя.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
Управление компьютером через ИИ (Computer Use)
Технология компании Anthropic (представленная в моделях Claude 3.5 Sonnet), позволяющая нейросети управлять операционной системой как обычный человек: делать скриншоты экрана, анализировать координаты окон, перемещать курсор мыши, кликать по кнопкам и вводить текст без использования специальных API.
DeepSeek представила агентный фреймворк dsh-superagent
DeepSeek показала dsh-superagent — фреймворк, который позволяет множеству ИИ-агентов параллельно работать с GitHub Issues и PR.
DeepSeek представила агентный фреймворк dsh-superagent для GitHub
DeepSeek представила ещё один проект — dsh-superagent: агентный фреймворк для GitHub Issues и pull request’ов, позволяющий множеству ИИ-агентов выполнять задачи параллельно.
Автономный AI-оператор в Telegram 24/7: архитектура, Telethon, безопасность и 10 рабочих сценариев
Исчерпывающее инженерное руководство по созданию production-ready AI-оператора в Telegram на базе Telethon: изоляция сессий, система подтверждений, защита от банов и запуск 24/7.