Бывший инженер Google объяснил, как работают AI agent loops, harness и evals за 20 минут.
Бывший инженер Google объяснил, как работают AI agent loops, harness и evals за 20 минут.
Эксперт из Google раскрывает механизмы улучшения AI агентов через циклы, память и оценку.
Логика проста: трасируешь каждый запуск → прогоняешь через LLM-оцениватель → находишь сбои → фиксишь → выкатываешь новую версию.
Так агенты постепенно улучшаются.
- Agent loops: Основной механизм, который позволяет агентам учиться на своих ошибках.
- Memory: Сохраняет информацию о предыдущих запусках, что помогает избегать повторения ошибок.
- Harness: Инструмент для тестирования и интеграции агентов в различные среды.
- Evals: Оценка производительности агентов для выявления их слабых мест.
Смотреть на YouTube 😜 Посмотри и сохрани этот фреймворк.
Почему это важно
АналитикаПонимание этих механизмов критически важно для разработчиков, стремящихся создавать более эффективные и адаптивные AI системы.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
Revolut перевела около 2000 инженеров на локальные GLM-модели для кода
Revolut перевела около 2000 инженеров на локально развернутые GLM-модели, снизив расходы на ИИ-кодинг примерно в 10 раз и сократив время выполнения задач на 70%.
Часть I. Архитектура ИИ-агентов: фундаментальные блоки
Одиннадцать фундаментальных строительных блоков современного ИИ-агента: таксономия моделей, агентный рантайм, техники промптинга, дистилляция, архитектура навыков (skills), память, function calling и FinOps.
Часть II. Архитектура ИИ-агентов: от модели до памяти и инструментов
Глубокое инженерное погружение: токенизация, KV-кэш, детерминизм сэмплинга, тренировочный стек, квантование, контекстная инженерия, стек безопасности, производственный RAG, ReAct и мультиагентные swarm-системы.
Фронтирные Модели (Frontier Models)
Самый мощный класс искусственного интеллекта на переднем крае мировых исследований (Claude 3.7 Sonnet, OpenAI o3/GPT-4.5, Gemini 2.0 Pro), определяющий границы современных возможностей рассуждения, автономности и кодирования.