Бенчмарки для агентів: GAIA та SWE-bench(Бенчмарки агентів GAIA та SWE-bench: як перевіряють здатність ШІ вирішувати реальні задачі)

1. Огляд концепції та призначення

У світі штучного інтелекту сталася криза оцінювання: топові моделі почали набирати по 90–95% у всіх старих тестах зі шкільної програми чи університетських іспитів. Але коли модель саджали за реальну роботу помічника в офісі або програміста в компанії — вона часто виявлялася абсолютно безпорадною.

Щоб оцінити реальну дієздатність автономних систем, науковці створили новий клас випробувань — Агентські бенчмарки (Agent Benchmarks):

• GAIA (General AI Assistants): тест на кмітливість помічника у реальному світі.
• SWE-bench: тест на професійне програмування на справжніх проєктах.

Практична аналогія: перехід від теоретичного тесту на знання правил дорожнього руху до реального водіння авто у годину пік по жвавому місту.

2. Як влаштовані завдання в бенчмарку GAIA

┌─────────────────────────────────────────────────────────────┐
│                 ТИПОВА ЗАДАЧА В БЕНЧМАРКУ GAIA              │
├─────────────────────────────────────────────────────────────┤
│ 📋 ЗАВДАННЯ:                                                │
│    «Ось посилання на відео з YouTube. Знайди, якого кольору │
│    була краватка у спікера на 14-й хвилині, зайди на сайт   │
│    компанії спікера і знайди номер телефону їхнього офісу». │
├─────────────────────────────────────────────────────────────┤
│ 🤖 ЩО ПОВИНЕН ЗРОБИТИ АГЕНТ:                                │
│    1. Відкрити відео, завантажити транскрипт або кадр       │
│    2. Використати комп'ютерний зір (VLM) на 14-й хвилині    │
│    3. Відкрити пошуковик через браузерний інструмент        │
│    4. Знайти сайт і витягнути з футера номер телефону       │
│    5. Дати одну коротку й точну відповідь                   │
└─────────────────────────────────────────────────────────────┘

3. Чому завдання GAIA такі складні для ШІ, але прості для людини

Людина вирішує більшість завдань GAIA за 10–15 хвилин, тому що ми маємо здоровий глузд, вміємо перемикатися між вкладками та не губимося, якщо сайт виглядає незвично.

Для ШІ кожна зміна формату — це потенційна катастрофа:

• Рівень 1 (Прості задачі без інструментів): ~60% успіху.
• Рівень 2 (Потрібні пошук і файли): ~35% успіху.
• Рівень 3 (Складні мультимодальні ланцюги): менше 20% успіху.

4. Практичний висновок

Коли ви обираєте середовище для розробки (Cursor, Devin, Windsurf) або сервіс для автоматизації бізнесу — дивіться на показники в SWE-bench та GAIA. Якщо система має високий бал у цих бенчмарках, це гарантія, що вона вміє думати й виправляти помилки на реальних задачах.