Benchmarki dla agentów: GAIA i SWE-bench
Nowe pokolenie rygorystycznych, praktycznych benchmarków służących do oceny autonomii sztucznej inteligencji. GAIA testuje zadania multimodalne w otwartym internecie z wykorzystaniem plików i przeglądarki, natomiast SWE-bench sprawdza zdolność agentów do znajdowania i naprawiania rzeczywistych błędów w dużych repozytoriach GitHub.
1. Przegląd koncepcji i przeznaczenia
W świecie sztucznej inteligencji nastąpił kryzys ewaluacji: czołowe modele zaczęły uzyskiwać wyniki na poziomie 90–95% w starych testach opartych na programie szkolnym czy egzaminach uniwersyteckich. Jednak gdy model miał wykonywać realną pracę asystenta biurowego lub programisty w firmie, często okazywał się całkowicie bezradny.
Aby ocenić rzeczywistą zdolność do działania autonomicznych systemów, naukowcy stworzyli nową klasę wyzwań – Benchmarki agentowe (Agent Benchmarks):
- GAIA (General AI Assistants): test sprytu asystenta w warunkach rzeczywistego świata.
- SWE-bench: test profesjonalnego programowania na prawdziwych projektach.
Praktyczna analogia: przejście od teoretycznego testu znajomości przepisów ruchu drogowego do realnego prowadzenia samochodu w godzinach szczytu przez tętniące życiem miasto.
2. Jak skonstruowane są zadania w benchmarku GAIA
┌─────────────────────────────────────────────────────────────┐
│ PRZYKŁADOWE ZADANIE W BENCHMARKU GAIA │
├─────────────────────────────────────────────────────────────┤
│ 📋 ZADANIE: │
│ «Oto link do filmu na YouTube. Znajdź, jaki kolor miała │
│ krawat prelegenta w 14. minucie, wejdź na stronę │
│ firmy prelegenta i znajdź numer telefonu ich biura». │
├─────────────────────────────────────────────────────────────┤
│ 🤖 CO POWINIEN ZROBIĆ AGENT: │
│ 1. Otworzyć film, pobrać transkrypcję lub kadr │
│ 2. Wykorzystać wizję komputerową (VLM) dla 14. minuty │
│ 3. Otworzyć wyszukiwarkę za pomocą narzędzia przeglądarki│
│ 4. Znaleźć stronę i wyodrębnić numer telefonu ze stopki │
│ 5. Udzielić jednej krótkiej i precyzyjnej odpowiedzi │
└─────────────────────────────────────────────────────────────┘
3. Dlaczego zadania GAIA są tak trudne dla AI, ale proste dla człowieka
Człowiek rozwiązuje większość zadań GAIA w ciągu 10–15 minut, ponieważ dysponujemy zdrowym rozsądkiem, potrafimy przełączać się między kartami przeglądarki i nie gubimy się, jeśli strona wygląda nietypowo.
Dla AI każda zmiana formatu to potencjalna katastrofa:
- Poziom 1 (Proste zadania bez narzędzi): ~60% skuteczności.
- Poziom 2 (Wymagane wyszukiwanie i pliki): ~35% skuteczności.
- Poziom 3 (Złożone wielomodalne łańcuchy): poniżej 20% skuteczności.
4. Praktyczne wnioski
Gdy wybierasz środowisko do rozwoju (Cursor, Devin, Windsurf) lub serwis do automatyzacji biznesu – sprawdzaj wskaźniki w SWE-bench oraz GAIA. Jeśli system osiąga wysoki wynik w tych benchmarkach, jest to gwarancja, że potrafi myśleć i korygować błędy podczas realizacji rzeczywistych zadań.
FAQ: Benchmarki dla agentów: GAIA i SWE-bench
Powiązane pojęcia
Zanieczyszczenie benchmarków (Data Contamination)
Problem obiektywności oceny sztucznej inteligencji, polegający na tym, że pytania i odpowiedzi ze standardowych zestawów testowych (MMLU, HumanEval, GSM8K) przypadkowo lub celowo trafiają do danych treningowych modelu, co prowadzi do sztucznie zawyżonych wyników podczas prezentacji.
Agenci AI (agenci autonomiczni)
Autonomiczny system oparty na dużym modelu językowym, który nie tylko odpowiada na wiadomości, ale samodzielnie planuje sekwencję działań, wykorzystuje zewnętrzne narzędzia (przeglądarka, terminal, bazy danych) i wykonuje złożone zadania bez ciągłego nadzoru człowieka.
Cursor Composer (Wieloplikowa edycja agentowa)
Flagowy tryb agenta w edytorze kodu Cursor (Ctrl+I / Cmd+I). Pozwala sztucznej inteligencji jednoczesne tworzenie, modyfikowanie i łączenie dziesiątek plików projektu, wykonywanie poleceń w terminalu oraz sprawdzanie błędów.