Agenten-Benchmarks: GAIA und SWE-bench
Eine neue Generation strenger praktischer Benchmarks zur Bewertung der Autonomie von Künstlicher Intelligenz. GAIA testet multimodale Aufgaben im offenen Web mit Dateien und Browser, während SWE-bench die Fähigkeit von Agenten überprüft, echte Bugs in großen GitHub-Repositories zu finden und zu beheben.
1. Überblick über das Konzept und den Zweck
In der Welt der künstlichen Intelligenz ist eine Evaluierungskrise ausgebrochen: Top-Modelle erzielen bei allen alten Tests aus dem Schulstoff oder universitären Prüfungen nun regelmäßig Werte zwischen 90 und 95 %. Doch wenn man ein Modell für die reale Arbeit als Assistent im Büro oder als Entwickler in einem Unternehmen einsetzt, erweist es sich oft als völlig hilflos.
Um die tatsächliche Leistungsfähigkeit autonomer Systeme zu bewerten, haben Wissenschaftler eine neue Klasse von Prüfungen geschaffen – Agent Benchmarks:
- GAIA (General AI Assistants): Ein Test für die Cleverness eines Assistenten in der realen Welt.
- SWE-bench: Ein Test für professionelles Programmieren an echten Projekten.
Eine praktische Analogie: Der Übergang vom theoretischen Wissenstest über Verkehrsregeln zum tatsächlichen Autofahren durch eine belebte Stadt zur Rushhour.
2. Aufbau der Aufgaben im GAIA-Benchmark
┌─────────────────────────────────────────────────────────────┐
│ ТИПОВА ЗАДАЧА В БЕНЧМАРКУ GAIA │
├─────────────────────────────────────────────────────────────┤
│ 📋 ЗАВДАННЯ: │
│ «Ось посилання на відео з YouTube. Знайди, якого кольору │
│ була краватка у спікера на 14-й хвилині, зайди на сайт │
│ компанії спікера і знайди номер телефону їхнього офісу». │
├─────────────────────────────────────────────────────────────┤
│ 🤖 ЩО ПОВИНЕН ЗРОБИТИ АГЕНТ: │
│ 1. Відкрити відео, завантажити транскрипт або кадр │
│ 2. Використати комп'ютерний зір (VLM) на 14-й хвилині │
│ 3. Відкрити пошуковик через браузерний інструмент │
│ 4. Знайти сайт і витягнути з футера номер телефону │
│ 5. Дати одну коротку й точну відповідь │
└─────────────────────────────────────────────────────────────┘
3. Warum GAIA-Aufgaben für KI so schwierig, aber für Menschen einfach sind
Menschen lösen die meisten GAIA-Aufgaben in 10–15 Minuten, da wir über gesunden Menschenverstand verfügen, problemlos zwischen Tabs wechseln können und uns nicht verwirren lassen, wenn eine Website ungewöhnlich aussieht.
Für KI stellt jede Formatänderung eine potenzielle Katastrophe dar:
- Level 1 (Einfache Aufgaben ohne Tools): ~60 % Erfolgsquote.
- Level 2 (Erfordert Suche und Dateien): ~35 % Erfolgsquote.
- Level 3 (Komplexe multimodale Ketten): weniger als 20 % Erfolgsquote.
4. Praktische Schlussfolgerung
Wenn Sie eine Entwicklungsumgebung (Cursor, Devin, Windsurf) oder einen Dienst zur Automatisierung Ihrer Geschäftsprozesse auswählen, achten Sie auf die Ergebnisse in SWE-bench und GAIA. Wenn ein System hohe Punktzahlen in diesen Benchmarks erzielt, ist dies eine Garantie dafür, dass es in der Lage ist, bei realen Aufgaben zu denken und Fehler zu korrigieren.
FAQ: Agenten-Benchmarks: GAIA und SWE-bench
Verwandte Begriffe
Benchmark-Kontamination (Data Contamination)
Ein Problem der Objektivität bei der Bewertung von Künstlicher Intelligenz, bei dem Fragen und Antworten aus Standard-Testdatensätzen (MMLU, HumanEval, GSM8K) versehentlich oder absichtlich in die Trainingsdaten des Modells gelangen. Dies führt zu künstlich aufgeblähten Bewertungen in Präsentationen.
KI-Agenten (Autonome Agenten)
Ein autonomes System auf Basis eines großen Sprachmodells, das nicht nur auf Nachrichten antwortet, sondern eigenständig eine Abfolge von Aktionen plant, externe Tools (Browser, Terminal, Datenbanken) nutzt und komplexe Aufgaben ohne ständige menschliche Aufsicht ausführt.
Cursor Composer (Mehrdater-Agenten-Bearbeitung)
Der Flaggschiff-Agentenmodus des Code-Editors Cursor (Strg+I / Cmd+I). Ermöglicht es der künstlichen Intelligenz, gleichzeitig Dutzende von Projektdateien zu erstellen, zu ändern und miteinander zu verknüpfen, Befehle im Terminal auszuführen und Fehler zu überprüfen.