Новые бенчмарки: GPT-6 Astra проехала трассу на настоящем автомобиле
Новые бенчмарки: GPT-6 Astra проехала трассу на настоящем автомобиле
Команда DrivingBench подключила четыре ИИ-модели к управлению реальным автомобилем Toyota Corolla. Только GPT-6 Astra смогла добраться до финиша.
Команда DrivingBench подключила четыре ИИ-модели к рулю, педали газа и тормозам Toyota Corolla 2022 года. Машина двигалась по размеченной конусами трассе на пустой парковке, а модели получали изображения с камер и отдавали команды через инструменты управления.
Astra оказалась единственной, кто добрался до финиша. В первой попытке она прошла 49% маршрута, затем разобрала свою ошибку и во второй завершила трассу за 5 минут 22 секунды. Лучший результат Claude Fable 5.1 составил 45%; Grok 4.6 и GPT-5.6 Sol не прошли первый поворот.
За рулём всё время находился человек, готовый нажать на тормоз. Авторы провели по одной серии попыток для каждой модели, поэтому по результату нельзя судить о надёжности на дороге. Но эксперимент уже показывает, что модель общего назначения способна управлять физическим автомобилем и исправлять свои действия по ходу задачи.
Почему это важно
АналитикаЭксперимент подтверждает, что современные мультимодальные ИИ-модели общего назначения могут эффективно управлять сложными физическими системами в реальном времени, адаптируясь к ошибкам.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
GPT-6 Astra: руководство по новой модели OpenAI
Полный обзор флагманской модели GPT-6 Astra: агентная архитектура, возможности Computer Use, кодинг в Codex, бенчмарки кибербезопасности, тонкости промптинга и руководство по миграции API.
ТОП-5 ИИ-инструментов месяца: новые возможности для агентов и разработчиков
Обзор 5 инновационных ИИ-инструментов месяца: единая точка доступа Monid (1800+ API), виртуальные номера Dial, графовая память HydraDB OSS, общее полотно Doop и голосовой тренер Orato.
Бенчмарки для агентов: GAIA и SWE-bench
Новое поколение строгих практических бенчмарков для оценки автономности искусственного интеллекта. GAIA тестирует мультимодальные задачи в открытом вебе с файлами и браузером, а SWE-bench проверяет способность агентов находить и исправлять настоящие баги в больших репозиториях GitHub.
Оценка Агентов и Бенчмаркинг SWE-bench
Методология и инфраструктура систематического измерения надежности, точности и безопасности ИИ-агентов с помощью синтетических тестов, SWE-bench и headless репозиторных симуляций.