BridgeMind запустил NerfBench для проверки деградации моделей после релиза
Бенчмарк отслеживает снижение качества, рост расхода токенов и стоимости задач у ИИ-моделей после релиза.
BridgeMind сделали бенчмарк, чтобы измерять, не ухудшают ли лаборатории модели после релиза
Пользователи чат-ботов и агентов без конца пишут о том, что модели глупеют после своего релиза и/или перед релизом следующей версии. Этот процесс прозвали «нёрф».
Так вот BridgeMind выпустили специальный бенч NerfBench, чтобы ловить такие сдвиги.
Это работает так: в день релиза модель прогоняют по тестам, и этот результат принимают за 100%. Затем ее периодически тестируют заново, измеряя качество, расход токенов и стоимость задачи. Диапазон 90–110% считается нормальным статистическим разбросом, все что ниже 90% уже помечается как подозрительное. Если модели нужно больше токенов или денег на ту же работу, это тоже считается потерей мощности.
Например, многие пользователи сейчас жалуются, что Opus 5.5 стал сильно проседать. И действительно, после очередного замера скор оказался в районе 94% от запуска (да, формально все еще в нормальном диапазоне, но никакие другие модели так не ослабли). В X уже поговаривают, что это означает скорый выход Fable 5.5.
Следить за обновлениями бенчмарка можно здесь: https://bridgebench.ai/nerf-bench
BridgeMind также пообещали выделить $10 000 на финансирование будущих перепроверок: планируются новые модели и более частые замеры.
Почему это важно
АналитикаNerfBench позволяет отслеживать деградацию ИИ-моделей после релиза, включая падение качества и рост расхода токенов. Это особенно важно для пользователей, которые платят за API и хотят понимать, не ухудшают ли лаборатории модели без публичных анонсов.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
Claude Sonnet 4.6 vs GPT-5.5 vs Gemini 3.1 Pro: сравнение моделей 2026
Каждые несколько недель выходит новая модель, и каждый раз те же вопросы: стоит ли переходить? что изменилось? за что платить?
Часть I. Архитектура ИИ-агентов: фундаментальные блоки
Одиннадцать фундаментальных строительных блоков современного ИИ-агента: таксономия моделей, агентный рантайм, техники промптинга, дистилляция, архитектура навыков (skills), память, function calling и FinOps.
Бенчмарки для агентов: GAIA и SWE-bench
Новое поколение строгих практических бенчмарков для оценки автономности искусственного интеллекта. GAIA тестирует мультимодальные задачи в открытом вебе с файлами и браузером, а SWE-bench проверяет способность агентов находить и исправлять настоящие баги в больших репозиториях GitHub.
Оценка Агентов и Бенчмаркинг SWE-bench
Методология и инфраструктура систематического измерения надежности, точности и безопасности ИИ-агентов с помощью синтетических тестов, SWE-bench и headless репозиторных симуляций.