Skip to main content
Все новости
AI RADARМодели
234•02.10.2026, 19:02•2 мин

BridgeMind запустил NerfBench для проверки деградации моделей после релиза

Коротко о главном30 сек

Бенчмарк отслеживает снижение качества, рост расхода токенов и стоимости задач у ИИ-моделей после релиза.

BridgeMind сделали бенчмарк, чтобы измерять, не ухудшают ли лаборатории модели после релиза

Пользователи чат-ботов и агентов без конца пишут о том, что модели глупеют после своего релиза и/или перед релизом следующей версии. Этот процесс прозвали «нёрф».

Так вот BridgeMind выпустили специальный бенч NerfBench, чтобы ловить такие сдвиги.

Это работает так: в день релиза модель прогоняют по тестам, и этот результат принимают за 100%. Затем ее периодически тестируют заново, измеряя качество, расход токенов и стоимость задачи. Диапазон 90–110% считается нормальным статистическим разбросом, все что ниже 90% уже помечается как подозрительное. Если модели нужно больше токенов или денег на ту же работу, это тоже считается потерей мощности.

Например, многие пользователи сейчас жалуются, что Opus 5.5 стал сильно проседать. И действительно, после очередного замера скор оказался в районе 94% от запуска (да, формально все еще в нормальном диапазоне, но никакие другие модели так не ослабли). В X уже поговаривают, что это означает скорый выход Fable 5.5.

Следить за обновлениями бенчмарка можно здесь: https://bridgebench.ai/nerf-bench

BridgeMind также пообещали выделить $10 000 на финансирование будущих перепроверок: планируются новые модели и более частые замеры.

Почему это важно

Аналитика

NerfBench позволяет отслеживать деградацию ИИ-моделей после релиза, включая падение качества и рост расхода токенов. Это особенно важно для пользователей, которые платят за API и хотят понимать, не ухудшают ли лаборатории модели без публичных анонсов.

Обсудить в сообществе

Делитесь опытом и мыслями с ИИ-разработчиками

Telegram-сообщество
+5 Points
← Назад к новостям

Связанные материалы экосистемы

Практические гайды, терминология и агентские скиллы

Практический гайд

Claude Sonnet 4.6 vs GPT-5.5 vs Gemini 3.1 Pro: сравнение моделей 2026

Каждые несколько недель выходит новая модель, и каждый раз те же вопросы: стоит ли переходить? что изменилось? за что платить?

Практический гайд

Часть I. Архитектура ИИ-агентов: фундаментальные блоки

Одиннадцать фундаментальных строительных блоков современного ИИ-агента: таксономия моделей, агентный рантайм, техники промптинга, дистилляция, архитектура навыков (skills), память, function calling и FinOps.

Термин в глоссарии

Бенчмарки для агентов: GAIA и SWE-bench

Новое поколение строгих практических бенчмарков для оценки автономности искусственного интеллекта. GAIA тестирует мультимодальные задачи в открытом вебе с файлами и браузером, а SWE-bench проверяет способность агентов находить и исправлять настоящие баги в больших репозиториях GitHub.

Термин в глоссарии

Оценка Агентов и Бенчмаркинг SWE-bench

Методология и инфраструктура систематического измерения надежности, точности и безопасности ИИ-агентов с помощью синтетических тестов, SWE-bench и headless репозиторных симуляций.