Skip to main content
Всі новини
AI RADARМоделі
234•02.10.2026, 19:02•2 хв читання

BridgeMind запустив NerfBench для перевірки, чи деградують ШІ-моделі після релізу

Коротко про головне30 сек

Новий бенчмарк фіксує погіршення якості, зростання витрат токенів і вартості виконання задач після релізу ШІ-моделей.

Користувачі чат-ботів і агентів без кінця повідомляють, що ШІ-моделі стають гіршими після свого релізу та/або перед виходом наступної версії. Цей процес прозвали «нерф».

BridgeMind випустив спеціальний бенчмарк NerfBench, щоб фіксувати такі зміни.

Принцип роботи простий: у день релізу модель проганяють через тести, і цей результат приймають за 100%. Далі її періодично тестують заново, вимірюючи якість, витрату токенів і вартість задачі. Нормальним статистичним розкидом вважають діапазон 90–110%; все, що нижче 90%, позначають як підозріле. Якщо для тієї ж роботи моделі потрібно більше токенів або грошей, це також рахують як втрату потужності.

Наприклад, багато користувачів зараз скаржаться, що Opus 5.5 нібито помітно просів. І справді, після чергового заміру показник опинився в районі 94% від запуску: формально це ще в межах нормального діапазону, але жодна інша модель так не слабшала. У мережі вже обговорюють, що це може означати швидкий вихід Fable 5.5.

Слідкувати за оновленнями бенчмарка можна тут.

BridgeMind також пообіцяв виділити $10 000 на фінансування майбутніх перевірок: плануються нові моделі та частіші заміри.

Чому це важливо

Аналітика

NerfBench дає користувачам інструмент для незалежного моніторингу якості ШІ-моделей після їхнього релізу. Це допомагає помітити не лише явне погіршення, а й приховане зростання токенів і вартості виконання задач.

Обговорити новину у спільноті

Діліться своїм досвідом та думками з ШІ-розробниками

Спільнота Андрія Орлова
+5 Points
← До стрічки новин

Пов'язані матеріали екосистеми

Практичні гайди, термінологія та агентські скіли

Практичний гайд

Частина II. Архітектура ШІ-агентів: від моделі до пам'яті та інструментів

Глибоке інженерне занурення: токенізація, KV-кеш, детермінізм семплінгу, тренувальний стек, квантування, контекстна інженерія, стек безпеки, виробничий RAG, ReAct та мультиагентні swarm-системи.

Термін у глосарії

Frontier Models (Фронтирні моделі ШІ)

Найпотужніший клас штучного інтелекту на передньому краї світових досліджень (Claude 3.7 Sonnet, OpenAI o3/GPT-4.5, Gemini 2.0 Pro), що визначає межу сучасних можливостей міркування, автономності та кодування.

Новина

OpenAI випустила моделі GPT 6.2 Astra та Sol

OpenAI представила GPT 6.2 Astra та Sol: Astra показала сильні результати в агентних тестах і посіла перше місце в рейтингу AA-3D, а нові тарифи роблять її конкурентною щодо інших моделей.

Новина

Дайджест ШІ: чутки про зміну CEO NVIDIA, нові моделі Gemini, Kimi та MiniMax

Огляд головних подій у ШІ за 2–15 листопада: чутки про відставку Дженсена Хуанга, оновлення Gemini, Kimi, MiniMax та інструменти OpenAI.