BridgeMind запустив NerfBench для перевірки, чи деградують ШІ-моделі після релізу
Новий бенчмарк фіксує погіршення якості, зростання витрат токенів і вартості виконання задач після релізу ШІ-моделей.
Користувачі чат-ботів і агентів без кінця повідомляють, що ШІ-моделі стають гіршими після свого релізу та/або перед виходом наступної версії. Цей процес прозвали «нерф».
BridgeMind випустив спеціальний бенчмарк NerfBench, щоб фіксувати такі зміни.
Принцип роботи простий: у день релізу модель проганяють через тести, і цей результат приймають за 100%. Далі її періодично тестують заново, вимірюючи якість, витрату токенів і вартість задачі. Нормальним статистичним розкидом вважають діапазон 90–110%; все, що нижче 90%, позначають як підозріле. Якщо для тієї ж роботи моделі потрібно більше токенів або грошей, це також рахують як втрату потужності.
Наприклад, багато користувачів зараз скаржаться, що Opus 5.5 нібито помітно просів. І справді, після чергового заміру показник опинився в районі 94% від запуску: формально це ще в межах нормального діапазону, але жодна інша модель так не слабшала. У мережі вже обговорюють, що це може означати швидкий вихід Fable 5.5.
Слідкувати за оновленнями бенчмарка можна тут.
BridgeMind також пообіцяв виділити $10 000 на фінансування майбутніх перевірок: плануються нові моделі та частіші заміри.
Чому це важливо
АналітикаNerfBench дає користувачам інструмент для незалежного моніторингу якості ШІ-моделей після їхнього релізу. Це допомагає помітити не лише явне погіршення, а й приховане зростання токенів і вартості виконання задач.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Частина II. Архітектура ШІ-агентів: від моделі до пам'яті та інструментів
Глибоке інженерне занурення: токенізація, KV-кеш, детермінізм семплінгу, тренувальний стек, квантування, контекстна інженерія, стек безпеки, виробничий RAG, ReAct та мультиагентні swarm-системи.
Frontier Models (Фронтирні моделі ШІ)
Найпотужніший клас штучного інтелекту на передньому краї світових досліджень (Claude 3.7 Sonnet, OpenAI o3/GPT-4.5, Gemini 2.0 Pro), що визначає межу сучасних можливостей міркування, автономності та кодування.
OpenAI випустила моделі GPT 6.2 Astra та Sol
OpenAI представила GPT 6.2 Astra та Sol: Astra показала сильні результати в агентних тестах і посіла перше місце в рейтингу AA-3D, а нові тарифи роблять її конкурентною щодо інших моделей.
Дайджест ШІ: чутки про зміну CEO NVIDIA, нові моделі Gemini, Kimi та MiniMax
Огляд головних подій у ШІ за 2–15 листопада: чутки про відставку Дженсена Хуанга, оновлення Gemini, Kimi, MiniMax та інструменти OpenAI.