BridgeMind lança NerfBench para detectar degradação de modelos de IA após o lançamento

Usuários de chatbots e agentes relatam constantemente que os modelos de IA pioram após o lançamento e/ou antes da chegada da próxima versão. Esse fenômeno foi apelidado de "nerf".

A BridgeMind lançou um benchmark específico chamado NerfBench para identificar essas mudanças.

O funcionamento é o seguinte: no dia do lançamento, o modelo passa por testes e esse resultado é considerado como 100%. O modelo é então reavaliado periodicamente, medindo-se a qualidade, o uso de tokens e o custo das tarefas. Uma faixa de 90–110% é considerada variância estatística normal; qualquer valor abaixo de 90% é sinalizado como suspeito. Se o modelo precisar de mais tokens ou dinheiro para realizar o mesmo trabalho, isso também é contabilizado como uma perda de capacidade.

Por exemplo, muitos usuários estão reclamando atualmente que o Opus 5.5 degradou visivelmente. De fato, após a última medição, sua pontuação estava em torno de 94% do nível de lançamento: formalmente ainda dentro da faixa normal, mas nenhum outro modelo enfraqueceu tanto. Online, alguns já sugerem que isso pode indicar um iminente lançamento do Fable 5.5.

As atualizações do benchmark podem ser acompanhadas aqui.

A BridgeMind também prometeu alocar US$ 10.000 para financiar futuras reavaliações: novos modelos e medições mais frequentes estão planejados.