BridgeMind lance NerfBench pour détecter la dégradation des modèles d'IA après leur sortie

Les utilisateurs de chatbots et d'agents rapportent régulièrement que les modèles d'IA semblent se dégrader après leur mise en service ou avant la sortie de la version suivante. Ce phénomène est surnommé le « nerf ».

BridgeMind a publié un benchmark spécifique, baptisé NerfBench, conçu pour détecter ces dérives.

Le fonctionnement est le suivant : le jour du lancement, le modèle est soumis à une série de tests dont le résultat sert de référence (100 %). Le modèle est ensuite retesté périodiquement, en mesurant la qualité, l'utilisation de tokens et le coût des tâches. Une plage de 90 à 110 % est considérée comme une variance statistique normale ; tout score inférieur à 90 % est signalé comme suspect. Si le modèle nécessite plus de tokens ou d'argent pour accomplir le même travail, cela est également comptabilisé comme une perte de capacité.

Par exemple, de nombreux utilisateurs se plaignent actuellement d'une dégradation notable d'Opus 5.5. En effet, après la dernière mesure, son score était d'environ 94 % par rapport au lancement : formellement toujours dans la fourchette normale, mais aucun autre modèle n'a connu une telle baisse. En ligne, certains suggèrent déjà que cela pourrait signaler une sortie imminente de Fable 5.5.

Les mises à jour du benchmark peuvent être suivies ici.

BridgeMind s'est également engagé à allouer 10 000 dollars pour financer les futures vérifications : de nouveaux modèles et des mesures plus fréquentes sont prévus.