BridgeMind uruchamia NerfBench, by wykrywać degradację modeli AI po premierze

Użytkownicy chatbotów i agentów AI regularnie zgłaszają, że modele stają się gorsze po swojej premierze lub tuż przed wypuszczeniem kolejnej wersji. Proces ten zyskał w społeczności miano „nerfa”.

Firma BridgeMind udostępniła specjalny benchmark o nazwie NerfBench, który ma na celu wychwytywanie takich zmian.

Działa to w następujący sposób: w dniu premiery model jest poddawany testom, a uzyskany wynik traktowany jako 100%. Następnie model jest okresowo retestowany, przy czym mierzone są jakość odpowiedzi, zużycie tokenów oraz koszt wykonania zadania. Zakres 90–110% uznawany jest za normalną wariancję statystyczną; wszystko poniżej 90% jest flagowane jako podejrzane. Jeśli model wymaga większej liczby tokenów lub środków finansowych do wykonania tej samej pracy, również jest to klasyfikowane jako utrata możliwości obliczeniowych.

Na przykład wielu użytkowników obecnie skarży się, że model Opus 5.5 uległ zauważalnej degradacji. Rzeczywiście, po ostatnim pomiarze jego wynik wynosił około 94% wartości startowej: formalnie wciąż mieści się w normie, ale żaden inny model nie osłabł tak bardzo. W internecie pojawiają się już sugestie, że może to sygnalizować zbliżającą się premierę wersji Fable 5.5.

Aktualizacje dotyczące benchmarku można śledzić tutaj.

BridgeMind zobowiązał się również przeznaczyć 10 000 USD na sfinansowanie przyszłych kontroli: planowane jest objęcie badaniem nowych modeli oraz zwiększenie częstotliwości pomiarów.