BridgeMind stellt NerfBench vor: Erkennung von KI-Modell-Degradation nach dem Release

Nutzer von Chatbots und Agenten berichten regelmäßig davon, dass sich die Leistungsfähigkeit von KI-Modellen nach dem Release oder kurz vor der Veröffentlichung einer neuen Version verschlechtert. Dieser Prozess wird in der Community oft als "Nerf" bezeichnet.

Um solche Verschiebungen zu erkennen, hat BridgeMind einen speziellen Benchmark namens NerfBench veröffentlicht.

Das Verfahren funktioniert wie folgt: Am Tag des Releases wird das Modell durch Tests geschickt, wobei das Ergebnis als Referenzwert von 100 % festgelegt wird. Anschließend wird das Modell in regelmäßigen Abständen erneut getestet, um Qualität, Token-Nutzung und Kosten pro Aufgabe zu messen. Ein Bereich zwischen 90 und 110 % gilt als normale statistische Schwankung; Werte unter 90 % werden als verdächtig markiert. Wenn ein Modell für dieselbe Arbeit mehr Tokens oder Geld benötigt, wird dies ebenfalls als Verlust an Leistungsfähigkeit gewertet.

Ein aktuelles Beispiel sind die Beschwerden vieler Nutzer über eine spürbare Verschlechterung von Opus 5.5. Tatsächlich lag der Score nach der letzten Messung bei etwa 94 % des Startwerts: formal noch im normalen Bereich, aber kein anderes Modell hat eine so deutliche Abschwächung erfahren. Online wird bereits spekuliert, dass dies auf einen bevorstehenden Release von Fable 5.5 hindeuten könnte.

Aktualisierungen zum Benchmark können hier verfolgt werden.

BridgeMind hat zudem angekündigt, 10.000 US-Dollar bereitzustellen, um zukünftige Nachprüfungen zu finanzieren. Geplant sind die Aufnahme neuer Modelle sowie häufigere Messungen.