BridgeMind presenta NerfBench para detectar degradación de modelos de IA tras el lanzamiento
NerfBench mide si los modelos de IA empeoran, gastan más tokens o cuestan más después de su lanzamiento.
Los usuarios de chatbots y agentes reportan constantemente que los modelos de IA empeoran después de su lanzamiento y/o antes de que salga una nueva versión. Este proceso se ha apodado «nerf».
BridgeMind ha lanzado un benchmark especial llamado NerfBench para detectar estos cambios.
Funciona así: el día del lanzamiento, el modelo se somete a pruebas y ese resultado se toma como 100%. Después, se vuelve a probar periódicamente, midiendo calidad, consumo de tokens y costo por tarea. Un rango de 90–110% se considera variación estadística normal; todo lo que esté por debajo del 90% se marca como sospechoso. Si el modelo necesita más tokens o más dinero para hacer el mismo trabajo, también se cuenta como pérdida de potencia.
Por ejemplo, muchos usuarios se quejan ahora de que Opus 5.5 ha bajado notablemente de nivel. De hecho, tras la última medición, su puntuación rondó el 94% del lanzamiento: formalmente sigue dentro del rango normal, pero ningún otro modelo ha empeorado tanto. En la red ya se comenta que esto podría indicar la pronta salida de Fable 5.5.
Las actualizaciones del benchmark pueden seguirse aquí.
BridgeMind también prometió destinar $10,000 a financiar futuras comprobaciones: se planean nuevos modelos y mediciones más frecuentes.
Por qué es importante
AnálisisNerfBench ofrece una forma práctica de monitorizar si los proveedores de IA reducen la calidad de sus modelos o aumentan los costes tras el lanzamiento. Puede ayudar a detectar regresiones que no aparecen en los anuncios oficiales.
Debatir en la comunidad
Comparte tus preguntas e ideas con desarrolladores
Relacionado en el ecosistema
Guías prácticas, terminología y skills de agentes
Claude Sonnet 4.6 vs GPT-5.5 vs Gemini 3.1 Pro: comparación de modelos 2026
Cada pocas semanas sale un nuevo modelo y cada vez surgen las mismas preguntas: ¿debería cambiar? ¿Qué cambió por qué pagar?
Benchmarks para Agentes: GAIA y SWE-bench
Nueva generación de rigurosos benchmarks prácticos para evaluar la autonomía de la inteligencia artificial. GAIA prueba tareas multimodales en la web abierta con archivos y navegador, mientras que SWE-bench evalúa la capacidad de los agentes para encontrar y corregir errores reales en grandes repositorios de GitHub.
Modelos Frontera
La clase más poderosa de inteligencia artificial en la vanguardia de la investigación mundial (Claude 3.7 Sonnet, OpenAI o3/GPT-4.5, Gemini 2.0 Pro), que define los límites de las capacidades modernas de razonamiento, autonomía y codificación.
Google presenta Gemini 4 Neon: supera a Claude Opus 5.5 y GPT-6.2 Sol en código y agentes
Google presentó Gemini 4 Neon, una nueva IA que, según los resultados anunciados, supera a Claude Opus 5.5 y GPT-6.2 Sol en la mayoría de pruebas.