Físicos crearon un benchmark de 50 problemas no publicados de física teórica
La IA Astra resolvió casi todos los problemas y los autores hallaron errores en sus propias comprobaciones automáticas.
Físicos crearon un benchmark de 50 problemas no publicados de física teórica
La IA Astra resolvió todos los problemas, excepto uno. Los autores reconocieron que la formulación de esa tarea era ambigua: ninguno de los otros modelos tampoco la resolvió.
Los problemas fueron elaborados por expertos del área y seleccionados para que un especialista pudiera resolver cada uno en aproximadamente uno o dos días.
Resultados
- Astra: 49 de 50 problemas.
- Opus 5.5: 46 de 50 problemas.
- GLM-5.3: 21 de 50 problemas.
Todas las respuestas se redujeron a números y se comprobaron automáticamente. Después de la ejecución, las pruebas indicaron que el modelo había resuelto incorrectamente varios problemas, pero Astra insistió en que sus cálculos eran correctos. Los investigadores revisaron sus propias soluciones, encontraron errores en ellas y las respuestas del modelo resultaron ser correctas.
No se sacará una conclusión.
Más detalles: arXiv:2610.16733.
Por qué es importante
AnálisisEl caso muestra que los modelos de IA pueden cuestionar la validación humana y detectar errores en los procedimientos de evaluación científica.
Debatir en la comunidad
Comparte tus preguntas e ideas con desarrolladores