Des physiciens ont créé un benchmark de 50 problèmes inédits de physique théorique
L’IA Astra a résolu presque tous les problèmes, tandis que les auteurs ont trouvé des erreurs dans leurs propres vérifications.
Des physiciens ont créé un benchmark de 50 problèmes inédits de physique théorique
Le modèle d’IA Astra a résolu tous les problèmes sauf un. Les auteurs ont reconnu que la formulation de ce problème était ambiguë : aucun des autres modèles ne l’a résolu non plus.
Les problèmes ont été rédigés par des experts du domaine et sélectionnés de manière à ce qu’un spécialiste puisse les résoudre en environ un à deux jours.
Résultats
- Astra : 49 sur 50 problèmes.
- Opus 5.5 : 46 sur 50 problèmes.
- GLM-5.3 : 21 sur 50 problèmes.
Toutes les réponses ont été réduites à des nombres et vérifiées automatiquement. Après l’exécution, les tests ont indiqué que le modèle avait résolu plusieurs problèmes incorrectement, mais Astra a insisté sur le fait que ses calculs étaient corrects. Les chercheurs ont revérifié leurs propres solutions, y ont trouvé des erreurs, et les réponses du modèle se sont avérées justes.
Aucune conclusion ne sera tirée.
Plus de détails : arXiv:2610.16733.
Pourquoi c'est important
AnalyseCe cas montre que les modèles d’IA peuvent contester la validation humaine et révéler des erreurs dans les procédures d’évaluation scientifique.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs