Physiker haben einen Benchmark mit 50 unveröffentlichten Problemen der theoretischen Physik erstellt
Die KI Astra löste fast alle Aufgaben, während die Autoren Fehler in ihren eigenen Prüfungen fanden.
Physiker haben einen Benchmark mit 50 unveröffentlichten Problemen der theoretischen Physik erstellt
Das KI-Modell Astra löste alle Aufgaben außer einer. Die Autoren räumten ein, dass die Formulierung genau dieser Aufgabe mehrdeutig war: Auch keines der anderen Modelle löste sie.
Die Aufgaben stammten von Fachexperten und wurden so ausgewählt, dass ein Spezialist jede Aufgabe in etwa ein bis zwei Tagen lösen konnte.
Ergebnisse
- Astra: 49 von 50 Aufgaben.
- Opus 5.5: 46 von 50 Aufgaben.
- GLM-5.3: 21 von 50 Aufgaben.
Alle Antworten wurden auf Zahlen reduziert und automatisch geprüft. Nach dem Testlauf zeigten die Prüfungen mehrere falsch gelöste Aufgaben, doch Astra bestand darauf, dass ihre Berechnungen korrekt seien. Die Forschenden überprüften ihre eigenen Lösungen, fanden tatsächlich Fehler darin, und die Antworten des Modells waren richtig.
Es wird kein Fazit gezogen.
Weitere Details: arXiv:2610.16733.
Warum das wichtig ist
AnalyseDer Fall zeigt, dass KI-Modelle menschliche Validierungsprozesse herausfordern und Fehler in wissenschaftlichen Bewertungsabläufen aufdecken können.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern