Фізики створили бенчмарк із 50 неопублікованих задач з теоретичної фізики
Фізики зібрали бенчмарк із 50 неопублікованих задач, а ШІ-модель Astra розв’язала майже всі та в кількох випадках випередила перевірку авторів.
Фізики створили бенчмарк із 50 неопублікованих задач з теоретичної фізики
ШІ-модель Astra розв’язала всі задачі, крім однієї. Автори визнали, що формулювання саме цієї задачі було двозначним: жодна з інших моделей також не впоралася.
Задачі складали профільні експерти. Їх підбирали так, щоб фахівець міг розв’язати кожну приблизно за день-два.
Результати
- Astra: 49 із 50 задач.
- Opus 5.5: 46 із 50 задач.
- GLM-5.3: 21 із 50 задач.
Усі відповіді звели до чисел і перевіряли автоматично. Після прогону тести показали кілька помилок моделі, але Astra наполягала, що її розрахунки правильні. Дослідники перевірили власні розв’язки, дійсно знайшли в них помилки, а рішення моделі виявилися вірними.
Висновків не буде.
Докладніше: arXiv:2610.16733.
Чому це важливо
АналітикаБенчмарк демонструє, що ШІ-модель може не лише відповідати на тестові запитання, а й виявляти помилки в експертних рішеннях, що важливо для оцінювання надійності ШІ у науці.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками