Físicos criaram um benchmark com 50 problemas inéditos de física teórica

Físicos criaram um benchmark com 50 problemas inéditos de física teórica

O modelo de IA Astra resolveu todos os problemas, exceto um. Os autores reconheceram que a formulação desse problema era ambígua: nenhum dos outros modelos o resolveu.

Os problemas foram elaborados por especialistas da área e selecionados para que um especialista pudesse resolver cada um em aproximadamente um ou dois dias.

Resultados

• Astra: 49 de 50 problemas.
• Opus 5.5: 46 de 50 problemas.
• GLM-5.3: 21 de 50 problemas.

Todas as respostas foram reduzidas a números e verificadas automaticamente. Após a execução, os testes indicaram que o modelo havia resolvido vários problemas incorretamente, mas a Astra insistiu que seus cálculos estavam corretos. Os pesquisadores revisaram suas próprias soluções, encontraram erros nelas, e as respostas do modelo se mostraram corretas.

Nenhuma conclusão será tirada.

Mais detalhes: arXiv:2610.16733.