GPT-5.6 Sol Ultra perdió ante GPT-5.5 en pruebas de física
Las pruebas de los modelos GPT-5.6 Sol Ultra y GPT-5.5 revelaron que el nuevo modelo tuvo un rendimiento inferior en simulación de física a pesar de su mayor costo. Los resultados indican que la versión anterior sigue siendo más efectiva en la ejecución de tareas.
GPT-5.6 Sol Ultra perdió ante GPT-5.5 en pruebas de física
Los evaluadores proporcionaron a cuatro modelos el mismo aviso: crear tres escenas autónomas en HTML5 Canvas con simulación de física realista.
Avisos:
- Un camión monstruo hace un salto hacia atrás y aterriza sobre un coche estacionado.
- Un coche de acrobacias salta sobre seis autobuses y choca contra una pared de ladrillos.
- Un tren descarrila en un puente roto y cae al agua.
Resultados:
- GPT-5.6 Sol Ultra: 32.9k tokens, $0.33
- Opus 4.8: 9.2k tokens, $0.24
- GPT-5.5: 12.4k tokens, $0.11
- Grok 4.5: 7.0k tokens, $0.08
Sol Ultra dibuja casi igual que GPT-5.5, pero con mayor detalle. Esto es especialmente notable en la escena del salto sobre los autobuses, donde los resultados de los dos modelos se ven casi idénticos. En otras pruebas, Sol Ultra se desempeñó peor que su predecesor, y la calidad de la simulación de física disminuyó notablemente. En su opinión, GPT-5.5 gana con confianza en las escenas del salto del camión monstruo y el accidente del tren.
Llegaron a la conclusión de que Sol Ultra es esencialmente GPT-5.5 con física más débil pero una imagen más bonita, y es tres veces más caro. 🤣
El recientemente lanzado Grok 4.5 falló en dos de las tres pruebas y solo se desempeñó adecuadamente en la escena del tren.
Por qué es importante
AnálisisEsto es importante ya que comparar modelos de IA ayuda a comprender sus fortalezas y debilidades, lo que influye en las decisiones tecnológicas para el desarrollo. Los resultados de las pruebas pueden impactar las decisiones de las empresas sobre la adopción de nuevas soluciones en sus proyectos.
Debatir en la comunidad
Comparte tus preguntas e ideas con desarrolladores
Relacionado en el ecosistema
Guías prácticas, terminología y skills de agentes
JSON — Datos estructurados para programas, APIs y agentes de IA
Guía práctica y completa sobre JSON: especificación de sintaxis, serialización con parse y stringify, consumo de APIs REST, validación con JSON Schema y salidas estructuradas para LLMs.
Formatos DOCX y XLSX: cuándo se necesita un documento final completo de la IA
Guía práctica y completa sobre la generación y procesamiento de documentos DOCX y libros XLSX con IA: comparativa con Markdown y CSV, ingeniería de prompts, fórmulas y automatización en código.
Binance publica una investigación sobre el robo de $6,300 millones
La investigación vincula el robo con una versión modificada de Homebrew, una entrevista falsa y el uso de una herramienta interna de IA de Binance.
Un usuario de Reddit explica por qué los límites semanales de Claude Code se consumen casi 4 veces más rápido
Un usuario de Reddit comparó el uso de tokens entre dos semanas y descubrió que ahora cada 1% del límite semanal de Claude Code genera muchos menos tokens de salida; señaló subagentes, tiempo de razonamiento y actualizaciones de interfaz como causas probables.