La arquitectura revolucionaria y peligrosa del nuevo Astra de OpenAI: una invención periodística

Recientemente, un artículo ruidoso circuló en línea afirmando que el nuevo modelo de OpenAI, conocido como Astra, se basa en una arquitectura revolucionaria llamada "recurrent depth" o "looped transformer."

La idea detrás del "looped transformer" es que, en lugar de pasar una pila fija de varias capas solo una vez, el modelo pasa el estado oculto a través del mismo bloque de capas varias veces antes de emitir el siguiente token.

Aquellos que siguen artículos de ML ya entendieron en este punto que no hay revolución aquí. Este es un truco arquitectónico bastante conocido que se remonta al trabajo de Google "Mixture-of-Recursions" de NeurIPS. Esta idea se ha utilizado muchas veces en código abierto.

Sin embargo, el bombo del artículo de The Information casi alcanzó la estratosfera. El artículo también afirma que el looped transformer oculta el chain-of-thought. Específicamente, a diferencia de los modelos que muestran razonamientos en texto, los pasos en el looped transformer están ocultos dentro del modelo y, por lo tanto, son inaccesibles para los humanos.

Así, la noticia se transformó rápidamente de un detalle arquitectónico a un debate sobre la seguridad de la IA. OpenAI ya ha sido acusada de cruzar una línea. Sin embargo, la tesis sobre el CoT oculto resulta ser muy controvertida.

Jakub Pachocki respondió públicamente, afirmando que el informe es engañoso. Sebastian Raschka escribió sobre esto de la siguiente manera:

"Quizás el periodista de The Information se refería a alguna otra técnica o malinterpretó cómo funciona el looped transformer.

El mero reutilizar capas no suprime el visible chain-of-thought; simplemente añade cálculos a los estados ocultos antes de generar el siguiente token, al igual que lo hacen las capas de transformador normales.

La única conexión plausible que se puede destacar es que si el modelo realiza más de estos pasos recurrentes, puede requerir menos tokens intermedios de razonamiento. Es decir, más cálculos ocurren en activaciones latentes que no se pueden leer como texto. Pero el mismo efecto podría lograrse simplemente aumentando el tamaño del modelo, por ejemplo, pasando de GPT-5.6 Luna a GPT-5.6 Sol.

Qué conclusión se puede extraer, ustedes decidan.