NVIDIA resuelve el principal compromiso de los LLM modernos

Al trabajar con cualquier LLM, uno tiene que elegir entre velocidad y calidad. Los modelos autorregresivos como GPT proporcionan alta calidad pero operan lentamente porque generan un token a la vez.

Los modelos de difusión funcionan al revés. Generan bloques enteros en paralelo, lo que los hace más rápidos, pero esta velocidad tiene un costo en calidad.

Este es el problema que los investigadores de NVIDIA intentaron resolver.

Tomaron un modelo de 30B y lo dividieron en dos partes para generar tokens en paralelo en lugar de uno a la vez. Así nació Nemotron-Labs-TwoTower, un modelo de lenguaje de difusión de NVIDIA Research, adaptado sobre la base de Nemotron-3-Nano-30B-A3B.

Pero antes de entender cómo funciona TwoTower, es esencial comprender por qué los LLM de difusión se quedan atrás de los autorregresivos.

Un LLM de difusión comienza con un bloque de tokens enmascarados y los revela en varios pases. En cada pase, lee todo el texto ya generado mientras predice simultáneamente los tokens enmascarados en el bloque actual. Esto significa que la misma red realiza dos tareas completamente diferentes a la vez. Debe entender el contexto existente mientras predice tokens que aún no existen.

Un conjunto de pesos se dirige a dos tareas diferentes, por lo que la red no puede especializarse completamente en ninguna de ellas.

TwoTower resuelve este problema al no obligar a una red a realizar ambas tareas. En su lugar, el modelo autorregresivo preentrenado se divide en dos torres.

1. Context Tower

Esta es la parte congelada del modelo que lee todo el texto ya generado, tal como lo hacía el modelo original. Ya no se entrena, por lo que las capacidades intelectuales del modelo se preservan por completo.

2. Denoiser Tower

Esta es la parte entrenable del modelo que genera cada nuevo bloque de tokens en paralelo. Para mantener el contexto, utiliza constantemente la atención cruzada hacia la Context Tower.

La parte más interesante es cómo interactúan estas dos torres. Están conectadas capa por capa: la quinta capa de la Denoiser Tower interactúa con la quinta capa de la Context Tower, la sexta con la sexta, y así sucesivamente. Esto permite que el Denoiser acceda a toda la representación de contexto a múltiples niveles del modelo base, no solo a su representación oculta final.

Resultados:

• 2.42 veces mayor capacidad de generación
• Retención del 98.7% de la calidad del modelo original
• Arquitectura construida sobre un modelo híbrido de 30B Mamba–Transformer MoE
• Solo se utilizaron alrededor de 2.1 billones de tokens para el entrenamiento, solo una fracción de los 25 billones de tokens utilizados en el preentrenamiento del modelo original

Esta última cifra es particularmente importante. Ninguno de los componentes se entrenó desde cero. Esta es una adaptación que se puede agregar a un modelo autorregresivo ya existente. Transforma de manera relativamente económica la decodificación lenta de un token a la vez en una rápida generación paralela de bloques.

Por lo tanto, para cualquier sistema sensible a la latencia, este es un enfoque que definitivamente vale la pena explorar. Ya no es necesario elegir entre un modelo en el que confías y la velocidad que necesitas.

Los pesos, el código y la metodología de entrenamiento se publican en acceso abierto.

Artículo:

https://arxiv.org/pdf/2606.26493