Método de Difusión en Máscara con Forma de Estrella

Método de Difusión en Máscara con Forma de Estrella

En los LLM de difusión en máscara, hay un problema bastante burdo: una vez que un token está desmascarado, queda congelado. Si el modelo comete un error en un paso temprano, no puede corregir ese error y, en su lugar, intenta construir texto a su alrededor. Tales inconsistencias son particularmente notables con un pequeño número de pasos. Los métodos de remascarado existentes le dan al modelo la oportunidad de reconsiderar, pero requieren cientos de pasos, lo que socava la principal ventaja de la difusión: la velocidad.

Los autores de T-Tech, HSE y Constructor University presentaron un método en ICML donde todos los estados ruidosos dependen solo del texto limpio, no entre sí. En cada paso, el modelo predice toda la secuencia limpia, y el siguiente estado se muestrea de nuevo a partir de ella, sin heredar nada del actual: cualquier token puede volver a la máscara y reescribirse, y esto no requiere reentrenamiento. Generar desde cero no es posible: el remascarado en pasos tempranos destruye el contexto no formado, por lo que los primeros ~70% de los pasos se escriben de la manera habitual, y solo después se activa el modo de edición. Dónde editar se indica mediante un predictor de errores ligero separado, entrenado en los errores del modelo durante la generación. La principal desventaja de este enfoque es la incapacidad de insertar y eliminar tokens.

Como resultado, en 128 pasos, el método supera la calidad y diversidad de texto de los mejores enfoques anteriores con un presupuesto de 512 pasos, lo que permite generar casi tres veces más rápido (3.4 frente a 9.2 segundos en H200). El predictor de errores entrenado en textos web se transfiere a código, matemáticas y noticias sin reentrenamiento.