Kierowana maskowa dyfuzja w kształcie gwiazdy

Kierowana maskowa dyfuzja w kształcie gwiazdy

W modelach językowych opartych na maskowej dyfuzji istnieje dość prymitywny problem: po odmaskowaniu tokenu jest on zamrożony. Jeśli model popełni błąd na wczesnym etapie, nie może go skorygować i zamiast tego próbuje budować tekst wokół tej pomyłki. Tego typu niespójności są szczególnie widoczne przy małej liczbie kroków. Istniejące metody ponownego maskowania dają modelowi szansę na przemyślenie decyzji, ale wymagają setek kroków, co podważa główną zaletę dyfuzji – szybkość.

Autorzy z T-Tech, HSE oraz Constructor University przedstawili na konferencji ICML metodę, w której wszystkie stanowe szumy zależą wyłącznie od czystego tekstu, a nie od siebie nawzajem. Na każdym kroku model przewiduje całą czystą sekwencję, a następny stan jest z niej losowany, nie dziedzicząc niczego ze stanu bieżącego: dowolny token może zostać zwrócony do maski i przepisany, bez konieczności ponownego trenowania modelu. Generowanie od zera nie jest możliwe – ponowne maskowanie na wczesnych etapach niszczy jeszcze nie uformowany kontekst, dlatego pierwsze ~70% kroków przebiega w standardowy sposób, a tryb edycji aktywuje się dopiero później. Miejsca wymagające edycji wskazuje osobny, lekki predyktor błędów, wytrenowany na pomyłkach modelu podczas generowania. Główną wadą tego podejścia jest brak możliwości wstawiania i usuwania tokenów.

W rezultacie, przy budżecie 128 kroków, metoda ta przewyższa jakością i różnorodnością generowanego tekstu najlepsze dotychczasowe rozwiązania wymagające 512 kroków, umożliwiając generowanie niemal trzykrotnie szybsze (3,4 s vs. 9,2 s na GPU H200). Predyktor błędów wytrenowany na tekstach internetowych przenosi się skutecznie na kod, matematykę i wiadomości prasowe bez konieczności retrainingu.