Метод зоряної маскированої дифузії
Новий метод зоряної маскированої дифузії дозволяє значно покращити якість генерації тексту, зберігаючи швидкість процесу. Це досягається завдяки унікальному підходу до перемаскування токенів.
Метод зоряної маскированої дифузії
У masked diffusion LLM є досить тупа проблема: якщо токен вже розмаскований, все, він заморожений. Помилилася модель на ранньому кроці — далі вона вже не виправляє помилку, а намагається побудувати навколо неї текст. Такі несогласованості особливо помітні при маленькій кількості кроків. Існуючі методи перемаскування дають моделі шанс передумати, але вимагають сотень кроків, що вбиває головну перевагу дифузії — швидкість.
Автори з T-Tech, ВШЕ та Constructor University представили на ICML метод, в якому всі зашумлені стани залежать тільки від чистого тексту, але не один від одного. На кожному кроці модель передбачає повну чисту послідовність, а наступний стан сэмплюється заново з неї, нічого не успадковуючи від поточного: будь-який токен можна повернути в маску і переписати, причому дообучення це не вимагає. З нуля так генерувати не можна — перемаскування на ранніх кроках руйнує нескладений контекст, тому перші ~70% кроків чернетка пишеться звичайним способом, і лише потім включається режим редагування. Куди саме правити, вказує окремий легкий предсказувач помилок, навчений на промахах моделі при генерації. Головний мінус такого підходу — відсутність можливості вставляти і видаляти токени.
В результаті, за 128 кроків метод обганяє за якістю і різноманіттям тексту найкращий з попередніх підходів з бюджетом у 512 кроків, що дозволяє генерувати майже втричі швидше (3.4 проти 9.2 секунди на H200). Предсказувач помилок, навчений на веб-текстах, переноситься на код, математику і новини без дообучення.
Чому це важливо
АналітикаЦей метод значно підвищує ефективність генерації тексту, що може мати важливе значення для розробки нових AI-додатків. Швидкість і якість генерації відкривають нові можливості для використання LLM у різних сферах.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
JSON — структуровані дані для програм, API та AI-агентів
Повний практичний посібник з формату JSON: синтаксичні правила, серіалізація через parse/stringify, робота з REST API, JSON Schema та структурований вивід для штучного інтелекту.
Формати DOCX та XLSX: коли потрібен повноцінний фінальний документ від ШІ
Повний практичний посібник з генерації та опрацювання документів DOCX і таблиць XLSX за допомогою ШІ: порівняння з Markdown та CSV, промпт-інжиніринг, робота з формулами та автоматизація в коді.
Прихований простір (Latent Space)
Багатовимірний математичний векторний простір, створений нейромережею для внутрішнього представлення концепцій, стилів та образів. Дозволяє виконувати дивовижні арифметичні операції над поняттями: наприклад, «Король» мінус «Чоловік» плюс «Жінка» дорівнює «Королева».
Binance оприлюднили розслідування крадіжки $6,3 млрд
Розслідування пов’язує масштабну крадіжку з модифікованим Homebrew, фальшивою співбесідою та використанням внутрішнього ШІ-інструменту Binance.