Meta FAIR представила e-means: алгоритм кластеризації, що обганяє k-means
Meta FAIR представила e-means: алгоритм кластеризації, що обганяє k-means
Meta FAIR представила e-means — алгоритм кластеризації, який досягає якості класичного k-means за 1,4–2,6 епохи та прискорює роботу з великими векторними базами.
k-means залишається одним із найвикористовуваніших алгоритмів у ML: векторний пошук, RAG, кластеризація ембедингів, чистка та балансування датасетів, квантизація ваг і KV-кешу, створення кодбуків для токенів зображень і аудіо, аналіз даних і пошук аномалій. Проте на мільярдах векторів кожен повний прохід k-means є дуже дорогим.
Автори пропонують оновлювати центри кластерів за допомогою експоненціального ковзного середнього по батчах. Для кожного кластера зберігаються кількість точок і їхня сума; з кожним новим батчем ці значення оновлюються так, щоб свіжі дані мали більшу вагу, а старі поступово забувалися. Центр кластера залишається звичайним середнім — сумою, поділеною на кількість точок.
Завдяки цьому центри починають рухатися вже після перших батчів, а не після повного проходу по даних. Розмір батча та крок оновлення обчислюються за готовими формулами, тому гіперпараметри не потрібно підбирати вручну.
У підсумку e-means досягає якості класичного k-means у рази швидше і навіть із трохи меншою втратою. На найбільшому тесті — 10 мільярдів ембедингів і 16 мільйонів кластерів — алгоритм використав майже в 9 разів менше GPU-годин.
Це особливо важливо для RAG-систем на величезних базах, де побудова індексу може вимагати тисяч годин роботи відеокарт.
Чому це важливо
АналітикаЦе може зменшити вартість індексації та векторного пошуку в ШІ-системах, де навчання на мільярдах векторів потребує тисяч GPU-годин.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Фільтрація за метаданими в RAG (Metadata Filtering)
Техніка комбінованого пошуку у векторних базах даних (Self-Querying Retriever). Дозволяє поєднувати семантичний пошук за смислом із суворими фільтрами бази даних за метаданими: дата публікації, автор документа, рівень доступу, мова або департамент компанії.
Meta Llama (Головний відкритий стандарт штучного інтелекту)
Флагманська серія відкритих мовних моделей від компанії Meta (Llama 3, 3.3). Доступна для вільного скачування, модифікації та локального запуску на власних серверах без обмежень і цензури.
Vercel представила UI SDK: ШІ-агенти можуть безпосередньо взаємодіяти з інтерфейсами
Vercel випустила відкритий UI SDK, який дозволяє ШІ-агентам працювати з інтерфейсами швидше й дешевше. За бенчмарком із документації складне завдання в панелі керування скорочується з 41 до 16 секунд.
Jev та System One AI: повний практичний гайд по моделі рішень від TypeSafe
Глибокий інженерний розбір флагманської моделі Jev: архітектура System One проти LLM, примітиви Choice/Score/Noul, паралелізм запитів, математика впевненості, відео-кейси, код та огляд локальних open-weight альтернатив (Laya, GLiNER2.5, CLM-8B).