Meta FAIR представила алгоритм e-means, который обгоняет k-means
Meta FAIR представила алгоритм e-means, который обгоняет k-means
Исследователи Meta FAIR представили e-means — алгоритм кластеризации, который достигает качества k-means за 1,4–2,6 эпохи и ускоряет обработку больших векторных баз.
Meta FAIR придумали алгоритм e-means, который обгоняет k-means.
Давненько не выходили такие громкие статьи по классическому ML. Разбираемся.
k-means — простейший алгоритм кластеризации, но один из самых используемых. Он применяется для векторного поиска и RAG, кластеризации эмбеддингов, чистки и балансировки датасетов, квантизации весов и KV-кэша, создания кодбуков для токенов изображений и аудио, анализа данных, поиска аномалий и т. д.
Уже десятки лет k-means является золотым стандартом. Алгоритм берет набор точек данных, случайно размещает среди них K пробных центров, относит каждую точку к ближайшему центру, а затем сдвигает каждый центр в среднее положение своих точек и повторяет так несколько эпох, пока центры не перестанут двигаться.
Понятно, что на миллиардах векторов каждый такой проход очень дорогой, поэтому в индустрии уже придумали много способов удешевлять k-means. Например, есть mini-batch k-means, который обновляет центры чаще по маленьким кусочкам данных. Такие подходы работают быстрее, но сходятся к заметно худшему качеству.
Авторы статьи утверждают, что e-means способен достичь качества классического k-means всего за 1,4–2,6 эпохи. Против Flash-KMeans ускорение по времени получается от 9,5x до 45,5x.
Они предлагают пересчитывать центры экспоненциальным скользящим средним по батчам. Для каждого кластера хранится, сколько в нем точек и чему равна их сумма, а с каждым новым батчем эти значения обновляются так, что свежие данные весят больше, а старые постепенно забываются. Центр кластера при этом остается обычным средним — суммой, деленной на количество.
Благодаря такому подходу центры начинают двигаться уже после первых батчей, а не после полного прохода по данным, а размер батча и шаг обновления считаются по готовым формулам, поэтому никакие гиперпараметры подбирать вручную не нужно.
В итоге e-means достигает качества классического k-means в разы быстрее и даже с чуть меньшим лоссом. На самом большом тесте — 10 миллиардах эмбеддингов и 16 миллионах кластеров — ему понадобилось почти в 9 раз меньше GPU-часов.
Представьте, что это значит для тех же RAG-систем на огромных базах, где построение индексов съедает тысячи часов работы видеокарт.
Почему это важно
АналитикаЭто может снизить стоимость индексации и векторного поиска в RAG-системах, где кластеризация на миллиардах эмбеддингов требует тысяч GPU-часов.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
Фильтрация по метаданным в RAG (Metadata Filtering)
Техника комбинированного поиска в векторных базах данных (Self-Querying Retriever). Позволяет сочетать семантический поиск по смыслу с жесткими фильтрами базы данных по метаданным: дата публикации, автор документа, уровень доступа, язык или департамент компании.
Meta Llama (Главный открытый стандарт искусственного интеллекта)
Флагманская серия открытых языковых моделей от компании Meta (Llama 3, 3.3). Доступна для свободного скачивания, модификации и локального запуска на собственных серверах без ограничений и цензуры.
Vercel представила UI SDK для прямого взаимодействия ИИ-агентов с интерфейсами
Vercel выпустила UI SDK, который позволяет ИИ-агентам напрямую работать с интерфейсами. По бенчмарку из документации задача в панели управления выполняется за 16 секунд вместо 41, а стоимость снижается более чем вдвое.
Jev и System One AI: полное практическое руководство по модели решений от TypeSafe
Глубокий инженерный разбор флагманской модели Jev: архитектура System One против LLM, примитивы Choice/Score/Noul, параллелизм запросов, математика уверенности, видео-кейсы, код и обзор локальных open-weight альтернатив (Laya, GLiNER2.5, CLM-8B).