Meta FAIR présente e-means : un algorithme de clustering plus rapide que k-means
Meta FAIR présente e-means : un algorithme de clustering plus rapide que k-means
Meta FAIR a présenté e-means, un algorithme de clustering qui atteint la qualité du k-means classique en seulement 1,4–2,6 époques et accélère nettement le travail avec les grandes bases de vecteurs.
k-means reste l’un des algorithmes de ML les plus utilisés : recherche vectorielle, RAG, clustering d’embeddings, nettoyage et équilibrage des datasets, quantification des poids et du KV-cache, création de codebooks pour les tokens d’images et d’audio, analyse de données et détection d’anomalies. Cependant, avec des milliards de vecteurs, chaque passe complète de k-means est très coûteuse.
Les auteurs proposent de mettre à jour les centres des clusters avec une moyenne mobile exponentielle par batchs. Pour chaque cluster, l’algorithme conserve le nombre de points et leur somme ; à chaque nouveau batch, ces valeurs sont mises à jour de sorte que les données récentes aient plus de poids et que les anciennes soient progressivement oubliées. Le centre du cluster reste la moyenne classique : la somme divisée par le nombre de points.
Grâce à cela, les centres commencent à se déplacer dès les premiers batchs, et non après une passe complète sur les données. La taille des batchs et le pas de mise à jour sont calculés à l’aide de formules prêtes à l’emploi, ce qui évite de régler manuellement des hyperparamètres.
Au final, e-means atteint la qualité du k-means classique beaucoup plus vite et avec une perte légèrement inférieure. Sur le plus grand test — 10 milliards d’embeddings et 16 millions de clusters — il a utilisé presque 9 fois moins d’heures GPU.
C’est particulièrement important pour les systèmes RAG sur d’immenses bases, où la construction des index peut nécessiter des milliers d’heures GPU.
Pourquoi c'est important
AnalyseUn clustering plus rapide peut réduire le coût d’indexation des grandes bases vectorielles dans les systèmes RAG et d’autres charges d’IA basées sur les embeddings.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs
Lié dans l'écosystème
Guides pratiques, terminologie clé et compétences d'agents
Filtrage par métadonnées dans RAG (Metadata Filtering)
Technique de recherche combinée dans les bases de données vectorielles (Self-Querying Retriever). Permet de combiner la recherche sémantique avec des filtres stricts de base de données basés sur les métadonnées : date de publication, auteur du document, niveau d'accès, langue ou département de l'entreprise.
Meta Llama (Le standard ouvert de référence pour l'IA)
La série phare des modèles de langage ouverts de Meta (Llama 3, 3.3). Disponible en téléchargement libre, modifiable et exécutable localement sur vos propres serveurs sans restrictions ni censure.
Jev et System One AI : guide pratique complet du modèle de décision TypeSafe
Analyse technique approfondie du modèle phare Jev : architecture System One vs LLM, primitives Choice/Score/Noul, parallélisme des requêtes, mathématiques de la confiance, études de cas vidéo, code et aperçu des alternatives open-weight locales (Laya, GLiNER2.5, CLM-8B).
DeepSeek publie en open source une partie de son interface de chat
DeepSeek a publié le code source d’une partie de son interface de chat, avec recherche sur Internet, mode de réflexion approfondie et historique.