Meta FAIR presenta e-means: un algoritmo de clustering que supera a k-means
Meta FAIR presenta e-means: un algoritmo de clustering que supera a k-means
Meta FAIR presentó e-means, un algoritmo de clustering que alcanza la calidad del k-means clásico en solo 1,4–2,6 épocas y acelera notablemente el trabajo con grandes bases de vectores.
k-means sigue siendo uno de los algoritmos de ML más utilizados: búsqueda vectorial, RAG, clustering de embeddings, limpieza y balanceo de datasets, cuantización de pesos y KV-cache, creación de codebooks para tokens de imágenes y audio, análisis de datos y detección de anomalías. Sin embargo, con miles de millones de vectores, cada pasada completa de k-means es muy costosa.
Los autores proponen actualizar los centros de los clústeres mediante una media móvil exponencial por lotes. Para cada clúster se almacena el número de puntos y su suma; con cada nuevo lote, estos valores se actualizan para que los datos recientes tengan más peso y los antiguos se olviden gradualmente. El centro del clúster sigue siendo la media normal: la suma dividida por la cantidad de puntos.
Gracias a esto, los centros empiezan a moverse después de los primeros lotes, no después de una pasada completa por los datos. El tamaño del lote y el paso de actualización se calculan con fórmulas listas para usar, por lo que no hace falta ajustar hiperparámetros manualmente.
Como resultado, e-means alcanza la calidad del k-means clásico mucho más rápido e incluso con una pérdida ligeramente menor. En la prueba más grande —10 mil millones de embeddings y 16 millones de clústeres— utilizó casi 9 veces menos horas de GPU.
Esto es especialmente importante para sistemas RAG sobre bases enormes, donde construir índices puede requerir miles de horas de GPU.
Por qué es importante
AnálisisUn clustering más rápido puede reducir el coste de indexar grandes bases vectoriales en sistemas RAG y otras cargas de IA basadas en embeddings.
Debatir en la comunidad
Comparte tus preguntas e ideas con desarrolladores
Relacionado en el ecosistema
Guías prácticas, terminología y skills de agentes
Filtrado por Metadatos en RAG (Metadata Filtering)
Técnica de búsqueda combinada en bases de datos vectoriales (Self-Querying Retriever). Permite combinar la búsqueda semántica por significado con filtros estrictos de base de datos por metadatos: fecha de publicación, autor del documento, nivel de acceso, idioma o departamento de la empresa.
Meta Llama (Estándar Abierto Principal de Inteligencia Artificial)
Serie insignia de modelos de lenguaje abiertos de Meta (Llama 3, 3.3). Disponible para descarga gratuita, modificación y ejecución local en servidores propios sin restricciones ni censura.
Jev y System One AI: guía práctica completa del modelo de decisiones de TypeSafe
Análisis ingenieril profundo del modelo insignia Jev: arquitectura System One frente a LLM, primitivas Choice/Score/Noul, paralelismo de consultas, matemática de la confianza, casos de vídeo, código y revisión de alternativas open-weight locales (Laya, GLiNER2.5, CLM-8B).
DeepSeek abre el código de parte de su interfaz de chat
DeepSeek publicó el código fuente de una parte de la interfaz de su chat, con búsqueda en Internet, modo de razonamiento profundo e historial.