Meta FAIR stellt e-means vor: Clustering-Algorithmus übertrifft k-means
Meta FAIR stellt e-means vor: Clustering-Algorithmus übertrifft k-means
Meta FAIR hat e-means vorgestellt — einen Clustering-Algorithmus, der die Qualität von k-means in 1,4–2,6 Epochen erreicht und die Verarbeitung großer Vektordatenbanken beschleunigt.
Meta FAIR hat e-means vorgestellt, einen Clustering-Algorithmus, der die Qualität des klassischen k-means in nur 1,4–2,6 Epochen erreicht und die Arbeit mit großen Vektordatenbanken deutlich beschleunigt.
k-means ist weiterhin einer der meistgenutzten ML-Algorithmen: Vektorsuche, RAG, Clustering von Embeddings, Bereinigung und Balancing von Datensätzen, Quantisierung von Gewichten und KV-Cache, Erstellung von Codebooks für Bild- und Audio-Tokens, Datenanalyse und Anomalieerkennung. Bei Milliarden von Vektoren ist jeder vollständige k-means-Durchlauf jedoch sehr teuer.
Die Autoren schlagen vor, Cluster-Zentren mit einem exponentiellen gleitenden Durchschnitt über Batches zu aktualisieren. Für jeden Cluster werden Anzahl der Punkte und ihre Summe gespeichert; mit jedem neuen Batch werden diese Werte so aktualisiert, dass neuere Daten stärker gewichtet werden und ältere Daten schrittweise vergessen werden. Das Cluster-Zentrum bleibt das normale arithmetische Mittel — die Summe geteilt durch die Anzahl der Punkte.
Dadurch beginnen sich die Zentren bereits nach den ersten Batches zu bewegen, nicht erst nach einem vollständigen Durchlauf über die Daten. Batch-Größe und Aktualisierungsschritt werden mit fertigen Formeln berechnet, sodass keine Hyperparameter manuell abgestimmt werden müssen.
Insgesamt erreicht e-means die Qualität des klassischen k-means um ein Vielfaches schneller und sogar mit etwas geringerer Loss. Im größten Test — 10 Milliarden Embeddings und 16 Millionen Cluster — wurden fast 9-mal weniger GPU-Stunden benötigt.
Das ist besonders wichtig für RAG-Systeme auf riesigen Datenbanken, bei denen der Aufbau von Indizes Tausende GPU-Stunden verbrauchen kann.
Warum das wichtig ist
AnalyseSchnelleres Clustering kann die Kosten für die Indexierung großer Vektordatenbanken in RAG-Systemen und anderen KI-Workloads senken.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern
Verwandt im Ökosystem
Praktische Leitfäden, Terminologie und Agenten-Skills
Metadaten-Filterung in RAG (Metadata Filtering)
Technik für hybride Suche in Vektor-Datenbanken (Self-Querying Retriever). Ermöglicht die Kombination von semantischer Suche mit strengen Datenbankfiltern basierend auf Metadaten wie Veröffentlichungsdatum, Dokumentenautor, Zugriffslevel, Sprache oder Unternehmensabteilung.
Meta Llama (Der führende offene KI-Standard)
Die Flaggschiff-Serie der offenen Sprachmodelle von Meta (Llama 3, 3.3). Verfügbar zum kostenlosen Download, zur Modifikation und zum lokalen Betrieb auf eigenen Servern ohne Einschränkungen oder Zensur.
Jev und System One AI: Ein umfassender praktischer Leitfaden zum Entscheidungsmodell von TypeSafe
Tiefgehende technische Analyse des Flaggschiff-Modells Jev: Architektur von System One im Vergleich zu LLMs, Choice/Score/Noul-Primitiven, Anfrageparallelität, Unsicherheitsmathematik, Video-Anwendungsfälle, Code sowie Überblick über lokale Open-Weight-Alternativen (Laya, GLiNER2.5, CLM-8B).
DeepSeek veröffentlicht Teil des Chat-Interfaces als Open Source
DeepSeek hat den Quellcode eines Teils seiner Chat-Oberfläche veröffentlicht, darunter Websuche, Deep-Thinking-Modus und Verlauf.