Meta FAIR wprowadza e-means: algorytm klasteryzacji szybszy niż k-means
Meta FAIR wprowadza e-means: algorytm klasteryzacji szybszy niż k-means
Meta FAIR zaprezentowała e-means — algorytm klasteryzacji, który osiąga jakość k-means w 1,4–2,6 epoce i przyspiesza przetwarzanie dużych baz wektorowych.
Meta FAIR zaprezentowała e-means, algorytm klasteryzacji, który osiąga jakość klasycznego k-means w zaledwie 1,4–2,6 epoce i znacznie przyspiesza pracę z dużymi bazami wektorów.
k-means pozostaje jednym z najczęściej używanych algorytmów ML: wyszukiwanie wektorowe, RAG, klasteryzacja embeddingów, czyszczenie i równoważenie zestawów danych, kwantyzacja wag i KV-cache, tworzenie codebooków dla tokenów obrazów i dźwięku, analiza danych oraz wykrywanie anomalii. Jednak przy miliardach wektorów każdy pełny przebieg k-means jest bardzo kosztowny.
Autorzy proponują aktualizowanie centrów klastrów za pomocą wykładniczej średniej kroczącej po batchach. Dla każdego klastra przechowywane są liczba punktów i ich suma; wraz z każdym nowym batchem wartości te są aktualizowane tak, aby nowsze dane miały większą wagę, a starsze były stopniowo zapominane. Centrum klastra pozostaje zwykłą średnią — sumą podzieloną przez liczbę punktów.
Dzięki temu centra zaczynają się przesuwać już po pierwszych batchach, a nie po pełnym przebiegu przez dane. Rozmiar batcha i krok aktualizacji są wyliczane według gotowych wzorów, więc nie trzeba ręcznie dobierać hiperparametrów.
Ostatecznie e-means osiąga jakość klasycznego k-means wielokrotnie szybciej i nawet z nieco mniejszą stratą. W największym teście — 10 miliardów embeddingów i 16 milionów klastrów — zużył prawie 9 razy mniej godzin GPU.
Jest to szczególnie ważne dla systemów RAG na ogromnych bazach, gdzie budowanie indeksów może wymagać tysięcy godzin pracy GPU.
Dlaczego to ważne
AnalizaSzybsza klasteryzacja może obniżyć koszt indeksowania dużych baz wektorowych w systemach RAG i innych zastosowaniach AI opartych na embeddingach.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami
Powiązane w ekosystemie
Praktyczne poradniki, kluczowa terminologia i skille agentów
Filtrowanie po metadanych w RAG (Metadata Filtering)
Technika hybrydowego wyszukiwania w bazach wektorowych (Self-Querying Retriever). Umożliwia połączenie semantycznego wyszukiwania znaczeniowego ze ścisłymi filtrami bazy danych opartymi na metadanych: data publikacji, autor dokumentu, poziom dostępu, język lub dział firmy.
Meta Llama (Główny otwarty standard sztucznej inteligencji)
Flagowa seria otwartych modeli językowych firmy Meta (Llama 3, 3.3). Dostępna do bezpłatnego pobierania, modyfikacji i lokalnego uruchamiania na własnych serwerach bez ograniczeń i cenzury.
Jev i System One AI: Kompletny praktyczny przewodnik po modelu decyzyjnym od TypeSafe
Głęboka analiza inżynieryjna flagowego modelu Jev: architektura System One w kontraście do LLM, prymitywy Choice/Score/Noul, równoległość zapytań, matematyka pewności, przypadki użycia wideo, kod oraz przegląd lokalnych alternatyw open-weight (Laya, GLiNER2.5, CLM-8B).
DeepSeek udostępnia kod części interfejsu czatu
DeepSeek opublikował kod źródłowy części interfejsu swojego czatu, w tym wyszukiwanie w internecie, tryb głębokiego myślenia i historię rozmów.