DeepSeek-V4.1-Flash z 763 miliardami parametrów można uruchomić lokalnie na GPU z 12 GB
DeepSeek-V4.1-Flash z 763 miliardami parametrów można uruchomić lokalnie na GPU z 12 GB
Badacze z IST Austria przedstawili skwantowaną wersję DeepSeek-V4.1-Flash, którą można uruchomić na konsumenckich GPU z 12 GB VRAM.
Badacze z austriackiego instytutu IST Austria przedstawili skwantowaną wersję modelu AI DeepSeek-V4.1-Flash z 763 miliardami parametrów, którą można uruchomić lokalnie nawet na karcie graficznej z 12 GB pamięci VRAM.
Metoda kwantyzacji GSQ-RCO oraz silnik wnioskowania Strata umożliwiają uruchomienie modelu na konsumenckich kartach graficznych.
Według wyników testów:
RTX 5070 z 12 GB VRAM i 64 GB RAM zapewnia około 5 tokenów na sekundę podczas generowania odpowiedzi i do 231 tokenów na sekundę podczas przetwarzania kontekstu wejściowego. RTX 3060 z 12 GB VRAM i 46 GB RAM osiąga 8–10 tokenów na sekundę podczas generowania odpowiedzi i około 149 tokenów na sekundę podczas przetwarzania kontekstu wejściowego.
Do uruchomienia potrzebna jest duża ilość pamięci RAM oraz co najmniej 239 GB wolnego miejsca na nośniku, ponieważ większość wag modelu jest przechowywana w RAM i na SSD, skąd są ładowane w miarę potrzeby.
Takiej prędkości trudno nazwać wysoką, a złożone zadania agentowe nadal wymagają znacznych zasobów obliczeniowych. Mimo to sama możliwość uruchomienia modelu z 763 miliardami parametrów na zwykłym komputerze świadczy o istotnym postępie w kwantyzacji i optymalizacji wnioskowania.
Dlaczego to ważne
AnalizaTo pokazuje postęp w kwantyzacji i optymalizacji wnioskowania, choć lokalne uruchamianie dużych modeli AI nadal wymaga znacznych zasobów.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami
Powiązane w ekosystemie
Praktyczne poradniki, kluczowa terminologia i skille agentów
GGUF i nowoczesne standardy kwantyzacji
Uniwersalny binarny format plików służący do przechowywania i błyskawicznego ładowania skwantowanych modeli językowych na procesorach oraz kartach graficznych w środowiskach llama.cpp, Ollama i LM Studio.
Framework MLX dla Apple Silicon
Natywna biblioteka uczenia maszynowego od Apple, zaprojektowana w celu maksymalnego wykorzystania zunifikowanej pamięci oraz rdzeni graficznych procesorów z serii M (M2/M3/M4) podczas uruchamiania dużych modeli językowych (LLM).
Jak uruchomić lokalny LLM: konfiguracja, modele i optymalizacja
Kompleksowy przewodnik po uruchamianiu modeli językowych na własnym komputerze: wymagania sprzętowe, wdrożenie Ollama i Open WebUI, przegląd modeli Llama 3, Qwen 2.5, DeepSeek oraz kwantyzacja GGUF.
Jak uruchomić DeepSeek-R1 lokalnie za darmo na Macu, Windows i Linuxie
Masz dość ograniczeń usług chmurowych i stałych opłat za API DeepSeek-R1? Nie jesteś sam. Wielu deweloperów, użytkowników AI i badaczy chce pełnej kontroli nad swoimi danymi i procesami roboczymi.
Kimi K3.1: model AI z 2,8 biliona parametrów
Kimi K3.1 jest przedstawiany jako bardzo duży model otwarty z 2,8 biliona parametrów i 104 miliardami parametrów aktywnych, ale jego wagi nie zostały jeszcze opublikowane.
Kimi K3.1 Pro oficjalnie zaprezentowana: 3 biliony parametrów i kontekst 1 miliona tokenów
Kimi zaprezentowało pierwszy model rodziny K3.1, z 3 bilionami parametrów i oknem kontekstu 1 miliona tokenów; pełne wagi mają zostać opublikowane 4 listopada.