DeepSeek-V4.1-Flash mit 763 Milliarden Parametern läuft lokal auf einer 12-GB-GPU
DeepSeek-V4.1-Flash mit 763 Milliarden Parametern läuft lokal auf einer 12-GB-GPU
Forscher von IST Austria haben eine quantisierte Version von DeepSeek-V4.1-Flash vorgestellt, die auf Consumer-GPUs mit 12 GB VRAM laufen kann.
Forscher des österreichischen Instituts IST Austria haben eine quantisierte Version des KI-Modells DeepSeek-V4.1-Flash mit 763 Milliarden Parametern vorgestellt, das lokal sogar auf einer GPU mit 12 GB VRAM laufen kann.
Die Quantisierungsmethode GSQ-RCO und das Inferenz-Engine Strata ermöglichen den Einsatz auf Consumer-GPUs.
Laut Testergebnissen:
RTX 5070 mit 12 GB VRAM und 64 GB RAM liefert etwa 5 Tokens pro Sekunde bei der Antwortgenerierung und bis zu 231 Tokens pro Sekunde bei der Verarbeitung des Eingabekontexts. RTX 3060 mit 12 GB VRAM und 46 GB RAM erreicht 8–10 Tokens pro Sekunde bei der Antwortgenerierung und rund 149 Tokens pro Sekunde bei der Verarbeitung des Eingabekontexts.
Für den Start werden viel RAM und mindestens 239 GB freier Speicherplatz benötigt, da ein großer Teil der Modellgewichte im RAM und auf SSD gespeichert wird und bei Bedarf nachgeladen wird.
Diese Geschwindigkeit ist kaum als hoch einzustufen, und komplexe agentische Aufgaben erfordern weiterhin erhebliche Rechenressourcen. Dennoch zeigt die Möglichkeit, ein Modell mit 763 Milliarden Parametern auf einem normalen Computer auszuführen, deutliche Fortschritte bei Quantisierung und Inferenz-Optimierung.
Warum das wichtig ist
AnalyseDas zeigt Fortschritte bei Quantisierung und Inferenz-Optimierung, auch wenn der lokale Betrieb großer KI-Modelle weiterhin erhebliche Ressourcen erfordert.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern
Verwandt im Ökosystem
Praktische Leitfäden, Terminologie und Agenten-Skills
GGUF & Moderne Quantisierungsstandards
Universelles binäres Dateiformat zur Speicherung und sofortigen Ladung quantisierter Sprachmodelle auf Prozessoren und Grafikkarten in llama.cpp, Ollama und LM Studio.
Apple Silicon MLX Framework
Native machine learning library from Apple, designed to maximize the use of unified memory and graphics cores in M-series chips (M2/M3/M4) when running large LLMs.
Lokale LLMs ausführen: Einrichtung, Modelle und Optimierung
Ein umfassender Leitfaden zur Ausführung lokaler neuronaler Netze auf dem eigenen PC: Hardwareanforderungen, Bereitstellung von Ollama und Open WebUI, Überblick über Llama 3, Qwen 2.5, DeepSeek sowie GGUF-Quantisierung.
DeepSeek-R1 kostenlos lokal auf Mac, Windows und Linux ausführen
Sind Sie es leid, von Cloud-Diensten eingeschränkt zu werden und ständig API-Gebühren für DeepSeek-R1 zu zahlen? Sie sind nicht allein. Viele Entwickler, KI-Nutzer und Forscher wünschen sich volle Kontrolle über ihre Daten und Workflows.
Kimi K3.1 erscheint als KI-Modell mit 2,8 Billionen Parametern
Kimi K3.1 wird als sehr großes Open-Model mit 2,8 Billionen Parametern und 104 Milliarden aktiven Parametern beschrieben; die Gewichte sind noch nicht veröffentlicht.
ZCode verteilt 500 Millionen kostenlose Tokens für GLM-5.3 und GLM-5.3-Flash
Anlässlich des chinesischen Tags des Programmierers bietet ZCode 500 Millionen kostenlose Tokens für die KI-Modelle GLM-5.3 und GLM-5.3-Flash an.