Apple Silicon: Die ideale Architektur für Large Language Models
Die Apple-Silicon-Architektur erweist sich dank hoher Bandbreite und Unified Memory als nahezu perfekt für den lokalen Betrieb großer Sprachmodelle. Der Mac Studio M5 Ultra schlägt dabei herkömmliche PC-Cluster deutlich.
Apple Silicon: Die ideale Architektur für Large Language Models
Die Apple-Silicon-Architektur hat sich als nahezu ideal für den Betrieb von Large Language Models (LLMs) erwiesen. Dies ist vor allem der Kombination aus schnellem Speicher, hoher Bandbreite und einer Unified-Memory-Architektur zu verdanken.
Der Mac Studio M5 Ultra mit 512 GB Arbeitsspeicher und einer Bandbreite von 1,2 TB/s kann das Modell GLM-5.3-Flash mit 320 Milliarden Parametern im FP8-Format vollständig aufnehmen. Dabei liefert er lokal auf dem Desktop eine Geschwindigkeit von rund 60 Tokens pro Sekunde.
Alternative auf dem PC?
Man benötigt etwa 10 RTX 5090-Grafikkarten, die zusammen über 20.000 US-Dollar kosten, sowie eine eigene kleine Stromversorgung.
Die Vollversion von GLM-5.3-Flash mit 320 Milliarden Parametern im FP8-Format wiegt etwa 306 GB. Eine einzelne RTX 5090 verfügt jedoch nur über 32 GB Videospeicher. Um die Modellgewichte zu speichern, sind daher mindestens 10 Grafikkarten erforderlich:
10 × 32 GB = 320 GB.
Der Mac Studio löst dieses Problem durch einen Unified-Memory-Pool von bis zu 512 GB bei einer Bandbreite von 1,2 TB/s. Anstatt einen PC-Cluster aus mehreren Grafikkarten aufzubauen, sich mit PCIe-Bus-Latenzen herumzuärgern und einen Stromverbrauch von rund 5.000 Watt in Kauf zu nehmen, lässt sich das gesamte 306-GB-Modell samt großem Kontext und KV-Cache auf einem einzigen Desktop-Computer laden.
Warum das wichtig ist
AnalyseDiese Entwicklung zeigt, wie neue Hardware-Architekturen die Ansätze zum Betrieb von LLMs grundlegend verändern können. Sie macht leistungsstarke KI-Modelle für Entwickler zugänglicher und effizienter.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern
Verwandt im Ökosystem
Praktische Leitfäden, Terminologie und Agenten-Skills
AI Radar: GPT-6.1 Terra, Gemini 4 Carbon, Mistral Large 4 und Preisänderungen bei OpenAI und Anthropic
Überblick über aktuelle KI-News: neue LLM-Releases, Änderungen bei OpenAI- und Anthropic-Abos, World-Modelle, Videogeneratoren und Unternehmensdetails.
JSON – strukturierte Daten für Anwendungen, APIs und KI-Agenten
Ein umfassender praktischer Leitfaden zum JSON-Format: Syntaxregeln, Serialisierung über parse/stringify, Arbeit mit REST-APIs, JSON Schema und strukturierter Output für künstliche Intelligenz.
DOCX- und XLSX-Formate: Wann ein vollwertiges finales Dokument von KI erforderlich ist
Ein umfassender praktischer Leitfaden zur Generierung und Verarbeitung von DOCX-Dokumenten und XLSX-Tabellen mit KI: Vergleich mit Markdown und CSV, Prompt-Engineering, Arbeit mit Formeln und Automatisierung im Code.
Binance veröffentlicht Untersuchung zum Diebstahl von 6,3 Mrd. US-Dollar
Die Untersuchung verbindet den Diebstahl mit einem manipulierten Homebrew, einem gefälschten Interview und dem Missbrauch eines internen KI-Tools von Binance.