GPU oder CPU für KI: Der Unterschied

1. Konzeptüberblick und fundamentaler Unterschied

Um zu verstehen, warum Grafikbeschleuniger zur wichtigsten Infrastruktur-Währung des 21. Jahrhunderts geworden sind, muss man den fundamentalen Unterschied in der Designphilosophie der Silizium-Chips betrachten:

• CPU (Central Processing Unit) – optimiert auf Latenzminimierung (Latency-Oriented): Dies ist ein kleines Team aus 8–32 extrem leistungsstarken universellen Kernen mit riesigen L1/L2/L3-Caches und komplexen Branch-Predictor-Blöcken. Die CPU wurde entwickelt, um einen sequenziellen Thread verschachtelter Betriebssystem-Anweisungen so schnell wie möglich auszuführen.
• GPU (Graphics Processing Unit) – optimiert auf maximalen Durchsatz (Throughput-Oriented): Dies ist ein Array aus 5.000–18.000 einfachen parallelen Rechenkernen (ALU), die in Streaming Multiprocessors (SM) gebündelt sind. Sie verschwenden keine Transistoren für Branch Prediction, sondern nutzen das Paradigma SIMT (Single Instruction, Multiple Threads): dieselbe mathematische Operation (z. B. Vektor-Multiplikation) wird gleichzeitig auf Tausende von Datenströmen angewendet.

Mentales Modell: Die CPU ist ein schneller Kurier im Sportwagen, der ein dringendes Paket sofort zustellt. Die GPU ist ein gewaltiger Güterzug, der 10.000 Tonnen Schotter in einer einzigen Fahrt transportiert.

┌─────────────────────────────────────────────────────────────┐
│                   ПОРІВНЯННЯ АРХІТЕКТУР                     │
├─────────────────────────────────────────────────────────────┤
│ 1. CPU: Кілька швидких ядер + Гігантський L3 Cache          │
│    [ ЯДРО 1 ]  [ ЯДРО 2 ]  [ ЯДРО 3 ]  [ ЯДРО 4 ]           │
│    └───────────────── L3 CACHE (64MB) ─────────────────┘    │
│    Шина пам'яті: DDR5 (60 - 90 GB/s)                        │
├─────────────────────────────────────────────────────────────┤
│ 2. GPU: Тисячі простих ядер + Надширока шина пам'яті        │
│    [SM][SM][SM][SM][SM][SM][SM][SM][SM][SM][SM][SM] ...     │
│    (до 18 000 ядер CUDA + Tensor Cores)                     │
│    Шина пам'яті: GDDR6X / HBM3e (1 000 - 3 350 GB/s)        │
└─────────────────────────────────────────────────────────────┘

2. Praktisches Benchmarking: Beschleunigung über CLI überprüfen

Sie können die Geschwindigkeit der Matrixmultiplikation auf CPU versus GPU selbstständig mit einem einfachen Einzeiler-Test in Python messen:

# Тест швидкості множення матриць 8192x8192 на доступних пристроях
python3 -c "
import torch, time
n = 8192

# 1. Тест на CPU
a_cpu, b_cpu = torch.randn(n, n), torch.randn(n, n)
t0 = time.time()
torch.mm(a_cpu, b_cpu)
print(f'CPU Time: {time.time() - t0:.3f} s')

# 2. Тест на GPU (якщо є CUDA або Apple MPS)
device = 'cuda' if torch.cuda.is_available() else ('mps' if torch.backends.mps.is_available() else None)
if device:
    a_gpu, b_gpu = a_cpu.to(device), b_cpu.to(device)
    torch.mm(a_gpu, b_gpu) # warmup
    t0 = time.time()
    torch.mm(a_gpu, b_gpu)
    if device == 'cuda': torch.cuda.synchronize()
    print(f'GPU ({device}) Time: {time.time() - t0:.4f} s')
"

Auf einem modernen System beendet die GPU die Berechnung in 0,015 Sekunden, während ein 16-Kern-Flaggschiff-CPU für dieselbe Operation mehr als 0,8–1,2 Sekunden benötigt (ein Unterschied von Faktor 50–80!).

3. Warum LLM-Inferenz speicherlimitiert (Memory-Bound) ist

Während der Textgenerierungsphase arbeitet das Modell nach der Regel: Um ein Token auszugeben, müssen alle Gewichte des Modells einmal aus dem Speicher gelesen werden:

• Wenn das Modell Llama 3.1 8B im 4-Bit-Format 5 GB belegt:
  • Auf einem System mit DDR5-Bus (Lesegeschwindigkeit 60 GB/s):
    Theoretische Geschwindigkeitsgrenze: $\frac{60 \text{ GB/s}}{5 \text{ GB}} \approx 12 \text{ Tokens/s}$.
  • Auf einer Grafikkarte RTX 4090 (Speichergeschwindigkeit 1.000 GB/s):
    Theoretische Geschwindigkeitsgrenze: $\frac{1000 \text{ GB/s}}{5 \text{ GB}} \approx 200 \text{ Tokens/s}$.

Genau deshalb schlägt die Grafikkarte den Prozessor bei generativer KI nicht primär durch Taktfrequenz oder Kernanzahl, sondern durch die kolossale Datentransfergeschwindigkeit zwischen dem Speicherchip und den Recheneinheiten.

4. Zusammenfassende ingenieurtechnische Schlussfolgerung

• Für Agent-Orchestrierung, Code-Parsing, HTTP-Routing und Datenbankinteraktionen bleibt der Prozessor (CPU) der absolute, unverzichtbare Herrscher des Systems.
• Für Matrixberechnungen von neuronalen Netzen, Embedding-Vektorisierung und Mediengenerierung ist der Grafikbeschleuniger (GPU) mit hoher Speicherdurchsatzrate (Bandbreite) der alternativlose Standard.