GPU-Slicing & Multi-Instance GPU (MIG)

1. Konzeptüberblick und systemisches Problem

Die Miete moderner Server-GPU-Karten (NVIDIA H100 oder RTX 6000 Ada) ist kostspielig:

• Viele spezialisierte Services (z. B. Modelle zur Generierung von Vektor-Embeddings oder Mikro-Klassifikationsmodelle) nutzen lediglich 5–10 % der Rechenleistung eines Flaggschiff-Chips.
• Eine $35.000-teure Grafikkarte für ein leichtgewichtiges Modell bereitzuhalten, ist eine Verschwendung des Unternehmensbudgets.
• Gleichzeitig birgt das einfache Starten mehrerer Modelle auf einer Karte über Standard-Docker das Risiko des „Noisy Neighbor“-Problems: Eine schwere Anfrage eines Modells kann den gesamten VRAM beanspruchen und alle benachbarten Services zum Erliegen bringen.

GPU Slicing & MIG (Multi-Instance GPU) löst diesen Konflikt, indem es ermöglicht, einen einzigen Grafik-Riesen in mehrere sichere, zuverlässige und kostengünstige virtuelle GPUs zu partitionieren.

2. Architektonische Taxonomie und mentales Modell

┌─────────────────────────────────────────────────────────────┐
│                 NVIDIA HARDWARE MIG PARTITION               │
├─────────────────────────────────────────────────────────────┤
│ PHYSICAL NVIDIA H100 (80 GB HBM3 / 114 SMs)                 │
├─────────────────────────────────────────────────────────────┤
│ ┌──────────────────────┐ ┌───────────────────┐ ┌──────────┐ │
│ │ INSTANCE 1: 3g.40gb  │ │ INSTANCE 2: 2g.20gb│ │3: 1g.10gb│ │
│ │ • 40 GB VRAM         │ │ • 20 GB VRAM      │ │• 10 GB   │ │
│ │ • 42 SM Cores        │ │ • 28 SM Cores     │ │• 14 SM   │ │
│ │ • Runs 70B Coder LLM │ │ • Runs RAG Model  │ │• Embeds  │ │
│ └──────────────────────┘ └───────────────────┘ └──────────┘ │
│ • Ізольовані канали DMA, незалежна відмова (Fault Isolation)│
└─────────────────────────────────────────────────────────────┘

3. Praktische Engineering-Szenarien im Production-Umfeld

01. Konfiguration von MIG-Profilen auf Ubuntu-Servern

Aktivierung und Partitionierung der Karte mit einem einzigen Befehl über das NVIDIA-Utility:

sudo nvidia-smi -i 0 -mig 1
sudo nvidia-smi mig -cgi 9,19,19 -C

Der Server erhält drei unabhängige Geräte /dev/nvidia0, /dev/nvidia1, /dev/nvidia2, die in drei verschiedene Docker-Container oder virtuelle Maschinen gemappt werden können.

02. Nutzung von vGPU in Kubernetes-Clustern

Cloud-Anbieter partitionieren GPU-Pools in kleinere vGPU-Fraktionen, sodass Entwickler Pods mit dem Limit nvidia.com/gpu: 0.25 anfordern können und nur ein Viertel der stündlichen GPU-Kosten zahlen.

4. Fallstricke, häufige Fehler und Sicherheit

• Einschränkungen bei Consumer-GPUs: Die Hardware-MIG-Technologie ist ausschließlich auf Enterprise-Serverkarten verfügbar (A100, A30, H100, H200). Auf Consumer-Karten der GeForce-Serie (RTX 4090 / 5090) steht nur das weniger zuverlässige Software-basierte Time-Slicing zur Verfügung.
• Keine dynamische Größenänderung ohne Neustart: Änderungen an der MIG-Profilkonfiguration erfordern einen Neustart der Container, die an diese Instanzen gebunden sind.

5. Strategisches Fazit für Ingenieure im Jahr 2026

Die GPU-Partitionierung wandelt teure Hardware-Infrastruktur in eine flexible und wirtschaftlich effiziente Ressource um. Die Fähigkeit, Multi-Tenant-Inferenz-Pipelines auf Basis von MIG zu entwerfen, maximiert die Rendite jedes gemieteten Grafikprozessors.