Skip to main content

GPU Slicing & Multi-Instance GPU (MIG)

DLA AGENTÓW AIChatGPTClaude

Technologia sprzętowego i programowego podziału jednej wydajnej karty graficznej (NVIDIA H100 / A100 / RTX 6000) na kilka całkowicie izolowanych instancji w celu optymalizacji kosztów hostingu inferencji.

1. Przegląd koncepcji i problem systemowy

Wynajem nowoczesnych kart graficznych klasy serwerowej (NVIDIA H100 lub RTX 6000 Ada) generuje ogromne koszty:

  • Wiele wyspecjalizowanych usług (np. modele generujące wektorowe embeddingi lub mikro-models do klasyfikacji) wykorzystuje zaledwie 5–10% mocy obliczeniowej flagowego chipu.
  • Utrzymywanie karty wideo wartej $35 000 na potrzeby lekkiego modelu to marnowanie budżetu firmy.
  • Jednocześnie proste uruchomienie kilku modeli na jednej karcie za pomocą standardowego Dockera stwarza ryzyko wystąpienia efektu „hałaśliwego sąsiada” (Noisy Neighbor): ciężkie żądanie jednego modelu może wyczerpać całą VRAM i sparaliżować wszystkie sąsiednie usługi.

GPU Slicing & MIG (Multi-Instance GPU) eliminuje tę sprzeczność, pozwalając podzielić jeden graficzny gigant na wiele bezpiecznych, niezawodnych i tanich wirtualnych kart wideo.

2. Taksonomia architektoniczna i model mentalny

┌─────────────────────────────────────────────────────────────┐
│                 NVIDIA MIG PARTYCJA SPRZĘTOWA               │
├─────────────────────────────────────────────────────────────┤
│ FIZYCZNY NVIDIA H100 (80 GB HBM3 / 114 SM)                  │
├─────────────────────────────────────────────────────────────┤
│ ┌──────────────────────┐ ┌───────────────────┐ ┌──────────┐ │
│ │ INSTANCJA 1: 3g.40gb │ │ INSTANCJA 2: 2g.20gb│ │3: 1g.10gb│ │
│ │ • 40 GB VRAM         │ │ • 20 GB VRAM      │ │• 10 GB   │ │
│ │ • 42 rdzenie SM      │ │ • 28 rdzeni SM    │ │• 14 SM   │ │
│ │ • Uruchamia LLM Coder│ │ • Uruchamia model │ │• Embed-  │ │
│ │   o rozmiarze 70B    │ │   RAG             │ │   dings  │ │
│ └──────────────────────┘ └───────────────────┘ └──────────┘ │
│ • Izolowane kanały DMA, niezależna izolacja błędów          │
│   (Fault Isolation)                                         │
└─────────────────────────────────────────────────────────────┘

3. Praktyczne scenariusze inżynierskie w środowisku produkcyjnym

01. Konfiguracja profili MIG na serwerze Ubuntu

Aktywacja i podział karty jednym poleceniem za pośrednictwem narzędzia NVIDIA:

sudo nvidia-smi -i 0 -mig 1
sudo nvidia-smi mig -cgi 9,19,19 -C

Serwer otrzymuje trzy niezależne urządzenia /dev/nvidia0, /dev/nvidia1, /dev/nvidia2, które można przekazać do trzech różnych kontenerów Docker lub maszyn wirtualnych.

02. Wykorzystanie vGPU w klastrach Kubernetes

Dostawca chmury dzieli pulę kart wideo na mniejsze frakcje vGPU, umożliwiając deweloperom zamawianie podów z limitem nvidia.com/gpu: 0.25 i płacenie jedynie za ćwierć godziny pracy GPU.

4. Pułapki, typowe błędy i bezpieczeństwo

  • Ograniczenia konsumenckich kart wideo: Technologia sprzętowa MIG jest dostępna wyłącznie na kartach klasy korporacyjnej/serwerowej (A100, A30, H100, H200). Na kartach konsumenckich z serii GeForce (RTX 4090 / 5090) dostępne jest jedynie mniej niezawodne programowe Time-Slicing.
  • Brak możliwości dynamicznej zmiany rozmiaru bez zatrzymania: Zmiana konfiguracji profili MIG wymaga restartu kontenerów przypisanych do tych instancji.

5. Strategiczny wniosek dla inżyniera roku 2026

Podział kart wideo przekształca drogą infrastrukturę sprzętową w elastyczny, ekonomicznie uzasadniony zasób. Umiejętność projektowania wielotenancyjnych ścieżek inferencji w oparciu o MIG pozwala zmaksymalizować zwrot z inwestycji z każdej wynajętej jednostki procesora graficznego.

/ Najczęściej zadawane pytaniaSchema.org FAQPage

FAQ: GPU Slicing & Multi-Instance GPU (MIG)

MIG to technologia sprzętowa dostępna w kartach z serii A100/H100/B200, która pozwala podzielić jeden fizyczny chip na 7 całkowicie izolowanych instancji sprzętowych (GPU Instances). Każda instancja posiada własne gwarantowane rdzenie obliczeniowe, wydzieloną pamięć VRAM oraz odrębną magistralę szyfrowania, co wyklucza wzajemny wpływ zadań.
/ Linki wewnętrzne
Wszystkie hasła