GPU или CPU для ИИ: в чем разница

1. Обзор концепции и системная проблема

Чтобы понять, почему графические ускорители стали главной инфраструктурной валютой 21-го века, необходимо взглянуть на фундаментальную разницу философий дизайна кремниевых кристаллов:

• CPU (Central Processing Unit) — оптимизированный под минимизацию задержки (Latency-Oriented): Это небольшой отряд из 8–32 чрезвычайно мощных универсальных ядер с огромными кешами L1/L2/L3 и сложными блоками предсказания переходов (Branch Predictor). CPU создан для того, чтобы максимально быстро выполнить одну последовательную нить запутанных инструкций операционной системы.
• GPU (Graphics Processing Unit) — оптимизированный под максимальную пропускную способность (Throughput-Oriented): Это массив из 5 000–18 000 простых параллельных вычислительных ядер (ALU), объединенных в потоковые мультипроцессоры (SM). Они не тратят транзисторы на предсказание переходов, а используют парадигму SIMT (Single Instruction, Multiple Threads): одна и та же математическая операция (например, умножение векторов) одновременно накладывается на тысячи потоков данных.

Ментальная модель: CPU — это скоростной курьер на спорткаре, который мгновенно привезет один срочный пакет. GPU — это гигантский грузовой поезд, который везет 10 000 тонн щебня за один рейс.

┌─────────────────────────────────────────────────────────────┐
│                   СРАВНЕНИЕ АРХИТЕКТУР                     │
├─────────────────────────────────────────────────────────────┤
│ 1. CPU: Несколько быстрых ядер + Гигантский L3 Cache        │
│    [ ЯДРО 1 ]  [ ЯДРО 2 ]  [ ЯДРО 3 ]  [ ЯДРО 4 ]           │
│    └───────────────── L3 CACHE (64MB) ─────────────────┘    │
│    Шина памяти: DDR5 (60 - 90 GB/s)                        │
├─────────────────────────────────────────────────────────────┤
│ 2. GPU: Тысячи простых ядер + Широкая шина памяти           │
│    [SM][SM][SM][SM][SM][SM][SM][SM][SM][SM][SM][SM] ...     │
│    (до 18 000 ядер CUDA + Tensor Cores)                     │
│    Шина памяти: GDDR6X / HBM3e (1 000 - 3 350 GB/s)        │
└─────────────────────────────────────────────────────────────┘

2. Архитектурная таксономия и ментальная модель

Вы можете самостоятельно измерить скорость умножения матриц на CPU против GPU с помощью простого однострочного теста на Python:

# Тест скорости умножения матриц 8192x8192 на доступных устройствах
python3 -c "
import torch, time
n = 8192

# 1. Тест на CPU
a_cpu, b_cpu = torch.randn(n, n), torch.randn(n, n)
t0 = time.time()
torch.mm(a_cpu, b_cpu)
print(f'CPU Time: {time.time() - t0:.3f} s')

# 2. Тест на GPU (если есть CUDA или Apple MPS)
device = 'cuda' if torch.cuda.is_available() else ('mps' if torch.backends.mps.is_available() else None)
if device:
    a_gpu, b_gpu = a_cpu.to(device), b_cpu.to(device)
    torch.mm(a_gpu, b_gpu) # warmup
    t0 = time.time()
    torch.mm(a_gpu, b_gpu)
    if device == 'cuda': torch.cuda.synchronize()
    print(f'GPU ({device}) Time: {time.time() - t0:.4f} s')
"

На современной системе GPU завершает расчет за 0.015 секунды, тогда как 16-ядерный флагманский CPU тратит на ту же операцию более 0.8–1.2 секунды (разница в 50–80 раз!).

3. Почему инференс LLM упирается именно в память (Memory-Bound)

Во время фазы генерации текста модель работает по правилу: чтобы вывести один токен, необходимо прочитать из памяти все веса модели один раз:

• Если модель Llama 3.1 8B в формате 4-бит занимает 5 ГБ:
  • На системе с шиной DDR5 (скорость чтения 60 ГБ/с):
    Теоретический лимит скорости: $\frac{60 \text{ ГБ/с}}{5 \text{ ГБ}} \approx 12 \text{ токенов/сек}$.
  • На видеокарте RTX 4090 (скорость памяти 1 000 ГБ/с):
    Теоретический лимит скорости: $\frac{1000 \text{ ГБ/с}}{5 \text{ ГБ}} \approx 200 \text{ токенов/сек}$.

Именно поэтому видеокарта побеждает процессор в генеративном ИИ не столько за счет частоты или ядер, сколько за счет колоссальной скорости передачи данных между чипом памяти и вычислительными блоками.

4. Практические инженерные сценарии в продакшене

• Для оркестрации агентов, парсинга кода, маршрутизации HTTP-запросов и взаимодействия с базами данных процессор (CPU) остается абсолютным незаменимым хозяином системы.
• Для вычисления матриц весов нейросетей, векторизации эмбеддингов и генерации медиа графический ускоритель (GPU) с высокой пропускной способностью памяти (VRAM) является безальтернативным стандартом.

01. Оптимизация инференса LLM

02. Параллельная обработка данных

03. Бенчмаркинг производительности вычислений