Bramki LLM i routowanie (LiteLLM i Portkey)

1. Przegląd koncepcji i problem systemowy

Gdy firma tworzy dziesiątki różnych serwisów opartych na sztucznej inteligencji, brak centralnego punktu zarządzania prowadzi do infrastrukturalnego chaosu:

• W każdym repozytorium znajduje się własny klucz API, co uniemożliwia ustalenie, który zespół generuje najwyższe koszty.
• Gdy Anthropic lub OpenAI doświadczają awarii technicznej lub przekraczają limity błędów 429, wszystkie wewnętrzne agenci i serwisy firmy nagle przestają działać.
• To samo typowe pytanie jest zadawane modelowi 50 razy dziennie, za każdym razem przepalając budżet z powodu braku wspólnego cache'u.

LLM Gateways (LiteLLM & Portkey) działają jako jedyny, inteligentny przełącznik ruchu między aplikacjami Twojej firmy a setkami modeli chmurowych i lokalnych.

2. Taksonomia architektury i model mentalny

┌─────────────────────────────────────────────────────────────┐
│                 CENTRALIZED LLM GATEWAY                     │
├─────────────────────────────────────────────────────────────┤
│ 1. INCOMING APPLICATION CALLS (All use standard OpenAI API) │
│    • Cursor IDE, Internal Bots, Customer Facing Apps        │
├─────────────────────────────────────────────────────────────┤
│                          │                                  │
│                          ▼ LITELLM / PORTKEY GATEWAY CORE   │
│    ┌─────────────────────────────────────────────────────┐  │
│    │ • Semantic Redis Cache (Check for instant hit)      │  │
│    │ • Spend Tracker (User/Team budget quotas)           │  │
│    │ • Health Checker & Automatic Fallback Engine:       │  │
│    │   Try: Claude 3.7 ➔ If 429/500 ➔ Fallback: DeepSeek-R1 │
│    └─────────────────────────────────────────────────────┘  │
├─────────────────────────────────────────────────────────────┤
│ 2. DOWNSTREAM PROVIDERS:                                    │
│    • Anthropic | OpenAI | Bedrock | Self-hosted vLLM on VPS │
└─────────────────────────────────────────────────────────────┘

3. Praktyczne scenariusze inżynierskie w środowisku produkcyjnym

01. Konfiguracja odpornego na awarie routingu w LiteLLM

Konfiguracja automatycznego przełączania w pliku config.yaml:

model_list:
  - model_name: production-coder
    litellm_params:
      model: anthropic/claude-3-7-sonnet
      api_key: os.environ/ANTHROPIC_KEY
  - model_name: production-coder
    litellm_params:
      model: openrouter/deepseek/deepseek-r1
      api_key: os.environ/OPENROUTER_KEY

router_settings:
  routing_strategy: "latency-based-routing"
  fallbacks: [{"production-coder": ["openrouter/deepseek/deepseek-r1"]}]

Jeśli Claude przekracza dopuszczalne opóźnienia lub zwraca błąd, żądanie jest przezroczyście przekierowane do DeepSeek.

02. Jeden wirtualny klucz dla pracowników

Brama generuje każdemu developerowi osobny wirtualny token z miesięcznym limitem wydatków wynoszącym $50. Developer podłącza ten klucz w Cursor lub Cline, a firma centralnie widzi analitykę i kontroluje koszty.

4. Pułapki, typowe błędy i bezpieczeństwo

• Brama jako Single Point of Failure: Jeśli sam serwer LiteLLM padnie, zatrzymają się wszystkie usługi firmy. Wdrażaj bramę co najmniej w dwóch replikach za load balancerem (Caddy/Traefik).
• Ślepe cache'owanie semantyczne: Cache'owanie semantyczne jest przydatne dla stabilnych faktów, ale niebezpieczne dla kodu: dwa podobne pytania różniące się nazwą zmiennej nie powinny otrzymywać tego samego zakodowanego wyniku. Ustaw próg podobieństwa nie niższy niż 0.96.

5. Strategiczny wniosek dla inżyniera roku 2026

LLM Gateways to obowiązkowa warstwa dojrzałej architektury. Oddzielenie logiki aplikacji od konkretnych dostawców modeli zapewnia ciągłą dostępność usług, kontrolę budżetu oraz swobodę przełączania się na najlepsze modele rynkowe w ciągu kilku sekund.