# Lokalne LLM i Gemma 4: Kompletny przewodnik

> Szczegółowa instrukcja dotycząca działania lokalnych sieci neuronowych, wyjaśnienie czym są HuggingFace oraz Ollama, a także poradnik jak uruchomić potężny model Gemma 4 nawet na zwykłym komputerze.

## 1. Koncept lokalnych modeli LLM i ich zalety

> [!TIP]
> **Czym są modele lokalne i dlaczego zyskują na popularności?**
> Obecnie modele lokalne błyskawicznie doganiają duże, zamknięte odpowiedniki. Na przykład Gemma 4 pod względem możliwości działa mniej więcej na poziomie GPT-4O Mini.
>
> - **Poufność:** Twoje dane nie opuszczają Twojego komputera.
> - **Dostęp offline:** Model działa nawet bez połączenia z internetem.
> - **Elastyczność:** Możliwość dostrajania (fine-tuning) pod kątem konkretnych zadań (pisanie tekstów, kodowanie, medycyna).

## 2. Możliwości i cechy rodziny modeli Gemma 4

Firma Google wypuściła całą rodzinę modeli Gemma 4, które posiadają szereg istotnych zalet:

- **Dwa mniejsze modele (2,4 mld parametrów):** Idealnie nadają się do smartfonów i małych urządzeń (np. Raspberry Pi).
- **Dwa większe modele (26 mld i 31 mld parametrów):** Przeznaczone dla wydajnych komputerów. W stosunku do liczby parametrów osiągają wyższe wyniki w benchmarkach niż niektóre modele o 100 miliardach parametrów (np. DeepSeek V3).
- **Możliwości agentowe (Tool Calling):** Model może wywoływać funkcje i tworzyć pełnoprawne systemy agentowe.
- **Multimodalność:** Gemma 4 potrafi rozpoznawać dźwięk i obrazy, a także je generować.
- **Otwarta licencja (Apache 2):** W przeciwieństwie do wcześniejszych wersji, możesz ją wykorzystywać w celach komercyjnych bez ograniczeń.

## 3. Nawigacja w HuggingFace i marketplace modeli

- **Unsloth:** Autor lub organizacja, która zoptymalizowała i udostępniła model.
- **Gemma 4:** Nazwa samego modelu.
- **24B:** Liczba parametrów (24 miliardy).
- **A4BIT:** Z 24 miliardów parametrów aktywnie wykorzystywane są jedynie 4 miliardy dzięki technologii MoE/kwantyzacji.
- **IT (Instruction Tuned):** Najważniejszy parametr. Oznacza to, że model został wytrenowany jako czat, czyli rozumie instrukcje i prowadzi dialog (a nie tylko kontynuuje tekst).
- **GGUF:** Format pliku zoptymalizowany do uruchamiania lokalnego przez Ollama lub LM Studio.

## 4. Fine-tuning i technologie kompresji modeli

Aby duże modele można było uruchamiać na domowych komputerach, stosuje się dwa kluczowe podejścia:

- **Kwantyzacja (Quantization):** Obniżenie precyzji wag modelu (np. konwersja z FP16 do 4-bitowego GGUF), co zmniejsza wymagania dotyczące pamięci wideo (VRAM) o 3–4 razy przy niemal braku degradacji logiki.
- **Fine-tuning:** Dostrajanie modelu bazowego na wyspecjalizowanym datasetcie z użyciem adapterów LoRA/QLoRA w celu osiągnięcia eksperckiego poziomu w wąskich dziedzinach wiedzy.

## 5. Instalacja i użytkowanie Ollama

**Ollama** to jedna z najprostszych aplikacji do zarządzania lokalnymi modelami.

- 1. Wejdź na oficjalną stronę Ollama i pobierz wersję desktopową (dla macOS, Windows lub Linux).
- 2. Po instalacji utwórz konto na ich stronie.
- 3. Aby pobrać model z HuggingFace, skopiuj komendę uruchomieniową (np. `ollama run...`) ze strony modelu.
- 4. Otwórz terminal i wklej tę komendę. Poczekaj na zakończenie pobierania.
- 5. Następnie będziesz mógł rozmawiać z modelem bezpośrednio w aplikacji Ollama lub przez terminal (odpowiedzi generowane są szybko – około 6-8 sekund na proste pytania).

## 6. Integracja chmurowa i powiązanie z Claude Code

Jeśli Twój komputer nie jest w stanie obsłużyć ciężkich modeli, Ollama oferuje świetną **alternatywę chmurową**. Możesz podłączyć chmurową wersję ciężkiej Gemmy 4 (31 mld parametrów) i pracować z nią lokalnie bez obciążania systemu.

- Aby używać modelu lokalnego lub chmurowego jako asystenta AI dla programisty, można zintegrować go z **Claude Code**.
- Uruchamiając Claude Code, wybierz odpowiedni model (np. chmurową Gemmę 4) z listy Ollama.
- Wyślij prompt, a model napisze kod lub utworzy plik (np. prezentację HTML lub stronę internetową) bezpośrednio w folderze Twojego projektu.