# Lokale LLMs und Gemma 4: Vollständiger Leitfaden

> Detaillierte Anleitung zur Funktionsweise lokaler neuronaler Netze, zu HuggingFace und Ollama sowie zur Ausführung des leistungsstarken Modells Gemma 4 auf einem Standard-Computer.

## 1. Das Konzept lokaler LLMs und ihre Vorteile

> [!TIP]
> **Was sind lokale Modelle und warum sind sie so populär?**
> Lokale Modelle holen derzeit rasch zu den großen proprietären Alternativen auf. Beispielsweise erreicht Gemma 4 in seinen Fähigkeiten ungefähr das Niveau von GPT-4O Mini.
>
> - **Datenschutz:** Ihre Daten verlassen Ihren Computer nicht.
> - **Offline-Zugriff:** Das Modell funktioniert auch ohne Internetverbindung.
> - **Flexibilität:** Möglichkeit zum Fine-Tuning für spezifische Aufgaben (Textgenerierung, Coding, Medizin).

## 2. Fähigkeiten und Besonderheiten der Gemma-4-Familie

Google hat eine ganze Familie von Gemma-4-Modellen veröffentlicht, die zahlreiche wesentliche Vorteile bieten:

- **Zwei kleine Modelle (2,4B Parameter):** Ideal für Smartphones und kleine Geräte (z. B. Raspberry Pi).
- **Zwei große Modelle (26B und 31B Parameter):** Konzipiert für leistungsstarke Computer. Im Verhältnis zu ihrer Parametergröße liefern sie bessere Benchmark-Ergebnisse als einige Modelle mit 100 Milliarden Parametern (z. B. DeepSeek V3).
- **Agentische Fähigkeiten (Tool Calling):** Das Modell kann Funktionen aufrufen und vollständige agentische Systeme erstellen.
- **Multimodalität:** Gemma 4 kann Audio und Bilder erkennen sowie diese generieren.
- **Open Source Lizenz (Apache 2):** Im Gegensatz zu früheren Versionen können Sie das Modell uneingeschränkt kommerziell nutzen.

## 3. Navigation auf HuggingFace und im Modell-Marktplatz

- **Unsloth:** Der Autor oder die Organisation, die das Modell optimiert und hochgeladen hat.
- **Gemma 4:** Der Name des Modells selbst.
- **24B:** Die Anzahl der Parameter (24 Milliarden).
- **A4BIT:** Von den 24 Milliarden Parametern werden dank MoE/Quantisierungstechnologie nur 4 Milliarden aktiv genutzt.
- **IT (Instruction Tuned):** Der wichtigste Parameter. Dies bedeutet, dass das Modell als Chat trainiert wurde, also Anweisungen versteht und Dialoge führt (und nicht einfach nur Text fortsetzt).
- **GGUF:** Ein Dateiformat, das für die lokale Ausführung über Ollama oder LM Studio optimiert ist.

## 4. Fine-Tuning und Technologien zur Modellkompression

Damit große Modelle auf Heimcomputern laufen können, werden zwei zentrale Ansätze angewendet:

- **Quantisierung:** Reduzierung der Bit-Tiefe der Modellgewichte (z. B. Umwandlung von FP16 in ein 4-Bit-GGUF), was die Anforderungen an den VRAM um das 3–4-fache senkt, fast ohne Beeinträchtigung der Logik.
- **Fine-Tuning:** Nachtraining eines Basismodells auf einem spezialisierten Dataset unter Verwendung von LoRA/QLoRA-Adaptern, um Expertenniveau in engen Fachbereichen zu erreichen.

## 5. Installation und Nutzung von Ollama

**Ollama** ist eine der einfachsten Anwendungen zur Verwaltung lokaler Modelle.

- 1. Besuchen Sie die offizielle Ollama-Website und laden Sie die Desktop-Version herunter (für macOS, Windows oder Linux).
- 2. Erstellen Sie nach der Installation ein Konto auf deren Website.
- 3. Um ein Modell von HuggingFace herunterzuladen, kopieren Sie den Startbefehl (z. B. `ollama run...`) von der Modellseite.
- 4. Öffnen Sie das Terminal und fügen Sie diesen Befehl ein. Warten Sie, bis der Download abgeschlossen ist.
- 5. Anschließend können Sie direkt in der Ollama-Anwendung oder über das Terminal mit dem Modell kommunizieren (die Antworten werden generiert).