Tokens Explained Simply (How Many Words in a Token)

1. Überblick über das Konzept und den Zweck

Wenn ein Mensch einen Text liest, nimmt er Buchstaben, Silben und einzelne Wörter wahr. Computer hingegen können nicht in Wörtern denken – sie arbeiten ausschließlich mit Zahlen.

Token ist der fundamentale „Baustein“ von Text für künstliche Intelligenz. Dies muss kein ganzes Wort sein: Ein Token kann ein einzelnes Zeichen, ein Wortteil, ein Stamm, ein Suffix oder sogar ein Interpunktionszeichen oder Leerzeichen sein.

Für Anfänger ist das Verständnis von Tokens aus zwei praktischen Gründen entscheidend:

1. Kosten: Bei kommerziellen APIs zahlen Sie strikt nach der Anzahl der Input- und Output-Tokens.
2. Speicher: Das Speicherlimit des Modells (Kontextfenster) wird nicht in Gigabytes oder Seiten gemessen, sondern genau in der Anzahl der Tokens.

2. Wie Text in Tokens zerlegt wird (Beispiel)

Sehen Sie sich an, wie künstliche Intelligenz einen Satz wahrnimmt:

┌─────────────────────────────────────────────────────────────┐
│                 ТОКЕНІЗАЦІЯ РЕЧЕННЯ НА ПРАКТИЦІ             │
├─────────────────────────────────────────────────────────────┤
│ Вхідний текст:                                              │
│ «Штучний інтелект змінює світ!»                             │
├─────────────────────────────────────────────────────────────┤
│ Розбивка на токени (BPE Tokenizer):                         │
│ [Штуч][ний] [інте][лект] [зміню][є] [світ][!]               │
│                                                             │
│ • Разом: 4 слова, але 8 окремих токенів                     │
│ • Кожен токен отримує свій унікальний номер:                │
│   [48291, 1029, 8472, 9182, 3311, 401, 8820, 0]             │
└─────────────────────────────────────────────────────────────┘

3. Warum dies Ihr Budget beeinflusst

In den Tarifen der Anbieter (OpenAI, Anthropic, Google) werden die Preise immer im folgenden Format angegeben:

• $2.50 / 1M input tokens (pro 1 Million Input-Wörter).
• $10.00 / 1M output tokens (pro 1 Million vom Modell generierter Wörter).

Beachten Sie: Output-Tokens sind stets 3–4 Mal teurer als Input-Tokens! Der Grund dafür ist, dass es für Modelle rechnerisch einfacher ist, fremden Text zu lesen, als neuen Inhalt Wort für Wort zu generieren.

4. Praktische Tipps zur Einsparung von Tokens

• Entfernen Sie „Füllwörter“ aus Prompts: Statt höflicher Präambeln wie „Guten Tag, lieber Chatbot, könntest du so freundlich sein...“, formulieren Sie direkt die Aufgabe: „Erstelle einen Plan...“. Dies spart täglich hunderte Tokens.
• Fordern Sie komprimierte Ausgabe an: Wenn Sie nur Zahlen benötigen, schreiben Sie: „Gib nur die zusammenfassende Zahl ohne Erläuterungen zurück.“ Je weniger Wörter der Bot am Ausgang generiert, desto geringer sind Ihre Kosten.
• Formatieren Sie Listen: Aufzählungslisten (Bullet Points) verbrauchen weniger Tokens als lange beschreibende Absätze mit Wiederholungen derselben Bindewörter.