Tokeny w prostych słowach (Ile słów przypada na jeden token)

1. Przegląd koncepcji i przeznaczenia

Gdy człowiek patrzy na tekst, widzi litery, sylaby i pojedyncze słowa. Komputery nie myślą jednak w kategoriach słów – operują wyłącznie na liczbach.

Token to fundamentalna „cegiełka” tekstu dla sztucznej inteligencji. Nie musi to być całe słowo: tokenem może być pojedynczy znak, fragment wyrazu, rdzeń, sufiks, a nawet interpunkcja czy spacja.

Dla początkujących zrozumienie mechanizmu tokenizacji jest kluczowe z dwóch praktycznych powodów:

1. Koszty: w komercyjnych API płacisz ściśle za liczbę tokenów wejściowych (input) i wyjściowych (output).
2. Pamięć: limit pamięci modelu (okno kontekstowe) mierzy się nie w gigabajtach czy stronach, lecz właśnie w liczbie tokenów.

2. Jak tekst dzieli się na tokeny (Przykład)

Zobacz, jak sztuczna inteligencja postrzega zdanie:

┌─────────────────────────────────────────────────────────────┐
│                 TOKENIZACJA ZDANIA W PRAKTYCE               │
├─────────────────────────────────────────────────────────────┤
│ Tekst wejściowy:                                            │
│ „Sztuczna inteligencja zmienia świat!”                      │
├─────────────────────────────────────────────────────────────┤
│ Podział na tokeny (Tokenizer BPE):                          │
│ [Sz][tucz][na] [in][tel][i][gen][cja] [zmie][nia] [świat][!]│
│                                                             │
│ • Razem: 4 słowa, ale 8 osobnych tokenów                    │
│ • Każdy token otrzymuje swój unikalny numer:                │
│   [48291, 1029, 8472, 9182, 3311, 401, 8820, 0]             │
└─────────────────────────────────────────────────────────────┘

3. Dlaczego ma to wpływ na Twój budżet

W cennikach dostawców (OpenAI, Anthropic, Google) ceny zawsze podawane są w formacie:

• $2.50 / 1M input tokens (za 1 milion tokenów wejściowych).
• $10.00 / 1M output tokens (za 1 milion tokenów wygenerowanych przez model).

Zwróć uwagę: tokeny wyjściowe są zawsze 3–4 razy droższe od wejściowych! Wynika to z faktu, że odczyt cudzego tekstu jest obliczeniowo znacznie tańszy niż generowanie nowego contentu słowo po słowie.

4. Praktyczne wskazówki dotyczące oszczędzania tokenów

• Eliminuj „szum” z promptów: Zamiast uprzejmych preambuł typu „Dzień dobry, szanowny chatbocie, czy mógłbyś być tak łaskawy...”, pisz bezpośrednio zadanie: „Utwórz plan...”. To pozwoli zaoszczędzić setki tokenów dziennie.
• Żądaj zwięzłej odpowiedzi: Jeśli potrzebujesz tylko danych liczbowych, napisz: „Zwróć wyłącznie wynik końcowy bez wyjaśnień”. Im mniej słów wygeneruje bot na wyjściu, tym mniejsze będą Twoje koszty.
• Formatuj listy: Listy punktowane (bullet points) zajmują mniej tokenów niż długie, opisowe akapity powtarzające te same spójniki i frazy łączące.