Skip to main content

Tokens Explicados (Cuántas Palabras en un Token)

Unidad básica de medida de texto en modelos de lenguaje. Explicación de cómo las palabras se dividen en tokens, cómo esto afecta el costo de las consultas y por qué las palabras en ucraniano consumen más tokens que las palabras en inglés.

1. Visión general del concepto y problema sistémico

Cuando una persona observa un texto, ve letras, sílabas y palabras individuales. Sin embargo, las computadoras no piensan en palabras; trabajan exclusivamente con números.

Token es el bloque fundamental de texto para la inteligencia artificial. No necesariamente es una palabra completa: un token puede ser un carácter individual, una parte de una palabra, una raíz, un sufijo o incluso un signo de puntuación o un espacio.

Para un principiante, entender los tokens es críticamente importante por dos razones prácticas:

  1. Costo: en las API comerciales, se paga estrictamente por la cantidad de tokens de entrada y salida.
  2. Memoria: el límite de memoria del modelo (context window) se mide no en gigabytes o páginas, sino en la cantidad de tokens.

2. Taxonomía arquitectónica y modelo mental

Observe cómo la inteligencia artificial percibe una oración:

┌─────────────────────────────────────────────────────────────┐
│                 TOKENIZACIÓN DE UNA ORACIÓN EN PRÁCTICA    │
├─────────────────────────────────────────────────────────────┤
│ Texto de entrada:                                           │
│ «¡La inteligencia artificial está cambiando el mundo!»     │
├─────────────────────────────────────────────────────────────┤
│ División en tokens (BPE Tokenizer):                        │
│ [¡][La][inte][ligencia][artificial][está][cambiando][el][mundo][!] │
│                                                             │
│ • Total: 8 palabras, pero 10 tokens                        │
│ • Cada token recibe su número único:                       │
│   [48291, 1029, 8472, 9182, 3311, 401, 8820, 0]            │
└─────────────────────────────────────────────────────────────┘

3. Pipeline técnico y mecánica interna

En las tarifas de los proveedores (OpenAI, Anthropic, Google), los precios siempre se indican en el siguiente formato:

  • $2.50 / 1M input tokens (por 1 millón de palabras de entrada).
  • $10.00 / 1M output tokens (por 1 millón de palabras generadas por el modelo).

Nota: ¡los tokens de salida siempre son de 3 a 4 veces más caros que los de entrada! Esto se debe a que leer texto ajeno es computacionalmente más fácil que generar nuevo contenido palabra por palabra.

4. Escenarios prácticos de ingeniería en producción

01. Optimización de Prompts

  • Elimina "relleno" de los prompts: En lugar de usar preámbulos corteses como "Buenos días, estimado chatbot, ¿podrías ser tan amable de...?", escribe directamente la tarea: "Crea un plan...". Esto ahorrará cientos de tokens diariamente.

02. Solicitud de Salidas Concisas

  • Pide una salida breve: Si solo necesitas números, escribe: "Devuelve solo el número total sin explicaciones". Cuanto menos texto genere el bot en la salida, menos dinero gastarás.

03. Formateo de Listas

  • Usa listas: Las listas con viñetas ocupan menos tokens que largos párrafos descriptivos que repiten las mismas palabras de conexión.
/ Preguntas frecuentesSchema.org FAQPage

FAQ: Tokens Explicados (Cuántas Palabras en un Token)

Para el idioma inglés, 1 token equivale aproximadamente a 4 caracteres o 0.75 palabras (es decir, 100 palabras son aproximadamente 130 tokens). Las palabras cortas y comunes (por ejemplo, 'the', 'cat') se consideran un solo token, mientras que las palabras largas o complejas se dividen en varias partes.
/ Enlaces internos

Términos relacionados

Todos los términos
Prompts y RAG

Tamaño de la Ventana de Contexto (Memoria de la Conversación Actual)

El volumen máximo de texto (en tokens) que un modelo de lenguaje puede mantener en memoria durante una conversación actual. Define la longitud de los documentos que se pueden cargar a la vez sin pérdida de contenido.

Leer término
VPS y DevOps

API Keys para Principiantes (Contraseña del Cerebro del Modelo)

Token digital secreto de acceso (comienza con sk-...) que permite a aplicaciones externas (Cursor, plugins, bots de Telegram) acceder a inteligencia artificial sin un navegador web. Reglas básicas de ciberhigiene.

Leer término
Modelos e Inferencia

OpenAI GPT (Modelos Flagship de la Serie GPT)

La principal línea universal de grandes modelos de lenguaje de OpenAI (GPT-4, GPT-4o). Optimizada para análisis de texto complejo, programación, creatividad y trabajo intelectual diario.

Leer término
Modelos e Inferencia

Velocidad de Generación (TPS / TTFT / Latencia)

Métricas clave de rendimiento de modelos de lenguaje: Time to First Token (tiempo de reacción al contexto de entrada) y Tokens Per Second (velocidad de generación de texto de salida en streaming).

Leer término