Skip to main content

Sub-Cuadrática Atención y Modelos de Espacio de Estados

Arquitecturas de redes neuronales de última generación con complejidad computacional O(N), que permiten procesar millones de tokens de contexto con uso constante de memoria.

1. Visión general del concepto y problema sistémico

Los transformadores, presentados en el artículo "Attention Is All You Need" (2017), se han convertido en la base de toda la industria. Sin embargo, su matemática cuadrática $O(N^2)$ se ha convertido en la principal barrera para trabajar con contextos extremadamente largos:

  • Procesar 1 millón de tokens (por ejemplo, un repositorio completo de código junto con el historial de Git) en un transformador clásico requiere terabytes de memoria para la matriz de atención.
  • La generación de cada token siguiente se vuelve cada vez más lenta a medida que crece el diálogo.

Sub-Cuadrática Atención y Modelos de Espacio de Estados (Mamba, RWKV, Hyena) han roto esta limitación. Ofrecen una matemática de complejidad lineal $O(N)$: el tiempo de procesamiento y el uso de memoria crecen proporcionalmente a la longitud del texto, y no al cuadrado.

2. Taxonomía arquitectónica y modelo mental

┌─────────────────────────────────────────────────────────────┐
│                 COMPLEJIDAD CUADRÁTICA VS LINEAL            │
├─────────────────────────────────────────────────────────────┤
│ TRANSFORMADOR CLÁSICO (O(N^2) Softmax Attention):            │
│ Token N se compara con todos los anteriores [0..N-1]        │
│ Memoria KV Cache: crece indefinidamente con cada palabra.    │
├─────────────────────────────────────────────────────────────┤
│ MODELO DE ESPACIO DE ESTADOS (Mamba / Selective SSM - O(N)): │
│ Token t ➔ [Actualización del estado oculto $h_t$] ➔ Token t+1│
│ Memoria: Vector fijo $h$ (siempre 1.2 GB, independientemente  │
│ de si se han leído 1,000 o 1,000,000 tokens!).              │
└─────────────────────────────────────────────────────────────┘

3. Pipeline técnico y mecánica interna

01. Monitoreo continuo de logs de gigabytes en tiempo real

Un agente basado en la arquitectura híbrida Mamba se conecta a un flujo de logs del sistema del centro de datos (100,000 tokens por minuto). El modelo opera 24/7 con un consumo de memoria fijo de 4 GB de RAM, señalizando instantáneamente anomalías sin riesgo de caída por desbordamiento de contexto.

02. Análisis de ADN y secuencias biológicas

Las secuencias de genes contienen miles de millones de nucleótidos. La aplicación de transformadores clásicos aquí es inviable, mientras que los modelos lineales SSM analizan exitosamente genomas completos en una sola pasada.

4. Errores comunes, trampas y seguridad

  • Pérdida de información al comprimir (Information Bottleneck): Dado que Mamba comprime toda la historia en un vector fijo, puede recordar peor hechos precisos mencionados hace 500,000 tokens, en comparación con un KV Cache honesto de un transformador.
  • Inmadurez del ecosistema de software: La mayoría de los motores de inferencia en la nube (CUDA kernels) han sido optimizados durante años para transformadores. La optimización de kernels para Mamba requiere controladores y configuraciones específicas.

5. Estrategia de conclusión para el ingeniero de 2026

Las arquitecturas sub-cuadráticas han abierto la era del contexto infinito. Los modelos híbridos, que combinan la velocidad de Mamba y la precisión de los transformadores, se convierten en la base para agentes autónomos capaces de operar sistemas operativos completos sin recargar la memoria.

/ Preguntas frecuentesSchema.org FAQPage

FAQ: Sub-Cuadrática Atención y Modelos de Espacio de Estados

La atención clásica tiene una complejidad cuadrática $O(N^2)$ en tiempo y memoria. Cada token debe calcular el producto escalar con todos los demás tokens. Al aumentar el contexto de 10k a 100k tokens, los cálculos aumentan no 10 veces, sino 100 veces.
/ Enlaces internos

Términos relacionados

Todos los términos
Prompts y RAG

Ventana de Contexto (Context Window)

El volumen máximo de tokens que un modelo de lenguaje puede mantener simultáneamente en el mecanismo de Self-Attention y en la memoria KV Cache durante el cálculo de una única solicitud de inferencia.

Leer término
Modelos e Inferencia

MoE (Mixture of Experts - Mezcla de Expertos)

Enfoque arquitectónico en aprendizaje profundo donde las capas densas de un transformador se dividen en decenas de subredes especializadas ('expertos'), y un enrutador dinámico activa solo una pequeña parte de ellas para cada token individual.

Leer término
Prompts y RAG

Needle in a Haystack & Long-Context Retrieval

El problema de la degradación de la atención de los modelos de lenguaje dentro de enormes ventanas de contexto (1M–2M tokens), donde el modelo ignora instrucciones ocultas en el texto, y los métodos de ingeniería para superarlo.

Leer término
Modelos e Inferencia

LLM (Large Language Model - Modelo de Lenguaje Grande)

Clase fundamental de arquitecturas de redes neuronales basadas en transformadores autorregresivos, que predice la distribución probabilística de los siguientes tokens y demuestra propiedades emergentes de pensamiento abstracto, síntesis de código y razonamiento lógico.

Leer término