Bases de Datos Vectoriales (Vector DBs & Búsqueda ANN)

1. Visión general del concepto y problema sistémico

Con la aparición de los embeddings, los ingenieros se enfrentaron a un nuevo problema: cómo almacenar y buscar rápidamente datos en un espacio vectorial donde la dimensionalidad de cada registro es de cientos o miles de coordenadas:

1. Inadecuación de los índices B-Tree clásicos: Los índices B-Tree clásicos ordenan eficazmente números o cadenas unidimensionales, pero son matemáticamente ineficaces ante vectores geométricos de 1536 dimensiones ("Curse of Dimensionality").
2. Gran volumen de memoria: Almacenar arreglos de números reales float32 requiere gigabytes de memoria RAM y aceleración de hardware especializada (instrucciones AVX-512, SIMD o CUDA).
3. Necesidad de vinculación con metadatos: Encontrar un vector no es suficiente; el sistema debe devolver instantáneamente texto relacionado, autor, fecha, URL de la fuente original y nivel de acceso del usuario.

Las Bases de Datos Vectoriales (Vector Databases) han transformado la búsqueda semántica vectorial en un primitivo de infraestructura confiable, capaz de encontrar las entidades más similares entre miles de millones de registros en cuestión de milisegundos.

2. Taxonomía arquitectónica y modelo mental

En el mundo de los almacenes vectoriales, dominan dos modelos conceptuales para la organización de datos y sus respectivas estructuras de índices:

• 1. Índice HNSW (Hierarchical Navigable Small World): El estándar de oro para la búsqueda vectorial. Construye un gráfico de múltiples capas, similar al algoritmo Skip-List: las capas superiores contienen conexiones largas para saltar rápidamente a la clúster deseado, mientras que la capa inferior (Capa 0) realiza la navegación detallada entre los vecinos más cercanos. Proporciona el mejor equilibrio entre velocidad y exhaustividad de búsqueda (Recall > 98%).
• 2. Índice IVF (Inverted File Index): El espacio se divide en celdas de Voronoi mediante clustering K-Means. La consulta primero determina varios centroides más cercanos y luego escanea solo los vectores dentro de esos clústeres. Requiere menos memoria RAM que HNSW, pero tiene menor precisión.
• 3. Formatos arquitectónicos de bases:
  • Bases de datos vectoriales autónomas especializadas (Dedicated Vector DBs): Qdrant (Rust), Milvus (Go/C++), Chroma, Pinecone. Optimizadas para escalabilidad, sharding y cálculos paralelos en GPU.
  • Extensiones vectoriales relacionales (Integrated Extensions): pgvector para PostgreSQL, sqlite-vec / Turso para SQLite. Proporcionan almacenamiento de transacciones ACID y la sintaxis SQL familiar.
• 4. Cuantización y compresión de memoria: Uso de Scalar Quantization (SQ) o Product Quantization (PQ) para comprimir vectores en memoria a representaciones de 8 bits o 1 bit.

3. Pipeline técnico y mecánica interna

El ciclo de vida de almacenamiento y búsqueda en una base de datos vectorial:

1. Ingestión y adjunto de carga útil (Ingestion & Payload Attachment): El cliente envía un vector junto con metadatos JSON (text, document_id, created_at, tenant_id).
2. Inserción en el gráfico y vinculación de bordes (Graph Insertion & Edge Linking): El algoritmo encuentra los vecinos más cercanos para el nuevo vector en cada capa del gráfico y crea bordes bidireccionales de conexión considerando el límite de grado de los nodos $M$.
3. Ingestión de consultas y recorrido multi-capa (Query Ingestion & Multi-layer Traversal): Al recibir el vector de consulta, el algoritmo inicia una búsqueda codiciosa (Greedy Search) desde la capa superior, descendiendo a niveles inferiores a medida que se localiza el clúster.
4. Recuperación filtrada de una sola etapa (Single-Stage Filtered Retrieval): Si la consulta contiene un filtro SQL/JSON, la verificación de coincidencia de metadatos se realiza directamente durante la navegación del gráfico (Filtered HNSW), garantizando el retorno de registros estrictamente relevantes.

4. Escenarios prácticos de ingeniería en producción

01. Almacenamiento de memoria a largo plazo de agentes (Agent Memory Storage)

Un agente autónomo almacena hechos sobre el desarrollador en una colección Qdrant o pgvector: [vector, payload: { user_id: 104, fact: "prefiere bun en lugar de npm" }]. Antes de iniciar la sesión, el agente extrae los 5 hechos más relevantes.

02. RAG de producción para soporte técnico

La base de datos vectorial almacena 500,000 fragmentos de documentación. La consulta del cliente encuentra en 12 milisegundos 20 fragmentos de instrucciones más relevantes, que se envían a un reranker.

03. Catálogo semántico de E-Commerce con filtrado facetado

Búsqueda de ropa con la consulta: “chaqueta ligera para correr en otoño” con un filtro previo obligatorio price <= 3000 AND in_stock = true AND size = 'L'.

5. Errores comunes, trampas y seguridad

• Error de desajuste de dimensionalidad (Dimension Mismatch Error): Intentar realizar una búsqueda con un vector del modelo OpenAI (1536 dimensiones) en un índice creado para el modelo Cohere (1024 dimensiones) resulta en un error fatal en tiempo de ejecución de la base de datos.
• Pico de consumo de memoria durante la construcción del índice (HNSW Build RAM Spike): La creación de un índice HNSW sobre 5 millones de vectores requiere de 2 a 3 veces más memoria RAM durante la construcción que para el almacenamiento final. Construya índices teniendo en cuenta un búfer de RAM o utilice cuantización de disco externo.
• Olvido de la vacuización y desfragmentación: Operaciones frecuentes de UPDATE y DELETE crean nodos huérfanos vacíos en los gráficos vectoriales. Ejecute regularmente la optimización de índices (Vacuum / Segment Compaction).