Busca Híbrida (Dense + Sparse Search)

1. Visão Geral do Conceito e o Problema Sistêmico

No início da construção de sistemas RAG, os engenheiros frequentemente dependem exclusivamente de bancos de dados vetoriais: o texto é dividido em chunks, processado por um modelo de embeddings e indexado em uma estrutura HNSW.

Em produção, essa abordagem inevitavelmente esbarra na "cegueira vetorial":

1. Falha em identificadores exatos: Quando um engenheiro busca pelo código de erro ERR_CONNECTION_REFUSED, a busca vetorial retorna artigos genéricos sobre redes, mas ignora a linha exata nos logs.
2. Falha em nomes próprios raros: Novos nomes de frameworks, sobrenomes únicos ou constantes específicas do projeto não possuem uma representação densa adequada nos pesos do modelo de embeddings.
3. Limitações da busca full-text clássica (BM25): A busca clássica, por outro lado, é incapaz de compreender conceitos abstratos, sinônimos e paráfrases.

A Busca Híbrida (Hybrid Search) sintetiza o melhor dos dois mundos: ela realiza buscas paralelas por palavras-chave exatas (Sparse/BM25) e por significado semântico (Dense/Vectors), combinando posteriormente os resultados em uma entrega única e balanceada.

2. Taxonomia Arquitetural e Modelo Mental

Um sistema de busca híbrido consiste em três blocos arquitetônicos principais:

• 1. Camada de Busca Esparsa (Sparse / Lexical Retrieval): Algoritmo BM25 ou TF-IDF sobre um índice invertido. Calcula a frequência exata de termos considerando o comprimento do documento. Garante a localização de correspondências exatas de palavras, SKUs, variáveis e códigos de erro.
• 2. Camada de Busca Densa (Dense / Semantic Retrieval): Busca vetorial baseada em distância euclidiana ou cosseno (HNSW/IVF). Responsável pela recuperação de documentos com conteúdo similar, mesmo que não haja nenhuma palavra em comum entre a consulta e o texto.
• 3. Camada de Fusão de Rankings (Fusion Layer):
  • Reciprocal Rank Fusion (RRF): Não depende das escalas de pontuação, operando puramente nas posições (ranks) de cada lista. É o padrão mais estável.
  • Linear Weighted Fusion (Alfa-fusão): Normalização das pontuações e soma ponderada: $\text{Score} = \alpha \cdot S_{\text{dense}} + (1 - \alpha) \cdot S_{\text{sparse}}$.
• 4. Modelos Esparsos Aprendidos (Learned Sparse / SPLADE): Uma direção moderna que combina análise de redes neurais com a estrutura de índices invertidos, expandindo automaticamente a consulta com palavras-chave relevantes.

3. Pipeline Técnico e Mecânica Interna

O ciclo de vida de uma consulta híbrida no motor de busca:

1. Dual Query Dispatch (Despacho Paralelo): A consulta de entrada do usuário é simultaneamente convertida em um vetor (via embedding API) e em uma consulta textual para o parser full-text (FTS query).
2. Concurrent Index Lookup (Busca Paralela):
   • Ramo A: O motor vetorial escaneia o grafo HNSW e retorna os top-50 candidatos baseados na similaridade do cosseno.
   • Ramo B: O índice invertido encontra os top-50 candidatos usando a fórmula BM25.
3. Score Normalization & RRF Aggregation (Fusão): As listas de candidatos são deduplicadas pelo ID do documento. Cada candidato recebe uma pontuação integral RRF baseada em sua posição em ambas as entregas.
4. Final Cutoff & Re-ranking (Seleção Final): Os documentos Top-$K$ com maior ranking são enviados para a etapa final de re-ranking via cross-encoder (Re-ranker) ou diretamente para o contexto da LLM.

4. Cenários Práticos de Engenharia em Produção

01. Busca Inteligente em Repositórios de Código

Um desenvolvedor escreve: "onde o cache de sessões redis é implementado".

• O BM25 localiza instantaneamente arquivos onde a constante 'REDIS_SESSION_KEY' é mencionada.
• A busca Dense traz o módulo de autenticação, onde a estratégia de invalidação de sessões é descrita sem usar explicitamente a palavra "cache".
• O RRF eleva ao primeiro lugar o arquivo auth/session-cache.ts, presente em ambas as entregas.

02. Busca E-Commerce com Mistura de Características e Nomes

O usuário busca por: "aspirador de pó sem fio silencioso v15". O BM25 encontra o modelo exato Dyson V15, enquanto a busca Dense filtra variações pela semântica de baixo ruído, garantindo precisão ideal na conversão.

03. Diretórios Médicos e Farmacêuticos

Busca por sintomas ("peso na hipocôndria direita") combinada com a nomenclatura latina exata do princípio ativo do medicamento ou com o código médico de diagnóstico da CID-10.

5. Armadilhas, Erros Comuns e Segurança

• Incomensurabilidade das Escalas Brutas de Pontuação (Score Incommensurability): O erro mais grave é adicionar diretamente a proximidade do cosseno (de 0 a 1) à pontuação BM25 (que pode atingir 25 ou mais). Isso anula completamente a componente vetorial. Use sempre RRF ou normalização Min-Max.
• Sobrecarga Dupla na Infraestrutura (Latency Overhead): Executar sequencialmente primeiro o BM25 e depois a busca vetorial dobra a latência. Ambas as consultas devem ser executadas estritamente de forma assíncrona via Promise.all() ou threads paralelas do banco de dados.
• Viés Excessivo do Peso $\alpha$: Fixar o peso $\alpha = 0.9$ transforma a busca híbrida em uma simples busca vetorial, desperdiçando os custos de manutenção do índice invertido.