Reranking de Resultados de Busca (Reranking / Cross-Encoders)
Padrão de busca em duas etapas para sistemas RAG. A primeira etapa (busca vetorial rápida ou híbrida) identifica 20–50 candidatos em 10 ms. A segunda etapa (um modelo reranker da classe Cross-Encoder, como Cohere Rerank ou BGE-Reranker) compara detalhadamente a consulta com cada texto recuperado e seleciona os três documentos mais relevantes.
1. Visão geral do conceito e propósito
Imagine um teste para o papel principal em um blockbuster de Hollywood:
- Na primeira etapa, o assistente de direção analisa rapidamente 5.000 fotos dos candidatos e seleciona os 20 mais adequados ao perfil. Isso leva 1 dia.
- Na segunda etapa, o diretor principal realiza um ensaio pessoal de 15 minutos com cada um dos 20 candidatos selecionados e escolhe o melhor ator.
Se o diretor principal tivesse que ensaiar pessoalmente com todas as 5.000 pessoas, as filmagens nunca começariam.
Nos sistemas RAG, aplica-se exatamente esse mesmo princípio de duas etapas — Reranking:
- Etapa 1 (Retrieval): Uma busca rápida e barata extrai 20–30 documentos aproximadamente relevantes.
- Etapa 2 (Reranking): Uma rede neural pesada e de alta precisão lê atentamente esses 20 documentos e reordena, colocando nos primeiros lugares apenas os 3 que realmente respondem à pergunta.
Princípio chave de engenharia: a maneira mais simples e econômica de aumentar a precisão da base de conhecimento em 25–35% sem alterar o próprio modelo de linguagem.
2. Esquema do pipeline: Busca ➔ Reranking ➔ Resposta
┌─────────────────────────────────────────────────────────────┐
│ PIPELINE DE REORDENAÇÃO EM DUAS ETAPAS │
├─────────────────────────────────────────────────────────────┤
│ 1. BASE DE CONHECIMENTO (100.000 documentos) │
│ │ │
│ ▼ (Busca vetorial rápida ou híbrida - 10 ms) │
│ 2. TOP-30 CANDIDATOS (Muitos resultados aproximados/ruidosos)│
│ │ │
│ ▼ │
│ 3. MODELO DE REORDENAÇÃO (Cohere / BGE Cross-Encoder): │
│ Reavalia todos os 30 pares «Consulta ↔ Documento» │
│ e atribui uma pontuação justa de relevância de 0,0 a 1,0 │
│ │ │
│ ▼ │
│ 4. TOP-3 DOCUMENTOS IMPECÁVEIS │
│ │ │
│ ▼ │
│ 5. LLM (Claude / GPT-4) gera uma resposta precisa e concisa!│
└─────────────────────────────────────────────────────────────┘
3. Por que o reranker evita alucinações
Quando você envia para a janela de contexto do modelo 20 chunks aleatórios da base:
- O modelo sobrecarrega sua atenção com informações irrelevantes (Context Bloat).
- O risco de alucinação aumenta devido ao efeito Lost in the Middle.
- Você paga excessivamente pelos tokens de entrada.
O reranker mantém apenas 2–3 parágrafos cristalinos, entregando ao modelo a resposta exata "de bandeja".
4. Conclusão prática
Adicionar uma linha de código chamando cohere.rerank() entre a base vetorial e a chamada do chatbot custa quase nada, mas torna seu sistema significativamente mais inteligente do que tentativas caras de substituir o próprio modelo de linguagem.
FAQ: Reranking de Resultados de Busca (Reranking / Cross-Encoders)
Termos relacionados
Pesquisa Híbrida (Hybrid Search: Dense + Sparse / BM25)
Arquitetura de busca de informações que combina a pesquisa semântica vetorial (Dense retrieval — compreensão de conteúdo e sinônimos) com a busca clássica por palavras-chave exatas (Sparse retrieval / BM25). Garante um equilíbrio ideal entre a compreensão conceitual e a busca precisa por códigos de produto, números de série ou nomes.
Grounding de fatos (Citação e vinculação a fontes)
Metodologia para vincular afirmações geradas por redes neurais a fontes primárias verificadas (Source Grounding). Permite eliminar invenções e garantir a precisão jurídica e científica das respostas por meio de referências e citações exatas.
Busca Vetorial vs. Ctrl+F (Dense vs Sparse)
Comparação entre duas abordagens de busca: a semântica baseada em redes neurais (Dense Retrieval) e a clássica por correspondência de palavras-chave (Sparse / BM25). Explica por que a busca vetorial pode falhar na pesquisa de códigos de produtos (SKUs) e como funciona a busca híbrida.