Reclassement (Cross-Encoder Reranking)

1. Aperçu du concept et problème systémique

Dans les pipelines RAG classiques, la recherche vectorielle initiale souffre d'un manque de sélectivité (High Recall, Low Precision) :

1. Bruit vectoriel : L'index vectoriel retourne 20 documents qui semblent similaires par thème général, mais seuls 2 contiennent la réponse précise à la question technique.
2. Encombrement du générateur : Si l'on injecte les 20 chunks trouvés dans la fenêtre contextuelle du modèle génératif, on provoque l'effet Context Rot : le modèle gaspille des tokens à relire du bruit et finit souvent par perdre le fait correct (Lost-in-the-Middle).
3. Impasse computationnelle : Il est impossible d'utiliser des réseaux de neurones lourds et haute précision pour scanner directement une base de connaissances de millions d'articles — la requête prendrait plusieurs minutes.

Le Reranking (Cross-Encoder) résout cette contradiction grâce au pattern d'ingénierie classique du Two-Stage Retrieval : une recherche bon marché et rapide sélectionne 50 candidats potentiels, tandis qu'un reranker lourd filtre instantanément le superflu, ne conservant que le top-3 des fragments de référence.

2. Taxonomie architecturale et modèle mental

Le pipeline de retrieval en deux étapes se divise en deux phases aux objectifs et algorithmes distincts :

• 1. Étape 1 : Sélection primaire (Candidate Retrieval - Focus sur le Recall) :
  • Objectif : garantir que le document correct figure dans l'échantillon, même si sa position n'est pas idéale.
  • Outils : recherche hybride (vecteurs HNSW + BM25).
  • Volume d'échantillonnage : de 30 à 100 chunks en quelques millisecondes.
• 2. Étape 2 : Reranking via Cross-Encoder (Scoring - Focus sur la Precision) :
  • Objectif : classer parfaitement les candidats selon une échelle de pertinence.
  • Outils : modèles Cross-Encoder, entraînés à classifier la paire « Requête + Texte » selon la probabilité d'une réponse directe.
  • Volume de sortie : top-3 ou top-5 des documents les plus précis.
• 3. Seuil de coupure (Score Thresholding) : Les rerankers retournent un score absolu de pertinence (Relevance Score entre 0.0 et 1.0). Cela permet d'appliquer un filtre strict : si le meilleur document a un score inférieur à 0.4, le système sait immédiatement que la réponse n'existe pas dans la base de connaissances, évitant ainsi les hallucinations du générateur.

3. Pipeline technique et mécanique interne

Cycle de vie du fonctionnement d'un reranker :

1. Candidate Ingestion (Réception du pool de candidats) : Le reranker reçoit la requête utilisateur $Q$ et un tableau de $N$ candidats $[D_1, D_2, \dots, D_n]$, identifiés lors de la première étape.
2. Pairwise Sequence Assembly (Assemblage des paires de tokens) : Pour chaque document, une chaîne concaténée unique est formée avec des séparateurs spéciaux : [CLS] Query: Qu'est-ce qu'un mutex ? [SEP] Document: Un mutex est un primitive de synchronisation... [SEP].
3. Full Cross-Attention Computation (Calcul de l'attention croisée) : Le transformer calcule les matrices d'attention où chaque token de la requête interagit directement avec chaque token du document, analysant les négations, les inversions logiques et le contexte exact.
4. Logit Scoring & Truncation (Tri et élagage) : La tête de classification du modèle produit une estimation $P(\text{relevant} \mid Q, D)$. Les candidats sont triés par ordre décroissant de score. Les documents à faible score sont rejetés, et le top-$K$ est transmis au prompt final.

4. Scénarios d'ingénierie pratiques en production

01. Réduction radicale des coûts en tokens du générateur

Au lieu d'envoyer 15 000 tokens de résultats bruts vers un modèle flagship coûteux (Claude 3.7 Sonnet / GPT-4o), le reranker compresse l'échantillon aux 3 chunks les plus précis (1 500 tokens). Les coûts de génération chutent de 5 à 10 fois, tout en améliorant simultanément la qualité de la réponse.

02. Traitement des requêtes complexes avec négations

Requête : « Montrez-moi les services où Docker N'EST PAS utilisé ». Une recherche vectorielle standard trouvera tous les articles contenant le mot Docker. Le reranker, en analysant la particule « NE » via la Cross-Attention, relèguera les documents mentionnant Docker en bas du classement et remontera les solutions d'infrastructure alternatives.

03. Sélection de la version exacte d'un framework

Parmi les 50 fichiers de documentation trouvés, le reranker place sans erreur en tête le guide pour Next.js 15, éliminant les guides obsolètes de Next.js 12, même si les mots-clés correspondent.

5. Pièges, erreurs courantes et sécurité

• Limite de contexte du modèle reranker : La plupart des cross-encoders compacts ont une limite d'entrée de 512 ou 1024 tokens. Si votre chunk est plus long, le reranker coupera simplement la fin, là où se trouvait peut-être la réponse clé. Assurez-vous que la taille des chunks soit cohérente avec le paramètre max_length du reranker.
• Surcoût de latence (Latency Tax) : Le passage complet de 100 candidats à travers un reranker lourd sur CPU peut prendre jusqu'à 1 seconde. Limitez le pool de candidats destinés au reranking à 30–50 éléments ou utilisez des modèles légers optimisés (FlashRank/ONNX).
• Déchets de la première étape : Si les algorithmes de la première étape (Hybrid Search) n'ont absolument pas trouvé le document correct et ne l'ont pas inclus dans le top-50 initial, aucun reranker ne pourra le sauver (Garbage In, Nothing Out).