Переранжирование (Cross-Encoder Reranking)

1. Обзор концепции и системная проблема

В классических RAG-пайплайнах первичный векторный поиск страдает от проблемы низкой селективности (High Recall, Low Precision):

1. Векторный шум: Векторный индекс возвращает 20 документов, которые кажутся схожими по общей теме, но только 2 из них содержат точный ответ на технический вопрос.
2. Засорение генератора: Если передать все 20 найденных чанков в контекстное окно генеративной модели, возникает эффект Context Rot: модель тратит токены на перечитывание шума и часто теряет правильный факт (Lost-in-the-Middle).
3. Обчислительный тупик: Использовать тяжелые высокоточные нейросети для прямого сканирования всей базы знаний из миллиона статей невозможно — запрос выполнялся бы несколько минут.

Переранжирование (Cross-Encoder Reranking) решает эту противоречие с помощью классического инженерного паттерна двухэтапного конвейера (Two-Stage Retrieval): дешевый и быстрый поиск выбирает 50 потенциальных кандидатов, а тяжелый реранкер мгновенно отсекает все лишнее, оставляя топ-3 эталонных фрагмента.

2. Архитектурная таксономия и ментальная модель

Двухэтапный конвейер ретривела разделяется на две фазы с разными целями и алгоритмами:

• 1. Этап 1: Первичный отбор (Candidate Retrieval - Focus on Recall):
  • Задача: гарантировать, что правильный документ попал в выборку, даже если его позиция не идеальна.
  • Инструменты: гибридный поиск (HNSW-векторы + BM25).
  • Объем выборки: от 30 до 100 чанков за несколько миллисекунд.
• 2. Этап 2: Кросс-энкодерное переранжирование (Scoring - Focus on Precision):
  • Задача: идеально упорядочить кандидатов по шкале релевантности.
  • Инструменты: Cross-Encoder модели, обученные классифицировать пару «Запрос + Текст» по вероятности прямого ответа.
  • Объем выхода: топ-3 или топ-5 наиболее точных документов.
• 3. Порог отсечения (Score Thresholding): Реранкеры возвращают абсолютный балл релевантности (Relevance Score от 0.0 до 1.0). Это позволяет установить строгий фильтр: если лучший документ имеет балл ниже 0.4, система сразу знает, что ответа в базе знаний нет, предотвращая галлюцинации генератора.

3. Технический пайплайн и внутренняя механика

Жизненный цикл работы реранкера:

1. Candidate Ingestion (Прием пула кандидатов): Реранкер получает входной запрос пользователя $Q$ и массив из $N$ кандидатов $[D_1, D_2, \dots, D_n]$, найденных на первом этапе.
2. Pairwise Sequence Assembly (Сборка пар токенов): Для каждого документа формируется единая конкатенированная строка со специальными разделителями: [CLS] Query: Что такое mutex? [SEP] Document: Мьютекс это примитив синхронизации... [SEP].
3. Full Cross-Attention Computation (Расчет взаимной внимания): Трансформер вычисляет матрицы внимания, где каждый токен запроса непосредственно взаимодействует с каждым токеном документа, анализируя отрицания, логические инверсии и точный контекст.
4. Logit Scoring & Truncation (Сортировка и отсечение): Классификационная голова модели выводит оценку $P(\text{relevant} \mid Q, D)$. Кандидаты сортируются по убыванию балла. Документы с низким скором отбрасываются, а топ-$K$ передаются в финальный промпт.

4. Практические инженерные сценарии в продакшене

01. Радикальное сокращение затрат на токены генератора

Вместо отправки 15 000 токенов сырой выдачи в дорогую флагманскую модель (Claude 3.7 Sonnet / GPT-4o), реранкер сжимает выборку до 3 самых точных чанков (1 500 токенов). Затраты на генерацию падают в 5–10 раз при одновременном росте качества ответа.

02. Обработка сложных запросов с отрицаниями

Запрос: «Покажи сервисы, где НЕ используется Docker». Обычный векторный поиск найдет все статьи со словом Docker. Реранкер, анализируя часть «НЕ» через Cross-Attention, опустит документы с Docker на дно рейтинга и поднимет альтернативные инфраструктурные решения.

03. Выбор точной версии фреймворка

Среди найденных 50 файлов документации реранкер безошибочно ставит на первое место гайд для версии Next.js 15, отсекая устаревшие гайды Next.js 12, даже если ключевые слова совпадают.

5. Подводные камни, типовые ошибки и безопасность

• Лимит контекста модели реранкера: Большинство компактных кросс-энкодеров имеют лимит входа 512 или 1024 токена. Если ваш чанк длиннее, реранкер просто обрежет его конец, где могла находиться ключевая ответ. Держите размер чанков согласованным с параметром max_length реранкера.
• Накладные расходы на задержку (Latency Tax): Полный прогон 100 кандидатов через тяжелый реранкер на CPU может занять до 1 секунды. Ограничивайте пул кандидатов для реранкинга до 30–50 штук или используйте легкие оптимизированные модели (FlashRank/ONNX).
• Мусор с первого этапа: Если алгоритмы первого этапа (Hybrid Search) вообще не нашли правильный документ и не включили его в начальный топ-50, никакой реранкер не сможет его спасти (Garbage In, Nothing Out).