Чанкинг документов (Chunking Strategies)

1. Обзор концепции и системная проблема

Эмбеддинг-модели (например, text-embedding-3-large или bge-m3) имеют жестко ограниченную длину входного окна (от 512 до 8192 токенов). Даже если модель технически способна принять большой PDF-документ целиком, она сжимает всю информацию в единый вектор фиксированной размерности (например, 1536 чисел).

Если не проводить гранулярный чанкинг:

1. Семантическое усреднение (Vector Dilution): Вектор 50-страничного документа становится настолько общим, что теряет детали конкретных функций или конфигураций.
2. Невозможность точной выборки в RAG: Поисковая система подтянет весь гигантский документ в контекст генеративной LLM, мгновенно исчерпав бюджет токенов.
3. «Убийство» структуры при наивном разрезании: Фиксированный раздел по количеству символов (Character Splitting) разрывает слова пополам, отделяет заголовок функции от ее реализации и уничтожает таблицы.

Чанкинг (Chunking) — это фундамент RAG-инженерии: он преобразует монолитный сырой текст в коллекцию информационно самодостаточных, взаимосвязанных смысловых блоков.

2. Архитектурная таксономия и ментальная модель

В зависимости от структуры данных выделяют четыре архитектурных уровня чанкинга:

• 1. Фиксированный чанкинг с перекрытием (Fixed-Size Sliding Window): Самый простой подход: текст нарезается блоками по $N$ токенов с перекрытием в $M$ токенов. Быстрый, но часто нарушает логические границы абзацев.
• 2. Рекурсивный символьный чанкинг (Recursive Character Splitting): Иерархический подход (стандарт LangChain/LlamaIndex). Алгоритм пытается разрезать текст сначала по двойному переносу строки (\n\n), если кусок слишком большой — по одинарному (\n), далее по точке (. ) и лишь в крайнем случае по пробелу.
• 3. Семантический чанкинг (Semantic / Embedding-Distance Chunking): Текст разбивается на отдельные предложения. Для каждого генерируется вектор, и вычисляется косинусное сходство между соседними предложениями. Граница чанка устанавливается в точках резкого перепада семантики (смена темы разговора).
• 4. Синтаксический AST/Markdown чанкинг (Structural Chunking): Учитывает синтаксическое дерево документа: разбивает Markdown строго по уровням заголовков (#, ##, ###), сохраняя хлебные крошки, а программный код — по узлам классов и функций через Tree-sitter.

3. Технический пайплайн и внутренняя механика

Конвейер профессионального чанкинга состоит из 4 этапов:

1. Document Ingestion & Pre-cleaning (Очищение): Удаление невидимых спецсимволов, унификация переносов строк (\r\n -> \n) и нормализация кодировки Unicode (NFC).
2. Boundary Detection (Определение границ): Парсер строит синтаксическое дерево (AST) или находит безопасные точки разреза (разделы Markdown, пустые строки между функциями).
3. Window Formatting & Overlap Calculation (Нарезка и наложение): Текст группируется в блоки размером 500–700 токенов. В начало каждого следующего чанка добавляется буфер перекрытия (10–15%) от предыдущего.
4. Metadata Enrichment & Context Injection (Обогащение контекстом): К каждому чанку добавляется префикс с метаданными: [File: api/auth.ts | Class: AuthService | Method: validateToken] Это гарантирует, что вектор фрагмента будет найден даже по запросу, где название метода не упоминается в его теле.

4. Практические инженерные сценарии в продакшене

01. Индексация кодовой базы репозитория через Tree-sitter

Каждый файл TypeScript парсится в синтаксическое дерево. Отдельный чанк формируется для каждого экспортированного интерфейса и каждой функции. Если функция занимает 20 строк, она становится самостоятельным чанком вместе с комментарием JSDoc и списком импортированных типов.

02. Обработка сложных таблиц и финансовых отчетов

Обычная нарезка разрывает строки таблицы, лишая числа смысла. Профессиональный чанкинг конвертирует каждую строку таблицы в самодостаточную текстовую строку: «В 2024 году выручка подразделения Cloud составила $35B, что на 15% больше, чем в 2023», формируя векторы с высокой поисковой точностью.

03. Парсинг API-документации (OpenAPI / Swagger)

Каждый маршрут (например, POST /v1/payments) выделяется в отдельный чанк, который содержит путь, HTTP-метод, описание параметров, образец ответа и коды ошибок, что позволяет агенту безошибочно генерировать клиентский код.

5. Подводные камни, типовые ошибки и безопасность

• Проблема «висячих местоимений» (Dangling Pronouns): Если предложение «Эта функция требует прав администратора» попало в чанк 2, а само название функции осталось в чанке 1, модель не сможет ответить на запрос. Всегда используйте метаданные с обогащением родительским контекстом (Parent Document Retrieval).
• Раздутие векторной базы от лишнего Overlap: Перекрытие более 25% приводит к дублированию информации в базе данных, увеличивает стоимость индексации и перегружает идентичные фрагменты в топ результатов.
• Потеря контекста структуры (Loss of Lineage): Чанк без указания имени файла и номера строки превращается в безымянный шум, усложняя генерацию точных ссылок в ответах агента.