Иерархический чанкинг (Hierarchical Chunking / Parent-Child)

1. Обзор концепции и системная проблема

Когда вы берете учебник или юридический кодекс и готовите его для базы знаний RAG, перед вами встает самый сложный инженерный вопрос: Как именно нарезать текст?

Посмотрите на проблему наглядно:

• Вариант А (Мелкая нарезка по 2 предложения): Поиск по словам «штраф 5000 грн» сработает мгновенно. Но в этом крошечном кусочке не написано, за что именно этот штраф и кому его платить!
• Вариант Б (Большая нарезка по 10 страниц): Контекста полно, но вектор такого гиганта становится серой кашей из сотен разных тем, и алгоритм не находит точного ответа.

Решением стал Иерархический чанкинг (Hierarchical Chunking или Parent-Child Retriever).

С практической точки зрения это как лупа и панорамная фотография: вы ищете деталь через увеличительное стекло (мелкий чанк), но чтобы понять, где она лежит, делаете шаг назад и смотрите на всю комнату (родительский чанк).

2. Как работает связка «Родитель — Ребенок» (Parent-Child)

┌─────────────────────────────────────────────────────────────┐
│                 РОДИТЕЛЬСКИЙ РАЗДЕЛ (Parent Chunk, 1000 слов)│
│ «Раздел 4. Безопасность труда и финансовые взыскания...»    │
│ ┌─────────────────────────────────────────────────────────┐ │
│ │ ДЕТСКИЙ ЧАНК #1 (100 слов):                             │ │
│ │ «За нарушение кассового режима на строительстве...»      │ │
│ └─────────────────────────────────────────────────────────┘ │
│ ┌─────────────────────────────────────────────────────────┐ │
│ │ ДЕТСКИЙ ЧАНК #2 (100 слов): ➔ ТОЧНЫЙ ВЕКТОРНЫЙ СОВПАДЕНИЕ!│ │
│ │ «...накладывается штраф в размере 5000 грн.»            │ │
│ └─────────────────────────────────────────────────────────┘ │
└──────────────────────────────┬──────────────────────────────┘
                               │
                               ▼
     Но в контекст модели отправляется ВЕСЬ РОДИТЕЛЬСКИЙ
     РАЗДЕЛ #4 целиком! Модель видит и штраф, и полный контекст!

3. Почему этот метод вытесняет обычную фиксированную нарезку

1. Идеальная точность извлечения: векторы коротких предложений чрезвычайно острые и специфические.
2. Ноль галлюцинаций из-за нехватки фактов: модель всегда видит окружающие уточнения, исключения из правил («кроме случаев стихийного бедствия») и заголовки разделов.
3. Сохранение логических таблиц: таблицы не разрезаются пополам по середине строк.

4. Практические инженерные сценарии в продакшене

01. Оптимизация корпоративного чат-бота

02. Улучшение поиска в юридических документах

03. Повышение точности ответов в системах RAG

5. Подводные камни, типовые ошибки и безопасность

При реализации иерархического чанкинга важно учитывать, что неправильная настройка размеров чанков может привести к потере контекста или ухудшению качества поиска. Необходимо тщательно тестировать и настраивать параметры, чтобы избежать галлюцинаций и обеспечить точность ответов.