AST Chunking for Codebases(Чанкінг коду за синтаксичним деревом (AST Chunking))

1. Огляд концепції та системна проблема

Текстові спліттери (наприклад, RecursiveCharacterTextSplitter із LangChain) створювалися для книг та новинних статей: вони шукають подвійні переноси рядків або крапки наприкінці речень.

Але програмний код — це не проза. У ньому діє сувора формальна граматика:

• Якщо розрізати клас навпіл, перший чанк втратить оголошення полів, а другий — інтерфейси реалізації.
• Якщо розрізати SQL-запит посередині JOIN, пошуковий ембеддінг стане безглуздим.

AST-Based Chunking (Синтаксичний чанкінг) переносить знання компілятора в пошуковий індекс: код нарізається виключно по природних синтаксичних межах конструкцій мови.

2. Архітектурна таксономія та ментальна модель

┌─────────────────────────────────────────────────────────────┐
│                 NAIVE VS AST-BASED CHUNKING                 │
├─────────────────────────────────────────────────────────────┤
│ НАЇВНИЙ СПЛІТТЕР (За лімітом 400 символів):                 │
│ Файл auth.ts ➔ Розрізано на рядку 35 посеред тіла функції   │
│ [ЧАНК 1]: `export async function login(email, pass) { ...   │
│            const user = await db.query...`                  │
│ [ЧАНК 2]: `passwordHash); if (!valid) throw new Error(); }` │
│ ➔ Жоден чанк не містить повної логіки перевірки!            │
├─────────────────────────────────────────────────────────────┤
│ СИНТАКСИЧНИЙ СПЛІТТЕР (Tree-sitter AST Slicer):             │
│ [NODE 1: Interface]: `interface UserSession { ... }`        │
│ [NODE 2: Full Function]: `export async function login() {   │
│                           // Complete function with doc     │
│                         }`                                  │
│ ➔ 100% синтаксична та логічна цілісність кожного чанка!    │
└─────────────────────────────────────────────────────────────┘

3. Практичні інженерні сценарії в продакшені

01. Контекстний заголовок чанка (Breadcrumb Metadata)

Коли AST-спліттер витягує метод calculateTax() всередині класу BillingEngine у файлі src/services/billing.ts, він автоматично додає до чанка префікс:

// Context: src/services/billing.ts > class BillingEngine > method calculateTax
public calculateTax(amount: number): number { ... }

Це гарантує, що векторний пошук знайде метод, навіть якщо користувач шукає просто "податки у класі BillingEngine".

02. Підтримка 40+ мов програмування через єдиний стандарт

Завдяки парсерам Tree-sitter система однаково якісно розуміє межі коду в TypeScript, Rust, Go, Python, Elixir та Solidity.

4. Підводні камені, типові помилки та безпека

• Залежність від компільованих бінарників: Tree-sitter використовує нативні C/WASM бібліотеки, що може вимагати налаштування інструментів компіляції (build-essential) у Docker-образах індексації.
• Синтаксично пошкоджений код: Якщо розробник закомітив файл із незакритою фігурною дужкою, парсер може не зуміти побудувати повне дерево. У такому разі повинен спрацьовувати безпечний фолбек на построковий спліттер.

5. Стратегічний висновок для інженера 2026 року

Код повинен сприйматися як дерево, а не як потік літер. AST-based чанкінг — це обов'язковий перший крок побудови будь-якого професійного RAG для кодових баз, що підвищує релевантність відповідей агента в рази.