Chunkowanie AST dla repozytoriów kodu

1. Przegląd koncepcji i problem systemowy

Tekstowe splittery (np. RecursiveCharacterTextSplitter z LangChain) zostały zaprojektowane z myślą o książkach i artykułach prasowych: szukają podwójnych znaków nowej linii lub kropek kończących zdania.

Jednak kod programistyczny to nie proza. Rządzi się on ścisłą, formalną gramatyką:

• Jeśli przetniemy klasę na pół, pierwszy chunk straci deklaracje pól, a drugi – interfejsy implementacji.
• Jeśli przetniemy zapytanie SQL w środku klauzuli JOIN, embedding wektorowy stanie się bezwartościowy.

AST-Based Chunking (chunkowanie oparte na drzewie składniowym abstrakcyjnym) przenosi wiedzę kompilatora do indeksu wyszukiwania: kod jest dzielony wyłącznie wzdłuż naturalnych granic syntaktycznych konstrukcji językowych.

2. Taksonomia architektoniczna i model mentalny

┌─────────────────────────────────────────────────────────────┐
│                 NAIVE VS AST-BASED CHUNKING                 │
├─────────────────────────────────────────────────────────────┤
│ PROSTY PODZIELNIK (Limit 400 znaków):                       │
│ Plik auth.ts ➔ Podzielony w linii 35, w środku ciała funkcji│
│ [CZEŚĆ 1]: `export async function login(email, pass) { ...   │
│            const user = await db.query...`                  │
│ [CZEŚĆ 2]: `passwordHash); if (!valid) throw new Error(); }` │
│ ➔ Żadna część nie zawiera pełnej logiki walidacji!          │
├─────────────────────────────────────────────────────────────┤
│ SKŁADNIOWY PODZIELNIK (Tree-sitter AST Slicer):             │
│ [WĘZEŁ 1: Interfejs]: `interface UserSession { ... }`       │
│ [WĘZEŁ 2: Pełna funkcja]: `export async function login() {  │
│                           // Complete function with doc     │
│                         }`                                  │
│ ➔ 100% spójność składniowa i logiczna każdej części!        │
└─────────────────────────────────────────────────────────────┘

3. Praktyczne scenariusze inżynierskie w środowisku produkcyjnym

01. Kontekstowy nagłówek chunka (Breadcrumb Metadata)

Gdy splitter AST wyciąga metodę calculateTax() z wnętrza klasy BillingEngine w pliku src/services/billing.ts, automatycznie dodaje do chunka prefiks:

// Context: src/services/billing.ts > class BillingEngine > method calculateTax
public calculateTax(amount: number): number { ... }

Gwarantuje to, że wyszukiwanie wektorowe znajdzie tę metodę, nawet jeśli użytkownik szuka po prostu „podatków w klasie BillingEngine”.

02. Obsługa ponad 40 języków programowania dzięki jednemu standardowi

Dzięki parserom Tree-sitter system z jednakową jakością rozumie granice kodu w TypeScript, Rust, Go, Python, Elixir oraz Solidity.

4. Pułapki, typowe błędy i bezpieczeństwo

• Zależność od skompilowanych binariów: Tree-sitter korzysta z natywnych bibliotek C/WASM, co może wymagać konfiguracji narzędzi kompilacji (build-essential) w obrazach Docker służących do indeksowania.
• Uszkodzony składniowo kod: Jeśli deweloper commituje plik z niezamkniętym nawiasem klamrowym, parser może nie być w stanie zbudować pełnego drzewa. W takim przypadku powinien zadziałać bezpieczny fallback na splitter liniowy.

5. Strategiczny wniosek dla inżyniera roku 2026

Kod musi być traktowany jak drzewo, a nie jak strumień znaków. AST-based chunking to obowiązkowy pierwszy krok przy budowie każdego profesjonalnego RAG dla baz kodu, który wielokrotnie zwiększa trafność odpowiedzi agenta.