RAG (Retrieval-Augmented Generation)

1. Przegląd koncepcji i problem systemowy

Próba „wtłoczenia” wszystkich wewnętrznych dokumentów firmy do wag sieci neuronowej poprzez wstępne szkolenie lub Fine-Tuning jest fundamentalnym błędem inżynierskim:

1. Katastrofalne zapominanie (Catastrophic Forgetting): Model może częściowo utracić podstawowe umiejętności rozumowania, próbując zapamiętać specyficzne korporacyjne numery katalogowe.
2. Niemożność wycofania danych (Right to be Forgotten / GDPR): Jeśli poufny dokument trafił do wag modelu, nie da się go z nich usunąć bez pełnego przeszkolenia, którego koszt wynosi setki tysięcy dolarów.
3. Brak separacji uprawnień dostępu (RBAC): Natrenowany model udostępni szeregowemu pracownikowi informacje o wynagrodzeniach kadry zarządzającej, ponieważ dane są wymieszane we wspólnych macierzach wag.

RAG (Retrieval-Augmented Generation) oddziela inteligencję obliczeniową od magazynu danych: LLM pozostaje neutralnym „procesorem rozumowania”, a cała wiedza przechowywana jest w zewnętrznej bazie danych pod ścisłą kontrolą inżynierską.

2. Taksonomia architektoniczna i model mentalny

Ewolucja architektury RAG klasyfikowana jest na trzy generacje:

• 1. Naiwny RAG (Naive RAG): Liniowy pipeline: Chunking -> Embedding -> Vector DB -> Top-K Nearest Neighbors -> Prompt Context. Charakteryzuje się wysokim poziomem szumu, jest ślepy na dokładne dopasowania i cierpi na halucynacje przy nieudanych cięciach tekstu.
• 2. Zaawansowany RAG (Advanced RAG): Obejmuje etapy przed i po pobieraniu:
  • Pre-Retrieval: rozszerzanie zapytania (Query Expansion), generowanie hipotetycznych odpowiedzi (HyDE) oraz routing do różnych baz wiedzy.
  • Retrieval: hybrydowe wyszukiwanie (BM25 + wektory HNSW).
  • Post-Retrieval: filtrowanie po metadanych, kompresja kontekstu oraz reranking za pomocą cross-encoderów.
• 3. Modularny i agentowy RAG (Modular / Agentic RAG): Agent sam decyduje, kiedy potrzebuje wyszukiwania, weryfikuje otrzymane fakty (Self-RAG), koryguje zapytanie w przypadku braku danych oraz wykorzystuje indeksy grafowe (GraphRAG) do wykrywania złożonych relacji między podmiotami.

3. Techniczny pipeline i mechanika wewnętrzna

Pełny cykl produkcyjnego systemu RAG składa się z dwóch obiegów:

Obieg indeksowania (Offline Ingestion Pipeline):

1. Parsing & Clean: Ekstrakcja tekstu z PDF, Markdown, Notion lub SQL, czyszczenie z markupu.
2. Syntax-Aware Chunking: Segmentacja według logicznych granic (AST / nagłówki) z buforem nakładania się.
3. Vectorization & Indexing: Generacja wektorów embeddingowych i zapis w bazie wektorowej wraz z metadanymi dostępu.

Obieg zapytań (Online Query Pipeline):

1. Query Transformation: Przekształcenie pytania użytkownika na zoptymalizowane zapytanie wyszukiwawcze.
2. Hybrid Retrieval: Jednoczesne pobieranie kandydatów za pomocą wektorów oraz pełnotekstowego indeksu BM25.
3. Re-ranking: Model rerankujący (Cross-Encoder) rankinguje top-30 znalezionych chunków i zachowuje top-5 najbardziej relewantnych.
4. Grounded Generation: LLM otrzymuje rygorystyczny prompt z osadzonymi chunkami i formułuje precyzyjną odpowiedź z obowiązkowym wskazaniem źródeł.

4. Praktyczne scenariusze inżynierskie w produkcji

01. Asystent korporacyjny z separacją uprawnień (RBAC)

Zapytanie użytkownika jest opatrzone jego tokenem JWT. Baza wektorowa odrzuca dokumenty na etapie pre-filteringu: WHERE team_id = 'engineering' AND access_level <= user.level. Model fizycznie nie otrzymuje w kontekście informacji, do których użytkownik nie ma dostępu.

02. Dokumentacja techniczna dla inżynierów z bezpośrednimi odnośnikami

Programista pyta: „jak skonfigurować replikację SQLite”. RAG zwraca dokładną sekwencję kroków ze znacznikami [źródło: docs/replication.md#L45], pozwalając inżynierowi jednym kliknięciem przejść do kodu źródłowego.

03. Zautomatyzowany audyt compliance kontraktów prawnych

System sprawdza 100-stronicową umowę względem rejestru polityk korporacyjnych, pobierając jedynie relewantne punkty dotyczące siły wyższej i kar umownych.

5. Pułapki, typowe błędy i bezpieczeństwo

• Zatrucie bazy wiedzy (RAG Poisoning): Napastnik przesyła do wewnętrznej bazy plik z ukrytymi instrukcjami (Prompt Injection), który zmusza RAG do wydawania błędnych instrukcji wszystkim użytkownikom. Weryfikuj źródła wiedzy i stosuj zabezpieczenia (Guardrails).
• Śmieci na wejściu — śmieci na wyjściu (Garbage In, Garbage Out): Jeśli załadowałeś do RAG słabo zeskanowany PDF z masą zerwanych słów, żaden model nie będzie w stanie udzielić adekwatnej odpowiedzi.
• Utrata spójności między chunkami: Zbyt drobny podział pozbawia zdania kontekstu. Zawsze wzbogacaj chunki nagłówkami nadrzędnych sekcji.