Chunking de Documentos: Guia para Iniciantes

1. Visão geral do conceito e propósito

Quando um iniciante cria seu primeiro chatbot para responder dúvidas com base em instruções em PDF, o primeiro pensamento ingênuo costuma ser: «Vou simplesmente pegar o manual de 200 páginas da máquina de lavar e salvá-lo na base de dados».

Mas isso não funciona assim:

• Se você inserir o arquivo inteiro, o vetor ficará difuso, como uma fotografia na neblina.
• Se fatiar o arquivo frase por frase, o modelo encontrará a linha «Pressione o botão B», mas não saberá a qual ciclo de lavagem se refere, pois o nome do programa estava na frase anterior.

Chunking (Narizka na fragmentos) é a arte de dividir um texto monolítico grande em "porções de informação" com tamanho ideal.

Analogia prática: é o segredo de engenharia principal, do qual depende 90% da qualidade das respostas do seu bot corporativo.

2. Modelo mental de divisão com sobreposição (Overlap)

Observe como a sobreposição funciona na junção de dois fragmentos:

┌─────────────────────────────────────────────────────────────┐
│                 MECANISMO DE CHUNKING COM SOBREPOSIÇÃO       │
├─────────────────────────────────────────────────────────────┤
│ 📄 CHUNK 1 (500 tokens):                                    │
│    «...Para ativar o modo de segurança, gire o interruptor   │
│    no sentido horário até o fim. [INÍCIO DA SOBREPOSIÇÃO:    │
│    Após isso, mantenha obrigatoriamente o botão vermelho     │
│    pressionado por 3 seg]»                                  │
├─────────────────────────────────────────────────────────────┤
│                               ▲                             │
│                               │ (50 tokens compartilhados)  │
│                               ▼                             │
├─────────────────────────────────────────────────────────────┤
│ 📄 CHUNK 2 (500 tokens):                                    │
│    “[FIM DA SOBREPOSIÇÃO: Após isso, mantenha                │
│    obrigatoriamente o botão vermelho pressionado por 3 seg]. │
│    Certifique-se de que o indicador verde começou a piscar...”│
└─────────────────────────────────────────────────────────────┘

Graças a essa sobreposição, mesmo que o usuário pergunte: «Quantos segundos devo manter pressionado o botão vermelho?» — o sistema encontrará tanto a Parte 1 quanto a Parte 2!

3. Três estratégias principais de chunking

1. Fixed-size chunking: o método mais simples — cortar rigorosamente a cada 500 caracteres. É rápido, mas às vezes divide palavras ou frases ao meio.
2. Semantic chunking por parágrafos: o texto é dividido pelos duplos saltos de linha \n\n ou pontos finais, preservando a integridade de cada ideia individual.
3. Markdown-chunking por cabeçalhos (#, ##, ###): a melhor escolha para documentação técnica. Cada subtítulo se torna um chunk separado, mantendo o nome da seção pai.

4. Conclusão prática

Se o seu bot responde com trechos desconexos ou não entende o contexto — quase certamente você cortou o texto em fragmentos muito pequenos. Aumente o tamanho do chunk de 200 para 600 tokens e adicione 10% de overlap — e a precisão das respostas aumentará instantaneamente!