GuidesDéveloppement IA
Découper ses documents pour un RAG (chunking)
Les quatre règles
- 1Couper aux titresUne section, un passage, tant qu’elle reste courte.
- 2Borner la tailleUne section trop longue est redécoupée aux paragraphes.
- 3ChevaucherQuelques phrases communes entre deux passages voisins.
- 4Garder le contexteTitre du document et de la section ajoutés à chaque passage.
Selon le type de document
| Document | Méthode |
|---|---|
| Pages web, Markdown | Découpe par titres |
| PDF texte | Extraction, puis découpe par titres ou paragraphes |
| PDF scanné | Reconnaissance de texte d’abord |
| Tableaux | Gardés entiers, en Markdown |
| FAQ | Une question et sa réponse par passage |
Les métadonnées à garder
- La source et la page, pour citer.
- La langue et la date, pour filtrer.
- Les droits d’accès, pour ne jamais montrer un passage à qui ne doit pas le voir.
Tester sa découpe
Prenez vingt vraies questions, regardez les cinq passages remontés pour chacune. Si la bonne réponse n’y est pas, changez la découpe avant de toucher au modèle.
Pour la suite : un RAG avec pgvector et les embeddings.
Questions fréquentes
- Quelle taille de passage choisir ?
- Quelques centaines de tokens est un point de départ courant. Trop court, le passage perd son sens ; trop long, il dilue la recherche. Testez sur vos vraies questions.
- Pourquoi faire chevaucher les passages ?
- Pour qu’une idée coupée en deux se retrouve entière dans au moins un passage. Un chevauchement de 10 à 20 % suffit en général.
- Comment traiter les tableaux ?
- Les garder entiers, convertis en Markdown, avec la phrase qui les introduit. Couper un tableau au milieu le rend illisible.