GuidesDéveloppement IA

Découper ses documents pour un RAG (chunking)

Par l’équipe Banzai LabsMis à jour le 3 min de lecture

Le document§1§2§3§4Des passages qui se chevauchentTitre : …Section : …Chaque passage garde son contexte
Le document est découpé en passages qui se chevauchent, chacun avec son titre et sa section.

Les quatre règles

  1. 1Couper aux titresUne section, un passage, tant qu’elle reste courte.
  2. 2Borner la tailleUne section trop longue est redécoupée aux paragraphes.
  3. 3ChevaucherQuelques phrases communes entre deux passages voisins.
  4. 4Garder le contexteTitre du document et de la section ajoutés à chaque passage.

Selon le type de document

Document Méthode
Pages web, Markdown Découpe par titres
PDF texte Extraction, puis découpe par titres ou paragraphes
PDF scanné Reconnaissance de texte d’abord
Tableaux Gardés entiers, en Markdown
FAQ Une question et sa réponse par passage

Les métadonnées à garder

  • La source et la page, pour citer.
  • La langue et la date, pour filtrer.
  • Les droits d’accès, pour ne jamais montrer un passage à qui ne doit pas le voir.

Tester sa découpe

Prenez vingt vraies questions, regardez les cinq passages remontés pour chacune. Si la bonne réponse n’y est pas, changez la découpe avant de toucher au modèle.

Pour la suite : un RAG avec pgvector et les embeddings.

Questions fréquentes

Quelle taille de passage choisir ?
Quelques centaines de tokens est un point de départ courant. Trop court, le passage perd son sens ; trop long, il dilue la recherche. Testez sur vos vraies questions.
Pourquoi faire chevaucher les passages ?
Pour qu’une idée coupée en deux se retrouve entière dans au moins un passage. Un chevauchement de 10 à 20 % suffit en général.
Comment traiter les tableaux ?
Les garder entiers, convertis en Markdown, avec la phrase qui les introduit. Couper un tableau au milieu le rend illisible.

À lire ensuite

Tous les guides