GuidesRAG

Évaluer un RAG : mesurer la recherche et la réponse

Par l’équipe Banzai LabsMis à jour le 2 min de lecture

Jeu de testRecherchebon passage trouvé ?Réponsefidèle aux sources ?Score à chaque versionMesurer la recherche et la réponse séparément
Un jeu de questions test mesure séparément la recherche des passages et la fidélité des réponses, à chaque version.

Deux mesures, deux problèmes

Où le RAG peut échouer
Recherche
  • Le bon passage est-il dans les k premiers ?
  • Se corrige par le découpage, les embeddings, le reranking
  • Mesure simple, sans modèle juge
Réponse
  • Fidèle aux passages, sans invention ?
  • Répond-elle vraiment à la question ?
  • Se corrige par le prompt et le modèle

Le jeu de test

[
  { "question": "Quel est le délai de retour ?", "sources": ["cgv.md#retours"], "attendu": "30 jours" },
  { "question": "Livrez-vous en Belgique ?", "sources": ["livraison.md#pays"], "attendu": "oui" }
]

Les indicateurs

Indicateur Question posée
Rappel à k La source attendue est-elle dans les k passages trouvés ?
Fidélité Chaque affirmation est-elle appuyée par un passage ?
Pertinence La réponse traite-t-elle la question ?
Justesse Correspond-elle à la réponse attendue ?

La routine

  1. 1Un changementDécoupage, modèle, prompt, nombre de passages.
  2. 2Le jeu completRejoué automatiquement.
  3. 3ComparaisonOn garde le changement s’il améliore sans rien casser.

Les bases : le RAG sur vos documents et découper ses documents. Pour la recherche : la recherche hybride et le reranking.

Questions fréquentes

Combien de questions de test ?
Cinquante à cent pour commencer, tirées de vraies demandes, avec pour chacune le ou les documents qui contiennent la réponse.
Qui note les réponses ?
Un modèle juge, avec une grille précise, permet de noter vite. Vérifiez-le sur un échantillon noté à la main avant de lui faire confiance.
Existe-t-il des outils ?
Oui, des bibliothèques open source comme Ragas proposent ces mesures. Un script maison suffit souvent au début.

À lire ensuite

Tous les guides