GuidesRAG
Évaluer un RAG : mesurer la recherche et la réponse
Deux mesures, deux problèmes
Recherche
Réponse
Le jeu de test
[
{ "question": "Quel est le délai de retour ?", "sources": ["cgv.md#retours"], "attendu": "30 jours" },
{ "question": "Livrez-vous en Belgique ?", "sources": ["livraison.md#pays"], "attendu": "oui" }
]
Les indicateurs
| Indicateur | Question posée |
|---|---|
| Rappel à k | La source attendue est-elle dans les k passages trouvés ? |
| Fidélité | Chaque affirmation est-elle appuyée par un passage ? |
| Pertinence | La réponse traite-t-elle la question ? |
| Justesse | Correspond-elle à la réponse attendue ? |
La routine
- 1Un changementDécoupage, modèle, prompt, nombre de passages.
- 2Le jeu completRejoué automatiquement.
- 3ComparaisonOn garde le changement s’il améliore sans rien casser.
Les bases : le RAG sur vos documents et découper ses documents. Pour la recherche : la recherche hybride et le reranking.
Questions fréquentes
- Combien de questions de test ?
- Cinquante à cent pour commencer, tirées de vraies demandes, avec pour chacune le ou les documents qui contiennent la réponse.
- Qui note les réponses ?
- Un modèle juge, avec une grille précise, permet de noter vite. Vérifiez-le sur un échantillon noté à la main avant de lui faire confiance.
- Existe-t-il des outils ?
- Oui, des bibliothèques open source comme Ragas proposent ces mesures. Un script maison suffit souvent au début.