GuíasRAG
Evaluar un RAG: medir la búsqueda y la respuesta
Dos medidas, dos problemas
Búsqueda
Respuesta
El conjunto de prueba
[
{ "pregunta": "¿Cuál es el plazo de devolución?", "fuentes": ["condiciones.md#devoluciones"], "esperado": "30 días" },
{ "pregunta": "¿Enviáis a Bélgica?", "fuentes": ["envios.md#paises"], "esperado": "sí" }
]
Los indicadores
| Indicador | Pregunta |
|---|---|
| Recall en k | ¿Está la fuente esperada entre los k pasajes encontrados? |
| Fidelidad | ¿Cada afirmación se apoya en un pasaje? |
| Pertinencia | ¿La respuesta trata la pregunta? |
| Exactitud | ¿Coincide con la respuesta esperada? |
La rutina
- 1Un cambioFragmentación, modelo, prompt, número de pasajes.
- 2El conjunto completoSe vuelve a ejecutar automáticamente.
- 3ComparaciónSe mantiene el cambio si mejora sin romper nada.
Las bases: el RAG con tus documentos y dividir tus documentos. Para la búsqueda: la búsqueda híbrida y el reranking.
Preguntas frecuentes
- ¿Cuántas preguntas de prueba?
- De cincuenta a cien para empezar, sacadas de peticiones reales, cada una con el documento o los documentos que contienen la respuesta.
- ¿Quién califica las respuestas?
- Un modelo juez con una rúbrica precisa califica rápido. Compruébalo con una muestra calificada a mano antes de fiarte.
- ¿Existen herramientas?
- Sí, bibliotecas open source como Ragas ofrecen estas métricas. Al principio suele bastar un script propio.