GuíasRAG

Evaluar un RAG: medir la búsqueda y la respuesta

Por el equipo de Banzai LabsActualizado el 2 min de lectura

Juego de pruebasBúsqueda¿pasaje correcto?Respuesta¿fiel a las fuentes?Puntuación por versiónMedir la búsqueda y la respuesta por separado
Un juego de preguntas de prueba mide por separado la búsqueda de pasajes y la fidelidad de las respuestas, en cada versión.

Dos medidas, dos problemas

Dónde puede fallar el RAG
Búsqueda
  • ¿Está el pasaje correcto entre los k primeros?
  • Se corrige con la fragmentación, los embeddings, el reranking
  • Medida sencilla, sin modelo juez
Respuesta
  • ¿Fiel a los pasajes, sin inventar?
  • ¿Responde de verdad a la pregunta?
  • Se corrige con el prompt y el modelo

El conjunto de prueba

[
  { "pregunta": "¿Cuál es el plazo de devolución?", "fuentes": ["condiciones.md#devoluciones"], "esperado": "30 días" },
  { "pregunta": "¿Enviáis a Bélgica?", "fuentes": ["envios.md#paises"], "esperado": "sí" }
]

Los indicadores

Indicador Pregunta
Recall en k ¿Está la fuente esperada entre los k pasajes encontrados?
Fidelidad ¿Cada afirmación se apoya en un pasaje?
Pertinencia ¿La respuesta trata la pregunta?
Exactitud ¿Coincide con la respuesta esperada?

La rutina

  1. 1Un cambioFragmentación, modelo, prompt, número de pasajes.
  2. 2El conjunto completoSe vuelve a ejecutar automáticamente.
  3. 3ComparaciónSe mantiene el cambio si mejora sin romper nada.

Las bases: el RAG con tus documentos y dividir tus documentos. Para la búsqueda: la búsqueda híbrida y el reranking.

Preguntas frecuentes

¿Cuántas preguntas de prueba?
De cincuenta a cien para empezar, sacadas de peticiones reales, cada una con el documento o los documentos que contienen la respuesta.
¿Quién califica las respuestas?
Un modelo juez con una rúbrica precisa califica rápido. Compruébalo con una muestra calificada a mano antes de fiarte.
¿Existen herramientas?
Sí, bibliotecas open source como Ragas ofrecen estas métricas. Al principio suele bastar un script propio.

Para leer después

Todas las guías