GuíasFiabilidad de la IA

Un LLM como juez: calificar automáticamente las respuestas de una IA

Por el equipo de Banzai LabsActualizado el 2 min de lectura

Respuesta a calificarModelo juezRúbricaFiel a las fuentesResponde a la preguntaTono adecuadoNota: 2 / 3Un modelo califica las respuestas de otro, criterio por criterio
Un modelo juez califica una respuesta según una rúbrica, criterio por criterio.

Una rúbrica mejor que una nota global

Criterio Pregunta al juez
Fidelidad ¿Cada afirmación se apoya en las fuentes dadas?
Pertinencia ¿La respuesta trata la pregunta planteada?
Completitud ¿Falta alguna información esperada?
Tono ¿Respeta las pautas de estilo?

Una nota estructurada

const resp = await client.messages.create({
  model: process.env.CLAUDE_MODEL!,
  max_tokens: 1024,
  tools: [{
    name: 'calificar',
    description: 'Registra la nota de la respuesta, criterio por criterio',
    input_schema: {
      type: 'object',
      properties: {
        fiel: { type: 'boolean' }, pertinente: { type: 'boolean' }, completa: { type: 'boolean' },
        justificacion: { type: 'string' },
      },
      required: ['fiel', 'pertinente', 'completa', 'justificacion'],
    },
  }],
  tool_choice: { type: 'tool', name: 'calificar' },
  messages: [{ role: 'user', content: rubrica(pregunta, fuentes, respuesta) }],
});
const nota = resp.content.find((b) => b.type === 'tool_use')?.input;

Calibrar al juez

  1. 1Muestra humana50 respuestas calificadas a mano.
  2. 2Misma muestra, juezComparar ambas notas.
  3. 3Ajustar la rúbricaHasta una buena coincidencia.

Los criterios de sí o no dan notas más estables que una escala del 1 al 10.

El uso: evaluar un RAG y probar un chatbot de IA. La técnica: un JSON fiable con un LLM.

Preguntas frecuentes

¿El juez puede ser el mismo modelo que se evalúa?
Es posible, pero un modelo tiende a preferir sus propias respuestas. Un modelo distinto, o una rúbrica muy factual, limita ese sesgo.
¿Qué sesgos hay que conocer?
La preferencia por las respuestas largas, por la primera respuesta mostrada en una comparación y por su propio estilo. Mezcla el orden y califica la longitud aparte.
¿Cómo saber si el juez es fiable?
Haz calificar la misma muestra a personas y al juez, y mide cuánto coinciden. Ajusta la rúbrica mientras la coincidencia sea baja.

Para leer después

Todas las guías