GuíasFiabilidad de la IA
Un LLM como juez: calificar automáticamente las respuestas de una IA
Una rúbrica mejor que una nota global
| Criterio | Pregunta al juez |
|---|---|
| Fidelidad | ¿Cada afirmación se apoya en las fuentes dadas? |
| Pertinencia | ¿La respuesta trata la pregunta planteada? |
| Completitud | ¿Falta alguna información esperada? |
| Tono | ¿Respeta las pautas de estilo? |
Una nota estructurada
const resp = await client.messages.create({
model: process.env.CLAUDE_MODEL!,
max_tokens: 1024,
tools: [{
name: 'calificar',
description: 'Registra la nota de la respuesta, criterio por criterio',
input_schema: {
type: 'object',
properties: {
fiel: { type: 'boolean' }, pertinente: { type: 'boolean' }, completa: { type: 'boolean' },
justificacion: { type: 'string' },
},
required: ['fiel', 'pertinente', 'completa', 'justificacion'],
},
}],
tool_choice: { type: 'tool', name: 'calificar' },
messages: [{ role: 'user', content: rubrica(pregunta, fuentes, respuesta) }],
});
const nota = resp.content.find((b) => b.type === 'tool_use')?.input;
Calibrar al juez
- 1Muestra humana50 respuestas calificadas a mano.
- 2Misma muestra, juezComparar ambas notas.
- 3Ajustar la rúbricaHasta una buena coincidencia.
Los criterios de sí o no dan notas más estables que una escala del 1 al 10.
El uso: evaluar un RAG y probar un chatbot de IA. La técnica: un JSON fiable con un LLM.
Preguntas frecuentes
- ¿El juez puede ser el mismo modelo que se evalúa?
- Es posible, pero un modelo tiende a preferir sus propias respuestas. Un modelo distinto, o una rúbrica muy factual, limita ese sesgo.
- ¿Qué sesgos hay que conocer?
- La preferencia por las respuestas largas, por la primera respuesta mostrada en una comparación y por su propio estilo. Mezcla el orden y califica la longitud aparte.
- ¿Cómo saber si el juez es fiable?
- Haz calificar la misma muestra a personas y al juez, y mide cuánto coinciden. Ajusta la rúbrica mientras la coincidencia sea baja.