GuidesFiabilité de l’IA
Un LLM juge : noter automatiquement les réponses d’une IA
Une grille plutôt qu’une note globale
| Critère | Question posée au juge |
|---|---|
| Fidélité | Chaque affirmation est-elle appuyée par les sources fournies ? |
| Pertinence | La réponse traite-t-elle la question posée ? |
| Complétude | Manque-t-il une information attendue ? |
| Ton | Respecte-t-elle les consignes de style ? |
Une note structurée
const rep = await client.messages.create({
model: process.env.CLAUDE_MODEL!,
max_tokens: 1024,
tools: [{
name: 'noter',
description: 'Enregistre la note de la réponse, critère par critère',
input_schema: {
type: 'object',
properties: {
fidele: { type: 'boolean' }, pertinente: { type: 'boolean' }, complete: { type: 'boolean' },
justification: { type: 'string' },
},
required: ['fidele', 'pertinente', 'complete', 'justification'],
},
}],
tool_choice: { type: 'tool', name: 'noter' },
messages: [{ role: 'user', content: grille(question, sources, reponse) }],
});
const note = rep.content.find((b) => b.type === 'tool_use')?.input;
Calibrer le juge
- 1Échantillon humain50 réponses notées à la main.
- 2Même échantillon, jugeComparer les deux notes.
- 3Ajuster la grilleJusqu’à un bon accord.
Des critères oui ou non donnent des notes plus stables qu’une échelle de 1 à 10.
L’usage : évaluer un RAG et tester un chatbot IA. La technique : un JSON fiable avec un LLM.
Questions fréquentes
- Le juge peut-il être le même modèle que celui qu’on évalue ?
- C’est possible, mais un modèle a tendance à préférer ses propres réponses. Un modèle différent, ou une grille très factuelle, limite ce biais.
- Quels biais connaître ?
- La préférence pour les réponses longues, pour la première réponse présentée dans une comparaison, et pour son propre style. Mélangez l’ordre et notez la longueur à part.
- Comment savoir si le juge est fiable ?
- Faites noter le même échantillon par des humains et par le juge, et mesurez leur accord. Ajustez la grille tant que l’accord est faible.