GuidesFiabilité de l’IA

Un LLM juge : noter automatiquement les réponses d’une IA

Par l’équipe Banzai LabsMis à jour le 2 min de lecture

Réponse à noterModèle jugeGrilleFidèle aux sourcesRépond à la questionTon adaptéNote : 2 / 3Un modèle note les réponses d’un autre, critère par critère
Un modèle juge note une réponse selon une grille, critère par critère.

Une grille plutôt qu’une note globale

Critère Question posée au juge
Fidélité Chaque affirmation est-elle appuyée par les sources fournies ?
Pertinence La réponse traite-t-elle la question posée ?
Complétude Manque-t-il une information attendue ?
Ton Respecte-t-elle les consignes de style ?

Une note structurée

const rep = await client.messages.create({
  model: process.env.CLAUDE_MODEL!,
  max_tokens: 1024,
  tools: [{
    name: 'noter',
    description: 'Enregistre la note de la réponse, critère par critère',
    input_schema: {
      type: 'object',
      properties: {
        fidele: { type: 'boolean' }, pertinente: { type: 'boolean' }, complete: { type: 'boolean' },
        justification: { type: 'string' },
      },
      required: ['fidele', 'pertinente', 'complete', 'justification'],
    },
  }],
  tool_choice: { type: 'tool', name: 'noter' },
  messages: [{ role: 'user', content: grille(question, sources, reponse) }],
});
const note = rep.content.find((b) => b.type === 'tool_use')?.input;

Calibrer le juge

  1. 1Échantillon humain50 réponses notées à la main.
  2. 2Même échantillon, jugeComparer les deux notes.
  3. 3Ajuster la grilleJusqu’à un bon accord.

Des critères oui ou non donnent des notes plus stables qu’une échelle de 1 à 10.

L’usage : évaluer un RAG et tester un chatbot IA. La technique : un JSON fiable avec un LLM.

Questions fréquentes

Le juge peut-il être le même modèle que celui qu’on évalue ?
C’est possible, mais un modèle a tendance à préférer ses propres réponses. Un modèle différent, ou une grille très factuelle, limite ce biais.
Quels biais connaître ?
La préférence pour les réponses longues, pour la première réponse présentée dans une comparaison, et pour son propre style. Mélangez l’ordre et notez la longueur à part.
Comment savoir si le juge est fiable ?
Faites noter le même échantillon par des humains et par le juge, et mesurez leur accord. Ajustez la grille tant que l’accord est faible.

À lire ensuite

Tous les guides