GuidesDéveloppement IA

Observer une application IA en production : traces, coûts et erreurs

Par l’équipe Banzai LabsMis à jour le 2 min de lecture

Trace d’une demandeRequêteRechercheClaudeOutilClaudeTokensLatenceCoûtErreursTout journaliser : prompt, réponse, outils, durée, coût, erreurs
La trace d’une demande montre chaque étape, sa durée, ses tokens et ses erreurs.

Ce qu’une trace contient

Donnée Exemple
Identifiant de la demande Pour relier toutes les étapes
Modèle et paramètres Nom du modèle, température, max_tokens
Prompt et réponse Texte complet, données personnelles masquées
Tokens Entrée, sortie, cache
Outils appelés Nom, arguments, durée, résultat
Retour utilisateur Pouce levé ou baissé, commentaire

Le compteur de tokens est dans la réponse

const rep = await client.messages.create({ model: process.env.CLAUDE_MODEL!, max_tokens: 1024, messages });
journal.enregistrer({
  demande: idDemande,
  modele: rep.model,
  entree: rep.usage.input_tokens,
  sortie: rep.usage.output_tokens,
  arret: rep.stop_reason,
  duree_ms: Date.now() - debut,
});

Les tableaux de bord utiles

  • CoûtPar jour, par fonction, par client.
  • LatenceMédiane et cas les plus lents.
  • ErreursLimites, délais, sorties invalides.
  • QualitéAvis des utilisateurs, notes du jeu de test.

De la trace à la correction

  1. 1RepérerUne réponse signalée par un utilisateur.
  2. 2RejouerLa trace montre le contexte exact.
  3. 3Ajouter au jeu de testLe cas ne reviendra plus en silence.

Les tests : tester un chatbot IA. Le coût : plafonner sa facture d’API IA.

Questions fréquentes

Peut-on stocker les prompts et les réponses ?
Oui, si c’est prévu dans votre politique de confidentialité, avec une durée de conservation et un accès limité. Masquez les données personnelles quand c’est possible.
Quels outils utiliser ?
OpenTelemetry pour un standard ouvert, des outils spécialisés comme Langfuse (open source), ou simplement des journaux structurés dans votre base au début.
Quelles alertes poser ?
Coût journalier au-dessus d’un seuil, taux d’erreur en hausse, latence anormale, et chute des avis positifs des utilisateurs.

À lire ensuite

Tous les guides