GuidesDéveloppement IA
Observer une application IA en production : traces, coûts et erreurs
Ce qu’une trace contient
| Donnée | Exemple |
|---|---|
| Identifiant de la demande | Pour relier toutes les étapes |
| Modèle et paramètres | Nom du modèle, température, max_tokens |
| Prompt et réponse | Texte complet, données personnelles masquées |
| Tokens | Entrée, sortie, cache |
| Outils appelés | Nom, arguments, durée, résultat |
| Retour utilisateur | Pouce levé ou baissé, commentaire |
Le compteur de tokens est dans la réponse
const rep = await client.messages.create({ model: process.env.CLAUDE_MODEL!, max_tokens: 1024, messages });
journal.enregistrer({
demande: idDemande,
modele: rep.model,
entree: rep.usage.input_tokens,
sortie: rep.usage.output_tokens,
arret: rep.stop_reason,
duree_ms: Date.now() - debut,
});
Les tableaux de bord utiles
- CoûtPar jour, par fonction, par client.
- LatenceMédiane et cas les plus lents.
- ErreursLimites, délais, sorties invalides.
- QualitéAvis des utilisateurs, notes du jeu de test.
De la trace à la correction
- 1RepérerUne réponse signalée par un utilisateur.
- 2RejouerLa trace montre le contexte exact.
- 3Ajouter au jeu de testLe cas ne reviendra plus en silence.
Les tests : tester un chatbot IA. Le coût : plafonner sa facture d’API IA.
Questions fréquentes
- Peut-on stocker les prompts et les réponses ?
- Oui, si c’est prévu dans votre politique de confidentialité, avec une durée de conservation et un accès limité. Masquez les données personnelles quand c’est possible.
- Quels outils utiliser ?
- OpenTelemetry pour un standard ouvert, des outils spécialisés comme Langfuse (open source), ou simplement des journaux structurés dans votre base au début.
- Quelles alertes poser ?
- Coût journalier au-dessus d’un seuil, taux d’erreur en hausse, latence anormale, et chute des avis positifs des utilisateurs.