GuidesDéveloppement IA

Versionner ses prompts comme du code

Par l’équipe Banzai LabsMis à jour le 2 min de lecture

v172 %v281 %v378 %v488 %régressionChaque version de prompt a son score sur le même jeu de test
Chaque version du prompt est notée sur le même jeu de test avant d’être mise en ligne.

Ranger les prompts

prompts/
  support/
    systeme.md        # le prompt
    meta.json         # modèle, paramètres, version
  extraction-facture/
    systeme.md
    meta.json
tests/
  support.json        # questions et réponses attendues

Le cycle d’un changement

  1. 1ModifierSur une branche, avec la raison.
  2. 2TesterLe jeu complet, automatiquement.
  3. 3ComparerScore et cas qui changent.
  4. 4RelireComme une modification de code.
  5. 5DéployerRetour arrière en une commande.

L’historique utile

Version Changement Score
v1 Première version 72 %
v2 Exemples ajoutés 81 %
v3 Consigne raccourcie 78 %, régression
v4 v2 + règle sur les remboursements 88 %

Chaque réponse enregistrée garde la version du prompt qui l’a produite : en cas de souci, on sait d’où il vient.

L’écriture : écrire un prompt système. Les tests : un LLM juge. Le modèle : changer de modèle IA.

Questions fréquentes

Faut-il un outil dédié ?
Pas au début. Des fichiers texte dans le dépôt, un jeu de test et un script de comparaison suffisent. Un outil dédié aide quand des personnes non techniques modifient les prompts.
Que noter avec chaque version ?
Le modèle et ses paramètres, la date, la raison du changement et le score obtenu sur le jeu de test.
Comment comparer deux versions ?
Les faire tourner sur le même jeu de questions, avec la même grille ou le même juge, et regarder les cas qui changent, pas seulement la moyenne.

À lire ensuite

Tous les guides