GuidesDéveloppement IA
Versionner ses prompts comme du code
Ranger les prompts
prompts/
support/
systeme.md # le prompt
meta.json # modèle, paramètres, version
extraction-facture/
systeme.md
meta.json
tests/
support.json # questions et réponses attendues
Le cycle d’un changement
- 1ModifierSur une branche, avec la raison.
- 2TesterLe jeu complet, automatiquement.
- 3ComparerScore et cas qui changent.
- 4RelireComme une modification de code.
- 5DéployerRetour arrière en une commande.
L’historique utile
| Version | Changement | Score |
|---|---|---|
| v1 | Première version | 72 % |
| v2 | Exemples ajoutés | 81 % |
| v3 | Consigne raccourcie | 78 %, régression |
| v4 | v2 + règle sur les remboursements | 88 % |
Chaque réponse enregistrée garde la version du prompt qui l’a produite : en cas de souci, on sait d’où il vient.
L’écriture : écrire un prompt système. Les tests : un LLM juge. Le modèle : changer de modèle IA.
Questions fréquentes
- Faut-il un outil dédié ?
- Pas au début. Des fichiers texte dans le dépôt, un jeu de test et un script de comparaison suffisent. Un outil dédié aide quand des personnes non techniques modifient les prompts.
- Que noter avec chaque version ?
- Le modèle et ses paramètres, la date, la raison du changement et le score obtenu sur le jeu de test.
- Comment comparer deux versions ?
- Les faire tourner sur le même jeu de questions, avec la même grille ou le même juge, et regarder les cas qui changent, pas seulement la moyenne.