GuíasDesarrollo de IA
Versionar los prompts como código
Ordenar los prompts
prompts/
soporte/
sistema.md # el prompt
meta.json # modelo, parámetros, versión
extraccion-factura/
sistema.md
meta.json
tests/
soporte.json # preguntas y respuestas esperadas
El ciclo de un cambio
- 1ModificarEn una rama, con el motivo.
- 2ProbarEl conjunto completo, automáticamente.
- 3CompararNota y casos que cambian.
- 4RevisarComo un cambio de código.
- 5DesplegarVuelta atrás con un comando.
El historial útil
| Versión | Cambio | Nota |
|---|---|---|
| v1 | Primera versión | 72 % |
| v2 | Ejemplos añadidos | 81 % |
| v3 | Instrucción más corta | 78 %, regresión |
| v4 | v2 + regla sobre reembolsos | 88 % |
Cada respuesta guardada conserva la versión del prompt que la produjo: si hay un problema, se sabe de dónde viene.
La redacción: escribir un prompt de sistema. Las pruebas: un LLM como juez. El modelo: cambiar de modelo de IA.
Preguntas frecuentes
- ¿Hace falta una herramienta dedicada?
- Al principio no. Archivos de texto en el repositorio, un conjunto de prueba y un script de comparación bastan. Una herramienta dedicada ayuda cuando personas no técnicas modifican los prompts.
- ¿Qué anotar con cada versión?
- El modelo y sus parámetros, la fecha, el motivo del cambio y la nota obtenida en el conjunto de prueba.
- ¿Cómo comparar dos versiones?
- Ejecutándolas con el mismo conjunto de preguntas, con la misma rúbrica o el mismo juez, y mirando los casos que cambian, no solo la media.