GuíasDesarrollo de IA

Versionar los prompts como código

Por el equipo de Banzai LabsActualizado el 2 min de lectura

v172 %v281 %v378 %v488 %regresiónCada versión del prompt tiene su nota en el mismo conjunto de prueba
Cada versión del prompt se califica con el mismo conjunto de prueba antes de publicarse.

Ordenar los prompts

prompts/
  soporte/
    sistema.md        # el prompt
    meta.json         # modelo, parámetros, versión
  extraccion-factura/
    sistema.md
    meta.json
tests/
  soporte.json        # preguntas y respuestas esperadas

El ciclo de un cambio

  1. 1ModificarEn una rama, con el motivo.
  2. 2ProbarEl conjunto completo, automáticamente.
  3. 3CompararNota y casos que cambian.
  4. 4RevisarComo un cambio de código.
  5. 5DesplegarVuelta atrás con un comando.

El historial útil

Versión Cambio Nota
v1 Primera versión 72 %
v2 Ejemplos añadidos 81 %
v3 Instrucción más corta 78 %, regresión
v4 v2 + regla sobre reembolsos 88 %

Cada respuesta guardada conserva la versión del prompt que la produjo: si hay un problema, se sabe de dónde viene.

La redacción: escribir un prompt de sistema. Las pruebas: un LLM como juez. El modelo: cambiar de modelo de IA.

Preguntas frecuentes

¿Hace falta una herramienta dedicada?
Al principio no. Archivos de texto en el repositorio, un conjunto de prueba y un script de comparación bastan. Una herramienta dedicada ayuda cuando personas no técnicas modifican los prompts.
¿Qué anotar con cada versión?
El modelo y sus parámetros, la fecha, el motivo del cambio y la nota obtenida en el conjunto de prueba.
¿Cómo comparar dos versiones?
Ejecutándolas con el mismo conjunto de preguntas, con la misma rúbrica o el mismo juez, y mirando los casos que cambian, no solo la media.

Para leer después

Todas las guías