GuíasDesarrollo de IA
Observar una aplicación de IA en producción: trazas, costes y errores
Qué contiene una traza
| Dato | Ejemplo |
|---|---|
| Identificador de la petición | Para enlazar todos los pasos |
| Modelo y parámetros | Nombre del modelo, temperatura, max_tokens |
| Prompt y respuesta | Texto completo, datos personales ocultos |
| Tokens | Entrada, salida, caché |
| Herramientas llamadas | Nombre, argumentos, duración, resultado |
| Opinión del usuario | Pulgar arriba o abajo, comentario |
El contador de tokens viene en la respuesta
const resp = await client.messages.create({ model: process.env.CLAUDE_MODEL!, max_tokens: 1024, messages });
registro.guardar({
peticion: idPeticion,
modelo: resp.model,
entrada: resp.usage.input_tokens,
salida: resp.usage.output_tokens,
parada: resp.stop_reason,
duracion_ms: Date.now() - inicio,
});
Los paneles útiles
- CostePor día, por función, por cliente.
- LatenciaMediana y casos más lentos.
- ErroresLímites, tiempos agotados, salidas inválidas.
- CalidadOpiniones de usuarios, notas del conjunto de prueba.
De la traza a la corrección
- 1DetectarUna respuesta señalada por un usuario.
- 2ReproducirLa traza muestra el contexto exacto.
- 3Añadir a las pruebasEl caso no volverá en silencio.
Las pruebas: probar un chatbot de IA. El coste: limitar la factura de la API de IA.
Preguntas frecuentes
- ¿Se pueden guardar los prompts y las respuestas?
- Sí, si lo prevé tu política de privacidad, con un plazo de conservación y acceso limitado. Oculta los datos personales cuando sea posible.
- ¿Qué herramientas usar?
- OpenTelemetry como estándar abierto, herramientas especializadas como Langfuse (open source), o al principio simplemente registros estructurados en tu base de datos.
- ¿Qué alertas poner?
- Coste diario por encima de un umbral, tasa de errores en aumento, latencia anormal y caída de las valoraciones positivas de los usuarios.