GuíasDesarrollo de IA

Observar una aplicación de IA en producción: trazas, costes y errores

Por el equipo de Banzai LabsActualizado el 2 min de lectura

Traza de una peticiónPeticiónBúsquedaClaudeHerramientaClaudeTokensLatenciaCosteErroresRegistrarlo todo: prompt, respuesta, herramientas, duración, coste, errores
La traza de una petición muestra cada paso, su duración, sus tokens y sus errores.

Qué contiene una traza

Dato Ejemplo
Identificador de la petición Para enlazar todos los pasos
Modelo y parámetros Nombre del modelo, temperatura, max_tokens
Prompt y respuesta Texto completo, datos personales ocultos
Tokens Entrada, salida, caché
Herramientas llamadas Nombre, argumentos, duración, resultado
Opinión del usuario Pulgar arriba o abajo, comentario

El contador de tokens viene en la respuesta

const resp = await client.messages.create({ model: process.env.CLAUDE_MODEL!, max_tokens: 1024, messages });
registro.guardar({
  peticion: idPeticion,
  modelo: resp.model,
  entrada: resp.usage.input_tokens,
  salida: resp.usage.output_tokens,
  parada: resp.stop_reason,
  duracion_ms: Date.now() - inicio,
});

Los paneles útiles

  • CostePor día, por función, por cliente.
  • LatenciaMediana y casos más lentos.
  • ErroresLímites, tiempos agotados, salidas inválidas.
  • CalidadOpiniones de usuarios, notas del conjunto de prueba.

De la traza a la corrección

  1. 1DetectarUna respuesta señalada por un usuario.
  2. 2ReproducirLa traza muestra el contexto exacto.
  3. 3Añadir a las pruebasEl caso no volverá en silencio.

Las pruebas: probar un chatbot de IA. El coste: limitar la factura de la API de IA.

Preguntas frecuentes

¿Se pueden guardar los prompts y las respuestas?
Sí, si lo prevé tu política de privacidad, con un plazo de conservación y acceso limitado. Oculta los datos personales cuando sea posible.
¿Qué herramientas usar?
OpenTelemetry como estándar abierto, herramientas especializadas como Langfuse (open source), o al principio simplemente registros estructurados en tu base de datos.
¿Qué alertas poner?
Coste diario por encima de un umbral, tasa de errores en aumento, latencia anormal y caída de las valoraciones positivas de los usuarios.

Para leer después

Todas las guías