GuíasEntender la IA

El procesamiento por lotes (batch): miles de llamadas de IA, más baratas

Por el equipo de Banzai LabsActualizado el 3 min de lectura

10 000 peticionesBatchprocesado más tardeResultadosSin necesidad de respuesta inmediata: enviar por lotes, pagar menos
Miles de peticiones enviadas en un lote se procesan más tarde, con menor coste.

Tiempo real o por lotes

Dos formas de llamar al modelo
Tiempo real
  • Una petición, una respuesta inmediata
  • Para un usuario que espera
  • Precio estándar
Por lotes
  • Miles de peticiones de golpe
  • Resultados en diferido
  • Precio reducido

Un lote con la API de Claude

const lote = await client.messages.batches.create({
  requests: productos.map((p) => ({
    custom_id: p.id,
    params: { model: process.env.CLAUDE_MODEL!, max_tokens: 512, messages: [{ role: 'user', content: instruccion(p) }] },
  })),
});

// más tarde
const estado = await client.messages.batches.retrieve(lote.id);
if (estado.processing_status === 'ended') {
  for await (const r of await client.messages.batches.results(lote.id)) {
    if (r.result.type === 'succeeded') guardar(r.custom_id, r.result.message);
  }
}

Los buenos casos

Caso Por qué el batch
Reescribir 5000 fichas de producto Nadie espera la respuesta
Clasificar archivos de tickets Gran volumen, una sola vez
Extraer datos de las facturas del mes Procesamiento nocturno
Repetir un conjunto de prueba Cientos de preguntas

El custom_id enlaza cada resultado con su petición: los resultados no vuelven necesariamente en orden.

El coste: limitar la factura de la API de IA y la caché de prompt. Las bases: llamar a la API de Claude con Node.js.

Preguntas frecuentes

¿Cuánto hay que esperar?
En Anthropic, la mayoría de los lotes terminan en menos de una hora, con un plazo máximo de 24 horas. Planifica el procesamiento en consecuencia.
¿Cuánto se ahorra?
Los proveedores aplican un descuento importante a los lotes frente a las llamadas normales. Comprueba la tarifa vigente en su página de precios.
¿Se puede combinar el batch con la caché de prompt?
Sí. Cuando todas las peticiones comparten el mismo inicio largo (instrucciones, ejemplos), la caché reduce aún más el coste.

Para leer después

Todas las guías