GuíasEntender la IA
El procesamiento por lotes (batch): miles de llamadas de IA, más baratas
Tiempo real o por lotes
Tiempo real
Por lotes
Un lote con la API de Claude
const lote = await client.messages.batches.create({
requests: productos.map((p) => ({
custom_id: p.id,
params: { model: process.env.CLAUDE_MODEL!, max_tokens: 512, messages: [{ role: 'user', content: instruccion(p) }] },
})),
});
// más tarde
const estado = await client.messages.batches.retrieve(lote.id);
if (estado.processing_status === 'ended') {
for await (const r of await client.messages.batches.results(lote.id)) {
if (r.result.type === 'succeeded') guardar(r.custom_id, r.result.message);
}
}
Los buenos casos
| Caso | Por qué el batch |
|---|---|
| Reescribir 5000 fichas de producto | Nadie espera la respuesta |
| Clasificar archivos de tickets | Gran volumen, una sola vez |
| Extraer datos de las facturas del mes | Procesamiento nocturno |
| Repetir un conjunto de prueba | Cientos de preguntas |
El custom_id enlaza cada resultado con su petición: los resultados no vuelven necesariamente en orden.
El coste: limitar la factura de la API de IA y la caché de prompt. Las bases: llamar a la API de Claude con Node.js.
Preguntas frecuentes
- ¿Cuánto hay que esperar?
- En Anthropic, la mayoría de los lotes terminan en menos de una hora, con un plazo máximo de 24 horas. Planifica el procesamiento en consecuencia.
- ¿Cuánto se ahorra?
- Los proveedores aplican un descuento importante a los lotes frente a las llamadas normales. Comprueba la tarifa vigente en su página de precios.
- ¿Se puede combinar el batch con la caché de prompt?
- Sí. Cuando todas las peticiones comparten el mismo inicio largo (instrucciones, ejemplos), la caché reduce aún más el coste.