GuidesComprendre l’IA

Le traitement par lots (batch) : des milliers d’appels IA, moins cher

Par l’équipe Banzai LabsMis à jour le 3 min de lecture

10 000 demandesBatchtraité en différéRésultatsPas besoin de réponse immédiate : envoyer en lot, payer moins
Des milliers de demandes envoyées en un lot sont traitées en différé, à moindre coût.

Temps réel ou par lots

Deux façons d’appeler le modèle
Temps réel
  • Une demande, une réponse immédiate
  • Pour un utilisateur qui attend
  • Tarif standard
Par lots
  • Des milliers de demandes d’un coup
  • Résultats en différé
  • Tarif réduit

Un lot avec l’API Claude

const lot = await client.messages.batches.create({
  requests: produits.map((p) => ({
    custom_id: p.id,
    params: { model: process.env.CLAUDE_MODEL!, max_tokens: 512, messages: [{ role: 'user', content: consigne(p) }] },
  })),
});

// plus tard
const etat = await client.messages.batches.retrieve(lot.id);
if (etat.processing_status === 'ended') {
  for await (const r of await client.messages.batches.results(lot.id)) {
    if (r.result.type === 'succeeded') enregistrer(r.custom_id, r.result.message);
  }
}

Les bons cas

Cas Pourquoi le batch
Réécrire 5 000 fiches produits Personne n’attend la réponse
Classer des archives de tickets Gros volume, une seule fois
Extraire des données de factures du mois Traitement de nuit
Rejouer un jeu de test Des centaines de questions

Le custom_id relie chaque résultat à sa demande : les résultats ne reviennent pas forcément dans l’ordre.

Le coût : plafonner sa facture d’API IA et le cache de prompt. Les bases : appeler l’API Claude en Node.js.

Questions fréquentes

Combien de temps faut-il attendre ?
Chez Anthropic, la plupart des lots se terminent en moins d’une heure, avec un délai maximal de 24 heures. Prévoyez votre traitement en conséquence.
Quel gain sur le prix ?
Les fournisseurs appliquent une remise importante sur les lots par rapport aux appels classiques. Vérifiez le tarif en vigueur sur leur page de prix.
Peut-on combiner le batch et le cache de prompt ?
Oui. Quand toutes les demandes partagent le même long début (consignes, exemples), le cache réduit encore le coût.

À lire ensuite

Tous les guides