GuidesComprendre l’IA
Le traitement par lots (batch) : des milliers d’appels IA, moins cher
Temps réel ou par lots
Temps réel
Par lots
Un lot avec l’API Claude
const lot = await client.messages.batches.create({
requests: produits.map((p) => ({
custom_id: p.id,
params: { model: process.env.CLAUDE_MODEL!, max_tokens: 512, messages: [{ role: 'user', content: consigne(p) }] },
})),
});
// plus tard
const etat = await client.messages.batches.retrieve(lot.id);
if (etat.processing_status === 'ended') {
for await (const r of await client.messages.batches.results(lot.id)) {
if (r.result.type === 'succeeded') enregistrer(r.custom_id, r.result.message);
}
}
Les bons cas
| Cas | Pourquoi le batch |
|---|---|
| Réécrire 5 000 fiches produits | Personne n’attend la réponse |
| Classer des archives de tickets | Gros volume, une seule fois |
| Extraire des données de factures du mois | Traitement de nuit |
| Rejouer un jeu de test | Des centaines de questions |
Le custom_id relie chaque résultat à sa demande : les résultats ne reviennent pas forcément dans l’ordre.
Le coût : plafonner sa facture d’API IA et le cache de prompt. Les bases : appeler l’API Claude en Node.js.
Questions fréquentes
- Combien de temps faut-il attendre ?
- Chez Anthropic, la plupart des lots se terminent en moins d’une heure, avec un délai maximal de 24 heures. Prévoyez votre traitement en conséquence.
- Quel gain sur le prix ?
- Les fournisseurs appliquent une remise importante sur les lots par rapport aux appels classiques. Vérifiez le tarif en vigueur sur leur page de prix.
- Peut-on combiner le batch et le cache de prompt ?
- Oui. Quand toutes les demandes partagent le même long début (consignes, exemples), le cache réduit encore le coût.