GuidesComprendre l’IA
Le cache de prompt : payer moins pour ce qui ne change pas
Le principe
Sans cache
Avec cache
Comment l’activer avec Claude
Un marqueur cache_control sur le dernier bloc fixe (prompt système, documents) indique jusqu’où mettre en cache :
system: [
{ type: 'text', text: consignesEtDocuments, cache_control: { type: 'ephemeral' } },
],
Le champ usage de la réponse indique les tokens écrits et lus en cache : c’est là qu’on vérifie que ça marche.
Les règles
- Le fixe d’abord, le variable ensuite. Consignes et documents en tête, question à la fin.
- Rien de changeant au début. Pas de date ni d’identifiant dans le prompt système.
- Une taille minimale. Un prompt très court n’est pas mis en cache, le seuil dépend du modèle.
Pour chiffrer : le coût d’une conversation. Pour les autres leviers : plafonner sa facture d’API.
Questions fréquentes
- Combien économise-t-on ?
- La partie lue en cache est facturée à une fraction du prix normal (de l’ordre d’un dixième chez Anthropic, moins sur les modèles récents). La première écriture coûte un peu plus cher. Les tarifs exacts sont sur la page de prix du fournisseur.
- Combien de temps le cache dure-t-il ?
- Chez Anthropic, cinq minutes par défaut, renouvelées à chaque lecture ; une durée d’une heure existe en option. Un trafic régulier garde donc le cache chaud.
- Pourquoi mon cache ne sert-il jamais ?
- Le plus souvent, un élément change au début du prompt : la date, un identifiant, l’ordre des outils. Le cache ne marche que si le début est identique à l’octet près. Un prompt trop court n’est pas mis en cache non plus.