GuidesComprendre l’IA

Le cache de prompt : payer moins pour ce qui ne change pas

Par l’équipe Banzai LabsMis à jour le 2 min de lecture

Écrit en cacheLu en cacheLu en cachePrompt système identiqueQuestionLa partie fixe est relue à prix réduit
Le prompt système, identique à chaque appel, est écrit une fois en cache puis relu moins cher.

Le principe

Un début fixe, une fin qui change
Sans cache
  • Les consignes relues à plein tarif à chaque appel
  • Le temps de lecture se répète
Avec cache
  • Écrites une fois, relues à prix réduit
  • Une réponse qui démarre plus vite
  • Seule la question est lue à plein tarif

Comment l’activer avec Claude

Un marqueur cache_control sur le dernier bloc fixe (prompt système, documents) indique jusqu’où mettre en cache :

system: [
  { type: 'text', text: consignesEtDocuments, cache_control: { type: 'ephemeral' } },
],

Le champ usage de la réponse indique les tokens écrits et lus en cache : c’est là qu’on vérifie que ça marche.

Les règles

  • Le fixe d’abord, le variable ensuite. Consignes et documents en tête, question à la fin.
  • Rien de changeant au début. Pas de date ni d’identifiant dans le prompt système.
  • Une taille minimale. Un prompt très court n’est pas mis en cache, le seuil dépend du modèle.

Pour chiffrer : le coût d’une conversation. Pour les autres leviers : plafonner sa facture d’API.

Questions fréquentes

Combien économise-t-on ?
La partie lue en cache est facturée à une fraction du prix normal (de l’ordre d’un dixième chez Anthropic, moins sur les modèles récents). La première écriture coûte un peu plus cher. Les tarifs exacts sont sur la page de prix du fournisseur.
Combien de temps le cache dure-t-il ?
Chez Anthropic, cinq minutes par défaut, renouvelées à chaque lecture ; une durée d’une heure existe en option. Un trafic régulier garde donc le cache chaud.
Pourquoi mon cache ne sert-il jamais ?
Le plus souvent, un élément change au début du prompt : la date, un identifiant, l’ordre des outils. Le cache ne marche que si le début est identique à l’octet près. Un prompt trop court n’est pas mis en cache non plus.

À lire ensuite

Tous les guides