GuíasEntender la IA

La caché de prompt: pagar menos por lo que no cambia

Por el equipo de Banzai LabsActualizado el 2 min de lectura

Escrito en cachéLeído de cachéLeído de cachéMismo prompt de sistemaQuestionLa parte fija se relee a precio reducido
El prompt de sistema, idéntico en cada llamada, se escribe una vez en caché y se relee más barato.

El principio

Un principio fijo, un final que cambia
Sin caché
  • Instrucciones releídas a precio completo en cada llamada
  • El tiempo de lectura se repite
Con caché
  • Escritas una vez, releídas a precio reducido
  • Una respuesta que empieza antes
  • Solo la pregunta se lee a precio completo

Cómo activarla con Claude

Un marcador cache_control en el último bloque fijo (prompt de sistema, documentos) indica hasta dónde guardar en caché:

system: [
  { type: 'text', text: instruccionesYDocumentos, cache_control: { type: 'ephemeral' } },
],

El campo usage de la respuesta indica los tokens escritos y leídos en caché: ahí se comprueba que funciona.

Las reglas

  • Lo fijo primero, lo variable después. Instrucciones y documentos arriba, la pregunta al final.
  • Nada que cambie al principio. Ni fecha ni identificador en el prompt de sistema.
  • Un tamaño mínimo. Un prompt muy corto no se guarda en caché; el umbral depende del modelo.

Para ponerle cifras: el coste de una conversación. Para las otras palancas: limitar la factura de la API.

Preguntas frecuentes

¿Cuánto se ahorra?
La parte leída de la caché se factura a una fracción del precio normal (del orden de una décima parte en Anthropic, menos en los modelos recientes). La primera escritura cuesta algo más. Los precios exactos están en la página de tarifas del proveedor.
¿Cuánto dura la caché?
En Anthropic, cinco minutos por defecto, renovados con cada lectura; existe en opción una duración de una hora. Un tráfico regular mantiene la caché caliente.
¿Por qué mi caché no se usa nunca?
Casi siempre cambia algo al principio del prompt: la fecha, un identificador, el orden de las herramientas. La caché solo funciona si el principio es idéntico byte a byte. Un prompt demasiado corto tampoco se guarda.

Para leer después

Todas las guías