GuíasEntender la IA

Ventana de contexto: lo que un modelo de IA lee de una vez

Por el equipo de Banzai LabsActualizado el 3 min de lectura

Ventana de contexto: todo lo que lee el modeloFuera: olvidado
La ventana de contexto: instrucciones, documentos y conversación. Lo que sobra se olvida.

Qué hay en la ventana

Todo lo que lee el modelo, en cada llamada
  1. Prompt de sistemaRol, reglas, formato.
  2. HerramientasSu descripción.
  3. DocumentosLos pasajes adjuntos.
  4. ConversaciónLos mensajes intercambiados.
  5. RespuestaTambién ocupa sitio.

El tamaño se cuenta en tokens. Los modelos recientes aceptan cientos de miles, pero el espacio nunca es gratis.

Tres formas de gestionarla

  • ResumirLos mensajes antiguos se sustituyen por un resumen corto.
  • BuscarSolo se envían los pasajes útiles de tus documentos: es el RAG.
  • OrdenarLas instrucciones al principio, la pregunta al final, los documentos etiquetados en medio.

La trampa del medio

Los modelos aprovechan mejor el principio y el final de un contexto largo que su parte central. Una instrucción importante va al principio y se recuerda cerca de la pregunta.

Para elegir entre un contexto grande y la búsqueda, mira RAG o fine-tuning.

Preguntas frecuentes

¿Recuerda el modelo nuestros intercambios anteriores?
No. Solo ve lo que la aplicación le reenvía en cada llamada. La «memoria» de un asistente es el historial que la aplicación vuelve a poner en la ventana.
¿Basta una ventana grande para dárselo todo?
Permite darle mucho, pero cada token se paga y la atención se diluye: una información enterrada en medio de un texto largo se aprovecha peor.
¿Qué pasa cuando la ventana está llena?
La llamada falla o la aplicación debe quitar algo: los mensajes más antiguos, o un resumen en su lugar.

Para leer después

Todas las guías