GuíasEntender la IA
Ventana de contexto: lo que un modelo de IA lee de una vez
Qué hay en la ventana
- Prompt de sistemaRol, reglas, formato.
- HerramientasSu descripción.
- DocumentosLos pasajes adjuntos.
- ConversaciónLos mensajes intercambiados.
- RespuestaTambién ocupa sitio.
El tamaño se cuenta en tokens. Los modelos recientes aceptan cientos de miles, pero el espacio nunca es gratis.
Tres formas de gestionarla
- ResumirLos mensajes antiguos se sustituyen por un resumen corto.
- BuscarSolo se envían los pasajes útiles de tus documentos: es el RAG.
- OrdenarLas instrucciones al principio, la pregunta al final, los documentos etiquetados en medio.
La trampa del medio
Los modelos aprovechan mejor el principio y el final de un contexto largo que su parte central. Una instrucción importante va al principio y se recuerda cerca de la pregunta.
Para elegir entre un contexto grande y la búsqueda, mira RAG o fine-tuning.
Preguntas frecuentes
- ¿Recuerda el modelo nuestros intercambios anteriores?
- No. Solo ve lo que la aplicación le reenvía en cada llamada. La «memoria» de un asistente es el historial que la aplicación vuelve a poner en la ventana.
- ¿Basta una ventana grande para dárselo todo?
- Permite darle mucho, pero cada token se paga y la atención se diluye: una información enterrada en medio de un texto largo se aprovecha peor.
- ¿Qué pasa cuando la ventana está llena?
- La llamada falla o la aplicación debe quitar algo: los mensajes más antiguos, o un resumen en su lugar.