GuíasElecciones técnicas de IA

Contexto largo o RAG: ¿darle todo al modelo o buscar primero?

Por el equipo de Banzai LabsActualizado el 3 min de lectura

Contexto largoSe lee todo, en cada llamadaRAGSolo los pasajes útilesCorpus pequeño y estable: leerlo todo. Grande y cambiante: buscar.
Contexto largo: todos los documentos en cada llamada. RAG: solo los pasajes útiles.

Los dos enfoques

Leerlo todo o buscar primero
Contexto largo
  • Todos los documentos en cada llamada
  • Nada que indexar ni fragmentar
  • Coste y latencia crecen con el tamaño
RAG
  • Solo los pasajes útiles
  • Corpus sin límite de tamaño
  • Una cadena de búsqueda que construir

Cómo elegir

Criterio Mejor contexto largo Mejor RAG
Volumen Unos pocos documentos Miles
Actualizaciones Raras Frecuentes
Permisos de acceso Iguales para todos Por documento o por persona
Preguntas Transversales («compara estos contratos») Puntuales («¿cuál es el plazo?»)
Volumen de llamadas Bajo, o con caché Alto

El enfoque mixto

  1. 1BuscarLos documentos pertinentes, no fragmentos.
  2. 2CargarEsos documentos enteros en el contexto.
  3. 3ResponderCon la visión de conjunto y las citas.

Las nociones: la ventana de contexto, la caché de prompt y el RAG con tus documentos. La otra elección: RAG o fine-tuning.

Preguntas frecuentes

¿El modelo lee igual de bien un contexto muy largo?
Los modelos recientes lo hacen bien, pero la atención no es perfecta: un dato perdido en un contexto enorme puede aprovecharse peor. Pruébalo con tus casos.
¿La caché de prompt cambia el cálculo?
Sí. Cuando el mismo corpus vuelve en cada llamada, leerlo desde la caché cuesta una fracción del precio normal y responde más rápido.
¿Se pueden combinar ambos?
Sí, y es frecuente: la búsqueda selecciona documentos enteros en lugar de pequeños fragmentos, y el modelo los lee en contexto largo.

Para leer después

Todas las guías