GuíasElecciones técnicas de IA
Contexto largo o RAG: ¿darle todo al modelo o buscar primero?
Los dos enfoques
Contexto largo
RAG
Cómo elegir
| Criterio | Mejor contexto largo | Mejor RAG |
|---|---|---|
| Volumen | Unos pocos documentos | Miles |
| Actualizaciones | Raras | Frecuentes |
| Permisos de acceso | Iguales para todos | Por documento o por persona |
| Preguntas | Transversales («compara estos contratos») | Puntuales («¿cuál es el plazo?») |
| Volumen de llamadas | Bajo, o con caché | Alto |
El enfoque mixto
- 1BuscarLos documentos pertinentes, no fragmentos.
- 2CargarEsos documentos enteros en el contexto.
- 3ResponderCon la visión de conjunto y las citas.
Las nociones: la ventana de contexto, la caché de prompt y el RAG con tus documentos. La otra elección: RAG o fine-tuning.
Preguntas frecuentes
- ¿El modelo lee igual de bien un contexto muy largo?
- Los modelos recientes lo hacen bien, pero la atención no es perfecta: un dato perdido en un contexto enorme puede aprovecharse peor. Pruébalo con tus casos.
- ¿La caché de prompt cambia el cálculo?
- Sí. Cuando el mismo corpus vuelve en cada llamada, leerlo desde la caché cuesta una fracción del precio normal y responde más rápido.
- ¿Se pueden combinar ambos?
- Sí, y es frecuente: la búsqueda selecciona documentos enteros en lugar de pequeños fragmentos, y el modelo los lee en contexto largo.