GuidesChoix techniques IA

Contexte long ou RAG : tout donner au modèle, ou chercher d’abord ?

Par l’équipe Banzai LabsMis à jour le 3 min de lecture

Contexte longTout est lu, à chaque appelRAGSeuls les passages utilesPetit corpus stable : tout lire. Gros corpus mouvant : chercher.
Contexte long : tous les documents à chaque appel. RAG : seuls les passages utiles.

Les deux approches

Tout lire, ou chercher d’abord
Contexte long
  • Tous les documents dans chaque appel
  • Rien à indexer, rien à découper
  • Coût et latence qui suivent la taille
RAG
  • Seuls les passages utiles
  • Corpus sans limite de taille
  • Une chaîne de recherche à construire

Comment choisir

Critère Plutôt contexte long Plutôt RAG
Volume Quelques documents Des milliers
Mises à jour Rares Fréquentes
Droits d’accès Identiques pour tous Par document ou par personne
Questions Transversales (« compare ces contrats ») Ponctuelles (« quel est le délai ? »)
Volume d’appels Faible, ou avec cache Élevé

L’approche mixte

  1. 1ChercherLes documents pertinents, pas des fragments.
  2. 2ChargerCes documents entiers dans le contexte.
  3. 3RépondreAvec la vue d’ensemble et les citations.

Les notions : la fenêtre de contexte, le cache de prompt et le RAG sur vos documents. L’autre choix : RAG ou fine-tuning.

Questions fréquentes

Le modèle lit-il aussi bien un très long contexte ?
Les modèles récents s’en sortent bien, mais l’attention n’est pas parfaite : une information noyée dans un énorme contexte peut être moins bien utilisée. Testez sur vos cas.
Le cache de prompt change-t-il le calcul ?
Oui. Quand le même corpus revient à chaque appel, sa relecture depuis le cache coûte une fraction du prix normal et répond plus vite.
Peut-on combiner les deux ?
Oui, et c’est fréquent : la recherche sélectionne des documents entiers plutôt que de petits morceaux, et le modèle les lit en contexte long.

À lire ensuite

Tous les guides