GuidesChoix techniques IA
Contexte long ou RAG : tout donner au modèle, ou chercher d’abord ?
Les deux approches
Contexte long
RAG
Comment choisir
| Critère | Plutôt contexte long | Plutôt RAG |
|---|---|---|
| Volume | Quelques documents | Des milliers |
| Mises à jour | Rares | Fréquentes |
| Droits d’accès | Identiques pour tous | Par document ou par personne |
| Questions | Transversales (« compare ces contrats ») | Ponctuelles (« quel est le délai ? ») |
| Volume d’appels | Faible, ou avec cache | Élevé |
L’approche mixte
- 1ChercherLes documents pertinents, pas des fragments.
- 2ChargerCes documents entiers dans le contexte.
- 3RépondreAvec la vue d’ensemble et les citations.
Les notions : la fenêtre de contexte, le cache de prompt et le RAG sur vos documents. L’autre choix : RAG ou fine-tuning.
Questions fréquentes
- Le modèle lit-il aussi bien un très long contexte ?
- Les modèles récents s’en sortent bien, mais l’attention n’est pas parfaite : une information noyée dans un énorme contexte peut être moins bien utilisée. Testez sur vos cas.
- Le cache de prompt change-t-il le calcul ?
- Oui. Quand le même corpus revient à chaque appel, sa relecture depuis le cache coûte une fraction du prix normal et répond plus vite.
- Peut-on combiner les deux ?
- Oui, et c’est fréquent : la recherche sélectionne des documents entiers plutôt que de petits morceaux, et le modèle les lit en contexte long.