GuidesComprendre l’IA
Fenêtre de contexte : ce qu’un modèle IA lit d’un coup
Ce qu’il y a dans la fenêtre
- Prompt systèmeRôle, règles, format.
- OutilsLeur description.
- DocumentsLes passages joints.
- ConversationLes messages échangés.
- RéponseElle aussi prend de la place.
La taille se compte en tokens. Les modèles récents en acceptent des centaines de milliers, mais la place n’est jamais gratuite.
Trois façons de la gérer
- RésumerLes vieux messages sont remplacés par un résumé court.
- ChercherOn n’envoie que les passages utiles de vos documents : c’est le RAG.
- RangerLes consignes au début, la question à la fin, les documents balisés entre les deux.
Le piège du milieu
Les modèles exploitent mieux le début et la fin d’un long contexte que son milieu. Une consigne importante se met en tête, et se rappelle près de la question.
Pour choisir entre gros contexte et recherche, voir RAG ou fine-tuning.
Questions fréquentes
- Le modèle se souvient-il de nos échanges précédents ?
- Non. Il ne voit que ce que l’application lui renvoie à chaque appel. La « mémoire » d’un assistant, c’est l’historique que l’application remet dans la fenêtre.
- Une grande fenêtre suffit-elle à tout lui donner ?
- Elle permet d’en donner beaucoup, mais chaque token se paie et l’attention se dilue : une information noyée au milieu d’un long texte est moins bien exploitée.
- Que se passe-t-il quand la fenêtre est pleine ?
- L’appel échoue ou l’application doit retirer quelque chose : les plus vieux messages, ou un résumé à leur place.