GuidesComprendre l’IA

Fenêtre de contexte : ce qu’un modèle IA lit d’un coup

Par l’équipe Banzai LabsMis à jour le 3 min de lecture

Fenêtre de contexte : tout ce que le modèle litHors fenêtre : oublié
La fenêtre de contexte : consignes, documents et conversation. Ce qui dépasse est oublié.

Ce qu’il y a dans la fenêtre

Tout ce que le modèle lit, à chaque appel
  1. Prompt systèmeRôle, règles, format.
  2. OutilsLeur description.
  3. DocumentsLes passages joints.
  4. ConversationLes messages échangés.
  5. RéponseElle aussi prend de la place.

La taille se compte en tokens. Les modèles récents en acceptent des centaines de milliers, mais la place n’est jamais gratuite.

Trois façons de la gérer

  • RésumerLes vieux messages sont remplacés par un résumé court.
  • ChercherOn n’envoie que les passages utiles de vos documents : c’est le RAG.
  • RangerLes consignes au début, la question à la fin, les documents balisés entre les deux.

Le piège du milieu

Les modèles exploitent mieux le début et la fin d’un long contexte que son milieu. Une consigne importante se met en tête, et se rappelle près de la question.

Pour choisir entre gros contexte et recherche, voir RAG ou fine-tuning.

Questions fréquentes

Le modèle se souvient-il de nos échanges précédents ?
Non. Il ne voit que ce que l’application lui renvoie à chaque appel. La « mémoire » d’un assistant, c’est l’historique que l’application remet dans la fenêtre.
Une grande fenêtre suffit-elle à tout lui donner ?
Elle permet d’en donner beaucoup, mais chaque token se paie et l’attention se dilue : une information noyée au milieu d’un long texte est moins bien exploitée.
Que se passe-t-il quand la fenêtre est pleine ?
L’appel échoue ou l’application doit retirer quelque chose : les plus vieux messages, ou un résumé à leur place.

À lire ensuite

Tous les guides