Fenêtre de contexte

La fenêtre de contexte est la mémoire de travail d’un LLM : tout ce qu’il « voit » au moment de produire une réponse. On y trouve les instructions du système, l’historique de la conversation, la question, les documents éventuellement récupérés sur le web et la réponse en cours de rédaction. Elle se mesure en tokens, les morceaux de mots issus de la tokenisation, et non en mots ou en pages. Avec la plupart des découpeurs actuels, un texte français consomme d’ailleurs plus de tokens par mot qu’un texte anglais.

Deux confusions reviennent souvent. La fenêtre de contexte n’a rien à voir avec la date limite des connaissances du modèle (le knowledge cutoff), qui dépend de son entraînement. Et ce n’est pas une mémoire durable : dans une longue conversation, ce qui sort de la fenêtre est oublié ou résumé.

Ce qui se passe quand une IA lit votre page

Les fenêtres ont fortement grandi : quelques milliers de tokens pour les premiers modèles grand public, plusieurs centaines de milliers, voire plus d’un million, pour certains modèles actuels. On pourrait en déduire qu’une IA lit désormais vos pages en entier. Lors d’une recherche web, ce n’est généralement pas le cas. Chaque token traité a un coût de calcul et allonge le temps de réponse, à multiplier par des millions de requêtes. Les systèmes de RAG sélectionnent donc des passages, issus du découpage en chunks, plutôt que des pages complètes.

Une limite moins connue s’ajoute : même dans une grande fenêtre, le modèle n’exploite pas toutes les positions de la même façon. Des travaux de recherche ont montré qu’une information placée au milieu d’un long contexte est moins bien utilisée que celle placée au début ou à la fin, un phénomène baptisé « lost in the middle ».

Exemple concret : ce qui reste d’un guide de 5 000 tokens

Prenons un assistant qui consulte une douzaine de pages pour répondre à une question d’achat. Sa fenêtre pourrait accueillir les 12 pages complètes, soit 60 000 tokens si chacune en compte 5 000. Imaginons qu’il retienne plutôt trois passages de 300 tokens par page : environ 900 tokens par source, un peu moins de 11 000 au total. Votre guide n’est alors représenté qu’à 18 %. Si votre comparatif de prix se trouve dans un paragraphe peu explicite au milieu de la page, il a de bonnes chances de rester hors champ, au profit du passage plus net d’un concurrent.

Les erreurs de raisonnement à éviter

• Allonger les pages pour « donner plus de matière » à l’IA : au-delà d’un certain point, vous diluez les passages utiles parmi les autres.
• Croire qu’un PDF de 80 pages déposé dans un assistant est lu avec la même attention partout : sur les documents longs, les outils sélectionnent souvent des extraits.
• Confondre taille de fenêtre et connaissances : un modèle à très grande fenêtre ne connaît pas mieux votre marque, il peut seulement lire davantage de documents à la fois.

Comment adapter vos contenus

Raisonnez en budget de tokens plutôt qu’en longueur de page. Chaque section doit livrer son information principale d’emblée, avec le nom du produit ou du service, pour survivre à un extrait court. Les données décisives (prix, délais, compatibilités, caractéristiques) doivent être en texte HTML, pas dans des images ou des scripts. Pour vérifier, posez vos questions clés à des assistants qui pratiquent le grounding sur le web et regardez quelles phrases de votre page sont reprises : ce sont celles qui ont tenu dans la fenêtre. Si ce sont toujours des passages secondaires, c’est la structure de la page qu’il faut revoir, pas sa longueur.