Tokenisation

La tokenisation est la première opération qu’un grand modèle de langage applique à un texte : il le découpe en tokens, des fragments issus d’un vocabulaire fixe appris lors de l’entraînement. Un mot courant tient souvent en un seul token ; un mot rare, un nom de marque inventé ou un terme technique est coupé en plusieurs morceaux. Chaque famille de modèles a son propre découpage : le même texte ne donne pas le même nombre de tokens chez GPT, Claude, Gemini ou Mistral. L’étape existait déjà dans le traitement automatique du langage classique, qui découpait surtout en mots entiers.

L’enjeu est concret : la facturation des API, la taille des documents qu’un assistant peut traiter d’un coup et le découpage des contenus dans un système de recherche se mesurent tous en tokens. Raisonner en mots ou en pages conduit à des estimations fausses.

Comment un texte est découpé en tokens

Les modèles actuels utilisent des méthodes de découpage en sous-mots, dont la plus répandue est le BPE (Byte Pair Encoding) : on part des caractères, puis on fusionne les paires les plus fréquentes du corpus d’entraînement jusqu’à obtenir un vocabulaire de plusieurs dizaines de milliers d’unités, voire davantage. Résultat :

• les mots fréquents de la langue dominante du corpus, souvent l’anglais, sont découpés de façon économe ;
• le français, avec ses accents et ses flexions, consomme en général davantage de tokens pour le même contenu ;
• les espaces, la ponctuation et les balises HTML comptent aussi : envoyer une page brute à un modèle coûte bien plus cher que son texte nettoyé.

OpenAI donne comme ordre de grandeur, pour l’anglais, environ quatre caractères ou trois quarts de mot par token. Ce découpage explique aussi des erreurs surprenantes : un modèle qui voit « fraise » comme un ou deux blocs, et non comme une suite de lettres, peut se tromper en comptant ses lettres.

Exemple concret : enrichir un catalogue avec une API

Prenons un e-commerçant qui veut réécrire 2 000 fiches produits de 400 mots chacune, soit 800 000 mots. Avec une hypothèse de 1,4 token par mot en français, cela représente environ 1,1 million de tokens en entrée, et autant en sortie si les textes gardent leur longueur. À un tarif hypothétique de 3 € le million de tokens en entrée et 15 € en sortie, le coût brut tourne autour de 20 €. Le budget n’est pas le problème : la fenêtre de contexte et la longueur maximale d’une réponse étant limitées, il faut traiter les fiches par lots, en répétant à chaque lot les consignes et la charte éditoriale, qui consomment elles aussi des tokens.

Les erreurs liées aux tokens

• Estimer un budget ou une limite à partir de repères établis pour l’anglais : en français, l’écart est sensible.
• Croire que l’orthographe d’une marque est neutre. Un nom rare est découpé en fragments, et le modèle ne le reconnaît comme une entité que s’il l’a rencontré souvent, écrit de la même façon.
• Envoyer du HTML complet, des menus ou des scripts à un modèle quand le texte seul suffit.
• Calibrer les passages d’un système de recherche (le chunking) en caractères sans contrôler leur poids réel en tokens.

Comment mesurer en tokens

Collez vos textes dans un outil de comptage, comme le tokenizer en ligne d’OpenAI, ou utilisez celui que fournit l’API de votre modèle. Testez vos noms de marque et de gammes pour voir comment ils sont découpés. Dans un projet de recherche interne, les modèles d’embeddings ont eux aussi une limite de tokens en entrée : selon l’outil, un passage trop long est tronqué ou refusé.