Avant d’atteindre le modèle, le texte est découpé en tokens par un tokenizer. Les systèmes modernes utilisent des schémas en sous-mots, comme le byte-pair encoding (Sennrich et al., 2016) ou SentencePiece (Kudo & Richardson, 2018), qui décomposent les mots rares en morceaux plus petits tout en gardant intacts les mots courants : un compromis entre taille du vocabulaire et longueur des séquences.
Un token correspond en moyenne à environ trois quarts d’un mot anglais, mais ce ratio varie selon la langue et l’écriture. C’est pourquoi les limites de contexte et les prix des API sont exprimés en tokens plutôt qu’en mots ou en caractères.