Prima di raggiungere il modello, il testo viene suddiviso in token da un tokenizer. I sistemi moderni usano schemi a sotto-parole come il byte-pair encoding (Sennrich et al., 2016) o SentencePiece (Kudo & Richardson, 2018), che spezzano le parole rare in frammenti più piccoli mantenendo intatte quelle comuni, bilanciando la dimensione del vocabolario e la lunghezza della sequenza.
In media un token corrisponde a circa tre quarti di una parola inglese, ma il rapporto varia a seconda della lingua e del sistema di scrittura. Per questo i limiti di contesto e i prezzi delle API sono espressi in token anziché in parole o caratteri.