Antes de chegar ao modelo, o texto é dividido em tokens por um tokenizador. Os sistemas modernos usam esquemas de subpalavras, como o byte-pair encoding (Sennrich et al., 2016) ou o SentencePiece (Kudo & Richardson, 2018), que quebram palavras raras em pedaços menores e mantêm intactas as palavras comuns, equilibrando o tamanho do vocabulário e o comprimento da sequência.
Em média, um token equivale a cerca de três quartos de uma palavra em inglês, mas isso varia conforme o idioma e o sistema de escrita. É por isso que limites de contexto e preços de API são informados em tokens, e não em palavras ou caracteres.