Antes de llegar a un modelo, el texto se divide en tokens mediante un tokenizador. Los sistemas modernos usan esquemas de subpalabras como la codificación por pares de bytes (BPE, Sennrich et al., 2016) o SentencePiece (Kudo & Richardson, 2018), que dividen las palabras poco frecuentes en piezas más pequeñas y mantienen intactas las comunes, equilibrando el tamaño del vocabulario con la longitud de la secuencia.
En inglés, un token equivale de media a unas tres cuartas partes de una palabra, pero la proporción varía según el idioma y el sistema de escritura. Por eso los límites de contexto y los precios de las API se expresan en tokens y no en palabras ni caracteres.