Bevor Text ein Modell erreicht, wird er von einem Tokenizer in Tokens zerlegt. Moderne Systeme nutzen Subword-Verfahren wie Byte-Pair-Encoding (Sennrich et al., 2016) oder SentencePiece (Kudo & Richardson, 2018), die seltene Wörter in kleinere Teile aufspalten und häufige Wörter intakt lassen – ein Ausgleich zwischen Vokabulargröße und Sequenzlänge.
Ein Token entspricht im Durchschnitt etwa drei Vierteln eines englischen Wortes, das variiert jedoch je nach Sprache und Schrift. Deshalb werden Kontextlimits und API-Preise in Tokens statt in Wörtern oder Zeichen angegeben.