قبل أن يصل النص إلى النموذج، يُقسَّم إلى رموز بواسطة مُرمِّز (tokenizer). وتستخدم الأنظمة الحديثة مخططات تعمل على مستوى أجزاء الكلمات، مثل ترميز أزواج البايتات (Sennrich et al.، 2016) أو SentencePiece (Kudo & Richardson، 2018)، التي تفكك الكلمات النادرة إلى أجزاء أصغر مع إبقاء الكلمات الشائعة سليمة، موازِنةً بين حجم المفردات وطول التسلسل.
يعادل الرمز في المتوسط نحو ثلاثة أرباع الكلمة الإنجليزية تقريبًا، لكن ذلك يختلف باختلاف اللغة ونظام الكتابة. ولهذا تُحدَّد حدود السياق وأسعار واجهات API بالرموز لا بالكلمات أو الأحرف.