يُقسَم زمن الاستجابة في أنظمة النماذج اللغوية الكبيرة عادةً إلى زمن الوصول إلى أول رمز (time-to-first-token) والزمن اللازم لكل رمز مُخرَج (time-per-output-token). ويزداد كلاهما مع حجم النموذج وطول التسلسل، لأن كلفة آلية الانتباه تتناسب مع حجم السياق؛ وقد رصد المسح الذي أجراه Tay وزملاؤه (2022) تقنيات الكفاءة التي طُوِّرت للتخفيف من ذلك.
من الأساليب التي تقلّل زمن الاستجابة: التناثر (مزيج الخبراء)، والتكميم، والتخزين المؤقت، والبث التدريجي — ويقايض كلٌّ منها شيئًا من الدقة أو الذاكرة أو البساطة مقابل السرعة.