نافذة السياق

يعمل الانتباه الذاتي في Transformer (Vaswani وزملاؤه، 2017) على نطاق ثابت من الرموز؛ وهذا النطاق هو نافذة السياق. وكل ما يستطيع النموذج «رؤيته» دفعة واحدة — التعليمات، والأدوار السابقة، والمستندات المسترجَعة، والنص الذي يُنتجه حاليًا — يجب أن يتّسع داخلها.

إذا تجاوزت النافذة، يخرج المحتوى الأقدم من مجال الرؤية: لا يُصدر النموذج خطأً، بل يكفّ ببساطة عن الانتباه إلى ما لم يعد يتّسع. ولهذا تفقد المحادثات الطويلة تفاصيلها الأولى، ولهذا يُستخدم الاسترجاع لإعادة تغذية النموذج بالمقاطع الأكثر صلة فقط.