بنية النماذج اللغوية الكبيرةالأساسيات تحديث 2026

آلية الانتباه

التعريف

التقنية التي تتيح للنموذج أن يزن مدى أهمية كل جزء من المُدخل عند إنتاج كل جزء من المُخرج — وهي العملية الجوهرية داخل كل نموذج Transformer.

قدّم Bahdanau وزملاؤه (2015) آلية الانتباه للترجمة الآلية، فأتاحوا لوحدة فك الترميز أن تعود إلى الكلمات المصدرية الأكثر صلة بدلًا من متّجه تلخيص واحد ثابت. ثم جعل Vaswani وزملاؤه (2017) الانتباه الذاتي البنيةَ بأكملها، وأزالوا التكرار (recurrence) تمامًا.

يحسب كل رمز مزيجًا مرجَّحًا من جميع الرموز الأخرى، حيث تُعبّر الأوزان عن مدى صلة كل منها. وبهذه الطريقة يحلّ النموذج الإحالات، ويتتبّع البنية بعيدة المدى، ويقرّر ما يركّز عليه.

المراجع

مصادر أولية ومحكّمة وأرشيفية لهذا التعريف.

Neural Machine Translation by Jointly Learning to Align and Translate

Bahdanau, D., Cho, K., & Bengio, Y. (2015). International Conference on Learning Representations (ICLR 2015).

المصدر arXiv:1409.0473

Attention Is All You Need

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Advances in Neural Information Processing Systems 30 (NeurIPS 2017).

المصدر arXiv:1706.03762