المحوِّل (Transformer) بنية لنمذجة التسلسلات قدّمها Vaswani et al. (2017). وفكرتها المحورية، الانتباه الذاتي، تتيح لكل موضع في التسلسل أن ينتبه مباشرةً إلى كل موضع آخر، فيستطيع النموذج التقاط العلاقات البعيدة في خطوة واحدة بدلًا من تمرير المعلومات عبر سلسلة كما تفعل الشبكات التكرارية.
ولأن الانتباه على امتداد التسلسل قابل للتوازي إلى حد كبير، تتدرّب نماذج Transformer بكفاءة أعلى بكثير على العتاد الحديث مقارنةً بشبكات RNN وLSTM التي حلّت محلها. وهذه الكفاءة هي ما جعل تدريب النماذج اللغوية الكبيرة الحالية أمرًا عمليًا.
لماذا يهم ذلك
ChatGPT وClaude وGemini وGrok كلها مبنية على Transformer. وفهم الانتباه والطبقات وطول السياق، وكلها مفاهيم خاصة بـ Transformer، هو الأساس لفهم كل مصطلح آخر تقريبًا في هذا المسرد.