بنية النماذج اللغوية الكبيرةالكفاءة تحديث 2026

مزيج الخبراء (Mixture of Experts - MoE)

التعريف

بنية توجّه كل مُدخل إلى عدد قليل من الشبكات الفرعية المتخصصة بدلًا من النموذج بأكمله، ما يمنح سعة كبيرة بكلفة أقل لكل استعلام.

في نموذج مزيج الخبراء، ترسل شبكة بوابات كل رمز إلى مجموعة فرعية صغيرة من الشبكات الفرعية «الخبيرة»، فلا يُفعَّل إلا جزء من النموذج لكل مُدخل. وقد قدّم Shazeer وزملاؤه (2017) طبقة MoE ذات البوابات المتناثرة، ثم بسّط Fedus وزملاؤه (2021) التوجيه في Switch Transformer للتوسّع إلى نماذج بتريليون معامل مع حوسبة شبه ثابتة لكل رمز.

يتيح MoE للنموذج امتلاك سعة إجمالية هائلة مع إبقاء كلفة الاستدلال أقرب إلى كلفة نموذج كثيف أصغر بكثير.

المراجع

مصادر أولية ومحكّمة وأرشيفية لهذا التعريف.

Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer

Shazeer, N., Mirhoseini, A., Maziarz, K., Davis, A., Le, Q., Hinton, G., & Dean, J. (2017). International Conference on Learning Representations (ICLR 2017).

المصدر arXiv:1701.06538

Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity

Fedus, W., Zoph, B., & Shazeer, N. (2022). Journal of Machine Learning Research, 23(120).

المصدر arXiv:2101.03961