النماذج والمنتجاتبنية النماذج اللغوية الكبيرة تحديث 2026

BERT (تمثيلات المُرمِّز ثنائية الاتجاه من Transformers)

التعريف

نموذج Transformer مكوّن من مُرمِّز فقط، مُدرَّب مسبقًا على قراءة النص في الاتجاهين معًا، ويُستخدم على نطاق واسع في مهام الفهم مثل التصنيف والبحث والاستخراج.

يُدرَّب BERT، الذي قدّمه Devlin وزملاؤه (2019)، تدريبًا مسبقًا بهدف نمذجة اللغة المُقنَّعة: إذ يُخفي رموزًا عشوائية ويتعلّم التنبؤ بها من السياقين الأيسر والأيمن معًا. وقد جعلته هذه القراءة ثنائية الاتجاه قويًا على نحو استثنائي في فهم اللغة، وأعاد رسم أحدث ما توصّل إليه المجال عبر كثير من معايير أداء معالجة اللغات الطبيعية (NLP).

على عكس GPT، فإن BERT مُرمِّز صُمّم للفهم لا للتوليد المفتوح — ولا يزال العمود الفقري لكثير من أنظمة البحث والتصنيف.

المراجع

مصادر أولية ومحكّمة وأرشيفية لهذا التعريف.

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). Proceedings of NAACL-HLT 2019, pp. 4171–4186.

المصدر arXiv:1810.04805 DOI:10.18653/v1/N19-1423

مداخل القواميس والموسوعات

Wikipedia — BERT (language model)
IBM — Think / Topics — What is BERT?

استشهد بهذا المدخل

MultipleChat. «BERT (تمثيلات المُرمِّز ثنائية الاتجاه من Transformers)». مسرد MultipleChat للذكاء الاصطناعي والنماذج اللغوية الكبيرة، 2026. https://multiple.chat/ai-glossary/bert