يحوّل التضمين الكلمات أو الجمل أو المستندات إلى فضاء متّجهات متّصل تعكس فيه المسافة المعنى. وقد بيّن Mikolov وزملاؤه (2013) أن هذه المتّجهات، المُتعلَّمة من النص الخام، تلتقط علاقات غنية على نحو مدهش؛ واستخرجها Pennington وزملاؤه (2014) من إحصاءات التواجد المشترك الشاملة للكلمات في أسلوب GloVe.
تبني النماذج اللغوية الكبيرة الحديثة تضمينات سياقية — فالكلمة نفسها تحصل على متّجهات مختلفة بحسب ما يحيط بها. والتضمينات هي الجسر بين اللغة البشرية والعمليات العددية التي يُجريها النموذج.
لماذا يهم ذلك
تُشغّل التضمينات البحث الدلالي والتوليد المعزّز بالاسترجاع والتجميع العنقودي. وبها تعثر قاعدة المعرفة على المقطع الذي يجيب فعلًا عن السؤال، حتى حين لا تتطابق أي كلمات مفتاحية.