تتعلّم النماذج متعددة الوسائط تمثيلًا مشتركًا عبر أنواع البيانات، فتستطيع مثلًا الإجابة عن أسئلة حول صورة ما أو توليد تعليق لها. وقد أظهر Radford وزملاؤه (2021) من خلال CLIP أن التدريب على أزواج من الصور والنصوص ينتج فضاء تضمين مشتركًا يتيح تعرّفًا بصريًا قويًا دون أمثلة مسبقة (zero-shot) انطلاقًا من مطالبات باللغة الطبيعية.
المساعدون الرائدون اليوم متعددو الوسائط: يمكنك لصق رسم بياني أو لقطة شاشة أو صورة والسؤال عنها مباشرةً في الدردشة.