محوِّل الرؤية (ViT)

قسّم Dosovitskiy et al. (2021) الصورة إلى رقع ثابتة الحجم، وعاملوا كل رقعة كرمز، ثم مرّروا التسلسل إلى نموذج Transformer قياسي. ومع بيانات تدريب مسبق كافية، ضاهى محوِّل الرؤية هذا أفضل الشبكات الالتفافية أو تفوّق عليها مع استهلاك حوسبة أقل، ما أثبت أن الانتباه الذاتي بنية عامة لا تقتصر على اللغة.

أصبحت نماذج ViT شائعة اليوم في النماذج متعددة الوسائط، حيث تُعالَج الصور والنصوص بآليات Transformer مترابطة.