Dosovitskiy et al. (2021) ont découpé une image en fragments (patches) de taille fixe, traité chacun comme un token, puis fourni la séquence à un Transformer standard. Avec suffisamment de données de pré-entraînement, ce Vision Transformer a égalé, voire dépassé, les meilleurs réseaux convolutifs tout en consommant moins de calcul, prouvant que l’auto-attention est une architecture généraliste et pas seulement linguistique.
Les ViT sont aujourd’hui courants dans les modèles multimodaux, où images et textes sont traités par des mécanismes Transformer apparentés.