Dosovitskiy et al. (2021) dividieron una imagen en fragmentos (patches) de tamaño fijo, trataron cada uno como un token y pasaron la secuencia a un Transformer estándar. Con suficientes datos de preentrenamiento, este Vision Transformer igualó o superó a las principales redes convolucionales usando menos cómputo, lo que demostró que la autoatención es una arquitectura general y no exclusiva del lenguaje.
Hoy los ViT son habituales en los modelos multimodales, donde la imagen y el texto se procesan con mecanismos Transformer emparentados.