Dosovitskiy et al. (2021) hanno suddiviso un'immagine in patch di dimensione fissa, hanno trattato ciascuna come un token e hanno fornito la sequenza a un Transformer standard. Con dati di pre-addestramento sufficienti, questo Vision Transformer ha eguagliato o superato le migliori reti convoluzionali usando meno potenza di calcolo, dimostrando che la self-attention è un'architettura generale e non limitata al linguaggio.
Oggi i ViT sono comuni nei modelli multimodali, in cui immagini e testo vengono elaborati da meccanismi Transformer affini.