Dosovitskiy et al. (2021) zerlegten ein Bild in Ausschnitte fester Größe, behandelten jeden davon als Token und speisten die Sequenz in einen Standard-Transformer ein. Mit ausreichend Pre-Training-Daten erreichte oder übertraf dieser Vision Transformer führende Convolutional Networks bei geringerem Rechenaufwand – ein Beleg dafür, dass Self-Attention eine allgemeine Architektur ist und nicht nur für Sprache taugt.
ViTs sind heute in multimodalen Modellen verbreitet, in denen Bild und Text von verwandter Transformer-Technik verarbeitet werden.