Dosovitskiy et al.（2021）把图像切分成固定大小的图像块，将每个图像块视为一个 token，再把这一序列输入标准 Transformer。在预训练数据足够多的情况下，这种视觉 Transformer 的表现追平甚至超越了领先的卷积网络，而且所需算力更少——这证明自注意力是一种通用架构，而不只适用于语言。
如今 ViT 在多模态模型中很常见，图像和文本由相互关联的 Transformer 机制共同处理。
LLM 架构基础概念
2026 年更新
视觉 Transformer（ViT）
定义
直接作用于图像块的 Transformer，证明了语言模型背后的架构在计算机视觉领域同样表现出色。
参考文献
本定义所依据的一手文献、同行评审文献和存档资料。
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
词典与百科条目
- Wikipedia — Vision transformer
- IBM — Think / Topics — What is a vision transformer?
引用本条目
MultipleChat.《视觉 Transformer（ViT）》. MultipleChat AI 与 LLM 术语表，2026. https://multiple.chat/ai-glossary/vit