Vision Transformer（ViT）

Dosovitskiy et al.（2021）は、画像を固定サイズのパッチに分割し、それぞれをトークンとして扱い、その系列を標準的な Transformer に入力しました。十分な事前学習データがあれば、この Vision Transformer は、より少ない計算量で主要な畳み込みネットワークに匹敵するか、それを上回る性能を示しました。これにより、自己注意が言語専用ではなく汎用的なアーキテクチャであることが実証されました。

現在、ViT はマルチモーダルモデルで広く使われており、画像とテキストが共通の Transformer の仕組みで処理されています。