비전 트랜스포머(ViT)

Dosovitskiy et al.(2021)은 이미지를 고정 크기의 패치로 나누고 각 패치를 하나의 토큰으로 취급해, 그 시퀀스를 표준 트랜스포머에 입력했습니다. 사전 학습 데이터가 충분하면 이 비전 트랜스포머는 더 적은 연산량으로도 최고 수준의 합성곱 신경망과 대등하거나 더 나은 성능을 보였으며, 셀프 어텐션이 언어 전용이 아닌 범용 아키텍처임을 입증했습니다.

현재 ViT는 이미지와 텍스트를 서로 연관된 트랜스포머 구조로 처리하는 멀티모달 모델에서 널리 쓰입니다.