Transformer(트랜스포머)

트랜스포머는 Vaswani et al.(2017)이 제안한 시퀀스 모델링 아키텍처입니다. 핵심 아이디어인 셀프 어텐션은 시퀀스의 모든 위치가 다른 모든 위치에 직접 주의를 기울일 수 있게 해 주므로, 순환 신경망처럼 정보를 사슬을 따라 전달하지 않고도 한 번에 장거리 관계를 포착할 수 있습니다.

시퀀스 전체에 대한 어텐션은 병렬화가 매우 쉽기 때문에, 트랜스포머는 이전에 쓰이던 RNN이나 LSTM보다 최신 하드웨어에서 훨씬 효율적으로 학습됩니다. 바로 이 효율성 덕분에 오늘날의 대규모 언어 모델을 실제로 학습시킬 수 있게 되었습니다.

왜 중요한가

ChatGPT, Claude, Gemini, Grok은 모두 트랜스포머 기반입니다. 어텐션, 레이어, 컨텍스트 길이처럼 모두 트랜스포머에서 나온 개념을 이해하는 것이 이 용어집에 나오는 거의 모든 용어를 이해하는 기초가 됩니다.