어텐션 메커니즘

어텐션은 Bahdanau 외(2015)가 기계 번역을 위해 처음 도입했습니다. 디코더가 고정된 하나의 요약 벡터 대신 원문에서 가장 관련성 높은 단어를 다시 참조할 수 있게 한 것입니다. 이후 Vaswani 외(2017)는 순환 구조를 완전히 없애고 셀프 어텐션만으로 전체 아키텍처를 구성했습니다.

각 토큰은 다른 모든 토큰의 가중 조합을 계산하며, 이때 가중치는 각 토큰이 얼마나 관련 있는지를 나타냅니다. 모델은 이 방식으로 지시어가 가리키는 대상을 파악하고, 멀리 떨어진 구조를 추적하며, 무엇에 집중할지 결정합니다.