アテンション機構

アテンションは Bahdanau ら（2015）によって機械翻訳向けに導入されました。デコーダーが固定長の要約ベクトル1つに頼るのではなく、原文の中で最も関連性の高い単語を振り返って参照できるようにしたものです。その後 Vaswani ら（2017）がセルフアテンションだけでアーキテクチャ全体を構成し、再帰構造を完全に取り除きました。

各トークンは他のすべてのトークンの重み付き結合を計算し、その重みがそれぞれの関連度を表します。モデルはこの仕組みによって指示語の参照先を解決し、長距離にわたる構造を追跡し、どこに注目すべきかを判断します。