トークン

テキストはモデルに渡される前に、トークナイザーによってトークンに分割されます。現在のシステムでは、バイトペアエンコーディング（Sennrich et al., 2016）や SentencePiece（Kudo & Richardson, 2018）といったサブワード方式が使われています。これらはまれな単語を小さな断片に分け、よく使われる単語はそのまま残すことで、語彙のサイズと系列の長さのバランスを取ります。

1 トークンは平均すると英単語のおよそ 4 分の 3 に相当しますが、言語や文字体系によって異なります。そのため、コンテキストの上限や API の料金は、単語数や文字数ではなくトークン数で示されます。