文本在送入模型之前，会先由分词器（tokenizer）切分成 token。现代系统采用子词方案，例如字节对编码（Sennrich et al., 2016）或 SentencePiece（Kudo & Richardson, 2018），它们会把罕见词拆成更小的片段，同时保持常用词完整——在词表大小和序列长度之间取得平衡。
平均而言，一个 token 大约相当于四分之三个英文单词，但具体比例会因语言和文字而异。正因如此，上下文上限和 API 价格都以 token 而不是单词或字符来报价。
基础概念
2026 年更新
Token（词元）
定义
语言模型实际读写的单位——通常是一个子词片段，而不是完整的单词。上下文上限、价格和速度都以 token 计量。
参考文献
本定义所依据的一手文献、同行评审文献和存档资料。
Neural Machine Translation of Rare Words with Subword Units
SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing
词典与百科条目
- Wikipedia — Byte pair encoding
- Wikipedia — Lexical analysis (tokenization)
引用本条目
MultipleChat.《Token》. MultipleChat AI 与 LLM 术语表，2026. https://multiple.chat/ai-glossary/token