模型与产品LLM 架构 2026 年更新

GPT（生成式预训练 Transformer）

定义

一系列仅含解码器的 Transformer 模型，先在大规模文本语料上预训练以预测下一个 token，再适配到下游任务。

GPT 指的是 Radford 等人（2018）提出的生成式预训练方法：先在无标注文本上预训练一个仅含解码器的 Transformer，再进行微调。Brown 等人（2020）将其扩展到 GPT-3（1750 亿参数），并展示了强大的少样本上下文学习能力，确立了大多数现代 LLM 所遵循的范式。

OpenAI 的 ChatGPT 是这一技术路线上最知名的产品，但如今“GPT”已泛指仅含解码器、基于下一个 token 预测的方法。

参考文献

本定义所依据的一手文献、同行评审文献和存档资料。

Improving Language Understanding by Generative Pre-Training

Radford, A., Narasimhan, K., Salimans, T., & Sutskever, I.（2018）. OpenAI 技术报告.

来源

Language Models are Few-Shot Learners

Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., et al. (2020). Advances in Neural Information Processing Systems 33 (NeurIPS 2020).

来源 arXiv:2005.14165

MultipleChat.《GPT（生成式预训练 Transformer）》. MultipleChat AI 与 LLM 术语表，2026. https://multiple.chat/ai-glossary/gpt