基础概念LLM 架构 更新

LLM(大语言模型)

定义

LLM 即大语言模型(large language model):一种在海量文本上训练、用于预测下一个 token 的 AI 系统,由此具备了理解和生成人类语言的通用能力。

速览

全称
大语言模型(Large language model)
基础架构
Transformer 架构(Vaswani 等人,2017)
核心目标
根据前面的全部内容预测下一个 token
代表模型(2026 年 10 月)
OpenAI 的 GPT-6 系列(ChatGPT)、Anthropic 的 Claude Opus 5.5 和 Sonnet 5.5、Google 的 Gemini 4 Argon、xAI 的 Grok 4.7
主要局限
幻觉、训练数据截止日期以及有限的上下文窗口

LLM 的技术定义:大语言模型是一种 Transformer 神经网络,在广泛的文本语料上训练,用来建模在给定前文的条件下下一个 token 出现的概率。Brown 等人(2020)证明,当规模足够大时,这一单一目标就能让模型仅凭提示完成许多从未专门训练过的任务——正是这种上下文学习(in-context learning)能力定义了现代 LLM。

ChatGPT、Claude、Gemini 和 Grok 都构建在 LLM 之上。它们在训练数据、规模、对齐方式和工具配套上各不相同,因此对同一个问题给出的答案也可能大相径庭。

LLM 是什么?用大白话讲清它的含义

通俗地说,LLM 的含义很简单:大语言模型是一个读过海量文本、并从中学会了语言统计规律的程序。“大”既指训练数据之多,也指模型本身之大——现代 LLM 拥有数十亿乃至更多的参数,也就是存储所学知识的可调权重。如今,大多数实验室已不再公布其旗舰模型的确切规模。

当你向 LLM 提问时,它并不是去查找答案,而是一个 token 一个 token 地写出回复,每一步都选择一个最可能延续前文的内容。这就是 LLM 既流畅又灵活的原因,也是它们会一本正经地说错话的原因。

大语言模型是如何训练的

训练通常分阶段进行,每个阶段都建立在上一阶段的基础上:

  1. 1
    预训练。在超大规模文本集合上进行下一个 token 预测,让模型学会语言、事实知识和推理模式。
  2. 2
    助手训练。指令微调——一种基于示例对话的微调——把原始的预测器变成能够听从请求的助手。
  3. 3
    偏好训练。RLHF 和 DPO 等方法教会模型分辨人们更喜欢哪些回答,并学会拒绝有害请求。

LLM 能做什么、不能做什么

LLM 能胜任各种各样的语言工作:

  • 以任意语气起草、编辑和改写文本
  • 总结长文档,以及在不同语言之间翻译
  • 回答问题,并一步步讲解概念
  • 编写、审查和讲解代码
  • 解决需要多步推理的问题

它们的局限同样重要:可能会幻觉出不实信息,内置知识止步于训练数据截止日期,而且只能处理上下文窗口容得下的文本量。检索增强(RAG)、联网搜索以及用第二个模型交叉核对答案,对这三点都有帮助。

对 MultipleChat 的意义

没有哪个 LLM 能样样最强。MultipleChat 让 ChatGPT、Claude、Gemini、Grok 和 Perplexity 针对同一个提示词并排作答,你可以对比它们的答案,让一个模型的长处弥补另一个模型的盲区。了解对比功能如何运作。

参考文献

本定义所依据的一手文献、同行评审文献和存档资料。

Language Models are Few-Shot Learners
Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., et al. (2020). Advances in Neural Information Processing Systems 33 (NeurIPS 2020).
Attention Is All You Need
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Advances in Neural Information Processing Systems 30 (NeurIPS 2017).

词典与百科条目

引用本条目

MultipleChat.《LLM(大语言模型)》. MultipleChat AI 与 LLM 术语表,2026 年 10 月. https://multiple.chat/ai-glossary/llm

相关术语

实际体验一下

将同一个提示词同时发给 ChatGPT、Claude、Gemini、Grok 和 Perplexity,并排对比——用你自己的文件作为上下文,得到可以相互核对的答案。

免费试用 MultipleChat

了解更多

查看付费方案