BERT 由 Devlin 等人（2019）提出，采用掩码语言建模目标进行预训练：随机遮盖部分 token，并学习根据左右两侧的上下文来预测它们。这种双向阅读方式让它在语言理解方面表现格外出色，并刷新了众多 NLP 基准测试的最佳成绩。
与 GPT 不同，BERT 是为理解而非开放式生成而构建的编码器——至今仍是许多搜索和分类系统的核心。
模型与产品LLM 架构
2026 年更新
BERT（基于 Transformer 的双向编码器表示）
定义
一种仅含编码器的 Transformer，经过预训练可同时从两个方向读取文本，广泛用于分类、搜索和信息抽取等理解类任务。
参考文献
本定义所依据的一手文献、同行评审文献和存档资料。
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
词典与百科条目
- Wikipedia — BERT (language model)
- IBM — Think / Topics — What is BERT?
引用本条目
MultipleChat.《BERT（基于 Transformer 的双向编码器表示）》. MultipleChat AI 与 LLM 术语表，2026. https://multiple.chat/ai-glossary/bert