Devlin ら（2019）が発表した BERT は、マスク言語モデルという目的関数で事前学習されています。ランダムにトークンを隠し、左右両方の文脈からそれを予測するよう学習するのです。この双方向の読み取りによって言語理解で際立った性能を発揮し、多くの NLP ベンチマークで最高水準を塗り替えました。
GPT と異なり、BERT は自由な文章生成ではなく理解のために作られたエンコーダーです。現在も多くの検索・分類システムの基盤となっています。
モデルと製品LLM アーキテクチャ
2026年更新
BERT（Bidirectional Encoder Representations from Transformers）
定義
テキストを前後両方向から同時に読むよう事前学習された、エンコーダーのみの Transformer。分類、検索、情報抽出などの理解タスクで広く使われています。
参考文献
この定義の根拠となる一次資料、査読済み資料、アーカイブ資料です。
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
辞書・百科事典の項目
- Wikipedia — BERT (language model)
- IBM — Think / Topics — What is BERT?
この項目を引用する
MultipleChat「BERT（Bidirectional Encoder Representations from Transformers）」MultipleChat AI・LLM 用語集、2026年。https://multiple.chat/ai-glossary/bert