BERT, vorgestellt von Devlin et al. (2019), wird mit einem Masked-Language-Modeling-Ziel vortrainiert: Es verdeckt zufällige Tokens und lernt, sie aus dem linken und rechten Kontext vorherzusagen. Durch dieses bidirektionale Lesen war es außergewöhnlich stark im Sprachverständnis und setzte bei vielen NLP-Benchmarks neue Bestwerte.
Anders als GPT ist BERT ein Encoder, der für das Verstehen statt für freie Textgenerierung gebaut ist – und bis heute das Rückgrat vieler Such- und Klassifikationssysteme.