BERT, présenté par Devlin et al. (2019), est pré-entraîné avec un objectif de modélisation du langage masqué : il masque des tokens au hasard et apprend à les prédire à partir du contexte gauche et droit. Cette lecture bidirectionnelle l’a rendu exceptionnellement performant en compréhension du langage et a redéfini l’état de l’art sur de nombreux benchmarks de TAL.
Contrairement à GPT, BERT est un encodeur conçu pour la compréhension plutôt que pour la génération libre — il reste la colonne vertébrale de nombreux systèmes de recherche et de classification.