O BERT, apresentado por Devlin et al. (2019), é pré-treinado com um objetivo de modelagem de linguagem mascarada: ele oculta tokens aleatórios e aprende a prevê-los a partir do contexto à esquerda e à direita. Essa leitura bidirecional o tornou excepcionalmente forte em compreensão de linguagem e redefiniu o estado da arte em muitos benchmarks de PLN.
Ao contrário do GPT, o BERT é um codificador feito para compreensão, e não para geração aberta — e continua sendo a base de muitos sistemas de busca e classificação.