BERT, introdotto da Devlin et al. (2019), è pre-addestrato con un obiettivo di masked language modelling: nasconde token casuali e impara a prevederli a partire dal contesto sia a sinistra sia a destra. Questa lettura bidirezionale lo ha reso eccezionalmente forte nella comprensione del linguaggio e ha ridefinito lo stato dell'arte su molti benchmark di NLP.
A differenza di GPT, BERT è un encoder pensato per la comprensione più che per la generazione libera, ed è ancora la spina dorsale di molti sistemi di ricerca e classificazione.