BERT, presentado por Devlin et al. (2019), se preentrena con un objetivo de modelado de lenguaje enmascarado: oculta tokens al azar y aprende a predecirlos a partir del contexto tanto izquierdo como derecho. Esta lectura bidireccional lo hizo excepcionalmente bueno en comprensión del lenguaje y marcó un nuevo estado del arte en numerosos benchmarks de PLN.
A diferencia de GPT, BERT es un codificador pensado para la comprensión y no para la generación abierta, y sigue siendo la base de muchos sistemas de búsqueda y clasificación.