El Transformer es una arquitectura de modelado de secuencias presentada por Vaswani et al. (2017). Su idea central, la autoatención, permite que cada posición de una secuencia atienda directamente a todas las demás, de modo que el modelo capta relaciones de largo alcance en un solo paso en lugar de pasar la información a lo largo de una cadena, como hacen las redes recurrentes.
Como la atención sobre una secuencia es muy paralelizable, los Transformers se entrenan de forma mucho más eficiente en el hardware moderno que las RNN y LSTM a las que sustituyeron. Esa eficiencia es lo que hizo viable entrenar los grandes modelos de lenguaje actuales.
Por qué importa
ChatGPT, Claude, Gemini y Grok se basan todos en Transformers. Entender la atención, las capas y la longitud de contexto (todos ellos conceptos del Transformer) es la base de casi todos los demás términos de este glosario.