O Transformer é uma arquitetura de modelagem de sequências apresentada por Vaswani et al. (2017). Sua ideia central, a self-attention (autoatenção), permite que cada posição de uma sequência se relacione diretamente com todas as outras, de modo que o modelo capta relações de longo alcance em um único passo, em vez de passar a informação ao longo de uma cadeia, como fazem as redes recorrentes.
Como a atenção sobre uma sequência é altamente paralelizável, os Transformers treinam de forma muito mais eficiente no hardware moderno do que as RNNs e LSTMs que substituíram. Foi essa eficiência que tornou viável treinar os grandes modelos de linguagem atuais.
Por que isso importa
ChatGPT, Claude, Gemini e Grok são todos baseados em Transformer. Entender atenção, camadas e comprimento de contexto (todos conceitos do Transformer) é a base de quase todos os outros termos deste glossário.