Der Transformer ist eine Architektur zur Sequenzmodellierung, die Vaswani et al. (2017) vorgestellt haben. Ihre zentrale Idee, die Self-Attention, lässt jede Position einer Sequenz direkt auf jede andere Position achten. So kann das Modell weitreichende Zusammenhänge in einem einzigen Schritt erfassen, statt Informationen wie rekurrente Netze entlang einer Kette weiterzureichen.
Da sich Attention über eine Sequenz stark parallelisieren lässt, trainieren Transformer auf moderner Hardware weit effizienter als die RNNs und LSTMs, die sie abgelöst haben. Genau diese Effizienz hat das Training heutiger großer Sprachmodelle praktikabel gemacht.
Warum das wichtig ist
ChatGPT, Claude, Gemini und Grok basieren alle auf dem Transformer. Wer Attention, Layer und Kontextlänge – allesamt Transformer-Konzepte – versteht, hat die Grundlage für fast jeden anderen Begriff in diesem Glossar.