Il Transformer è un'architettura per la modellazione di sequenze introdotta da Vaswani et al. (2017). La sua idea centrale, la self-attention (auto-attenzione), consente a ogni posizione di una sequenza di prestare attenzione direttamente a tutte le altre, così il modello può cogliere relazioni a lungo raggio in un solo passaggio, invece di trasmettere l'informazione lungo una catena come fanno le reti ricorrenti.
Poiché l'attenzione su una sequenza è altamente parallelizzabile, i Transformer si addestrano in modo molto più efficiente sull'hardware moderno rispetto alle RNN e alle LSTM che hanno sostituito. È proprio questa efficienza ad aver reso praticabile l'addestramento degli attuali modelli linguistici di grandi dimensioni.
Perché è importante
ChatGPT, Claude, Gemini e Grok sono tutti basati sul Transformer. Capire attenzione, layer e lunghezza del contesto, tutti concetti propri del Transformer, è la base per quasi ogni altro termine di questo glossario.