La backpropagation (retropropagazione dell'errore) calcola quanto ogni peso di una rete ha contribuito all'errore in uscita, usando la regola della catena per propagare i gradienti dalla funzione di perdita all'indietro attraverso ogni livello. Rumelhart, Hinton & Williams (1986) l'hanno resa popolare come metodo pratico per addestrare reti multistrato, rendendo possibile il deep learning.
Ogni modello di questo glossario, dalle CNN ai Transformer, viene addestrato con la backpropagation abbinata a un ottimizzatore come Adam.