La rétropropagation calcule dans quelle mesure chaque poids d’un réseau a contribué à l’erreur en sortie, en utilisant la règle de dérivation en chaîne pour propager les gradients depuis la fonction de perte à travers chaque couche. Rumelhart, Hinton et Williams (1986) l’ont popularisée comme méthode pratique pour entraîner des réseaux multicouches, rendant le deep learning possible.
Tous les modèles de ce glossaire — des CNN aux Transformers — sont entraînés par rétropropagation, associée à un optimiseur comme Adam.