Backpropagation berechnet, wie stark jedes Gewicht eines Netzes zum Ausgabefehler beigetragen hat, und nutzt dazu die Kettenregel, um Gradienten vom Verlust zurück durch jede Schicht zu propagieren. Rumelhart, Hinton & Williams (1986) machten das Verfahren als praktikable Methode zum Training mehrschichtiger Netze bekannt und ebneten so den Weg für Deep Learning.
Jedes Modell in diesem Glossar – von CNNs bis zu Transformern – wird mit Backpropagation in Kombination mit einem Optimierer wie Adam trainiert.