Un giro di backpropagation

Nella rete mostrata sotto, abbiamo eseguito la forward propagation e i valori dei nodi calcolati come parte della forward propagation sono mostrati in bianco. I pesi sono mostrati in nero. Gli strati dopo il punto interrogativo mostrano le pendenze calcolate come parte della back-prop, invece dei valori di forward-prop. Quelle pendenze sono mostrate in viola.

Questa rete usa ancora la funzione di attivazione ReLU, quindi la pendenza della funzione di attivazione è 1 per qualsiasi nodo che riceva un valore positivo in ingresso. Supponi che il nodo esaminato abbia avuto un valore positivo (quindi la pendenza della funzione di attivazione è 1).

Qual è la pendenza necessaria per aggiornare il peso con il punto interrogativo?