Un cycle de rétropropagation

Dans le réseau ci-dessous, nous avons effectué la propagation avant, et les valeurs des nœuds calculées lors de cette étape apparaissent en blanc. Les poids sont indiqués en noir. Les couches après le point d’interrogation affichent les pentes calculées lors de la rétropropagation, plutôt que les valeurs de la propagation avant. Ces pentes sont indiquées en violet.

Ce réseau utilise à nouveau la fonction d’activation ReLU, donc la pente de la fonction d’activation est égale à 1 pour tout nœud recevant une valeur d’entrée positive. Supposons que le nœud examiné ait une valeur positive (donc la pente de la fonction d’activation est 1).

Quelle est la pente nécessaire pour mettre à jour le poids marqué d’un point d’interrogation ?