Une itération de rétropropagation
Dans le réseau ci-dessous, nous avons effectué une propagation avant, et les valeurs des nœuds calculées lors de cette étape sont affichées en blanc. Les poids sont indiqués en noir. Les couches après le point d'interrogation montrent les pentes calculées dans le cadre de la rétropropagation, plutôt que les valeurs de la propagation avant. Ces valeurs de pente sont affichées en violet.
Ce réseau utilise encore la fonction d'activation ReLU, donc la pente de la fonction d'activation est de 1 pour tout nœud recevant une valeur d'entrée positive. Supposons que le nœud examiné ait une valeur positive (la pente de la fonction d'activation est donc 1).
Quelle est la pente nécessaire pour mettre à jour le poids marqué d'un point d'interrogation ?
Cette activité fait partie du cours
Introduction à Deep Learning en Python
Exercice interactif pratique
Passez de la théorie à l’action grâce à l’un de nos exercices interactifs
Commencer l’exercice