Una ronda de retropropagación

En la red que se muestra a continuación, hemos realizado una propagación hacia adelante, y los valores de los nodos calculados como parte de la propagación hacia adelante se muestran en blanco. Los pesos se muestran en negro. Las capas que aparecen después del signo de interrogación muestran las pendientes calculadas como parte de la retropropagación, en lugar de los valores de la propagación hacia adelante. Esos valores de pendiente se muestran en color morado.

Esta red vuelve a utilizar la función de activación ReLU, por lo que la pendiente de la función de activación es 1 para cualquier nodo que reciba un valor positivo como entrada. Supongamos que el nodo examinado tenía un valor positivo (por lo que la pendiente de la función de activación es 1).

¿Cuál es la pendiente necesaria para actualizar el peso con el signo de interrogación?