Una ronda de retropropagación

En la red que se muestra a continuación, hemos realizado la propagación hacia delante, y los valores de los nodos calculados como parte de la propagación hacia delante se muestran en blanco. Los pesos se muestran en negro. Las capas tras el signo de interrogación muestran las pendientes calculadas como parte del retropropulsor, en lugar de los valores del propulsor delantero. Esos valores de pendiente se muestran en morado.

Esta red utiliza de nuevo la función de activación ReLU, por lo que la pendiente de la función de activación es 1 para cualquier nodo que reciba un valor positivo como entrada. Supongamos que el nodo examinado tenía un valor positivo (por lo que la pendiente de la función de activación es 1).

¿Cuál es la pendiente necesaria para actualizar el peso con el signo de interrogación?