Uma rodada de retropropagação

Na rede mostrada abaixo, fizemos a propagação direta, e os valores dos nós calculados como parte da propagação direta são mostrados em branco. Os pesos são mostrados em preto. As camadas após o ponto de interrogação mostram as inclinações calculadas como parte do back-prop, em vez dos valores do forward-prop. Esses valores de inclinação são mostrados em roxo.

Essa rede usa novamente a função de ativação ReLU, de modo que a inclinação da função de ativação é 1 para qualquer nó que receba um valor positivo como entrada. Suponha que o nó que está sendo examinado tenha um valor positivo (portanto, a inclinação da função de ativação é 1).

Qual é a inclinação necessária para atualizar o peso com o ponto de interrogação?