ComeçarComece gratuitamente

Uma rodada de retropropagação

Na rede mostrada abaixo, fizemos a propagação direta, e os valores dos nós calculados como parte da propagação direta são mostrados em branco. Os pesos são mostrados em preto. As camadas após o ponto de interrogação mostram as inclinações calculadas como parte do back-prop, em vez dos valores do forward-prop. Esses valores de inclinação são mostrados em roxo.

Essa rede usa novamente a função de ativação ReLU, de modo que a inclinação da função de ativação é 1 para qualquer nó que receba um valor positivo como entrada. Suponha que o nó que está sendo examinado tenha um valor positivo (portanto, a inclinação da função de ativação é 1).

Ch2Ex14_1

Qual é a inclinação necessária para atualizar o peso com o ponto de interrogação?

Ch2Ex14_2

Este exercício faz parte do curso

Introdução à aprendizagem profunda em Python

Ver Curso

Exercício interativo prático

Transforme a teoria em ação com um de nossos exercícios interativos

Comece o exercício