Een ronde backpropagation
In het onderstaande netwerk hebben we forward propagation uitgevoerd, en de nodewaarden die daarbij zijn berekend staan in het wit. De gewichten staan in het zwart. Lagen na het vraagteken laten de hellingen zien die zijn berekend tijdens backprop, in plaats van de forward-propwaarden. Die hellingswaarden staan in het paars.
Dit netwerk gebruikt opnieuw de ReLU-activatiefunctie, dus de helling van de activatiefunctie is 1 voor elke node die een positieve waarde als input krijgt. Ga ervan uit dat de onderzochte node een positieve waarde had (dus de helling van de activatiefunctie is 1).
Wat is de helling die nodig is om het gewicht met het vraagteken bij te werken?
Deze oefening maakt deel uit van de cursus
Introductie tot Deep Learning in Python
Praktische interactieve oefening
Zet theorie om in actie met een van onze interactieve oefeningen.
Begin met trainen