En omgång backpropagation

I nätverket nedan har vi utfört framåtpropagering, och de nodvärden som beräknats under den processen visas i vitt. Vikterna visas i svart. Lager efter frågetecknet visar lutningarna som beräknats under backpropagation, inte framåtpropageringens värden. Dessa lutningsvärden visas i lila.

Nätverket använder återigen ReLU som aktiveringsfunktion, vilket innebär att aktiveringsfunktionens lutning är 1 för alla noder som tar emot ett positivt värde som indata. Anta att den undersökta noden hade ett positivt värde (så att aktiveringsfunktionens lutning är 1).

Vilken lutning behövs för att uppdatera vikten med frågetecknet?