Runda propagacji wstecznej

W przedstawionej poniżej sieci przeprowadzono propagację w przód. Wartości węzłów obliczone podczas propagacji w przód zaznaczono na biało, a wagi – na czarno. Warstwy za znakiem zapytania pokazują nachylenia obliczone podczas propagacji wstecznej, a nie wartości z propagacji w przód. Te wartości nachyleń zaznaczono na fioletowo.

Sieć korzysta z funkcji aktywacji ReLU, dlatego nachylenie funkcji aktywacji wynosi 1 dla każdego węzła otrzymującego dodatnią wartość na wejściu. Przyjmij, że analizowany węzeł miał wartość dodatnią (a zatem nachylenie funkcji aktywacji wynosi 1).

Jakie nachylenie jest potrzebne do zaktualizowania wagi oznaczonej znakiem zapytania?