한 번의 역전파

아래에 보인 네트워크에서 순전파를 수행했고, 순전파 과정에서 계산된 노드 값은 흰색으로 표시되어 있습니다. 가중치는 검은색으로 표시되어 있습니다. 물음표 뒤쪽에 있는 층들은 순전파 값이 아니라 역전파 중에 계산된 기울기를 보여 주며, 해당 기울기 값은 보라색으로 표시됩니다.

이 네트워크는 ReLU 활성화 함수를 사용하므로, 입력으로 양의 값을 받는 노드의 활성화 함수 기울기는 1입니다. 지금 살펴보는 노드가 양의 값을 가졌다고 가정하세요(그래서 활성화 함수의 기울기는 1입니다).

물음표가 붙은 가중치를 업데이트하는 데 필요한 기울기는 얼마인가요?