Backpropagation का एक राउंड

नीचे दिखाए गए नेटवर्क में हमने फॉरवर्ड प्रोपेगेशन किया है, और फॉरवर्ड प्रोपेगेशन के हिस्से के रूप में निकाले गए नोड मान सफेद रंग में दिखाए गए हैं. वेट काले रंग में दिखाए गए हैं. प्रश्नचिह्न के बाद वाली लेयर्स में फॉरवर्ड-प्रोप मानों के बजाय बैक-प्रोप के हिस्से के रूप में निकाले गए स्लोप दिखाए गए हैं. वे स्लोप मान बैंगनी रंग में दिखते हैं.

यह नेटवर्क फिर से ReLU एक्टिवेशन फंक्शन उपयोग करता है, इसलिए किसी भी नोड को इनपुट में पॉजिटिव मान मिलने पर एक्टिवेशन फंक्शन का स्लोप 1 होता है. मान लीजिए कि जाँचा जा रहा नोड पॉजिटिव था (इसलिए एक्टिवेशन फंक्शन का स्लोप 1 है).

प्रश्नचिह्न वाले वेट को अपडेट करने के लिए ज़रूरी स्लोप क्या है?