एक्टिवेशन: ReLU बनाम ELU
मॉडल में चुने गए एक्टिवेशन फंक्शंस (और उनके अनुरूप वेट इनिशियलाइज़ेशन) का ट्रेनिंग पर काफ़ी असर पड़ता है. सही एक्टिवेशन से नेटवर्क में अस्थिर ग्रेडिएंट्स जैसी समस्याएँ रोकी जा सकती हैं.
पिछले अभ्यास में आपने ReLU से ELU एक्टिवेशंस पर स्विच किया था. क्या आपको याद है कि किन विशेषताओं के कारण यह बदलाव उचित था?
यह अभ्यास पाठ्यक्रम का हिस्सा है
इंटरमीडिएट Deep Learning with PyTorch
इंटरैक्टिव व्यावहारिक अभ्यास
हमारे इंटरैक्टिव अभ्यासों में से किसी एक के साथ सिद्धांत को व्यवहार में बदलें
अभ्यास शुरू करें