Leaky ReLU लागू करना
हालाँकि ReLU व्यापक रूप से उपयोग होता है, यह नकारात्मक इनपुट को 0 कर देता है, जिससे उन मानों के लिए शून्य ग्रेडिएंट हो जाते हैं। इससे मॉडल के कुछ हिस्से सीख नहीं पाते।
Leaky ReLU इसे इस तरह हल करता है कि नकारात्मक इनपुट के लिए छोटे ग्रेडिएंट की अनुमति देता है, जिसे negative_slope पैरामीटर से नियंत्रित किया जाता है। 0 की जगह, नकारात्मक इनपुट को इस छोटे मान से स्केल किया जाता है, जिससे मॉडल की लर्निंग सक्रिय रहती है।
इस अभ्यास में, आप PyTorch में leaky ReLU फंक्शन इम्प्लीमेंट करेंगे और उसका उपयोग करके देखेंगे। torch पैकेज तथा torch.nn को nn नाम से पहले ही इम्पोर्ट किया जा चुका है।
यह अभ्यास पाठ्यक्रम का हिस्सा है
PyTorch के साथ Deep Learning परिचय
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Create a leaky relu function in PyTorch
leaky_relu_pytorch = ____
x = torch.tensor(-2.0)
# Call the above function on the tensor x
output = ____
print(output)