Leaky ReLU uygulama
ReLU yaygın olarak kullanılsa da, negatif girdileri 0'a ayarlar ve bu değerler için sıfır gradyan üretir. Bu durum, modelin bazı kısımlarının öğrenmesini engelleyebilir.
Leaky ReLU, negatif girdiler için küçük gradyanlara izin vererek bunu aşar; bu, negative_slope parametresiyle kontrol edilir. Negatif girdiler 0 olmak yerine bu küçük değerle ölçeklenir ve modelin öğrenmesi aktif kalır.
Bu egzersizde, PyTorch'ta leaky ReLU fonksiyonunu uygulayacak ve kullanmayı pratik edeceksin. torch paketi ile torch.nn paketi nn olarak zaten içe aktarılmış durumda.
Bu egzersiz, kursun bir parçasıdır
PyTorch ile Deep Learning'e Giriş
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Create a leaky relu function in PyTorch
leaky_relu_pytorch = ____
x = torch.tensor(-2.0)
# Call the above function on the tensor x
output = ____
print(output)