Implementera Leaky ReLU
ReLU är vanligt förekommande, men funktionen sätter negativa indata till 0, vilket ger nollgradienter för dessa värden. Det kan hindra delar av modellen från att lära sig.
Leaky ReLU löser det här problemet genom att tillåta små gradienter för negativa indata, kontrollerade via parametern negative_slope. I stället för 0 skalas negativa indata med det här lilla värdet, vilket håller modellens inlärning igång.
I den här övningen implementerar du Leaky ReLU i PyTorch och övar på att använda den. Paketet torch samt torch.nn som nn har redan importerats.
Den här övningen är en del av kursen
Introduktion till djupinlärning med PyTorch
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Create a leaky relu function in PyTorch
leaky_relu_pytorch = ____
x = torch.tensor(-2.0)
# Call the above function on the tensor x
output = ____
print(output)