Mise en œuvre de LeakyReLU
Bien que la fonction ReLU soit largement utilisée, elle fixe les entrées négatives à 0, ce qui se traduit par des gradients nuls pour ces valeurs. Cela peut empêcher l’apprentissage de certaines parties du modèle.
La fonction LeakyReLU surmonte ce problème en autorisant de faibles gradients pour les entrées négatives, contrôlés par le paramètre negative_slope. Au lieu de 0, les entrées négatives sont mises à l’échelle par cette petite valeur, ce qui permet de maintenir l’apprentissage du modèle actif.
Dans cet exercice, vous allez implémenter la fonction LeakyReLU dans PyTorch et vous entraîner à l’utiliser. Le paquet torch ainsi que les paquets torch.nn et nn ont déjà été importés.
Cet exercice fait partie du cours
Introduction au deep learning avec PyTorch
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Create a leaky relu function in PyTorch
leaky_relu_pytorch = ____
x = torch.tensor(-2.0)
# Call the above function on the tensor x
output = ____
print(output)