Implémenter Leaky ReLU
Même si ReLU est largement utilisée, elle remplace les entrées négatives par 0, ce qui donne des gradients nuls pour ces valeurs. Cela peut empêcher certaines parties du modèle d'apprendre.
Leaky ReLU contourne ce problème en autorisant de petits gradients pour les entrées négatives, contrôlés par le paramètre negative_slope. Au lieu de 0, les entrées négatives sont multipliées par cette petite valeur, ce qui maintient l'apprentissage du modèle actif.
Dans cet exercice, vous allez implémenter la fonction Leaky ReLU dans PyTorch et vous exercer à l'utiliser. Le module torch ainsi que torch.nn sous le nom nn ont déjà été importés.
Cette activité fait partie du cours
Introduction au Deep Learning avec PyTorch
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Create a leaky relu function in PyTorch
leaky_relu_pytorch = ____
x = torch.tensor(-2.0)
# Call the above function on the tensor x
output = ____
print(output)