1. Apprendre
    2. /
  2. Cours
    3. /
  3. Introduction au Deep Learning avec PyTorch
Connected

Exercice

Implémenter Leaky ReLU

Même si ReLU est largement utilisée, elle remplace les entrées négatives par 0, ce qui donne des gradients nuls pour ces valeurs. Cela peut empêcher certaines parties du modèle d'apprendre.

Leaky ReLU contourne ce problème en autorisant de petits gradients pour les entrées négatives, contrôlés par le paramètre negative_slope. Au lieu de 0, les entrées négatives sont multipliées par cette petite valeur, ce qui maintient l'apprentissage du modèle actif.

Dans cet exercice, vous allez implémenter la fonction Leaky ReLU dans PyTorch et vous exercer à l'utiliser. Le module torch ainsi que torch.nn sous le nom nn ont déjà été importés.

Instructions 1/2

undefined XP
    1
    2
  • Créez une fonction Leaky ReLU dans PyTorch avec une pente négative de 0,05.
  • Appelez la fonction sur le tenseur x, qui a déjà été défini pour vous.