1. Learn
    2. /
  2. Cursuri
    3. /
  3. Introducere în Deep Learning cu PyTorch
Connected

exercițiu

Implementarea Leaky ReLU

Deși ReLU este utilizată pe scară largă, aceasta setează intrările negative la 0, rezultând gradienți nuli pentru acele valori. Acest lucru poate împiedica anumite părți ale modelului să învețe.

Leaky ReLU depășește această limitare permițând gradienți mici pentru intrările negative, controlați prin parametrul negative_slope. În loc de 0, intrările negative sunt scalate cu această valoare mică, menținând astfel procesul de învățare al modelului activ.

În acest exercițiu, vei implementa funcția Leaky ReLU în PyTorch și vei exersa utilizarea ei. Pachetul torch, precum și torch.nn ca nn, au fost deja importate.

Instrucțiuni 1/2

undefined XP
    1
    2
  • Creează o funcție Leaky ReLU în PyTorch cu o pantă negativă de 0,05.
  • Apelează funcția pe tensorul x, care a fost deja definit pentru tine.