1. Nauka
    2. /
  2. Kursy
    3. /
  3. Wprowadzenie do uczenia głębokiego z PyTorch
Connected

ćwiczenie

Implementacja nieszczelnego ReLU

Choć ReLU jest szeroko stosowaną funkcją aktywacji, ustawia ujemne wartości wejściowe na 0, co powoduje zerowe gradienty dla tych wartości. Może to uniemożliwić uczenie się części modelu.

Nieszczelny ReLU (Leaky ReLU) rozwiązuje ten problem, dopuszczając małe gradienty dla ujemnych wartości wejściowych – ich wielkość kontroluje parametr negative_slope. Zamiast 0, ujemne dane wejściowe są skalowane przez tę małą wartość, dzięki czemu model może nadal się uczyć.

W tym ćwiczeniu zaimplementujesz funkcję leaky ReLU w PyTorch i przećwiczysz jej użycie. Pakiet torch oraz torch.nn jako nn zostały już zaimportowane.

Instrukcje 1/2

undefined XP
    1
    2
  • Utwórz funkcję leaky ReLU w PyTorch z nachyleniem ujemnym równym 0,05.
  • Wywołaj tę funkcję na tensorze x, który został już dla ciebie zdefiniowany.