1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Introduction to Deep Learning with PyTorch
Connected

cvičení

Implementace leaky ReLU

ReLU je sice hojně používaná aktivační funkce, ale nastavuje záporné vstupy na 0, což způsobuje nulové gradienty pro tyto hodnoty. To může bránit části modelu v učení.

Leaky ReLU tento problém řeší tím, že záporným vstupům povolí malé gradienty – jejich velikost se nastavuje parametrem negative_slope. Záporné hodnoty se tedy nenulují, ale násobí tímto malým číslem, takže model může dál aktivně trénovat.

V tomto cvičení implementuješ funkci leaky ReLU v PyTorchi a vyzkoušíš si ji v praxi. Balíček torch a také torch.nn jako nn jsou již naimportovány.

Pokyny 1/2

undefined XP
    1
    2
  • Vytvoř funkci leaky ReLU v PyTorchi se záporným sklonem 0,05.
  • Zavolej tuto funkci na tensoru x, který je už pro tebe připravený.