Implementace leaky ReLU
ReLU je sice hojně používaná aktivační funkce, ale nastavuje záporné vstupy na 0, což způsobuje nulové gradienty pro tyto hodnoty. To může bránit části modelu v učení.
Leaky ReLU tento problém řeší tím, že záporným vstupům povolí malé gradienty – jejich velikost se nastavuje parametrem negative_slope. Záporné hodnoty se tedy nenulují, ale násobí tímto malým číslem, takže model může dál aktivně trénovat.
V tomto cvičení implementuješ funkci leaky ReLU v PyTorchi a vyzkoušíš si ji v praxi. Balíček torch a také torch.nn jako nn jsou již naimportovány.
Toto cvičení je součástí kurzu
Introduction to Deep Learning with PyTorch
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Create a leaky relu function in PyTorch
leaky_relu_pytorch = ____
x = torch.tensor(-2.0)
# Call the above function on the tensor x
output = ____
print(output)