Implementacja nieszczelnego ReLU
Choć ReLU jest szeroko stosowaną funkcją aktywacji, ustawia ujemne wartości wejściowe na 0, co powoduje zerowe gradienty dla tych wartości. Może to uniemożliwić uczenie się części modelu.
Nieszczelny ReLU (Leaky ReLU) rozwiązuje ten problem, dopuszczając małe gradienty dla ujemnych wartości wejściowych – ich wielkość kontroluje parametr negative_slope. Zamiast 0, ujemne dane wejściowe są skalowane przez tę małą wartość, dzięki czemu model może nadal się uczyć.
W tym ćwiczeniu zaimplementujesz funkcję leaky ReLU w PyTorch i przećwiczysz jej użycie. Pakiet torch oraz torch.nn jako nn zostały już zaimportowane.
To ćwiczenie jest częścią kursu
Wprowadzenie do uczenia głębokiego z PyTorch
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Create a leaky relu function in PyTorch
leaky_relu_pytorch = ____
x = torch.tensor(-2.0)
# Call the above function on the tensor x
output = ____
print(output)