實作 Leaky ReLU
雖然 ReLU 很常用,但它會把負的輸入設為 0,對這些值產生零梯度。這可能讓模型的部分參數無法學習。
Leaky ReLU 允許負輸入保留一點點梯度,大小由 negative_slope 參數控制。負輸入不再變成 0,而是乘上這個很小的係數,讓模型持續能學習。
在這個練習中,你會在 PyTorch 中實作 leaky ReLU 並實際使用它。torch 套件與 torch.nn(縮寫為 nn)已經為你匯入。
本練習屬於課程
使用 PyTorch 的深度學習入門
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Create a leaky relu function in PyTorch
leaky_relu_pytorch = ____
x = torch.tensor(-2.0)
# Call the above function on the tensor x
output = ____
print(output)