開始使用免費開始

實作 Leaky ReLU

雖然 ReLU 很常用,但它會把負的輸入設為 0,對這些值產生零梯度。這可能讓模型的部分參數無法學習。

Leaky ReLU 允許負輸入保留一點點梯度,大小由 negative_slope 參數控制。負輸入不再變成 0,而是乘上這個很小的係數,讓模型持續能學習。

在這個練習中,你會在 PyTorch 中實作 leaky ReLU 並實際使用它。torch 套件與 torch.nn(縮寫為 nn)已經為你匯入。

本練習屬於課程

使用 PyTorch 的深度學習入門

檢視課程

動手互動練習

試著完成這個範例程式碼,體驗一下這個練習。

# Create a leaky relu function in PyTorch
leaky_relu_pytorch = ____

x = torch.tensor(-2.0)
# Call the above function on the tensor x
output = ____
print(output)
編輯並執行程式碼