整流線性單元（ReLU）是深度學習中廣泛使用的啟用函式，可用來解決像是梯度消失等問題。
在這個練習中，你將在 PyTorch 中實作 ReLU，將它套用到「正值與負值」上，並觀察結果。
torch.nn 套件已替你匯入為 nn。
torch.nn
nn
本練習屬於課程
試著完成這個範例程式碼，體驗一下這個練習。
# Create a ReLU function with PyTorch relu_pytorch = ____
自駕車、智慧型手機、搜尋引擎…… 深度學習如今隨處可見。在開始打造複雜模型之前，你會先熟悉深度學習框架 PyTorch。你將學會如何操作張量、建立 PyTorch 的資料結構，並用線性層在 PyTorch 中打造你的第一個神經網路。
在 PyTorch 中訓練神經網路之前，你需要先理解額外的元件，例如啟動函式與損失函式。接著你會發現，訓練網路的目標是最小化該損失函式，而這需要計算梯度。你將學會如何利用這些梯度來更新模型的參數。
既然你已經學會神經網路的關鍵元件，接下來將使用訓練迴圈來訓練模型。你會探討如梯度消失等潛在問題，並學習對策，例如替代的啟動函式，以及調整學習率與動量。
當前練習
訓練深度學習模型是一門技藝。為了確保模型訓練正確，我們需要在訓練過程中追蹤特定指標，例如損失或準確率。我們將學習如何計算這些指標，以及如何降低過度擬合。