開始使用免費開始

層初始化

多年前開始,如何初始化神經網路的權重一直是研究人員關注的焦點。訓練網路時,所採用的權重初始化方式會直接影響模型的最終表現。

身為機器學習實務工作者,你應該能嘗試不同的初始化策略。這個練習中,你要建立一個由兩層組成的小型神經網路,並決定用 uniform 方法來初始化每一層的權重。

本練習屬於課程

使用 PyTorch 的深度學習入門

檢視課程

練習說明

  • 對每一層(layer0layer1),使用 uniform 初始化方法來初始化權重。

動手互動練習

試著完成這個範例程式碼,體驗一下這個練習。

layer0 = nn.Linear(16, 32)
layer1 = nn.Linear(32, 64)

# Use uniform initialization for layer0 and layer1 weights
nn.____.____(____)
nn.____.____(____)

model = nn.Sequential(layer0, layer1)
編輯並執行程式碼