層初始化
多年前開始,如何初始化神經網路的權重一直是研究人員關注的焦點。訓練網路時,所採用的權重初始化方式會直接影響模型的最終表現。
身為機器學習實務工作者,你應該能嘗試不同的初始化策略。這個練習中,你要建立一個由兩層組成的小型神經網路,並決定用 uniform 方法來初始化每一層的權重。
本練習屬於課程
使用 PyTorch 的深度學習入門
練習說明
- 對每一層(
layer0與layer1),使用 uniform 初始化方法來初始化權重。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
layer0 = nn.Linear(16, 32)
layer1 = nn.Linear(32, 64)
# Use uniform initialization for layer0 and layer1 weights
nn.____.____(____)
nn.____.____(____)
model = nn.Sequential(layer0, layer1)