Khởi tạo tầng
Cách khởi tạo các trọng số của mạng neural đã là chủ đề nghiên cứu trong nhiều năm. Khi huấn luyện mạng, phương pháp khởi tạo trọng số tác động trực tiếp đến hiệu năng cuối cùng của mạng.
Là một người làm machine learning, bạn nên có khả năng thử nghiệm các chiến lược khởi tạo khác nhau. Trong bài tập này, bạn sẽ tạo một mạng neural nhỏ gồm hai tầng và quyết định khởi tạo trọng số của mỗi tầng bằng phương pháp uniform.
Bài tập này là một phần của khóa học
Nhập môn Deep Learning với PyTorch
Hướng dẫn bài tập
- Với mỗi tầng (
layer0vàlayer1), hãy dùng phương pháp khởi tạo uniform để khởi tạo các trọng số.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
layer0 = nn.Linear(16, 32)
layer1 = nn.Linear(32, 64)
# Use uniform initialization for layer0 and layer1 weights
nn.____.____(____)
nn.____.____(____)
model = nn.Sequential(layer0, layer1)