Batch Normalization
Là bước cải thiện cuối cùng cho kiến trúc mô hình, hãy thêm lớp batch normalization sau mỗi trong hai lớp tuyến tính. Mẹo batch norm thường giúp tăng tốc hội tụ khi huấn luyện và bảo vệ mô hình khỏi các vấn đề gradient biến mất và gradient bùng nổ.
Cả torch.nn và torch.nn.init đã được import sẵn lần lượt là nn và init. Sau khi bạn chỉnh sửa kiến trúc mô hình, hãy sẵn sàng trả lời một câu hỏi ngắn về cách batch normalization hoạt động!
Bài tập này là một phần của khóa học
Deep Learning nâng cao với PyTorch
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
class Net(nn.Module):
def __init__(self):
super().__init__()
self.fc1 = nn.Linear(9, 16)
# Add two batch normalization layers
____ = ____
self.fc2 = nn.Linear(16, 8)
____ = ____
self.fc3 = nn.Linear(8, 1)
init.kaiming_uniform_(self.fc1.weight)
init.kaiming_uniform_(self.fc2.weight)
init.kaiming_uniform_(self.fc3.weight, nonlinearity="sigmoid")