1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Deep Learning nâng cao với PyTorch
Connected

Bài tập

Khởi tạo và hàm kích hoạt

Các vấn đề về gradient không ổn định (tiêu biến hoặc bùng nổ) thường xuất hiện khi huấn luyện mạng nơ-ron sâu. Trong bài này và các bài tiếp theo, bạn sẽ mở rộng kiến trúc mô hình đã xây dựng cho bài toán phân loại nước uống được để mô hình ít bị ảnh hưởng bởi các vấn đề đó hơn.

Bước đầu tiên, bạn sẽ cải thiện việc khởi tạo trọng số bằng chiến lược khởi tạo He (Kaiming). Để làm vậy, bạn cần gọi bộ khởi tạo phù hợp từ mô-đun torch.nn.init, đã được nhập sẵn là init. Tiếp theo, bạn sẽ cập nhật các hàm kích hoạt từ ReLU mặc định sang ELU, vốn thường cho kết quả tốt hơn.

Hướng dẫn

100 XP
  • Gọi bộ khởi tạo He (Kaiming) trên thuộc tính trọng số của tầng thứ hai, fc2, tương tự như cách đã làm cho fc1.
  • Gọi bộ khởi tạo He (Kaiming) trên thuộc tính trọng số của tầng thứ ba, fc3, đồng thời xét đến hàm kích hoạt khác được dùng ở tầng cuối.
  • Cập nhật các hàm kích hoạt trong phương thức forward() từ relu sang elu.