1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Nhập môn Deep Learning với PyTorch
Connected

Bài tập

Triển khai leaky ReLU

Mặc dù ReLU được dùng rất rộng rãi, nó đặt các đầu vào âm về 0, dẫn đến gradient bằng 0 cho những giá trị đó. Điều này có thể khiến một số phần của mô hình không học được.

Leaky ReLU khắc phục vấn đề này bằng cách cho phép gradient nhỏ với các đầu vào âm, được điều khiển bởi tham số negative_slope. Thay vì 0, các đầu vào âm sẽ được nhân với giá trị nhỏ này, giúp quá trình học của mô hình luôn diễn ra.

Trong bài tập này, bạn sẽ triển khai hàm leaky ReLU trong PyTorch và thực hành sử dụng nó. Gói torch cũng như torch.nn với bí danh nn đã được nhập sẵn.

Hướng dẫn 1/2

undefined XP
    1
    2
  • Tạo một hàm leaky ReLU trong PyTorch với độ dốc âm 0.05.
  • Gọi hàm này với tensor x, đã được định nghĩa sẵn cho bạn.