Triển khai leaky ReLU
Mặc dù ReLU được dùng rất rộng rãi, nó đặt các đầu vào âm về 0, dẫn đến gradient bằng 0 cho những giá trị đó. Điều này có thể khiến một số phần của mô hình không học được.
Leaky ReLU khắc phục vấn đề này bằng cách cho phép gradient nhỏ với các đầu vào âm, được điều khiển bởi tham số negative_slope. Thay vì 0, các đầu vào âm sẽ được nhân với giá trị nhỏ này, giúp quá trình học của mô hình luôn diễn ra.
Trong bài tập này, bạn sẽ triển khai hàm leaky ReLU trong PyTorch và thực hành sử dụng nó. Gói torch cũng như torch.nn với bí danh nn đã được nhập sẵn.
Bài tập này là một phần của khóa học
Nhập môn Deep Learning với PyTorch
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Create a leaky relu function in PyTorch
leaky_relu_pytorch = ____
x = torch.tensor(-2.0)
# Call the above function on the tensor x
output = ____
print(output)