การนำ Leaky ReLU ไปใช้งาน
แม้ ReLU จะเป็นฟังก์ชัน activation ที่นิยมใช้กันอย่างแพร่หลาย แต่ก็มีข้อเสียคือจะแปลงค่า input ที่เป็นลบให้กลายเป็น 0 ซึ่งทำให้เกิด gradient เป็นศูนย์ สำหรับค่าเหล่านั้น และอาจทำให้บางส่วนของโมเดลหยุดเรียนรู้ได้
Leaky ReLU แก้ปัญหานี้ด้วยการยังคงให้ gradient ขนาดเล็กสำหรับค่า input ที่เป็นลบ โดยควบคุมผ่านพารามิเตอร์ negative_slope แทนที่จะให้ค่าเป็น 0 ค่า input ที่เป็นลบจะถูกคูณด้วยค่าเล็กน้อยนี้ เพื่อให้โมเดลยังคงเรียนรู้ต่อไปได้
ในแบบฝึกหัดนี้ จะได้ฝึกนำฟังก์ชัน Leaky ReLU ไปใช้งานใน PyTorch โดยมีการ import แพ็กเกจ torch และ torch.nn ในชื่อ nn ไว้ให้แล้ว
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Deep Learning เบื้องต้นด้วย PyTorch
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Create a leaky relu function in PyTorch
leaky_relu_pytorch = ____
x = torch.tensor(-2.0)
# Call the above function on the tensor x
output = ____
print(output)