Implementación de Leaky ReLU
Aunque la función ReLU es muy utilizada, establece las entradas negativas en 0, lo que da lugar a gradientes nulos para esos valores. Esto puede impedir que algunas partes del modelo aprendan.
Leaky ReLU lo supera permitiendo gradientes pequeños para entradas negativas, controlados por el parámetro negative_slope. En lugar de 0, las entradas negativas se escalan por este pequeño valor, manteniendo activo el aprendizaje del modelo.
En este ejercicio, implementarás la función Leaky ReLU en PyTorch y practicarás su uso. Ya se ha importado el paquete torch, así como torch.nn como nn.
Este ejercicio forma parte del curso
Introducción al aprendizaje profundo con PyTorch
Ejercicio interactivo práctico
Prueba este ejercicio completando el código de muestra.
# Create a leaky relu function in PyTorch
leaky_relu_pytorch = ____
x = torch.tensor(-2.0)
# Call the above function on the tensor x
output = ____
print(output)