Implementação da Leaky ReLU
Embora a ReLU seja muito utilizada, ela define entradas negativas como 0, resultando em gradientes nulos para esses valores. Isso pode impedir o aprendizado de partes do modelo.
A Leaky ReLu supera essa limitação ao permitir pequenos gradientes para entradas negativas, controlados pelo parâmetro negative_slope. Em vez de 0, as entradas negativas são dimensionadas por esse pequeno valor, mantendo o aprendizado do modelo ativo.
Neste exercício, você deve implementar a função Leaky ReLu no PyTorch e praticar seu uso. O pacote torch, torch.nn e nn já foram importados.
Este exercício faz parte do curso
Introdução ao Aprendizado Profundo com o PyTorch
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Create a leaky relu function in PyTorch
leaky_relu_pytorch = ____
x = torch.tensor(-2.0)
# Call the above function on the tensor x
output = ____
print(output)