Leaky ReLU を実装する
ReLU は広く使われていますが、負の入力を 0 にしてしまうため、その値に対する勾配がゼロになります。これにより、モデルの一部が学習できなくなる可能性があります。
Leaky ReLU は、negative_slope パラメータで制御される小さな勾配を負の入力にも許可することで、この問題を回避します。負の入力は 0 ではなく、この小さな値でスケーリングされるため、モデルの学習が止まりにくくなります。
この演習では、PyTorch で leaky ReLU 関数を実装し、使い方を練習します。torch パッケージおよび torch.nn は nn としてすでにインポートされています。
この演習はコースの一部です
PyTorchで学ぶIntroduction to Deep Learning
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Create a leaky relu function in PyTorch
leaky_relu_pytorch = ____
x = torch.tensor(-2.0)
# Call the above function on the tensor x
output = ____
print(output)