Leaky ReLU を実装する

ReLU は広く使われていますが、負の入力を 0 にしてしまうため、その値に対する勾配がゼロになります。これにより、モデルの一部が学習できなくなる可能性があります。

Leaky ReLU は、negative_slope パラメータで制御される小さな勾配を負の入力にも許可することで、この問題を回避します。負の入力は 0 ではなく、この小さな値でスケーリングされるため、モデルの学習が止まりにくくなります。

この演習では、PyTorch で leaky ReLU 関数を実装し、使い方を練習します。torch パッケージおよび torch.nn は nn としてすでにインポートされています。