1. Учиться
    2. /
  2. Courses
    3. /
  3. PyTorchで学ぶIntroduction to Deep Learning
Connected

Exercise

Leaky ReLU を実装する

ReLU は広く使われていますが、負の入力を 0 にしてしまうため、その値に対する勾配がゼロになります。これにより、モデルの一部が学習できなくなる可能性があります。

Leaky ReLU は、negative_slope パラメータで制御される小さな勾配を負の入力にも許可することで、この問題を回避します。負の入力は 0 ではなく、この小さな値でスケーリングされるため、モデルの学習が止まりにくくなります。

この演習では、PyTorch で leaky ReLU 関数を実装し、使い方を練習します。torch パッケージおよび torch.nn は nn としてすでにインポートされています。

Инструкции 1 / 2

undefined XP
    1
    2
  • 負の傾き 0.05 の leaky ReLU 関数を PyTorch で作成します。
  • すでに定義済みのテンソル x に対してその関数を呼び出します。