1. Learn
    2. /
  2. Courses
    3. /
  3. PyTorch로 배우는 딥러닝 입문
Connected

Exercise

Leaky ReLU 구현하기

ReLU는 널리 쓰이지만, 음수 입력을 0으로 만들어 해당 값들에 대해 그래디언트가 0이 됩니다. 이 때문에 모델의 일부가 학습되지 않을 수 있어요.

Leaky ReLU는 negative_slope 매개변수로 음수 입력에 작은 그래디언트를 허용해 이 문제를 완화합니다. 음수 입력을 0으로 만드는 대신, 그 값을 작은 비율로 스케일링해 모델이 계속 학습할 수 있도록 해요.

이번 연습에서는 PyTorch로 leaky ReLU 함수를 구현하고 사용해 보겠습니다. torch 패키지와 torch.nn은 nn으로 이미 임포트되어 있습니다.

Instructions 1/2

undefined XP
    1
    2
  • 음의 기울기(negative slope)를 0.05로 하는 leaky ReLU 함수를 PyTorch로 생성하세요.
  • 이미 정의된 텐서 x에 그 함수를 호출하세요.