Leaky ReLU 구현하기
ReLU는 널리 쓰이지만, 음수 입력을 0으로 만들어 해당 값들에 대해 그래디언트가 0이 됩니다. 이 때문에 모델의 일부가 학습되지 않을 수 있어요.
Leaky ReLU는 negative_slope 매개변수로 음수 입력에 작은 그래디언트를 허용해 이 문제를 완화합니다. 음수 입력을 0으로 만드는 대신, 그 값을 작은 비율로 스케일링해 모델이 계속 학습할 수 있도록 해요.
이번 연습에서는 PyTorch로 leaky ReLU 함수를 구현하고 사용해 보겠습니다. torch 패키지와 torch.nn은 nn으로 이미 임포트되어 있습니다.
이 연습은 강의의 일부입니다
PyTorch로 배우는 딥러닝 입문
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Create a leaky relu function in PyTorch
leaky_relu_pytorch = ____
x = torch.tensor(-2.0)
# Call the above function on the tensor x
output = ____
print(output)