ReLU 구현하기
Rectified Linear Unit(ReLU)는 deep learning에서 널리 쓰이는 활성화 함수로, 기울기 소실(vanishing gradients) 같은 문제를 완화합니다.
이 연습 문제에서는 PyTorch로 ReLU를 직접 구현하고 양수와 음수 값 모두에 적용하여 결과를 확인해 보겠습니다.
torch.nn 패키지는 이미 nn으로 임포트되어 있어요.
이 연습은 강의의 일부입니다
PyTorch로 배우는 딥러닝 입문
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Create a ReLU function with PyTorch
relu_pytorch = ____