초기화와 활성화 함수

불안정한 그래디언트(소실 또는 폭주) 문제는 심층 신경망을 학습할 때 자주 마주치는 도전 과제예요. 이번 연습 문제와 다음 연습 문제에서는 수질 음용 가능성 분류 과제를 위해 만들었던 모델 아키텍처를 확장해, 이러한 문제에 더 강인하도록 만들어 보겠습니다.

첫 단계로 He(Kaiming) 초기화 전략을 사용해 가중치 초기화를 개선해 볼게요. 이를 위해 torch.nn.init 모듈에서 올바른 초기화 함수를 호출해야 하며, 이 모듈은 init으로 임포트되어 있어요. 다음으로 기본 ReLU 활성화 함수를, 종종 더 성능이 좋은 ELU로 업데이트하겠습니다.