활성화 함수: ReLU vs. ELU

모델에서 사용하는 활성화 함수 선택(해당 가중치 초기화와 결합됨)은 학습 과정에 큰 영향을 줄 수 있습니다. 특히 적절한 활성화 함수를 사용하면 학습 중 흔히 발생하는 불안정한 그래디언트 문제를 완화할 수 있습니다.

이전 연습 문제에서 ReLU에서 ELU 활성화 함수로 바꾸었어요. 이 변경을 정당화하는 두 활성화 함수의 특징을 기억하시나요?

이 연습은 강의의 일부입니다

PyTorch로 배우는 Intermediate Deep Learning

실습형 인터랙티브 연습문제

이론을 실습으로 바꾸는 인터랙티브 연습 중 하나를 만나보세요

이 연습은 강의의 일부입니다

PyTorch로 배우는 Intermediate Deep Learning

SkillTag.level.intermediateSkillTag.label

4.8+

무료로 강의 시작하기

신경망을 견고하게 학습하는 방법을 배워요. 이 챕터에서는 객체 지향 프로그래밍으로 PyTorch 데이터셋과 모델을 정의하고, 신경망의 학습과 평가에 대한 지식을 복습합니다. 또한 다양한 옵티마이저를 익히고, 마지막으로 신경망 학습에서 흔히 발생하는 불안정한 그래디언트 문제를 완화하는 여러 기법을 다룹니다.

Exercise 1: PyTorch와 객체 지향 프로그래밍 Exercise 2: PyTorch 데이터셋 Exercise 3: PyTorch DataLoader Exercise 4: PyTorch 모델 Exercise 5: Optimizer, 학습, 그리고 평가 Exercise 6: 훈련 루프 Exercise 7: 최적화 도구(Optimizers)Exercise 8: 모델 평가 Exercise 9: 기울기 소실과 기울기 폭주 Exercise 10: 초기화와 활성화 함수 Exercise 11: 활성화 함수: ReLU vs. ELU

현재 연습

Exercise 12: 배치 정규화

이미지 분류 과제를 해결하도록 신경망을 학습시켜 보세요. 이 챕터에서는 PyTorch에서 이미지 데이터를 다루는 법과 Convolutional Neural Networks(CNNs)를 이해합니다. 데이터 증강으로 모델 성능을 향상하는 방법을 배우면서 이미지 분류기를 학습하고 평가하는 연습을 합니다.

Exercise 1: PyTorch로 이미지 다루기 Exercise 2: 이미지 데이터셋 Exercise 3: 데이터 증강 Exercise 4: PyTorch에서의 데이터 증강 Exercise 5: Convolutional Neural Networks Exercise 6: 합성곱 층 Exercise 7: 합성곱 네트워크 구축하기 Exercise 8: 이미지 분류기 학습시키기 Exercise 9: 증강 기법 선택하기 Exercise 10: 증강을 적용한 데이터셋 Exercise 11: 이미지 분류기 학습 루프 Exercise 12: 이미지 분류기 평가하기 Exercise 13: 다중 클래스 모델 평가 Exercise 14: 클래스별 지표 분석

시계열, 텍스트, 오디오 같은 순차 데이터를 처리하기 위해 Recurrent Neural Networks(RNNs)를 구축하고 학습하세요. 가장 널리 쓰이는 두 가지 순환 구조인 Long-Short Term Memory(LSTM)와 Gated Recurrent Unit(GRU) 네트워크를 배우고, 모델 학습을 위한 순차 데이터 준비 방법을 익힙니다. 전력 소비를 예측하는 순환 모델을 학습하고 평가하며 실습합니다.

Exercise 1: PyTorch로 시퀀스 다루기 Exercise 2: 시퀀스 생성하기 Exercise 3: 순차 데이터셋 Exercise 4: Recurrent Neural Networks Exercise 5: 순차 아키텍처 Exercise 6: 예측용 RNN 만들기 Exercise 7: LSTM과 GRU 셀 Exercise 8: RNN vs. LSTM vs. GRU Exercise 9: LSTM 네트워크 Exercise 10: GRU 네트워크 Exercise 11: RNN 학습과 평가 Exercise 12: RNN 학습 루프 Exercise 13: 예측 모델 평가하기

둘 이상의 입력이 필요하거나 여러 출력을 생성하는 작업을 처리할 수 있는 멀티 입력·멀티 출력 모델을 구축해 봅니다. PyTorch로 이러한 모델을 설계하고 학습하는 방법을 탐구하고, 멀티 출력 모델에서 매우 중요한 손실 가중치 주제도 깊이 있게 다룹니다. 이는 하나의 모델이 여러 작업을 동시에 수행하도록 학습할 때 각 작업의 중요도를 균형 있게 조정하는 방법을 이해하는 것을 포함합니다.

Exercise 1: 멀티 입력 모델 Exercise 2: 두 입력을 받는 데이터세트 Exercise 3: 두 입력 모델 Exercise 4: 두 입력 모델 학습 Exercise 5: 멀티 아웃풋 모델 Exercise 6: 두 개의 출력이 있는 Dataset과 DataLoader Exercise 7: 두 개의 출력이 있는 모델 아키텍처 Exercise 8: 멀티 출력 모델 훈련하기 Exercise 9: 다중 출력 모델 평가와 손실 가중치 Exercise 10: 다중 출력 모델 평가 Exercise 11: 손실 가중치(Loss weighting)Exercise 12: 정리