模型中啟動函式的選擇（搭配對應的權重初始化）會強烈影響訓練過程。特別是，選對啟動函式可以避免網路出現不穩定梯度的問題。
在前一個練習中，你把啟動函式從 ReLU 換成 ELU。你還記得兩者有哪些特性支持這個改動嗎？
本練習屬於課程
將理論付諸實踐，立即體驗我們的互動練習
學習如何以穩健方式訓練神經網路。本章中，你將使用物件導向程式設計來定義 PyTorch 資料集與模型，並複習訓練與評估神經網路的知識。你也會熟悉不同的最佳化器，最後掌握多種技術，協助減輕神經網路訓練中常見的不穩定梯度問題。
當前練習
訓練神經網路以解決影像分類任務。本章中，你將學會在 PyTorch 中處理影像資料，並掌握卷積神經網路（CNN）。你會實作影像分類器的訓練與評估，同時學習如何透過資料增強來提升模型效能。
建立並訓練循環神經網路（RNN），以處理時間序列、文字或音訊等序列資料。你將學習兩種最常見的循環架構：長短期記憶（LSTM）與門控循環單元（GRU），以及如何準備序列資料以進行模型訓練。你會透過訓練並評估一個用於預測用電量的循環模型來實作所學技能。
建立多輸入與多輸出模型，示範這些模型如何處理需要多個輸入或產生多個輸出的任務。你將學習如何使用 PyTorch 設計並訓練此類模型，並深入探討多輸出模型中的損失加權這個關鍵主題。這包含理解在同時訓練多個任務時，如何平衡各任務的重要性。
