モデルで使用する活性化関数の選択（対応する重みの初期化と組み合わせて）は、学習プロセスに大きく影響します。適切な活性化関数を選ぶことで、ネットワークで発生しがちな不安定な勾配の問題を防げます。
前の演習では、ReLU から ELU へ活性化関数を切り替えました。なぜその変更が妥当だったのか、両者の特徴を覚えていますか？
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
堅牢にニューラルネットワークを学習する方法を学びます。本章では、オブジェクト指向プログラミングを使ってPyTorchのデータセットとモデルを定義し、ニューラルネットワークの学習と評価を復習します。さらに、さまざまな最適化手法に触れ、最後にニューラルネットワークの学習で頻出する不安定な勾配の問題を緩和する各種テクニックを身につけます。
現在の演習
画像分類タスクを解くためにニューラルネットワークを学習します。本章では、PyTorchでの画像データの扱い方を学び、畳み込みニューラルネットワーク（CNN）の基礎を押さえます。データ拡張によってモデル性能を高める方法を学びながら、画像分類器の学習と評価を実践します。
時系列、テキスト、音声などの時系列データを処理する再帰型ニューラルネットワーク（RNN）を構築・学習します。代表的な2つの再帰アーキテクチャであるLong Short-Term Memory（LSTM）とGated Recurrent Unit（GRU）を学び、モデル学習に向けたシーケンスデータの前処理方法も身につけます。電力消費量の予測を題材に、再帰型モデルの学習と評価を実践します。
複数の入力を扱ったり、複数の出力を生成したりするマルチ入力・マルチ出力モデルを構築します。PyTorchを用いた設計と学習方法を学び、マルチ出力モデルにおける損失の重み付けという重要なトピックを掘り下げます。これは、1つのモデルで複数のタスクを同時に学習する際に、タスク間の重要度をどのようにバランスさせるかを理解することにつながります。
