Deep learning のモデルは、非常に多くのパラメータを持つことで有名です。パラメータが増えるほど計算量が増え、学習時間も長くなります。実践者は自分のモデルがいくつのパラメータを持つか把握しておく必要があります。
この演習では、まず手計算でパラメータ数を求め、続いて .numel() メソッドを使って結果を検証します。
.numel()
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
自動運転車、スマートフォン、検索エンジンなど、Deep learningは今や身近な存在です。複雑なモデルを作る前に、まずはDeep learningフレームワークであるPyTorchに慣れましょう。テンソルの操作方法、PyTorchのデータ構造の作り方、そして線形層を使った最初のニューラルネットワークの構築を学びます。
現在の演習
PyTorchでニューラルネットワークを学習させるには、まず活性化関数や損失関数といった追加の要素を理解する必要があります。そのうえで、ネットワークの学習とは損失関数を最小化することであり、そのために勾配を計算することを学びます。さらに、これらの勾配を使ってモデルのパラメータを更新する方法を身につけます。
ニューラルネットワークの主要な要素を学んだら、次はトレーニングループを使って実際に学習させます。勾配消失のような起こり得る問題を確認し、代替の活性化関数、学習率やモメンタムの調整といった対策を学びます。
Deep learningモデルの学習は一種の技術であり、適切に学習できているかを確認するために、学習中は損失や正解率（accuracy）などの指標を追跡する必要があります。こうした指標の計算方法と、過学習を抑える方法を学びます。
