評価指標の記録
パフォーマンス指標を追跡することで、精度の低下をモニタリングし、モデルをいつ更新すべきかを判断できます。ここでは、評価ループが終了した後に指標を記録するように設定しましょう。
以下のデータが事前に読み込まれています。
acceleratorはAcceleratorのインスタンスですeval_metricはaccuracyやf1などの指標を格納した辞書ですnum_epochsはエポック数です
この演習はコースの一部です
PyTorch による効率的な AI モデルトレーニング
演習の手順
- モデルの評価指標を記録するメソッドを呼び出します。
- 評価指標として
"accuracy"と"f1"スコアを記録します。 - ループ変数
epochをstepパラメータに渡して、エポック番号を追跡します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
accelerator = Accelerator(project_dir=".", log_with="all")
accelerator.init_trackers("my_project")
for epoch in range(num_epochs):
# Training loop is here
# Evaluation loop is here
# Call a method to log metrics
accelerator.log({
# Log accuracy and F1 score as metrics
"accuracy": ____["accuracy"],
"f1": ____["f1"],
# Track the epoch number
}, step=____)
accelerator.end_training()