Evaluatiemetrics loggen

Door prestatiemetrics te volgen kun je degradaties in de gaten houden en beslissen wanneer je je model bijwerkt om een hoge nauwkeurigheid te behouden. Je besluit om metrics te loggen nadat je model een evaluatielus heeft afgerond.

Er is al wat data voor je ingeladen:

accelerator is een instantie van Accelerator
eval_metric is een dictionary met metrics zoals accuracy en f1
num_epochs is het aantal epochs

Deze oefening maakt deel uit van de cursus

Efficiënt AI-modellen trainen met PyTorch

Bekijk cursus

Oefeninstructies

Roep een methode aan om de evaluatiemetrics van het model te loggen.
Log "accuracy" en "f1" als evaluatiemetrics.
Houd het epoch-nummer bij door de lusvariabele epoch door te geven aan de parameter step.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

accelerator = Accelerator(project_dir=".", log_with="all")
accelerator.init_trackers("my_project")

for epoch in range(num_epochs):
    # Training loop is here
    # Evaluation loop is here
    # Call a method to log metrics
    accelerator.log({
        # Log accuracy and F1 score as metrics
        "accuracy": ____["accuracy"],
        "f1": ____["f1"],
    # Track the epoch number
    }, step=____)

accelerator.end_training()

Code bewerken en uitvoeren