Consigner les mesures d’évaluation

Le suivi des indicateurs de performance vous permet de repérer les dégradations et de décider quand mettre à jour votre modèle afin de maintenir un bon niveau de précision. Vous choisissez de consigner les mesures une fois que votre modèle a terminé une boucle d’évaluation.

Certaines données ont été préchargées :

accelerator est une instance de Accelerator
eval_metric est un dictionnaire de mesures comme accuracy et f1
num_epochs est le nombre d’époques

Cette activité fait partie du cours

Entraînement efficace de modèles d’IA avec PyTorch

Voir le cours

Instructions de l’exercice

Appelez une méthode pour consigner les mesures d’évaluation du modèle.
Consignez les scores "accuracy" et "f1" comme mesures d’évaluation.
Suivez le numéro de l’époque en passant la variable de boucle epoch au paramètre step.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

accelerator = Accelerator(project_dir=".", log_with="all")
accelerator.init_trackers("my_project")

for epoch in range(num_epochs):
    # Training loop is here
    # Evaluation loop is here
    # Call a method to log metrics
    accelerator.log({
        # Log accuracy and F1 score as metrics
        "accuracy": ____["accuracy"],
        "f1": ____["f1"],
    # Track the epoch number
    }, step=____)

accelerator.end_training()

Modifier et exécuter le code